Bu içeriği görüntülemek için JoVE aboneliğiniz gereklidir. Giriş yapın veya ücretsiz denemenizi bugün başlatın.

Araştırma makalesi

Bina yapısı hakkında önceden bilgiye dayanan iç mekan sahne görüntüleri için anlamsal ayrıştırma yöntemi

76 görüntülenme

⸱

DOI:

10.3791/72054

⸱

11 Ağustos 2026

 ,  , 
1Shaanxi Modern Architectural Design & Research Institute Co.,Ltd., 2Third Dimension (Henan) Software Technology Co.,Ltd., 3Henan University of Economics and Law

Bu makalede

Özet

Bu çalışma, kaydırılmış pencere hiyerarşik transformatör kodlayıcısı tarafından yakalanan hiyerarşik görsel özellikleri, çizgi-segment algılama ile oluşturulan Manhattan 3D sınırlayıcı kutusunun önceki derinliği ile sıkı bir şekilde birleştiren bir algoritma öneriyor; böylece karmaşık iç mekan sahnelerinin yüksek hassasiyetli anlamsal yeniden inşaflanması sağlanıyor.

Özet

Karmaşık iç mekan sahnelerinde mobilya tıkanmasının neden olduğu anlamsal tahmin kesintilerini ve fiziksel sınır bozulmalarını ele almak için, bu makale bina yapı önceliklerini kullanan anlamsal ayrıştırma yöntemi önermektedir. Şema, çok ölçekli görsel özellikleri çıkarmak için kaydırılmış pencere hiyerarşik transformatör kodlayıcısı kullanır ve gradyan yönü tutarlılığına sahip çizgi segmenti algılama algoritmasını birleştirerek Manhattan 3D sınırlayıcı kutusu oluşturur. Bu sınırlayıcı kutu, ayrık geometrik konturlar sürekli fiziksel potansiyel alanına kodlanmadan önce işaretli mesafe alanına (SDF) dönüştürülür. Yapı yönlendirilmeli çapraz dikkat mekanizması, görsel sinyalleri gerçek 3B ortogonal geometrik sınırlarla hizalamaya zorlar ve kapatılmış alanlarda özellik sürekliliğini geri getirir. Süper piksel düğümlerinden oluşturulan bir uzamsal bitişik graf, özellikleri birleştirmek için bir Grafik Konvolüsyon Ağı (GCN) yönlendirerek fiziksel yük taşıyıcı düzlemde makroskobik anlamsal tutarlılığı sağlar. Piksel düzeyinde çapraz entropi kaybı ile özel tasarlanmış yapısal tutarlılık kaybının birleşimi, sınır dışı tahminleri cezalandırarak kısıtlamaları güçlendirir. Birden fazla bağımsız çalışma üzerinde yapılan deneyler, birleşim üzerindeki ortalama kesişimin (mIoU) %68,7'ye ulaştığını ve %0,2 standart sapma ile %68,7'ye ulaştığını, yapısal sınır F1 puanının %0,3 standart sapma ile %76,4'e ulaştığını göstererek önerilen modüllerin sağlam performansını doğrulamaktadır. Tek bir görüntü düğümü boyutu 256 olduğundan, ortalama çıkarım süresi 61 ms olarak kaldı.

Giriş

Kapalı mekan sahne görüntüsü anlamsal analizi, üç boyutlu mekânsal biliş ve akıllı mekânsal akıl yürütmegörevlerinde temel bir konumu ele alır 1,2. Gerçek fiziksel ortamlarda görsel özelliklerin çıkarılması genellikle karmaşık mekansal yerleşimler nedeniyle ciddi şekildeengellenmektedir 3. Bina temel yapısının anlamsal süreksizlik ve fiziksel sınır bozulmasının çözümü, büyük ölçekli mobilya tıkanması nedeniyle bina temel yapısının temeli yapısı mekânsal biliş araştırması için önemlidir 4,5. Dağınık nesnelerden gelen paraziti doğru şekilde ortadan kaldırmak ve aynı duvar ile zeminin fiziksel sürekliliğini yeniden tesis etmek, üç boyutlu sahne yeniden yapılandırmasının ve küresel mekansal mantık analizinin doğruluğunu doğrudanbelirleyecektir 6. Büyük ölçekli mobilya tıkanmasının neden olduğu anlamsal süreksizlik ve önerilen bina-öncesi rehberliğin yapısal onarım etkisi Şekil 1'de gösterilmiştir; burada Tablo 1A'daki tıkanmış kırmızı, yeşil mavi (RGB) girişi, Şekil 1B'deki temel maske bozulması ve Şekil 1C'deki yapı-öncesi onarım sonucu aynı iç mekan sahne koşulları altında karşılaştırılmıştır.

Mekansal mantıksal akıl yürütmenin doğruluk gereksinimlerini karşılamak için, mevcut ana akım piksel odaklı görsel ağlar karmaşık iç mekan ortamlarıyla başa çıkarken birçok engellekarşılaşmaktadır 7,8. İç mekanlar genellikle yoğun mobilyalar ve dağınık mobilyalarla dolup, bu da görüntülerde düşük seviyeli görsel sınır sinyallerinin önemli ölçüde kaybolmasına yolaçmaktadır9. Geleneksel özellik çıkarma mekanizmaları, üç boyutlu insan yapımı yapıların katı ortogonal yasalarını makroskobik olarak tanımadıkları için yerel iki boyutlu renk ve doku tepkilerine aşırı şekildedayanır. Yerel alıcı alanın bu sınırlaması, özellik yayılımını kolayca kesintiye uğratır ve küresel topolojinin11 bloklar arasında genişletilmesini zorlaştırır. Şu anda, anlamsal tahmin kesintileri ve tıkanma ile girişimden kaynaklanan fiziksel sınırların ciddi bozulmaları temel sorununu acil çözmeye ihtiyaçvardır 12.

Bina temellerinde tıkanma ve parazit nedeniyle oluşan yapısal hataları gidermek için akademik topluluk çeşitli hedefli müdahale önlemlerigeliştirmiştir 13. Çapraz modal özellik toplama ağları, tek bir görsel modalitenin mekansal algıdaki doğasında olan eksikliklerini, kırmızı-yeşil-mavi (RGB) görüntülere yardımcı olmak için derinlik haritaları veya metin öncelikleri ekleyerek etkili bir şekilde telafieder 14,15. Sınır algısı ve uyarlanabilir bağlam seçim çerçeveleri, özellik çözme aşamasına fiziksel kontur geliştirme stratejileri ekleyerek tahmin sonuçlarının kenar uyumunu büyük ölçüde iyileştirir ve karmaşıksahnelerde 16,17. GCN'lere ve özellik etkileşim mekanizmalarına dayalı çıkarım modelleri, homojen bölgelerde düğüm düzeyinde bağlantılar oluşturarak özellik akıcılığını ve makro-anlamsal tutarlılığı önemli ölçüde artırır 18,19. Manhattan'ın açık yapısal önceliklerinin görsel özellik çıkarma boru hattına entegre edilmesi, geometrik tutarlılık sınırlarını sağlar ve bu da geniş ön plan nesne tıkanması20'nin neden olduğu özellik süreksizliği sorunlarını giderir.

Bina altyapısıyla ilişkili anlamsal tahmin hataları ve fiziksel sınırların ciddi bozulmaları gibi temel sorunu ele almak için, mimari öncelikleri içeren kapalı döngü bağlama mekanizmasına dayalı bir anlamsal ayrıştırma çerçevesi önerilmektedir. Bu çerçeve, sürekli geometrik potansiyel alanları ile ayrık görsel özellik manifoldları arasında çift yönlü bir eşleme hizalanması kurarak saf mühendislik boru hatlarını aşar; böylece yapısal yasalarla tıkanma hatalarını düzelten basit olmayan bir sinerji oluşturur. Bu şema, çok ölçekli görsel omurga ağı ve yok nokta tahminine dayalı bir çizgi-segment algılama algoritmasına dayanır; böylece Manhattan 3D sınır kutusunu paralel olarak temsil eden yerel görünüm özellikleri ve ortogonal kenar öncelikleri elde edilir ve ardından bunları SDF'ye dönüştürür. Algoritma, görsel özellikleri sorgu vektörleri olarak kullanan ve SDF özelliklerini nokta-çarpım hesaplamaları için anahtar ve değer olarak ele alan yapı rehberli çapraz dikkat mekanizması kullanır; böylece görsel sinyalin özellik alanındaki gerçek 3B geometrik sınırla hizalanması sağlanır. Süper piksel düğümlerinden ve uzamsal düzlemli kenar özelliklerinden oluşturulan bir uzamsal bitişiklik grafiği, çapraz düğüm özelliklerinin toplanmasını ve mesaj iletimi gerçekleştirmek için bir GCN'ye aktarılır. Uçtan uca parametre optimizasyon süreci, piksel düzeyinde çapraz entropiyi ve binanın öncesi sınırını geçen tahmin edilen pikselleri sıkı sıkı bir şekilde sınırlayan ve cezalandıran özel yapısal tutarlılık kaybı fonksiyonunu birlikte kullanır. Tam anlamsal ayrıştırma boru hattı, RGB görüntü girişi, geometrik önceden çıkarma, çapraz dikkat hizalama, süper piksel grafik akıl yürütme ve anlamsal maske çözme süreçlerini birleşik bir mimari içinde birbirine bağlayan Şekil 2'de özetlenmiştir.

Erken sahne ayrıştırma ağları, yerel görünüm dokularını yakalamak için konvolüsyonel işlemlere dayanıyordu, ancak yerel alıcı alanlardaki sınırlamalar nedeniyle büyük ölçekli hedeflerin anlamsal tutarlılığını yetersizgösterdiler 21,22. Önceki çalışmalar, görsel Transformer mimarisinin öz-dikkat modülünü küresel bağlamsal bilgi çıkarmak ve uzun mesafe piksel ilişkilendirme özellikleri oluşturmak içinkullanmıştır 23,24. Çapraz modal çoklu görünüm özellik toplama stratejileri, derinlik haritası nokta bulutları ve metin komut girişlerini birleştirerek sahnenin üç boyutlu geometrik mekansal özellikleriniçıkarır 25,26. Belirli alanlara yönelik özellik birleşimi için hibrit dikkat mekanizmaları yavaş yavaş olgunlaşmıştır. Özellik etkileşim köprüleri inşa ederek, çok ölçekli görsel sinyal iletiminde enerji kaybını ve özellik seyrekliğini önemli ölçüde azaltmış ve karmaşık yapı ayrıştırmanın sağlamlığını artırmıştır. En son kodlayıcı tasarımları, yüksek frekanslı alan mekânsal detaylarını küresel ve yerel özelliklerle birlikte birlikte entegre eder ve çıkarır; bu da ağın yüksek benzerlikli ince taneli anlamsal kategorileri ayırt etme yeteneğini güçlendirir ve iç mekan ayrıştırma doğruluğunuartırır 27,28. Semantik segmentasyon mimarilerindeki son gelişmeler, hesaplama verimliliği ve mekansal algıyı optimize etmek için değerli referanslar sağlar. Yoğun tahmin ve çok ölçekli bağlamsal toplama için tasarlanmış modeller, karmaşık arka planlardan ince tanenli geometrik özellikler çıkarır. Özellik ayrıştırma ve sinerjik füzyon stratejileri, sınır bölgelerindeki anlamsal belirsizliği ele alır. Hafif dikkat mekanizmaları ve kapılı toplama modülleri, parametre dağılımını optimize eder, böylece çıkarımı hızlandırır ve yerel yapısal detayları korur. Bu verimli mimari tasarımların uygulanması, iç mekan sahne ayrıştırmasında Öklid dışı topolojik çıkarım işlemlerinin hesaplama yükünü azaltmak için teorik rehberlik sunar.

Bina yapı öncelikleri ve 3B yerleşim tahmini, yerel görsel ayrıştırma hatalarını düzeltmek içinkullanılır 29. Önceki çalışmalar, iç mekan binalarının ortogonal ve paralel geometrik özelliklerini, karmaşık iç mekan arka planlarından kaynaklanan ağ tahmin yanlılığını azaltmak için çıkarım kısıtlamaları olarakçıkarmıştır 30,31. Mevcut şemalar, Manhattan 3D sınırlayıcı kutular oluşturmak için çizgi segmenti tespit algoritmaları ve görüntü ablasyon nokta analiz teknikleri kullanarak odaların fiziksel sınırlarını haritalandırır ve altta yatan görsel özelliklerin yerelleştirilmesine yardımcı olur32. Sınır farkındalık modülü ve çok ölçekli bağlamın ortak mimarisi, önceki yapısal bilgileri yüksek boyutlu özellik çözme sürecine örtük olarak gömülür; böylece ağın gerçek fiziksel konturlarla yakından eşleşen anlamsal maskeler üretmesini sağlar ve nesne kenarlarının keskinliğini ve bulanıklığını etkili şekildeartırır 33. Sınır güçlendirme özelliklerine sahip yarı denetimli veya zayıf denetimli kayıp fonksiyonu tasarımları geniş çapta araştırılmıştır. Bağımsız piksel sınıflandırma davranışını cezalandırmak için uzamsal topolojik kuralları ihlal eden titiz matematiksel formüllere dayanarak, nihai segmentasyon sonucunun geometrik düzgünlüğü ve yapısal bütünlüğü gradyan optimizasyonu34 kaynağından garanti edilir.

Bazı çalışmalar, grafik sinir ağlarını kullanarak görsel özelliklerin çapraz alanlarını toplaması ve yüksek boyutlu uzayda topolojik ilişkiler hakkında akıl yürütme yapmıştır35. Süper piksel segmentasyon algoritması, benzer renk tepkisi ve doku özelliklerine sahip bitişik piksel blokları bağımsız bağlı düğümlere önceden toplar. Süper piksel segmentasyon algoritması, grafik yapısının hesaplamalı yeketini görüntü seviyesinde sıkıştırırve görüntünün temel geometrik topolojisini korur 36. GCN, yüksek boyutlu düğüm özellik vektörü üzerine inşa edilmiş ve uzamsal yakınlığı temsil eden bitişik matris, mekansalalanda (37,38) fiziksel bağlantılı grafik boyunca çok ölçekli görsel bilginin verimli yönlü iletimi ve etkileşimli birleşimini sağlar. Zamansal bilgi geliştirme modülünün ve hibrit çok ölçekli atlama bağlantı mekanizmasının uygulanması, çok katmanlı derin mesajgeçişi 39 sürecinde oluşan düğüm özelliklerinin aşırı yumuşatılması ve homojenleşmesini bastırır. Çok ölçekli grafik dalgasit dönüşüm teknolojisi ve sözde etiket eleman öğrenme optimizasyon stratejisi, düğüm özellik güncelleme formülünün arka plan gürültüsü karşıtı mekanizmasını optimize eder; böylece aynı anlamsal özelliklere sahip özellikler, karmaşık ağ topolojisinde işbirlikçi yanıt modusürdürür 40. Grafik tabanlı akıl yürütme mekanizması, düzenli piksel ızgaralarını Öklid dışı topolojik uzaylara eşlerek düzensiz bina yapıları ve iç bileşenlerin özellik toplama hesaplamalarınıyapar 41.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

Kapalı RGB sahne veri setleri ve bunların anlamsal açıklamaları, ağ eğitiminden önce hazırlanmıştır. Büyük ölçekli kapalı 3D veri seti ve RGB-D iç mekan sahne veri seti (bkz. Materyal Tablosu) resmi depolarından elde edilmiştir. Mobilya kapanması, aydınlatma varyasyonu, duvar sınırı kesintisi ve karmaşık mekansal düzenleri içeren iç mekan alma sahneleri, hedef ayrıştırma senaryosuna uyacak şekilde korundu. Anlamsal etiketler indeksli tek kanallı PNG annotasyon maskelerine dönüştürüldü ve tüm RGB görüntüler ile anlamsal maskeler 512 × 512 piksel boyutuna dönüştürüldü. Eğitim sırasında çevrimiçi veri artırma uygulandı; rastgele yatay çevirme 0.5 olasılıkla, rastgele parlaklık 0.8 ile 1.2 arasında ve rastgele dönüş −10° ile +10° arasında rastgele dönüş yapılarak yapısal yerleşim dağılımını genişletti. RGB kanalları ortalama değerleri 0.485, 0.456 ve 0.406 ile ve standart sapma değerleri 0.229, 0.224 ve 0.225 olarak normalleştirildi. Büyük ölçekli kapalı 3D kıysası, bu çalışmada kullanılan resmi yayın bölünmesini takip etti; model geliştirme ve doğrulama için 1201 eğitim sahnesi ve 312 doğrulama sahnesi yer aldı. RGB-D kapalı mekan sahne kıyaslaması, resmi değerlendirme protokolünü takip ederek 795 eğitim görüntüsü ve 654 test görseli içeriyordu. Bu iki kamu kıytemasına ek bir yüzde tabanlı bölünme uygulanmadı.

Kaydırılmış pencere hiyerarşik transformatör görsel omurga ağı (bkz. Materyaller Tablosu), hareketli pencere transformatör kodlayıcı omurga olarak başlatıldı. Yama göme boyutu 4 x 4 piksel olarak yapılandırıldı. Dört hiyerarşik aşamanın göme boyutları 128, 256, 512 ve 1024 olarak ayarlanmış, dört aşamadaki transformatör blok sayısı ise 2, 2, 18 ve 2 olarak belirlenmiştir. Yerel dikkat penceresi boyutu 7 x 7 olarak ayarlanmış, dört hiyerarşik aşama için dikkat başı sayısı ise 4, 8, 16 ve 32 olarak belirlenmiştir. Tüm çok katmanlı perceptron katmanlarında doğrusal olmayan sürekli aktivasyon fonksiyonları kullanıldı. Mekânsal aşağı örnekleme, her hiyerarşik aşamadan sonra 2 adımla yama birleştirme işlemleriyle gerçekleştirildi. Çekirdek ağ mimarisi ve konvolüsyon çıkarım modülü hiperparametreleri Tablo 1'de özetlenmiştir.

Kaydırılmış pencere öz-dikkat özelliği çıkarımı giriş özellik haritalarında gerçekleştirildi. Her özellik haritası, 7 × 7 boyutlarında uzanan örtüşmeyen yerel pencerelere bölünmüştür. Düzenli pencere dikkati ve kaydırılmış pencere dikkati, bitişik kaydırılmış pencere transformatör blokları arasında dönüşümlü olarak kullanıldı. Döngüsel kayma mesafesi 3 piksele ayarlandı ve her yerel dikkat penceresi içinde göreli konumsal yanlılık kodlaması uygulandı. Yerel görsel özellikler, çok başlı öz-dikkat yoluyla toplanmış ve hiyerarşik, çok ölçekli özellik temsilleri oluşturulmuştur.

Manhattan yapısal öncelikleri iç mekan RGB görüntülerinden çıkarıldı. Yapısal kenar segmentleri, gradyan yönü-tutarlılığı çizgi segmenti tespit algoritması kullanılarak tespit edildi. Baskın yapısal yönler, yok nokta tahminine dayalı rastgele örneklem konsensus (RANSAC) algoritması (bkz. Materyal Tablosu) ile kümelenmiştir. Manhattan'ın 3B sınırlayıcı kutu temsili oluşturmak için üç karşılıklı dik Manhattan yönü yeniden inşa edildi. Yeniden oluşturulan yapısal sınır, her pikselden en yakın sınır çizgi segmentine olan minimum Öklid mesafesi hesaplanarak SDF haritasına dönüştürüldü.

Yapı odaklı çapraz dikkat özellikleri, görsel özellikler ve SDF öncelikleri alındıktan sonra oluşturuldu. Görsel özellik manifold, çift çarpılmış kap R'nin doğrusal dönüşüm matrisi W alt Q elemanı üzerinden çift çarpılmış kapağın R oluşum matrisi W alt Q elemanına, oluşum matrisine figure-protocol-1eşlenmiştir. Önceki sürekli mesafe alanı, dönüşüm matrisleri figure-protocol-2aracılığıyla anahtar tensör K ve değer tensörü V ile eşlendi ve model boyutu 512 olarak ayarlandı. Çok başlı modülasyon, projeksiyon uzayını 8 bağımsız alt uzaya bölmüştür ve her başlık 64 boyuta sahiptir. Önceki mekansal düzen, ayrık piksel koordinatlarını sürekli potansiyel alanına yansıtmış ve nokta-çarpım benzerlik matrisini modüle etmek için açık bir toplayıcı uzamsal yanlılık olarak yapısal yakınlık matrisi S'yi oluşturmuştur. Görsel özellik tensörü, sorgu kaynağı olarak kullanılmıştır çünkü anlamsal ayrıştırma, her görsel konumun geometrik önceki uzaydan yapısal olarak tutarlı kanıtları aktif olarak almasını gerektirir. SDF öncesi, Manhattan düzeninden türetilen sürekli sınır mesafesi ve iç-dış yapısal ipuçlarını sakladığı için anahtar ve değer kaynağı olarak kullanılmıştır. Nokta-çarpım terimi, anlamsal görünüm ile geometrik öncelik arasındaki uyumu ölçürken, toplama yapısal terim λS dikkat ağırlıklarını aynı fiziksel düzlemdeki veya aynı mimari kontura yakın piksellere kaydırırdı. λ katsayısı, çıkarılan yapısal önceliğe olan güveni temsil eder ve katı ortogonal kısıtlamaların dikkat dağılımına ne ölçüde dahil edildiğini kontrol ederdi. Bu formülasyon, mobilya tıkanmasından kaynaklanan sınır çapraz özellik difüzyonu azaltmış ve Manhattan dışı yerleşimlerde adaptif gevşemiyi korudu. Yapı odaklı dikkat dağılımı Denklem 1'e göre hesaplandı.

Denklem 1: figure-protocol-3

burada A, yapı yönlendirmeli dikkat toplama matrisini, Q görsel özelliklerden üretilen sorgu tensorunu, K SDF önceki özelliklerden üretilen anahtar tensörü, V yapısal önceki temsillerden üretilen değer tensörünü, dk anahtar tensörün özellik boyutunu, λ ise Manhattan dışındaki mekansal alanlarda yerel bölgelerin geometrik güvenini belirlemek ve katı ortogonal kısıtlamaları gevşetmek için kullanılan uyarlanabilir yapısal ağırlık katsayısını gösterir yerleşimleri ve S, SDF yakınlık matrisini gösterir. Dk ile bölünme, dikkat loglarının ölçeğini stabilize etti ve büyük özellik boyutlarının aşırı yoğunlaştırılmış dikkat ağırlıkları oluşturmasını engelledi. Normalleştirilmiş üstel fonksiyon (bkz. Materyal Tablosu), modüle edilmiş benzerlik puanlarını normalize bir uzamsal dağılıma dönüştürerek her pikselin anlamsal ve geometrik tutarlılığa dayalı yapısal önceki bilgileri toplamasına olanak tanıdı. Bu tasarım, görsel görünüm ve mimari sınır önceliklerinin neden doğrudan özelliklerin birleştirilmesiyle değil, dikkat seviyesinde birleştiğini açıklar.

Süper piksel topoloji grafiği, yapı hizalı özellik haritasından oluşturulmuştur. Özellik haritası, uzamsal bölge oluşturma algoritması kullanılarak segmentlere ayrılmıştır. Süper piksel sayısı 256, kompaktlık katsayısı 10, Gauss düzgünleştirme katsayısı 1.0 ve yineleme sayısı 10 olarak ayarlandı. Mekânsal yakınlık kısıtlamaları, kümeleme sırasında mesafe metrik ağırlığının özellik renk uzayı mesafesine 1.0 oranında sabit bir orana ayarlanarak uygulandı; böylece yoğun karmaşa sınırları üzerinde eşit düğüm oluşumu sağlandı. Homojen anlamsal yanıtlara sahip pikseller süper piksel düğümlerine toplandı. Grafik kenarları, mekânsal bitişiklik ilişkilerine, SDF affinite gücüne ve aynı düzlemsel geometrik tutarlılık kısıtlamalarına göre oluşturulmuştur. Yapısal yakınlık matrisi ve topolojik bağlantının yapım süreci, SDF rehberliğinin grafik düzeyinde mekânsal ilişkilere nasıl dönüştürüldüğünü gösteren Şekil 3'te gösterilmiştir.

Grafik formülasyonu, yoğun piksel bazında akıl yürütmeyi homojen yapısal bölgeler üzerinde düğüm bazlı uzamsal akıl yürütmeye dönüştürmek için tanıtıldı. Her süperpiksel düğümü, benzer anlamsal yanıt ve mekansal sürekliliğe sahip yerel bir bölgeyi temsil ederken, her kenar bitişiklik, mesafe-alan yakınlığı ve düzlemsel tutarlılık kısıtlamalarına bağlı olarak güvenilir bir özellik iletimi yolunu temsil ederdi. Bu tasarım, izole gürültülü piksellerin etkisini azalttı ve kapatılmış duvar, zemin ve tavan bölgelerinin fiziksel olarak bitişik düğümlerden mesaj almasını sağladı. Bu nedenle kenar yapısı, sürekli SDF yönlendirmesi ile ayrık Öklid dışı grafik akıl yürütme arasında matematiksel bir köprü görevi gördü.

Üç katmanlı bir grafik konvolüsyon akıl yürütme ağı, 512, 256 ve 128 gizli özellik boyutlarıyla yapılandırıldı. Uygulanan grafik konvolüsyon katmanı, düğümlerin mekansal ilişkilerine dayalı olarak grafik yapısını yumuşatma özelliğine sahiptir. Kendi kendine döngü bitişikliği, mesaj iletimi sırasında her düğümün orijinal durumunu korur, böylece küçük bir yapısal bölgenin özelliklerinin çevresindeki büyük bölgeler tarafından silinmesini engeller. Simetrik normalizasyon, bitişik matris elemanlarını düğüm derecelerinin ters kareköklerinin çarpımıyla ölçeklendirdi; böylece yüksek dereceli düğümler ve düşük dereceli düğümler yayılma sırasında karşılaştırılabilir sayısal büyüklükler altında katkıda bulundu. Besleme ilesi yayılımı, her düğüm durumu, eleman bazında doğrusal olmayan doğrulayıcı fonksiyon uygulanmadan önce bitişik düzlemsel kümelerden yüksek boyutlu özellikleri emdiği lokal uzamsal toplama gerçekleştirirdi. Bu formülasyon, grafik konvolüsyon katmanını, ilişkisiz nesnelerin sınırları boyunca sınırsız düzgünleştirme yerine fiziksel anlamlı iç düzlemler boyunca anlamsal yayılmayı yaklaştırmasını sağladı. Grafik düğüm özellikleri Denklem 2'ye göre değerlendirildi.

Denklem 2: figure-protocol-4

Yoğun piksel özelliklerinden süper piksel düğümlerine projeksiyon, grafik-konvolüsyon mesaj iletimi ve koordinat geri projeksiyonu Şekil 4'te sunulmakta olup, düzenli görüntü ızgaralarından Öklid dışı bir topolojiye ve tekrar yoğun anlamsal temsile doğru özellik-toplama yolunu açıklar. Şekil 4A'daki yoğun piksel özelliklerinden Şekil 4B'deki süper piksel düğümlerine projeksiyon, Şekil 4C'deki grafik-konvolüsyon mesaj iletimi ve Şekil 4D'deki koordinat geri projeksiyonu, düzenli görüntü ızgaralarından Öklid dışı bir topolojiye ve tekrar yoğun anlamsal bir temsile doğru özellik-toplama yolunu netleştirir.

burada H(l) l. grafik konvolüsyon katmanının düğüm özellik tensorunu gösterir, Â kendi döngü bağlantılarına sahip bitişik matrisini, D bitişik matrisi ile eşleşen derecelik matrisini, W(l) l-ci grafik konvolüsyon katmanının öğrenilebilir ağırlık matrisini ve σ Doğrulayıcı Doğrusal Birim aktivasyon fonksiyonunu gösterir. ÂH(l) terimi, bitişik süper piksel düğümlerinden gelen özellikleri toplarken, D−1/2 ve D−1/2 farklı bağlantı yoğunluklarına sahip düğümlerin katkısını dengeler. Öğrenilebilir matris W(l), toplanmış düğüm özelliklerini yeni bir anlamsal uzaya yansıtarak grafik katmanının yapısal tutarlılığı sıradan mekansal yakınlıktan ayırt etmesini sağladı. Doğrusal olmayan aktivasyon, özellik toplama sonrası aynı düzlemsel ve düzlemsel olmayan bölgeler arasındaki yanıt farkını korudu.

Anlamsal segmentasyon özellikleri grafik akıl yürütmesinden sonra çözüldü. Kod çözücü, üç bilinear interpolasyon upsampling aşaması ve katmanlar arası atlama bağlantı füzyon işlemleriyle inşa edilmiştir. Sığ uzamsal kodlayıcı özellikleri, kanal bazında füzyon yoluyla yüksek seviyeli anlamsal kodlayıcı özellikleriyle birleştirildi. Özellik çözünürlüğü orijinal görüntü boyutuna geri getirildi ve nihai anlamsal olasılık tahmin haritası 1 × 1 konvolüsyon katmanı üzerinden oluşturuldu.

Tam anlamsal ayrıştırma ağı, ayrılmış ağırlık-düşüş optimizatörü kullanılarak eğitildi (bkz. Materyaller Tablosu). Her iki kamuya açık kıyaslama için başlangıç öğrenme oranı 0.0001, ağırlık azalma katsayısı 0.01 ve parti büyüklüğü 8 olarak belirlendi. İlk moment bozulma oranı 0.9, ikinci moment bozulma oranı 0.999 olarak belirlendi ve sayısal stabiliteler epsilon katsayısı 1 × 10⁻8 olarak belirlendi. Doğrulama kaybı her dönemin sonunda izleniyor ve doğrulama setindeki mIoU arttığında kontrol noktaları kaydediliyordu. Ağ, 0.9 bozulma gücüne sahip polinom öğrenme hızı azalma stratejisi kullanılarak 300 etam için eğitildi. Beş bağımsız eğitim çalışması, farklı rastgele tohum başlatmaları kullanılarak gerçekleştirilerek istatistiksel olarak titiz bir değerlendirme temeli oluşturuldu. Ağ, piksel düzeyinde çapraz entropi kaybı ve yapısal tutarlılık kaybı kullanılarak ortak optimize edildi. Tüm deneyler, yüksek belleğe sahip paralel hesaplama donanımıyla donatılmış bir hesaplama platformunda gerçekleştirildi ve ayrıntılı donanım bilgileri Materyal Tablosu'nda bildirildi.

Ortak optimizasyon, sınıf olasılık tensörünün mekânsal gradyan büyüklüğünü hesaplayarak geometrik sınır hizasını zorunlu kılmıştır. Yapısal tutarlılık kaybı, mekânsal tahmin gradyanlarının normunu sürekli SDF değerleri ile çarpan düzenleyici olarak kullanıldı. Matematiksel gerekçe, anlamsal kategori değişikliklerinin gerçek mimari konturlara yakın odaklanması, SDF'nin sıfıra yaklaştığı yerlerde, düz duvar, zemin ve tavan iç mekanlarının ise düzgün anlamsal yanıtlar koruması gerektiğiydi. Büyük bir tahmin gradyanı yapısal sınırdan çok uzakta göründüğünde, mesafe alan terimi cezayı artırır ve homojen bir fiziksel düzlem içinde yanlış anlamsal geçişleri caydırır. Sıfır mesafe konturuna yakın bir tahmin gradyanı belirdiğinde, ceza sınırlı kalmış ve mimari sınırlar boyunca meşru sınıf geçişlerini korurdu. Anlamsal geçiş bölgeleri, Denklem 3'te belirtildiği gibi SDF'nin sıfır mesafe konturlarıyla hizalanmak üzere kısıtlanmıştır.

Denklem 3: figure-protocol-5

burada Ltoplam , nihai optimizasyon hedef fonksiyonunu, Lce piksel düzeyinde çapraz entropi kaybını, Lscl yapısal tutarlılık ceza kaybını, α ise yapısal kayıp ağırlık katsayısını gösterir. Çapraz entropi terimi, annotasyon maskeleri aracılığıyla piksel düzeyinde anlamsal denetim sağlarken, yapısal tutarlılık terimi mimari öncelikler kullanılarak geometrik düzenleme uygulardı. Ağırlık katsayısı, dengeli kategori tanıma ve sınır hizasını α, optimizasyonun yerel etiket doğruluğunun veya katı yapısal konturların aşırı uyumunu önler. Bu ortak hedef, görsel anlamsallığı, fiziksel sınır tutarlılığını ve eğitilebilir ağ parametrelerini birleşik bir optimizasyon hedefi içinde birbirine bağladı.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

Deneysel Kurulum

Bu çalışma, performansı değerlendirmek ve modeli ayarlamak için iki standart iç mekan sahne ayrıştırma veri seti kullandı: büyük ölçekli bir kapalı mekan 3D veri seti ve bir RGB-D iç mekan sahne veri seti. Büyük ölçekli kapalı 3D veri seti, gerçekçi şekilde taranmış, karmaşık fiziksel uzay sahneleri ve yüksek çözünürlüklü RGB görünümler içeriyor; yüksek hassasiyetli, piksel piksel 3D nokta bulutu anlamsal etiketleri ve 2B uzay...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

Bu makalenin algoritması, kaydırılmış pencere hiyerarşik transformatör kodlayıcısı tarafından yakalanan hiyerarşik görsel özellikleri, hat segmenti algılamayla oluşturulan Manhattan 3D sınırlayıcı kutusunun önceki derinliğiyle sıkı bir şekilde birleştirerek karmaşık iç mekan sahnelerinin yüksek hassasiyetli anlamsal yeniden inşaflanmasını sağlar. Yapı yönlendirilen çapraz dikkat mekanizması, görsel sinyalin SDF tarafından kalibre edilen gerçek geometrik sınırla hizalanmasını sağlar ve bö...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

Yazarlar, finansal çıkar çatışmaları olmadığını belirtir.

Teşekkürler

Fonlama: Shaanxi'nin Ana Araştırma ve Geliştirme Programı (Program No. 2024CY2-GJHX-76).

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
AdamW optimizerPyTorch Contributorshttps://pytorch.org/
CCANetZihao Z. et al.https://doi.org/10.1109/TCDS.2024.3455356
CMPFFNetZhou W. et al.https://doi.org/10.1109/TASE.2023.3332021
ConvNeXtMeta AI Researchhttps://github.com/facebookresearch/ConvNeXt
InternImageOpenGVLabhttps://github.com/OpenGVLab/InternImage
Mask2FormerMeta AI Researchhttps://github.com/facebookresearch/Mask2Former
MaskDINOIDEA-Researchhttps://github.com/IDEA-Research/MaskDINO
NYUv2http://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html
OneFormerSHI Labshttps://github.com/SHI-Labs/OneFormer
RANSAC algorithmscikit-learn developershttps://scikit-learn.org/
ScanNet V2http://www.scan-net.org/
SegFormerNVIDIAhttps://github.com/NVlabs/SegFormer
SGCA_GCNAuthors of this studyProposed method (N/A)
Softmax functionPyTorch Contributorshttps://pytorch.org/
Swin TransformerMicrosoft Researchhttps://github.com/microsoft/Swin-Transformer

Kaynaklar

  1. Zhang Z et al. CCANet: cross-modality comprehensive feature aggregation network for indoor scene semantic segmentation. IEEE Trans Cogn Dev Syst. 2024;17:366–378.
  2. Cui Y et al. Improving the segmentation of confusable indoor structures using point convolution and sparse vector attention. Geospat Inf Sci. 2025:1–22.
  3. Yang L, Cai H. Cost-efficient image semantic segmentation for indoor scene understanding using weakly supervised learning and BIM. J Comput Civ Eng. 2023;37:04022062–04022082.
  4. Uckan T, Aslan C, Hark C. A comprehensive hybrid approach for indoor scene recognition combining CNNs and text-based features. Sensors. 2025;25(17):5350. doi:10.3390/s25175350.
  5. Sun R et al. Training indoor and scene-specific semantic segmentation models to assist blind and low-vision users in activities of daily living. IEEE Open J Eng Med Biol. 2025;6:533–539.
  6. Ye S, Hu Y, Lin M. Indoor scene reconstruction with fine-grained details using hybrid representation and normal prior enhancement. IEEE Trans Vis Comput Graph. 2024;31:5275–5287.
  7. Naseer A et al. Multimodal scene recognition using semantic segmentation and deep learning integration. PeerJ Comput Sci. 2025;11. doi:10.7717/peerj-cs.2858.
  8. Bae JH, Yu GH, Lee JH. Superpixel image classification with graph convolutional neural networks based on learnable positional embedding. Appl Sci. 2022;12:9176–9190.
  9. Zhang H, Zou J, Zhang L. EMS-GCN: an end-to-end mixhop superpixel-based graph convolutional network for hyperspectral image classification. IEEE Trans Geosci Remote Sens. 2022;60:1–16.
  10. Mu Y, Ou L, Chen W. Superpixel-based graph convolutional network for UAV forest fire image segmentation. Drones. 2024;8:142–158.
  11. Khatun Z, Jonsson H Jr, Tsirilaki M. Beyond pixel: superpixel-based MRI segmentation through traditional machine learning and graph convolutional network. Comput Methods Programs Biomed. 2024;256:108398–108412.
  12. Yongyin L, Caixia Y. Cross-attention swin transformer for detailed segmentation of ancient architectural color patterns. Front Neurorobot. 2024;18:1513488–1513508.
  13. Zhou X, Zhou L, Gong S. Swin transformer embedding dual stream for semantic segmentation of remote sensing imagery. IEEE J Sel Top Appl Earth Obs Remote Sens. 2023;17:175–189.
  14. Ning X, Jiang L, Li W. Swin-MGNet: swin transformer-based multiview grouping network for 3D object recognition. IEEE Trans Artif Intell. 2024;6:747–758.
  15. Ke A, Luo J, Cai B. UNet-like network fused swin transformer and CNN for semantic image synthesis. Sci Rep. 2024;14:16761–16779.
  16. Li Y et al. IED-GCN: an internal and external decoupled graph convolutional network for landslide susceptibility assessment. IEEE Trans Geosci Remote Sens. 2025;63:1–17.
  17. He T, Chen J. DC-GCN: a lightweight graph convolutional network integrating local and global context for semantic segmentation. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:28283–28299. doi:10.1109/JSTARS.2025.3626006.
  18. Imani M. Superpixel-based graph convolutional neural network for polarimetric synthetic aperture radar image classification. Sci Rep. 2026;16:4736. doi:10.1038/s41598-025-34965-6.
  19. Wang S, Feng S, Wang Z. Structural prior-guided and feature-enhanced transformer with masked image modeling pretraining for retinal layers and fluid segmentation in macular edema OCT images. Biomed Opt Express. 2025;16:5096–5117.
  20. Yuan Z et al. Structure-aware progressive multimodal fusion network for RGB-T crack segmentation. J Imaging. 2025;11(11):384. doi:10.3390/jimaging11110384.
  21. Xu S, Shen R, Liu E. A structure-prior-guided adaptive context selection network for remote sensing semantic segmentation. Electron Lett. 2025;61. doi:10.1049/ell2.70161.
  22. Minaee S, Boykov Y, Porikli F. Image segmentation using deep learning: a survey. IEEE Trans Pattern Anal Mach Intell. 2021;44:3523–3542.
  23. Zhou E, Murray AT, Baik J. Mapping 3D classroom seats based on partial object point cloud completion. Cartogr Geogr Inf Sci. 2024;51:404–420.
  24. Nishi T, Kawasaki S, Iewaki K. M3R-CNN: on effective multimodal fusion of RGB and depth cues for instance segmentation in bin picking. Adv Robot. 2023;37:1143–1157.
  25. Zhou W, Xiao Y, Yan W. CMPFFNet: cross-modal and progressive feature fusion network for RGB-D indoor scene semantic segmentation. IEEE Trans Autom Sci Eng. 2023;21:5523–5533.
  26. Zhou W, Xiao Y, Liu Y. FIMKD: feature implicit mapping knowledge distillation for RGB-D indoor scene semantic segmentation. IEEE Trans Artif Intell. 2024;5:6488–6499.
  27. Liu J, Jiang Z, Xu X. Multi-robot collaborative complex indoor scene segmentation via multiplex interactive learning. CAAI Trans Intell Technol. 2025;10:1646–1660.
  28. Zhang S, Xie M. MIPANet: optimizing RGB-D semantic segmentation through multimodal interaction and pooling attention. Front Phys. 2024;12:1411559–1411572.
  29. Li JW et al. Construction of a multiscale feature fusion model for indoor scene recognition and semantic segmentation. Sci Rep. 2025;15:14701. doi:10.1038/s41598-025-95465-1.
  30. Liang X et al. Indoor building structure segmentation in unorganized point clouds based on corner feature. Eng Constr Archit Manag. 2025. doi:10.1108/ECAM-10-2024-1433.
  31. Wu LF, Wei D, Xu CA. CFANet: the cross-modal fusion attention network for indoor RGB-D semantic segmentation. J Imaging. 2025;11(6):177. doi:10.3390/jimaging11060177.
  32. Fan L, Zhou Y, Liu H. Combining swin transformer with UNet for remote sensing image semantic segmentation. IEEE Trans Geosci Remote Sens. 2023;61:1–11.
  33. Wang Z, Liao Z, Zhou B. SwinURNet: hybrid transformer-CNN architecture for real-time unstructured road segmentation. IEEE Trans Instrum Meas. 2024;73:1–16.
  34. Zhang H et al. Frequency-domain-guided swin transformer and global-local feature integration for remote sensing images semantic segmentation. IEEE Trans Geosci Remote Sens. 2025;63:5612611. doi:10.1109/TGRS.2025.3535724.
  35. Li GY, Chen J, Jang SI. SwinCross: cross-modal swin transformer for head and neck tumor segmentation in PET-CT images. Med Phys. 2024;51:2096–2107.
  36. Tang Y, Hu X, Ke T. Semantic segmentation of high-resolution remote sensing imagery via an end-to-end graph attention network with superpixel embedding. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:7236–7252.
  37. Wang R, Nie Y, Geng J. Multiscale superpixel-guided weighted graph convolutional network for polarimetric SAR image classification. IEEE J Sel Top Appl Earth Obs Remote Sens. 2024;17:3727–3741.
  38. Li S, Wu K, Liu H. Hyperspectral image classification based on multiscale feature search graph convolutional network with meta pseudo-labels. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:23485–23504.
  39. Yang B, Cheng X, Guo J. Temporal information-enhanced graph convolutional network with superpixel-pixel gated knowledge dynamic selection for change detection in satellite time series. IEEE J Sel Top Appl Earth Obs Remote Sens. 2024;17:18399–18412.
  40. Zhang H, Ku J, Zhao J. Multi-scale graph wavelet convolutional network for hyperspectral image classification. Front Remote Sens. 2025;6:1637820. doi:10.3389/frsen.2025.1637820.
  41. Zhou Q, Wang L, Gao G. Boundary-guided lightweight semantic segmentation with multiscale semantic context. IEEE Trans Multimedia. 2024;26:7887–7900.
  42. Xu X, Yen GG, Zhao C. Boundary-based active domain adaptation for semantic segmentation under adverse conditions. IEEE Trans Neural Netw Learn Syst. 2025;36:14721–14734.
  43. Tang Y, Feng S, Zhao C. A semantic change detection network based on boundary detection and task interaction for high-resolution remote sensing images. IEEE Trans Neural Netw Learn Syst. 2025;36:17184–17198.
  44. Guan L, Yuan X. Dynamic weighting and boundary-aware active domain adaptation for semantic segmentation in autonomous driving environment. IEEE Trans Intell Transp Syst. 2024;25:18461–18471.
  45. Fenglei W, Xin G, Zongze Z. A boundary-enhanced semantic segmentation model for buildings. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:5733–5748.
  46. Shan K, Tan L, Li Y, Jia T. Multi-scale boundary-aware network for remote sensing image semantic segmentation. Sci Rep. 2026;16:3797. doi:10.1038/s41598-025-33943-2.
  47. Wu D, Guo Z, Li A. Conditional boundary loss for semantic segmentation. IEEE Trans Image Process. 2023;32:3717–3731.
  48. Li Y, Zhang C, Wang H. Boundaries matter: a novel multibranch semisupervised semantic segmentation method. IEEE Intell Syst. 2024;40:35–44.
  49. Wang JQ, Chen T, Zheng L. A multiscale remote sensing semantic segmentation model with boundary enhancement based on UNetFormer. Sci Rep. 2025;15:14737. doi:10.1038/s41598-025-99663-9.
  50. Jung H, Choi HS, Kang M. Boundary enhancement semantic segmentation for building extraction from remote sensed image. IEEE Trans Geosci Remote Sens. 2021;60:1–12.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Daha fazla makale keşfet

Bina Yapı ÖncelikleriHiyerarşik TransformerDoğru Parçası TespitiManhattan 3D Sınırlayıcı Kutuİşaretli Mesafe AlanıÇapraz Dikkat MekanizmasıGraf Evrişimli AğYapısal Tutarlılık Kaybı
Bize Ulaşın
Kütüphaneye Öner

Gizlilik

Kullanım Koşulları

Politikalar

Telif Hakkı © 2026 MyJoVE Corporation. Tüm hakları saklıdır.