Bina yapısı hakkında önceden bilgiye dayanan iç mekan sahne görüntüleri için anlamsal ayrıştırma yöntemi

Özet

Bu çalışma, kaydırılmış pencere hiyerarşik transformatör kodlayıcısı tarafından yakalanan hiyerarşik görsel özellikleri, çizgi-segment algılama ile oluşturulan Manhattan 3D sınırlayıcı kutusunun önceki derinliği ile sıkı bir şekilde birleştiren bir algoritma öneriyor; böylece karmaşık iç mekan sahnelerinin yüksek hassasiyetli anlamsal yeniden inşaflanması sağlanıyor.

Özet

Karmaşık iç mekan sahnelerinde mobilya tıkanmasının neden olduğu anlamsal tahmin kesintilerini ve fiziksel sınır bozulmalarını ele almak için, bu makale bina yapı önceliklerini kullanan anlamsal ayrıştırma yöntemi önermektedir. Şema, çok ölçekli görsel özellikleri çıkarmak için kaydırılmış pencere hiyerarşik transformatör kodlayıcısı kullanır ve gradyan yönü tutarlılığına sahip çizgi segmenti algılama algoritmasını birleştirerek Manhattan 3D sınırlayıcı kutusu oluşturur. Bu sınırlayıcı kutu, ayrık geometrik konturlar sürekli fiziksel potansiyel alanına kodlanmadan önce işaretli mesafe alanına (SDF) dönüştürülür. Yapı yönlendirilmeli çapraz dikkat mekanizması, görsel sinyalleri gerçek 3B ortogonal geometrik sınırlarla hizalamaya zorlar ve kapatılmış alanlarda özellik sürekliliğini geri getirir. Süper piksel düğümlerinden oluşturulan bir uzamsal bitişik graf, özellikleri birleştirmek için bir Grafik Konvolüsyon Ağı (GCN) yönlendirerek fiziksel yük taşıyıcı düzlemde makroskobik anlamsal tutarlılığı sağlar. Piksel düzeyinde çapraz entropi kaybı ile özel tasarlanmış yapısal tutarlılık kaybının birleşimi, sınır dışı tahminleri cezalandırarak kısıtlamaları güçlendirir. Birden fazla bağımsız çalışma üzerinde yapılan deneyler, birleşim üzerindeki ortalama kesişimin (mIoU) %68,7'ye ulaştığını ve %0,2 standart sapma ile %68,7'ye ulaştığını, yapısal sınır F1 puanının %0,3 standart sapma ile %76,4'e ulaştığını göstererek önerilen modüllerin sağlam performansını doğrulamaktadır. Tek bir görüntü düğümü boyutu 256 olduğundan, ortalama çıkarım süresi 61 ms olarak kaldı.

Giriş

Kapalı mekan sahne görüntüsü anlamsal analizi, üç boyutlu mekânsal biliş ve akıllı mekânsal akıl yürütme^{görevlerinde temel bir konumu ele alır 1,2}. Gerçek fiziksel ortamlarda görsel özelliklerin çıkarılması genellikle karmaşık mekansal yerleşimler nedeniyle ciddi şekilde^{engellenmektedir 3}. Bina temel yapısının anlamsal süreksizlik ve fiziksel sınır bozulmasının çözümü, büyük ölçekli mobilya tıkanması nedeniyle bina temel yapısının temeli yapısı mekânsal biliş araştırması için önemlidir ^4,5. Dağı....

Protokol

Kapalı RGB sahne veri setleri ve bunların anlamsal açıklamaları, ağ eğitiminden önce hazırlanmıştır. Büyük ölçekli kapalı 3D veri seti ve RGB-D iç mekan sahne veri seti (bkz. Materyal Tablosu) resmi depolarından elde edilmiştir. Mobilya kapanması, aydınlatma varyasyonu, duvar sınırı kesintisi ve karmaşık mekansal düzenleri içeren iç mekan alma sahneleri, hedef ayrıştırma senaryosuna uyacak şekilde korundu. Anlamsal etiketler indeksli tek kanallı PNG annotasyon maskelerine dönüştürüldü ve tüm RGB görüntüler ile anlamsal maskeler 512 × 512 piksel boyutuna dönüştürüldü. Eğitim sırasında çevrimiçi veri artırma uygulandı; ....

Sonuçlar

Deneysel Kurulum

Bu çalışma, performansı değerlendirmek ve modeli ayarlamak için iki standart iç mekan sahne ayrıştırma veri seti kullandı: büyük ölçekli bir kapalı mekan 3D veri seti ve bir RGB-D iç mekan sahne veri seti. Büyük ölçekli kapalı 3D veri seti, gerçekçi şekilde taranmış, karmaşık fiziksel uzay sahneleri ve yüksek çözünürlüklü RGB görünümler içeriyor; yüksek hassasiyetli, piksel piksel 3D nokta bulutu anlamsal etiketleri ve 2B uzay.......

Tartışma

Bu makalenin algoritması, kaydırılmış pencere hiyerarşik transformatör kodlayıcısı tarafından yakalanan hiyerarşik görsel özellikleri, hat segmenti algılamayla oluşturulan Manhattan 3D sınırlayıcı kutusunun önceki derinliğiyle sıkı bir şekilde birleştirerek karmaşık iç mekan sahnelerinin yüksek hassasiyetli anlamsal yeniden inşaflanmasını sağlar. Yapı yönlendirilen çapraz dikkat mekanizması, görsel sinyalin SDF tarafından kalibre edilen gerçek geometrik sınırla hizalanmasını sağlar ve bö.......

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
AdamW optimizer	PyTorch Contributors	https://pytorch.org/
CCANet	Zihao Z. et al.	https://doi.org/10.1109/TCDS.2024.3455356
CMPFFNet	Zhou W. et al.	https://doi.org/10.1109/TASE.2023.3332021
ConvNeXt	Meta AI Research	https://github.com/facebookresearch/ConvNeXt
InternImage	OpenGVLab	https://github.com/OpenGVLab/InternImage
Mask2Former	Meta AI Research	https://github.com/facebookresearch/Mask2Former
MaskDINO	IDEA-Research	https://github.com/IDEA-Research/MaskDINO
NYUv2		http://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html
OneFormer	SHI Labs	https://github.com/SHI-Labs/OneFormer
RANSAC algorithm	scikit-learn developers	https://scikit-learn.org/
ScanNet V2		http://www.scan-net.org/
SegFormer	NVIDIA	https://github.com/NVlabs/SegFormer
SGCA_GCN	Authors of this study	Proposed method (N/A)
Softmax function	PyTorch Contributors	https://pytorch.org/
Swin Transformer	Microsoft Research	https://github.com/microsoft/Swin-Transformer