مقالة بحثية

طريقة تحليل دلالي لصور المشاهد الداخلية بناء على معرفة سابقة بهيكل المباني

29 مشاهدات

⸱

DOI:

10.3791/72054

⸱

أغسطس 11, 2026

 ,  , 
1Shaanxi Modern Architectural Design & Research Institute Co.,Ltd., 2Third Dimension (Henan) Software Technology Co.,Ltd., 3Henan University of Economics and Law

في هذه المقالة

ملخص

تقترح هذه الدراسة خوارزمية تربط بشكل وثيق بين الميزات البصرية الهرمية التي يلتقطها مشفر محول هرمي نافذة متغيرة مع عمق صندوق حدود مانهاتن ثلاثي الأبعاد السابق الناتج عن اكتشاف مقاطع الخط، مما يحقق إعادة بناء دلالية عالية الدقة لمشاهد داخلية معقدة.

الملخص

لمعالجة انقطاعات التنبؤ الدلالي وتشوهات الحدود الفيزيائية الناتجة عن انسداد الأثاث في المشاهد الداخلية المعقدة، تقترح هذه الورقة طريقة تحليل دلالي تستفيد من المبادئ السابقة لبناء المباني. يستخدم النظام مشفر محول هرمي نافذة متغيرة لاستخراج ميزات بصرية متعددة المقاييس ويجمع بين خوارزمية كشف مقاطع الخط ذات الاتجاه والتدرج لبناء صندوق حدود ثلاثي الأبعاد في مانهاتن. يتحول هذا الصندوق الإحادي إلى حقل مسافة موقعة (SDF) قبل ترميز الخطوط الهندسية المنفصلة إلى حقل جهد فيزيائي مستمر. آلية الانتباه المتقاطع الموجهة بالبنية تجبر الإشارات البصرية على المحاذاة مع الحدود الهندسية المتعامدة ثلاثية الأبعاد الحقيقية، مما يعيد استمرارية الميزات في المناطق المحجوبة. يقوم رسم بياني للمجاورة المكانية المنشأ من عقد البكسل الفائقة بدفع شبكة الالتفاف الرسم البياني (GCN) لتجميع الميزات، مما يضمن اتساقا دلاليا كبيرا داخل المستوى الحامل للحمل الفيزيائي. مزيج من فقدان الإنتروبيا المتقاطع على مستوى البكسل وفقدان الاتساق الهيكلي المصمم خصيصا يعزز القيود، مما يعاقب التنبؤات خارج الحدود. تظهر التجارب عبر عدة جولات مستقلة أن متوسط التقاطع فوق الاتحاد (mIoU) يصل إلى 68.7٪ مع انحراف معياري 0.2٪، ودرجة F1 للحدود الهيكلية تصل إلى 76.4٪ مع انحراف معياري 0.3٪، مما يؤكد الأداء المتين للوحدات المقترحة. مع حجم عقدة صورة واحدة يبلغ 256، ظل متوسط زمن الاستدلال عند 61 مللي ثانية.

المقدمة

يحتل تحليل الصور الدلالية للمشهد الداخلي مكانة أساسية في الإدراك المكاني ثلاثي الأبعاد ومهام التفكير المكاني الذكي 1,2. غالبا ما يعيق استخراج الميزات البصرية في البيئات الفيزيائية الحقيقية بشكل كبير بسبب التخطيط المكاني المعقد3. حل الانقطاع الدلالي وتشوه الحدود الفيزيائية في هيكل أساس المبنى الناتج عن انسداد الأثاث واسع النطاق أمر مهم لأبحاث الإدراك المكاني4،5. إزالة التداخل من الأجسام المزدحمة بدقة واستعادة الاستمرارية الفيزيائية لنفس الجدار والأرضية سيحدد مباشرة دقة إعادة بناء المشهد ثلاثي الأبعاد وتحليل المنطق المكاني العالمي6. يتم توضيح الانقطاع الدلالي الناتج عن انسداد الأثاث واسع النطاق وتأثير الإصلاح الهيكلي لتوجيهات البناء المقترحة في الشكل 1، حيث يتم مقارنة المدخل المحجوز الأحمر والأخضر والأزرق (RGB) في الجدول 1A، وتشوه القناع الأساسي في الشكل 1B، ونتيجة إصلاح الهيكل السابق في الشكل 1C تحت نفس حالة المشهد الداخلي.

لتلبية متطلبات الدقة في التفكير المنطقي المكاني، تواجه الشبكات البصرية القائمة بالبكسل الحالية العديد من العقبات عند التعامل مع البيئات الداخلية المعقدة7،8. غالبا ما تمتلئ المساحات الداخلية بالأثاث الكثيف والأثاث المزدحم، مما يؤدي إلى فقدان كبير لإشارات الحدود البصرية المنخفضة المستوى في الصور9. تعتمد آليات استخراج الميزات التقليدية بشكل مفرط على استجابات لونية وملمس ثنائية الأبعاد محلية، مع افتقارها إلى فهم ماكروسكوب للقوانين المتعامدة الصلبة للهياكل ثلاثية الأبعاد المصنوعة يدويا10. هذا القيد في المجال الاستقبالي المحلي يجعل انتشار الميزات يتوقف بسهولة، مما يصعب توسيع الطوبولوجيا العالمية عبر الإخفاء11. حاليا، هناك حاجة ملحة لحل المشكلة الأساسية المتمثلة في الانقطاعات الدلالية في التنبؤ والتشويهات الشديدة للحدود الفيزيائية الناتجة عن الانسداد والتداخل12.

لمعالجة الأعطال الهيكلية في أساسات المباني الناتجة عن الانسداد والتداخل، طور المجتمع الأكاديمي مجموعة متنوعة من تدابير التدخل المستهدفة13. تعوض شبكات تجميع الميزات متعددة الوسائط بفعالية عن النواقص الكامنة في نمط بصري واحد في الإدراك المكاني من خلال إدخال خرائط عمق أو نصوص مسبقة للمساعدة في صور الأحمر-الأخضر-الأزرق (RGB)14,15. تضخ أطر إدراك الحدود واختيار السياق التكيفي استراتيجيات تعزيز الشكل الفيزيائي في مرحلة فك ترميز الميزات، مما يحسن بشكل كبير ملاءمة الحواف لنتائج التنبؤ في المشاهد المعقدة16,17. تحسن نماذج الاستدلال المبنية على شبكات GCN وآليات تفاعل الميزات بشكل كبير سلاسة الميزات والاتساق الدلالي الكبير في المناطق المتجانسة من خلال بناء الاتصالات على مستوى العقد18,19. دمج السابقات الهيكلية الصريحة لمانهاتن في خط أنابيب استخراج الميزات البصري يفرض حدود الاتساق الهندسي، مما يعالج تحديات انقطاع الميزات الناتجة عن انسداد الأجسام الأمامية الواسع20.

لمعالجة التحدي الأساسي المتمثل في أخطاء التنبؤ الدلالي والتشوهات الشديدة في الحدود الفيزيائية المرتبطة بالبنية التحتية للمباني، تم اقتراح إطار تحليل دلالي قائم على آلية اقتران مغلقة الحلقة تدمج السوابق المعمارية. يتجاوز هذا الإطار خطوط الهندسة الساذجة من خلال إنشاء محاذاة خرائط ثنائية الاتجاه بين الحقول الهندسية المستمرة ومتشعبات الميزات البصرية المنفصلة، مكونة تآزرا غير بسيط يصحح أخطاء الانسداد من خلال القوانين الهيكلية. يعتمد هذا النظام على شبكة عمود فقري بصري متعددة المقاييس وخوارزمية كشف مقاطع الخط تعتمد على تقدير نقطة الاختفاء للحصول على ميزات المظهر المحلية ونماذج الحواف المتعامدة التي تمثل صندوق حدود مانهاتن ثلاثي الأبعاد بشكل متوازي، ثم تحويلها إلى SDF. تستخدم الخوارزمية آلية الانتباه المتقاطع الموجهة بالهيكل، حيث تستخدم الميزات البصرية كمتجهات استعلام وتعامل ميزات SDF كمفاتيح وقيم لحسابات الضرب النقطي، مما يجبر الإشارة البصرية على المحاذاة مع الحدود الهندسية ثلاثية الأبعاد الحقيقية في فضاء الميزات. يتم تغذية رسم بياني للجوار المكاني مبني من عقد السوبربكسل وميزات الحواف ذات المستوى المكاني إلى شبكة GCN لأداء تجميع الميزات عبر العقد وتمرير الرسائل. تستخدم عملية تحسين المعلمات من الطرف إلى الطرف بشكل مشترك الإنتروبيا المتقاطع على مستوى البكسل ودالة فقدان الاتساق الهيكلي المخصصة، التي تقيد وتعاقب بشكل صارم البكسلات المتوقعة التي تعبر حدود البناء السابق. يتم تلخيص خط أنابيب التحليل الدلالي الكامل في الشكل 2، الذي يربط إدخال صورة RGB، والاستخراج الهندسي المسبق، ومحاذاة الانتباه المتقاطع، واستدلال الرسوم البيانية الفائقة، وفك ترميز القناع الدلالي ضمن بنية موحدة.

اعتمدت شبكات تحليل المشاهد المبكرة على العمليات الالتفافية لالتقاط نسيج المظهر المحلي، ولكن بسبب القيود في الحقول المستقبلية المحلية، أظهرت تماسكا دلاليا غير كاف للأهداف واسعة النطاق21،22. وقد طبقت دراسات سابقة وحدة الانتباه الذاتي في بنية المحول البصري لاستخراج المعلومات السياقية العالمية وبناء ميزات ارتباط البكسل لمسافات طويلة23,24. تستخرج استراتيجيات تجميع الميزات متعددة الوسائط متعددة الأبعاد للميزات الهندسية المكانية ثلاثية الأبعاد للمشهد من خلال دمج سحب نقاط خرائط العمق ومدخلات أوامر نصية 25,26. آليات الانتباه الهجينة لاستهداف الاندماج للميزات الخاصة بالنضج تدريجيا. من خلال بناء جسور تفاعل الميزات، قللت بشكل كبير من فقدان الطاقة وتقليل الخصائص في النقل متعدد المقاييس للإشارات البصرية وحسنت متانة تحليل الهياكل المعقدة. تدمج تصاميم المشفرة المتطورة بشكل مشترك وتستنتج تفاصيل المجالات عالية التردد إلى جانب الميزات العالمية والمحلية، مما يعزز قدرة الشبكة على التمييز بين الفئات الدلالية الدقيقة ذات التشابه العالي ويحسن دقة التحليل الداخلي27,28. توفر التطورات الحديثة في هياكل التقسيم الدلالي مراجع قيمة لتحسين الكفاءة الحسابية والإدراك المكاني. تستخرج النماذج المصممة للتنبؤ الكثيف والتجميع السياقي متعدد المقاييس ميزات هندسية دقيقة من خلفيات معقدة. تعالج استراتيجيات فصل الميزات والاندماج التآزري الغموض الدلالي في مناطق الحدود. آليات الانتباه الخفيفة الوزن ووحدات التجميع المبوابة تحسن توزيع المعاملات، مما يسرع الاستدلال مع الحفاظ على التفاصيل الهيكلية المحلية. يوفر تنفيذ هذه التصاميم المعمارية الفعالة إرشادات نظرية لتقليل العبء الحاسوبي لعمليات الاستدلال الطوبولوجي غير الإقليدية في تحليل المشاهد الداخلية.

تستخدم سابقات هيكل المبنى وتقدير تخطيط ثلاثي الأبعاد لتصحيح أخطاء التحليل البصري المحلي29. استخرجت الدراسات السابقة من الميزات الهندسية المتعامدة والمتوازية للمباني الداخلية كقيود استنتاجية لتقليل تحيز التنبؤ بالشبكة الناتج عن الخلفيات الداخلية المزدحمة30,31. تستخدم الخطط الحالية خوارزميات كشف مقاطع الخط وتقنيات تحليل نقاط استئصال الصور لإنشاء صناديق حدود ثلاثية الأبعاد في مانهاتن لرسم خريطة الحدود الفيزيائية للغرف والمساعدة في تحديد المواقع البصرية الأساسية32. تدمج البنية المشتركة لوحدة الوعي بالحدود والسياق متعدد المقاييس معلومات هيكلية سابقة ضمنيا في عملية فك ترميز الميزات عالية الأبعاد، مما يجبر الشبكة على إخراج أقنعة دلالية تتطابق بشكل وثيق مع الخطوط الفيزيائية الحقيقية، مما يحسن بشكل فعال تعرج وضبابية حواف الأجسام33. تم استكشاف تصاميم دوال فقدان شبه خاضعة أو ضعيفة الإشراف مع خصائص تعزيز الحدود على نطاق واسع. بالاعتماد على صيغ رياضية صارمة لمعاقبة سلوك تصنيف البكسلات المستقل الذي ينتهك القواعد الطوبولوجية المكانية، يتم ضمان سلاسة الهندسة والسلامة الهيكلية لنتيجة التقسيم النهائية من مصدر تحسين التدرج34.

استخدمت بعض الدراسات شبكات عصبية بيانية لإجراء تجميع عبر المجالات للميزات البصرية والتفكير في العلاقات الطوبولوجية في الفضاء عالي الأبعاد35. تقوم خوارزمية تقسيم البكسل الفائق بتجميع كتل البكسل المجاورة التي لها استجابة لونية وميزات نسيج متشابهة مسبقا في عقد متصلة مستقلة. تقوم خوارزمية تقسيم البكسل الفائق بضغط التكرار الحسابي لبنية الرسم البياني على مستوى الصورة وتحافظ على الطوبولوجيا الهندسية الأساسية للصورة36. تم بناء GCN على متجه الميزة عالية الأبعاد للعقدة، ومصفوفة المجاور التي تمثل القرب المكاني تدفع النقل الاتجاهي الفعال والدمج التفاعلي للمعلومات البصرية متعددة المقاييس على طول الرسم البياني الفيزيائي المتصل في المجالالمكاني 37,38. تطبيق وحدة تعزيز المعلومات الزمنية وآلية الاتصال الهجينة متعددة المقاييس يقمع التليين المفرط والتجانس لميزات العقدة الناتجة عن عملية تمرير الرسائل العميقة متعددة الطبقات39. تقنية تحويل مويجات الرسوم البيانية متعددة المقاييس، واستراتيجية تحسين تعلم العناصر الزائفة التسميمية، تحسن آلية ضوضاء الخلفية لصيغة تحديث ميزات العقدة، بحيث تحافظ الميزات ذات السمات الدلالية نفسها على وضع استجابة تعاوني في طوبولوجيا الشبكةالمعقدة 40. تقوم آلية الاستدلالية القائمة على الرسوم البيانية بتعيين شبكات البكسلات المنتظمة إلى فضاءات طوبولوجية غير إقليدية لإجراء حسابات تجميع الميزات للهياكل المباني غير المنتظمة والمكونات الداخلية41.

البروتوكول

تم إعداد مجموعات بيانات مشاهد RGB الداخلية وتعليقاتها الدلالية قبل التدريب على الشبكة. تم الحصول على مجموعة البيانات ثلاثية الأبعاد الداخلية واسعة النطاق ومجموعة بيانات المشاهد الداخلية RGB-D (انظر جدول المواد) من مستودعاتها الرسمية. تم الاحتفاظ بمشاهد الاقتناء الداخلية التي تحتوي على انسداد الأثاث، وتغير الإضاءة، ومقاطعة حدود الجدران، وتخطيطات مكانية معقدة لتتناسب مع سيناريو التحليل المستهدف. تم تحويل التسميات الدلالية إلى أقنعة PNG أحادية القناة مفهرسة، وتم تغيير حجم جميع صور RGB والأقنعة الدلالية إلى 512 × 512 بكسل. تم تطبيق تعزيز البيانات عبر الإنترنت خلال التدريب، مع الانقلاب الأفقي العشوائي باحتمال 0.5، ومقياس السطوع العشوائي بين 0.8 و1.2، والدوران العشوائي بين −10° و+10° لتوسيع توزيع التخطيط الهيكلي. تم تطبيع قنوات RGB بقيم متوسطة 0.485، 0.456، و0.406 وقيم انحراف معياري 0.229، 0.224، و0.225. تبع اختبار القياس الداخلي الواسع النطاق ثلاثي الأبعاد تقسيم الإصدارات الرسمي المستخدم في هذه الدراسة، مع 1201 مشهد تدريب و312 مشهد تحقق لتطوير والتحقق من النموذج. اتبع معيار RGB-D للمشهد الداخلي بروتوكول التقييم الرسمي، حيث تم تسجيل 795 صورة تدريبية و654 صورة اختبار. لم يتم تطبيق أي تقسيم إضافي قائم على النسبة المئوية على هذين المعيارين العامين.

تم تهيئة شبكة العمود الفقري البصري للعمود الفقري للمحولات الهرمية ذات النوافذ المتغيرة (انظر جدول المواد) كعمود فقري لترميز محول النوافذ المتحركة. تم ضبط حجم تضمين التحديث على شكل 4 × 4 بكسل. تم تعيين أبعاد التضمين للمراحل الأربعة الهرمية على 128، 256، 512، و1024، وتم تعيين عدد كتل المحولات في المراحل الأربع إلى 2، 2، 18، و2. تم تعيين حجم نافذة الانتباه المحلية إلى 7 × 7، وعدد رؤوس الانتباه إلى 4 و8 و16 و32 للمراحل الهرمية الأربع. تم استخدام دوال التنشيط المستمر غير الخطية داخل جميع طبقات البيرسيبترون متعددة الطبقات. تم إجراء تقليل العينة المكانية من خلال عمليات دمج الرقع مع خطوة 2 بعد كل مرحلة هرمية. تم تلخيص بنية الشبكة الأساسية ومعلمات وحدة الاستدلال الالتفافي في الجدول 1.

ثم تم إجراء استخراج ميزات الانتباه الذاتي عبر نافذة التغيير على خرائط ميزات الإدخال. تم تقسيم كل خريطة ميزات إلى نوافذ محلية غير متداخلة بأبعاد مكانية 7 × 7. كان الاهتمام العادي بالنافذة واهتمام النافذة المنزيحة يتناوب بين كتل محولات النوافذ المزيحة المجاورة. تم تعيين مسافة التحول الدوري إلى 3 بكسل، وتم تطبيق ترميز الانحياز النسبي في كل نافذة انتباه محلية. تم تجميع الميزات البصرية المحلية عبر التركيز الذاتي متعدد الرؤوس لتوليد تمثيلات هرمية متعددة المقاييس.

تم استخراج السوابق الهيكلية في مانهاتن من صور RGB الداخلية. تم اكتشاف مقاطع الحواف الهيكلية باستخدام خوارزمية اكتشاف مقاطع الخط باتجاه التدرج. تم تجميع الاتجاهات الهيكلية السائدة من خلال خوارزمية إجماع عشوائي للعينة (RANSAC) (انظر جدول المواد) بناء على تقدير نقطة الاختفاء. تم إعادة بناء ثلاثة اتجاهات متعامدة في مانهاتن لتوليد تمثيل صندوق محيط ثلاثي الأبعاد لمانهاتن. تم تحويل الحد الهيكلي المعاد بناؤه إلى خريطة SDF عن طريق حساب الحد الأدنى للمسافة الإقليدية من كل بكسل إلى أقرب قطعة خط حدود.

تم توليد ميزات الانتباه المتقاطع الموجهة بالبنية بعد الحصول على الميزات البصرية وسابقات SDF. تم تعيين متعدد الخصائص البصرية إلى موتر الاستعلام Q من خلال مصفوفة التحويل الخطية W عنصر تحت Q من الغطاء المزدوج الضرب R إلى مصفوفة التكوين W تحت عنصر Q من الغطاء مزدوج الضرب R إلى مصفوفة figure-protocol-1التكوين. تم تعيين حقل المسافة المستمرة السابقة إلى موتر المفتاح K وموتر القيمة V عبر مصفوفات figure-protocol-2التحويل، وتم تعيين بعد النموذج إلى 512. قسم التضمين متعدد الرؤوس فضاء الإسقاط إلى 8 فضاءات فرعية مستقلة، حيث يكون بعد كل رأس 64. الإحداثيات المنفصلة للتخطيط المكاني في التخطيط المكاني السابق إلى حقل جهد مستمر وولد مصفوفة الألفة الهيكلية S كتحيز مكاني إضافي صريح لتعديل مصفوفة التشابه النقطي والضرب النقطي. تم استخدام موتر الميزة البصرية كمصدر للاستعلام لأن التحليل الدلالي يتطلب من كل موقع بصري استرجاع أدلة متسقة هيكليا بنشاط من الفضاء الهندسي السابق. تم استخدام البريور SDF كمصدر رئيسي وقيمة لأنه يخزن المسافة الحدودية المستمرة والإشارات الهيكلية الداخلية الخارجية المستمدة من تخطيط مانهاتن. كان مصطلح ضرب النقطة يقيس التوافق بين المظهر الدلالي والشكل الهندسي السابق، بينما كان المصطلح البنيوي الإضافي λS يحول أوزان الانتباه نحو البكسلات على نفس المستوى الفيزيائي أو بالقرب من نفس المنحنى المعماري. كان المعامل λ يمثل الثقة في السابقة الهيكلية المستخرجة ويتحكم في مدى دمج القيود المتعامدة الصلبة في توزيع الانتباه. قلل هذا التشكيل من انتشار الميزات عبر الحدود الناتج عن انسداد الأثاث واحتفظ بالاسترخاء التكيفي في التصاميم غير المانهاتنية. تم حساب توزيع الانتباه الموجه بالبنية وفقا للمعادلة 1.

المعادلة 1: figure-protocol-3

حيث يشير A إلى مصفوفة تجميع الانتباه الموجهة بالبنية، وQ يشير إلى موتر الاستعلام الناتج عن الميزات البصرية، وK يشير إلى موتر المفتاح الناتج من ميزات SDF السابقة، وV يشير إلى موتر القيمة الناتج عن التمثيلات السابقة البنيوية، وdk يشير إلى بعد الميزة للموتر الرئيسي، وλ يشير إلى معامل الوزن البنيوي التكيفي المستخدم لتحديد الثقة الهندسية للمناطق المحلية وتخفيف القيود المتعامدة الصلبة في الفضاء غير المانهاتني التصاميم، وS تشير إلى مصفوفة الألفة SDF. التقسيم بواسطة dk استقر مقياس لوجيت الانتباه ومنع أبعاد الميزات الكبيرة من إنتاج أوزان انتباه مفرطة التركيز. حولت الدالة الأسية المطبعة (انظر جدول المواد) درجات التشابه المعدلة إلى توزيع مكاني مطبيعي، مما يسمح لكل بكسل بتجميع المعلومات السابقة الهيكلية بناء على الاتساق الدلالي والهندسي. يفسر هذا التصميم سبب دمج المظهر البصري وحدود المعمارية في مستوى الانتباه بدلا من دمج الميزات المباشرة.

تم بناء رسم طوبولوجيا البكسل الفائق من خريطة الميزات المحازمة بالبنية المعمارية. تم تقسيم خريطة الميزات باستخدام خوارزمية توليد المناطق المكانية. تم تعيين رقم البكسل الفائق إلى 256، ومعامل الانضغاط إلى 10، ومعامل التلميع الغاوسي على 1.0، ورقم التكرار على 10. تم فرض قيود القرب المكاني بتعيين وزن مقياس المسافة بنسبة ثابتة 1.0 إلى مسافة فضاء اللون الخاص بالميزة أثناء التجميع، مما يحافظ على توليد عقد منتظم عبر حدود الفوضى الكثيفة. تم تجميع البكسلات ذات الاستجابات الدلالية المتجانسة في عقد فائقة البكسلات. تم بناء حواف الرسوم البيانية وفقا لعلاقات الاقتراب المكاني، وقوة ألفة SDF، وقيود الاتساق الهندسي المتساوي المستوى. تظهر عملية بناء مصفوفة الألفة الهيكلية والربط الطوبولوجي في الشكل 3، موضحا كيف تم تحويل توجيه SDF إلى علاقات مكانية على مستوى الرسوم البيانية.

تم تقديم صياغة الرسم البياني لتحويل الاستدلال الكثيف باتجاه البكسلات إلى التفكير المكاني حسب العقد على مناطق بنيوية متجانسة. تمثل كل عقدة فائقة البكسل منطقة محلية ذات استجابة دلالية واستمرارية مكانية متشابهة، بينما تمثل كل حافة مسارا موثوقا لنقل الميزات مع قيود المجاور، وتقارب الحقل المسافي، وقيود الاتساق مع المستويات. قلل هذا التصميم من تأثير البكسلات المزعجلة والضوضاء ومكنت المناطق المحجوبة من الجدران والأرضية والسقف من استقبال الرسائل من العقد المجاورة فعليا. لذلك، كان بناء الحواف بمثابة جسر رياضي بين التوجيه المستمر لواجهة SDF والاستدلال البياني غير الإقليدي المتقطع.

تم تكوين شبكة استدلال الالتفافية بالرسوم البيانية ثلاثية الطبقات بأبعاد ميزات مخفية تبلغ 512 و256 و128. قامت طبقة الالفاف الالتصافي للرسم البياني بتنويسة ميزات على بنية الرسم البياني بناء على العلاقات المكانية للعقد. احتفظت الحلقة الذاتية بالحالة الأصلية لكل عقدة أثناء تمرير الرسالة، مما منع محو ميزات المنطقة الهيكلية الصغيرة بواسطة المناطق الكبيرة المحيطة. قام التطبيع المتماثل بتكبير عناصر مصفوفة المجاورة بحاصل ضرب الجذور التربيعية العكسية لدرجات العقدة بحيث تساهم العقد ذات الدرجة العالية والعقد منخفضة الدرجة تحت مقاييس عددية مماثلة أثناء الانتشار. أدى الانتشار الأمامي للتغذية التجميع المكاني الموضعي، حيث امتصت كل حالة عقدة ميزات عالية الأبعاد من تجمعات متجاورة في نفس المستويين قبل تطبيق دالة التقويم غير الخطية على مستوى العنصر. جعلت هذه الصياغة طبقة الالتفاف في الرسم البياني تقارب الانتشار الدلالي على طول مستويات داخلية ذات معنى فيزيائي بدلا من التنعيم غير المقيد عبر حدود الأجسام غير المرتبطة به. تم تقييم ميزات عقد الرسم البياني وفقا للمعادلة 2.

المعادلة 2: figure-protocol-4

يتم عرض الإسقاط من ميزات بكسل كثيفة إلى عقد البكسل الفائقة، وتمرير الرسائل الالفافية عبر الرسم البياني، والإسقاط العكسي للإحداثيات في الشكل 4، موضحا مسار تجميع الميزات من شبكات الصور المنتظمة إلى طوبولوجيا غير إقليدية والعودة إلى تمثيل دلالي كثيف. الإسقاط من ميزات البكسل الكثيفة في الشكل 4A إلى عقد البكسل الفائقة في الشكل 4B، ورسالة الالتفاف الرسم البياني في الشكل 4C، والإسقاط العكسي للإحداثيات في الشكل 4D يوضح مسار تجميع الميزات من شبكات الصور العادية إلى طوبولوجيا غير إقليدية والعودة إلى تمثيل دلالي كثيف.

حيث H(l) يرمز إلى موتر ميزة العقدة لطبقة الالتفاف الرسم البياني رقم l، وÂ يشير إلى مصفوفة المجاور ذات الوصلات الذاتية، وD يشير إلى مصفوفة الدرجة المقابلة لمصفوفة الجوار، وW(l) يشير إلى مصفوفة الوزن القابلة للتعلم لطبقة الالتفاف الرسم البياني ال ثانية، ويشير σ إلى دالة تفعيل الوحدة الخطية المصححة. كان مصطلح ÂH(l) يجمع ميزات من عقد فائقة البكسل المجاورة، بينما توازن D−1/2 وD−1/2 مساهمة العقد ذات الكثافات الاتصالية المختلفة. المصفوفة القابلة للتعلم W(l) أسقطت ميزات العقدة المجمعة في فضاء دلالي جديد، مما سمح لطبقة الرسم البياني بالتمييز بين الاتساق الهيكلي والقرب المكاني العادي. حافظ التنشيط غير الخطي على الفرق في الاستجابات بين المناطق المتعوية وغير المستوية بعد تجميع الخصائص.

تم فك رموز التقسيم الدلالي بعد التفكير البياني. تم بناء جهاز فك التشفير باستخدام ثلاث مراحل استيفاء ثنائية الخطية وعمليات دمج الربط عبر الطبقات. تم دمج ميزات الترميز المكاني الضحل مع ميزات فك الترميز الدلالي عالي المستوى من خلال دمج قناة. تمت استعادة دقة الميزة إلى حجم الصورة الأصلي، وتم توليد خريطة التنبؤ الاحتمالية الدلالية النهائية عبر طبقة الالتفاف 1 × 1.

تم تدريب شبكة التحليل الدلالي الكاملة باستخدام محسن وزن منفصل (انظر جدول المواد). تم تعيين معدل التعلم الأولي إلى 0.0001، ومعامل تدهور الوزن إلى 0.01، وحجم الدفعة إلى 8 لكلا المعيارين العامين. تم تعيين معدل تحلل العزم الأول على 0.9، ومعدل تدهور العزم الثاني على 0.999، ومعامل الاستقرار العددي لإبسيلون على 1 × 10⁻8. كان فقدان التحقق يراقب في نهاية كل حقبة، وتحفظ نقاط التحقق عندما يزداد mIoU في مجموعة التحقق. تم تدريب الشبكة لمدة 300 عصر باستخدام استراتيجية تدهور معدل التعلم متعدد الحدود بقوة تراجع 0.9. تم إجراء خمس جولات تدريب مستقلة باستخدام تهيئة عشوائية مختلفة لتحديد قاعدة تقييم صارمة إحصائيا. تم تحسين الشبكة بشكل مشترك باستخدام فقدان الإنتروبيا المتقاطع على مستوى البكسل وفقدان الاتساق الهيكلي. أجريت جميع التجارب على منصة حوسبة مجهزة بأجهزة حوسبة متوازية عالية الذاكرة، وتم الإبلاغ عن معلومات الأجهزة التفصيلية في جدول المواد.

فرض التحسين المشترك محاذاة الحدود الهندسية عن طريق حساب مقدار التدرج المكاني لموتر احتمالية الفئة. تم استخدام فقدان الاتساق الهيكلي كمنظم لضرب معيار تدرجات التنبؤ المكاني في قيم SDF المستمرة. كان المنطق الرياضي أن تغييرات الفئات الدلالية يجب أن تركز بالقرب من الخطوط المعمارية الحقيقية، حيث تقترب SDF من الصفر، بينما يجب أن تحافظ الداخليات المسطحة على الجدران والأرضيات والسقف على استجابات دلالية سلسة. عندما ظهر تدرج تنبؤ كبير بعيدا عن حدود هيكلية، زاد مصطلح الحقل المسافت من العقوبة ومنع الانتقالات الدلالية الزائفة داخل مستوى فيزيائي متجانس. عندما ظهر تدرج تنبؤ بالقرب من منحنى المسافة الصفرية، ظل العقوبة محدودا وحافظ على انتقالات طبقية مشروعة على طول الحدود المعمارية. تم تقييد مناطق الانتقال الدلالي لتتوافق مع خطوط المسافة الصفرية لقاعدة SDF، كما هو موضح في المعادلة 3.

المعادلة 3: figure-protocol-5

حيثL الإجمالي يشير إلى دالة الهدف النهائية للتحسين، وLce يرمز إلى فقدان الإنتروبيا على مستوى البكسل، وLscl يشير إلى خسارة الثبات الهيكلي، ويشير α إلى معامل وزن الخسارة الهيكلية. وفر مصطلح التسلسل التقاطع إشرافا دلاليا على مستوى البكسل عبر أقنعة التعليق، بينما فرض مصطلح الاتساق الهيكلي التنظيم الهندسي باستخدام السوابق المعمارية. α معامل الوزن متوازنا في التعرف على الفئات ومحاذاة الحدود، مما يمنع التحسين من تجاوز دقة المسممات المحلية أو الخطوط الهيكلية الصلبة. ربط هذا الهدف المشترك بين الدلالات البصرية، واتساق الحدود الفيزيائية، ومعلمات الشبكة القابلة للتدريب ضمن هدف تحسين موحد.

النتائج

الإعداد التجريبي

استخدمت هذه الدراسة مجموعتين قياسيتين لتحليل المشاهد الداخلية، وهما مجموعة بيانات داخلية ثلاثية الأبعاد واسعة النطاق ومجموعة بيانات RGB-D للمشاهد الداخلية، لتقييم الأداء وضبط النموذج. تحتوي مجموعة البيانات ثلاثية الأبعاد الداخلية واسعة النطاق على مشاهد فضائية معقدة وممسوحة ضوئيا واقعيا وعروض RGB عالية الدقة، مما يوفر تسميات دلالية ثلاثية الأبعاد دقيقة بكسل ببكسل وأقنعة تقسيم مكانية ثنائية الأبعاد. تؤسس بيانات إعادة بناء شبكة الفضاء الفيزيائي الواقعية وخصائصه في المستوى المتعامد معيار مقارنة الحقيقة الهندسية لبناء صندوق حدود مانهاتن ثلاثي الأبعاد بدقة في فرع الاستخراج. تحتوي مجموعة بيانات المشاهد الداخلية RGB-D على صور عمق داخلية مخفية بالأثاث والفوضى، وتستخدم لاختبار دقة الاستدلال المنطقي العالمي للشبكة ومتانتها تجاه الإغلاق.

تستخدم الخوارزمية mIoU لقياس التداخل المكاني بين التوزيعات الدلالية المتوقعة والصحيحة، مع تقديم درجة F1 للحدود الهيكلية لتقييم دقيق التوافق بين القناع المتوقع والحواف الفيزيائية ذات المسافة الصفرية التي تم معايرتها بواسطة SDF. يتم تعيين عتبة خطأ ثابتة لمسافة البكسل في الفضاء الإقليدي أثناء الحساب لتحديد ما إذا كانت بكسلات الحواف الناتجة عن الشبكة تتقاطع مع حدود المباني الفيزيائية الحقيقية. يقيد هذا النظام المزدوج أخطاء التصنيف في الكتل الدلالية ذات المساحة الكبيرة مع تعزيز التقييم الكمي الدقيق لتأثير إعادة البناء الطوبولوجي للخطوط الصلبة. للحفاظ على الاتساق بين تكوين البيانات التجريبية وعملية التحسين، تم تلخيص مقياس مجموعة البيانات والمعلمات الفائقة الأساسية للتدريب في الجدول 2. الجدول 2 يذكر تكوين تجريبي موثوق واحد للمخطوطة المنقحة. يستخدم معيار القياس ثلاثي الأبعاد الداخلي واسع النطاق 1201 مشهد تدريب و312 مشهد تحقق، ويستخدم معيار RGB-D للمشاهد الداخلية 795 صورة تدريبية و654 صورة اختبار، وكلا المعيارين يتم تدريبهما بحجم دفعة 8، ومعدل تعلم ابتدائي 0.0001، ومعامل تدهور الوزن 0.01، و300 فترة تدريب.

المقارنة مع أحدث الطرق

قبل تقديم جدول مقارنة كمي لخوارزميات تحليل المشاهد الداخلية، يحدد هذا القسم بدقة معايير الاختبار المستخدمة في نظام التقييم متعدد الأبعاد. لعكس أداء التصنيف للنموذج عند درجات مختلفة، يكمل نظام التقييم نظام الاختبار بمقياسين إضافيين: دقة البكسل العالمية (PixelAcc) ودقة الفئة المتوسطة (MeanAcc). تبني هذه المقاييس معا نظاما مفصلا للتحقق من أداء الخوارزميات، مما يؤسس مرجعا نظريا صارما للتحليل الكمي اللاحق. لتقييم دقة التحليل الدلالي ومتانة الإغلاق للخوارزمية المقترحة في الفضاءات الفيزيائية المعقدة، أجريت اختبارات مقارنة باستخدام الخوارزميات الموجودة على مجموعة التحقق من صحة المشاهد الداخلية RGB-D. تغطي مكتبة نماذج المقارنة أطر التركيز-القناع الأساسية، ومحولات الرؤية الهرمية، وخطوط التقسيم الالفافية النقية الحديثة، وبنى التنبؤ الموحدة بكثافة الموحدة، وشبكات الانتباه عبر القنوات. تم توسيع تقييم المعيار ليشمل خط أساس تقسيم قائم على المحول، وخط أساس موحد، وخط أساس موحد، وخط أساس للكشف والتقسيم الموحد، وأساس الرؤية واسع النطاق، وخط أساس التفافي بحت، وخط أساس تقسيم قائم على القناع والانتباه، وخط أساس تجميع الميزات عبر النمط، وخط أساس دمج الميزات التدريجي (انظر جدول المواد)، باستخدام نفس مجموعة التحقق من صحة المشاهد الداخلية RGB-D، ودقة الإدخال، وجدول التدريب، وبروتوكول القياس. في البنية المقترحة، تدمج الشبكة الموجهة بالهيكل عمود فقري بصري متعدد المقاييس بنافذة متغيرة، ووحدة تركيز متقاطع موجهة بهيكل مع SDF، وشبكة GCN فائقة البكسل. تشمل المقارنة الموسعة التنبؤ الكثيف القائم على المحولات، والتنبؤ الكثيف القائم على الالتفاف، وتحليل القناع والانتباه، ودمج الميزات عبر الوسائط، ونماذج دمج الميزات التدريجي، مما يمكن من تقييم مساهمة التدخل الهندسي الصريح في الحدود ثلاثية الأبعاد ضد خطوط تحليل المشاهد الداخلية الأوسع.

يوضح الجدول 3 أداء التقييم الموضوعي لكل شبكة على المقاييس الكمية الأساسية، مع الإبلاغ عن القيم المتوسطة والانحرافات المعيارية المقابلة عبر خمس فترات مستقلة. تقيم المقارنة الأساسية الموسعة ما إذا كانت آلية التفكير الموجهة بالبنية المقترحة تساهم في تحقيق الدقة تتجاوز العمود الفقري القياسي للتنبؤ الكثيف، وشبكات التقسيم القائمة على الأقنعة، وشبكات اندماج ميزات RGB-D. تظهر البيانات التجريبية أن الخوارزمية المقترحة تحقق مكاسب مستقرة عبر جميع المقاييس الكمية الأربعة. احتفظت شبكات التنبؤ الكثيف المعتمدة على المحولات وشبكات الانتباه القناعي بقدرة قوية على نمذجة السياق العالمي، ومع ذلك بقيت قيم حدود F1 أقل في وجود الفوضى الأمامية لأن الأقنعة المتوقعة كانت تفتقر إلى قيود حدودية فيزيائية صريحة. حسنت شبكات الاندماج متعددة الوسائط والتقدمية الاستمرارية الدلالية المحلية، لكن اندماج ميزاتها لا يزال يعتمد بشكل أساسي على الاستجابات الظاهرية والعميقة بدلا من البناء البنيوي المحدد المسافة. حققت الشبكة المقترحة الموجهة بالهيكل mIoU بلغ 0.687 مع انحراف معياري 0.002 ومتوسط درجة حدود F1 0.764 مع انحراف معياري 0.003. تشير المقارنة الموسعة إلى أن مكاسب الأداء لم تكن فقط بسبب عمود فقري أكبر كثافة للتنبؤ، بل بسبب الاستخدام المشترك لتوجيه الحقل بمسافة موقعة، والانتباه المتقاطع الواعي بالبنية، والتفكير الطوبولوجي المعتمد على الرسوم البيانية.

لتحليل دقة الاستدلال المنطقي العالمي للنموذج تحت الإغلاق، حددنا واستخرجنا سيناريوهات نموذجية في مجموعة التحقق كانت محجوبة بشدة بسبب الأثاث والفوضى الأخرى، وأنتجنا تصورات لأقنعة التنبؤ على مستوى البكسل.

بعد ذلك، تم تعريف سير العمل وعملية التفكير البياني في الشكل 1، الشكل 2، الشكل 3، والشكل 4. يوضح الشكل 5 الفروق في التنبؤات الشكلية عبر النماذج تحت ظروف الانسداد القصوى. تشير المستطيلات الحمراء في خريطة شبكة المقارنة النوعية إلى مناطق الصراع الرئيسية التي يتم فيها انسداد الزوايا والأسطح الحاملة. يظهر قناع الإخراج من خط أساس تقسيم القناع القائم على الانتباه تنعيما واضحا للحواف والالتصاق بين الفئات. على الرغم من أن خط أساس تجميع الميزات عبر الوسائط وخط أساس اندماج الميزات التدريجي يدمجان بيانات متعددة الوسائط، إلا أن نتائج التنبؤ لديهم لا تزال تظهر انقطاعات هيكلية في فئات التصنيف وتشوهات حدود فيزيائية. القناع الناتج عن هذه الطريقة المقترحة يظهر تداخلا مكانيا عاليا مع تسميات الحقيقة الأرضية. النماذج الأساسية، المقيدة بمبادئ تعتمد فقط على البكسل، معرضة لفقدان حقول الاستقبال المحلية عند حجبها. تستخدم الطريقة المقترحة شبكة GCN فائقة البكسل لإجراء تمرير الرسائل في الفضاء غير الإقليدي، مما يعيد بناء الزوايا الأساسية والهياكل المكانية الخطية الموجهة بحدود هندسية ضمنية. هذا يتحقق من أداء الحل المقترح في مكافحة التداخل في حل التصاميم الداخلية المعقدة من منظور شكلي بصري.

تجربة الاستئصال

لتحليل المساهمة الفعلية لكل مكون مستقل في البنية المقترحة، أنشأت هذه الدراسة اختبار استئصال معياري موسع على مجموعة التحقق من صحة المشاهد الداخلية RGB-D. تم ضبط خط الأساس للاختبار على شبكة تصنيف تقليدية مع العمود الفقري البصري لمحول النافذة المنزوعة فقط. قاس التقييم الكمي المساهمة المستقلة للانتباه المتقاطع الموجه بالهيكل، وتحيز المجال بالمسافة الموقعة، والوزن الهيكلي التكيفي، واستدلال الرسم البياني الفائق، وبناء الحواف المتقاربة، وتطبيع الرسم البياني المتماثل، وفقدان الاتساق الهيكلي. هذا التصميم الموسع للاستئصال فصل بين المكاسب التراكمية للوحدات وتأثيرات إزالة المكونات، مما جعل حدود المساهمة في كل اختيار تصميم أوضح.

يوضح الجدول 4 والشكل 6 تطور الدقة تحت إعدادات الاستئصال التراكمية والإزالة الموسعة. تفتقر شبكة محولات النوافذ المتحركة الأساسية إلى قيود حدودية فيزيائية ثلاثية الأبعاد، مما يؤدي إلى تجميع محدود للميزات في الخلفيات المزدحمة. إضافة الانتباه المتقاطع الموجه بالهيكل زاد mIoU من 0.615 إلى 0.648 ودرجة Boundary F1 من 0.630 إلى 0.685، مما يدل على أن حقل المسافة المشار به السابق حسن المحاذاة بين الميزات البصرية والخطوط الهيكلية. إضافة استدلال الرسوم البياني فائقة البكسل وحده زادت mIoU إلى 0.641 ودرجة Boundary F1 إلى 0.676، مما يشير إلى أن التفكير الطوبولوجي حسب العقد حسن الاتساق الدلالي عبر المناطق الفيزيائية المتجانسة. إضافة فقدان الاتساق الهيكلي وحده زاد mIoU إلى 0.632 ودرجة F1 الحدودية إلى 0.662، مما يدل على أن مصطلح الخسارة كان يؤثر بشكل رئيسي على ملاءمة الحدود بدلا من التجميع السياقي الواسع.

الجمع بين الانتباه المتقاطع والاستدلال البياني زاد mIoU إلى 0.669 ودرجة Boundary F1 إلى 0.721، مما يظهر أن المحاذاة البصرية-الهيكلية وتمرير الرسائل في مجال الرسوم البيانية أنتجت تأثيرات تكميلية. بدمج الانتباه المتقاطع مع فقدان الاتساق الهيكلي، حقق mIoU بلغت 0.660 ودرجة F1 في الحدود 0.713، بينما الجمع بين الاستدلال البياني وفقدان الاتساق الهيكلي حقق mIoU بلغت 0.653 ودرجة F1 في الحدود 0.704. تشير هذه النتائج الزوجية إلى أن وحدة الانتباه المتقاطع قدمت الإشارة الرئيسية للمحاذاة الهندسية، وأن وحدة استدلال الرسوم البيانية وسعت هذه الإشارة عبر المناطق المتداخلة، وفقدان الاتساق الهيكلي حسن حدود الانتقال الدلالي أثناء التحسين.

أوضحت عملية الاستئصال القائمة على الإزالة مساهمة الخيارات التصميمية الداخلية. إزالة انحياز الحقل الإضافي للمسافة الموقعة قلل mIoU إلى 0.656 ودرجة F1 إلى 0.698، مما أكد أن مصفوفة الألفة الهيكلية كانت مركزية في كبح انتشار الخصائص عبر الحدود. إزالة معامل الوزن الهيكلي التكيفي λ قللت mIoU إلى 0.671 ودرجة الحد F1 إلى 0.736، مما يشير إلى أن قيدا هيكليا ثابتا أضعف استجابة النموذج في المناطق غير المانهاتنية والمناطق المتدهورة بصريا. إزالة قيد الحافة المشتركة قلل mIoU إلى 0.666 ودرجة الحدود F1 إلى 0.728، مما يظهر أن حواف الرسم البياني المبنية فقط على الجوار المحلي فشلت في الحفاظ على اتساق المستوى الفيزيائي. إزالة تطبيع الرسم البياني المتماثل قلل mIoU إلى 0.673 ودرجة Boundary F1 إلى 0.737، مما يشير إلى أن الانتشار المتوازن للدرجة كان ضروريا لتجميع العقد المستقر. حققت الشبكة الموجهة بالهيكل المقترحة الكاملة mIoU بلغت 0.687 ودرجة Boundary F1 بلغت 0.764، مما يثبت أن المكاسب النهائية ناتجة عن التفاعل المنسق بين الانتباه الهيكلي، والتفكير البياني، والتحسين الواعي بالحدود.

تحليل تعقيد الحاسوب، وقت التدريب، وكفاءة الاستدلال

لتقييم التكلفة الحسابية لاستخراج SDF، والانتباه المتقاطع الموجه بالبنية والاستدلال الالتفافي للرسم البياني الفائق، قامت هذه الدراسة بتقييم مقياس المعاملات، والعمليات العائمة، واستخدام الذاكرة، ووقت التدريب، وكمون الاستدلال في الإطار الواحد، ومعدل الإطارات، وmIoU على نفس منصة الحوسبة. تم حساب العمليات العائمة تحت دقة إدخال 512 × 512. تم قياس زمن استجابة الاستدلال بحجم دفعة 1 بعد تسخين النموذج، بينما تم حساب معدل الإطارات المبلغ عنه من متوسط زمن تأخير الصورة الواحدة. تم قياس وقت التدريب وفق نفس الجدول المكون من 300 حقبة، وحجم دفعة 8، وإعدادات المحسن، وخط معالجة البيانات المسبق.

يوضح الجدول 5 العلاقة بين مقياس النموذج، وتكلفة التدريب، وكفاءة الاستدلال، ودقة التحليل لكل بنية شبكة. تستخدم أعمدة mIoU وحدود F1 في الجدول 5 نفس قيم مجموعة التحقق الإجمالية كما في الجدول 3 لكل نموذج مقابل. يتم تكرار هذين العمودين للدقة في الجدول 5 فقط لمقارنة دقة التحليل مقابل التكلفة الحاسوبية. كان الزيادة في المعلمات القابلة للتدريب ناتجة بشكل رئيسي عن طبقات إسقاط قيمة مفتاح الاستعلام في وحدة الانتباه المتقاطع الموجهة بالبنية ومصفوفات الوزن في الطبقات الالتفاوية الثلاث. كانت التكلفة غير القابلة للتدريب تتكبدها بشكل أساسي من توليد SDF، وتقسيم البكسل الفائق، وبناء مجاورة الرسوم البيانية. نظرا لأن هذه العمليات غير القابلة للتوجيه كانت تنفذ مرة واحدة لكل صورة إدخال، فقد زادت من زمن الاستنتاج لكنها لم تزيد بشكل كبير من عدد المعلمات القابلة للتدريب. يفسر هذا الفصل سبب ظهور زيادة معتدلة في المعلمات في الطريقة المقترحة ولكن زيادة أكثر وضوحا في زمن الاستحقاق. تظهر نتائج التعقيد أن خط التقسيم القائم على القناع والانتباه احتفظ بعدد معلمات أصغر وزمن استجابة أقصر، لكن درجة F1 الحدودية وmIoU كانت محدودة تحت الإغلاق الشديد بسبب نقص التوجيه الهندسي الصريح للحدود. تطلب خط الأساس لتجميع الميزات عبر الوسائط المزيد من العمليات العائمة ووقت تدريب أطول لأن التجميع عبر الوسائط أدخل عبئا إضافيا لمحاذاة الميزات. حافظ خط أساس اندماج الميزة التدريجية على تكلفة حسابية متوسطة، لكن دقة التنبؤ ظلت أقل من الطريقة المقترحة تحت تشويه الحدود. تتحمل الشبكة المقترحة الموجهة بالهيكل تكلفة حسابية إضافية بسبب بناء SDF، والإسقاط الهيكلي للانتباه المتقاطع، وبناء رسم بياني فائق البكسل، وانتشار الالتفاف البياني. استخدم النموذج الكامل 66.8 مليون معلم، و121.4 مليار عملية أعداد عائمة، و15.6 ساعة تدريب، وذاكرة ذروة 7.9 جيجابايت، و61 مللي ثانية من وقت الاستدلال في إطار واحد، و16.4 إطار في الثانية. على الرغم من أن زمن استجابة الاستدلال كان أعلى من خط الأساس النقي للانتباه بالقناع، إلا أن النموذج حقق mIoU بلغت 0.687 ودرجة F1 في الحدود 0.764، مما يشير إلى أن التكلفة الإضافية دعمت بشكل أساسي إصلاح الحدود الهيكلية والاتساق الدلالي الواعي بالطوبولوجيا.

لتمثيل التوازن المكاني ثنائي الأبعاد بصريا بين المقياس الحسابي ودقة التحليل للنموذج، تم إنشاء مخطط توزيع فقاعات يوضح عدد عمليات الفاط العائمة وmIoU للخوارزمية. كما أبلغت الرؤية المعدلة عن وقت التدريب وكمون الاستنتاج في منطقة التعليقات التوضيحية، مما أتاح مقارنة مكاسب الدقة والتكاليف الحسابية من منظور التدريب والنشر. احتفظ المحور الأفقي بعمليات النقطة العائمة، واحتفظ المحور الرأسي ب mIoU، وحجم الفقاعة يمثل كمية معلمات قابلة للتدريب، والملصق المرفق أبلغ عن وقت الاستدلال لكل طريقة.

يكشف الشكل 7 العلاقة بين عمليات النقطة العائمة، ومقياس المعاملات، وكمون الاستدلال، ودقة التحليل. تحقق الطريقة المقترحة mIoU أعلى من شبكات المقارنة، بينما تبقى FLOPs وعدد المعلمات قريبة من خطوط الأساس متعددة الوسائط والاندماج التقدمي. يشير زمن التأخير في الإطار الواحد البالغ 61 مللي ثانية إلى أن فروع SDF واستدلال الرسوم البيانية الإضافية أدت إلى تحميل النشر، ومع ذلك ظل التأخير ضمن النطاق الزمني المطلوب للعديد من مهام تفسير المشاهد الداخلية. زاد وقت التدريب إلى 15.6 ساعة لأن الاستخراج المسبق الهيكلي، وإسقاط الانتباه، والاستدلال البياني تم تنفيذه خلال كل فترة تدريب. تظهر هذه النتيجة أن التكلفة الحسابية للطريقة المقترحة تتركز بشكل رئيسي في الاستدلال البنيوي الواع بالحدود بدلا من التوسع غير المنضبط في المعاملات.

مقارنة محددة بين فقدان الاتساق الهيكلي وفقدان المسافة المكانية

يستخدم فقدان شبكة التحويل العكسي لتحديد مسافة التحويل المكاني الحدودي معاملات تحويل متجانسة لالتقاط إزاحات الحدود، مما يثبت أن مقاييس المسافة المكانية النقية تتفوق على خسائر الإنتروبيا المتقاطع التقليدية المبنية على تغييرات تسمية البكسل. استنادا إلى هذا الإجماع النظري، تجرى تجارب التحقق المتوازية باستخدام مخططات القيود الحدودية لتقييم الأداء المقارن لفقدان الاتساق الهيكلي المخصص القائم على صندوق حدود مانهاتن (SCL) فيما يتعلق بقابلية التكيف مع المشهد. تحافظ التجارب على البنية التحليلية لدمج عمود فقري بصري متعدد المستويات مع شبكة استدلال رسم بياني، مع استبدال مصطلح فقدان الحد أثناء الانتشار العكسي. تم تكوين أربع شبكات تحقق متوازية: الشبكة التي تستخدم فقط فقدان الإنتروبيا المتقاطع للتصنيف الأساسي تفتقر إلى قيود هندسية عالية الأبعاد؛ تقوم شبكة مع خسارة مزدوجة قياسية للحدود (BCE) بالإشراف التقليدي على تصنيف الحواف الثنائية؛ تركز الشبكة مع فقدان مسافة حدود مكانية إضافية على التقاط التشوهات المحلية؛ وشبكة تطبق SCL المقترحة تفرض عقوبات طوبولوجية متعامدة بناء على SDF. تقتصر مقاييس الكم على مجموعة التحقق من صحة المشاهد الداخلية RGB-D على mIoU ودرجة F1 للحدود الهيكلية.

يوضح الجدول 6 درجة التدخل في استراتيجيات تحسين الانتشار العكسي المختلفة على الإدراك المنطقي المكاني الأساسي. يشير الإدخال المخصص للإنتروبيا المتقاطع فقط في الجدول 6 إلى هندستنا المقترحة التي تم تدريبها فقط على فقدان الإنتروبيا على مستوى البكسل، مع الحفاظ على العمود الفقري البصري، وفرع الحقل بمسافة الموقع، ووحدة الانتباه المتقاطع الموجهة بالهيكل، وفرع استدلال الرسم البياني الفائق دون تغيير. هذا الإدخال ليس خط أساس Mask2Former ولا ينبغي مقارنته بقيمة Mask2Former الإجمالية في الجدول 3، لأنه يستخدم نفس النموذج. الشبكات التي تعتمد فقط على فقدان الإنتروبيا المتقاطعة الأساسية تحقق أدنى درجة ملاءمة للحدود. الشبكات التي تحتوي على فقدان مزدوج مزدوج قياسي إضافي لتحقيق مكسب طفيف، لكن هذه الآلية لا تزال تسبب تشويش الحواف تحت الحجب واسع النطاق. فقدان مسافة الحدود المكانية يحسن الدرجة من خلال آلية إدراك التحول المكاني، مما يصحح بعض الحواف المشوهة بشكل فعال. يستفيد فقدان الاتساق الهيكلي المقترح في هذه الورقة بشكل مباشر من SDF الحقيقي لفرض عقوبات تدرج على الطفرات الدلالية الشاذة داخل السطح الفيزيائي الحامل للحمل، محققا أعلى درجة F1 على الحدود الهيكلية.

لمقارنة التأثيرات الدافعة لتكوينات دوال الخسارة المختلفة بصريا على دقة التنبؤ بالأقنعة وملاءمة الحدود، قمنا برسم مخططات أشرطة مجمعة عبر استراتيجيات تحسين مختلفة.

يوضح الشكل 8 التحسن التدريجي في الأداء الناتج عن ترقية بعد الإدراك المكاني لدالة الفقد. يظهر الرسم البياني الشريطي الذي يمثل درجة الفورمولا 1 للحدود الهيكلية اتجاها صعوديا كبيرا. تظهر البيانات التجريبية أن آلية العقوبة المخصصة هذه تجبر موقع القفز المكاني للفئة المتوقعة على أن يتطابق بدقة مع المنحنى الفيزيائي المتعامد. آلية عقوبة الحقل المسافة، المخصصة للعقبات المتعامدة الداخلية، تحقق دقة أعلى من فقدان التقاط الحدود المكانية العامة، مما يؤسس مسار تحسين فعال لمعالجة أعطال المباني المعقدة.

اختبار المتانة لتوزيع الإخفاء الشديد، والهياكل الشاذة، وظروف الإضاءة الصعبة

العلاقات المكانية المعقدة بين الأشياء والانسداد المتبادل يؤثر سلبا على الإدراك المكاني ثلاثي الأبعاد العالمي. تسلط بنية التنبؤ المشترك الضوء على الدور الداعم لقيود تخطيط المشهد في استخراج القناع الأساسي. فحص حدود مقاومة التداخل للخوارزمية تحت فقدان الإشارات البصرية واسعة النطاق والتخطيطات المكانية الشاذة التي تنتهك الافتراض الفيزيائي المتعامد ثلاثي الأبعاد يحدد بوضوح حدود التطبيق الفعالة للخوارزمية وله قيمة جوهرية قابلة للإثبات. استنادا إلى نسبة الأثاث الكبير المخفي في ملصقات الحقيقة الأرضية، يتم تقسيم مجموعة اختبار المشهد الداخلي RGB-D إلى ثلاث مجموعات فرعية أكثر صعوبة تدريجيا: الانسداد الخفيف، المتوسط، والانسداد الشديد. في الوقت نفسه، يتم استخراج مشاهد غير نموذجية لمانهاتن ذات أسقف مائلة أو جدران منحنية يدويا لبناء مجموعات اختبار حدود الشذوذ، كما يتم تصنيف المشاهد التي تتميز بظروف إضاءة منخفضة جدا، وتعريض مفرط، وأسطح زجاجية لامعة أو شفافة واسعة النطاق إلى مجموعات إضاءة وملمس صعبة. تشمل مكتبة نماذج المقارنة خط أساس تقسيم قائم على القناع والانتباه؛ بنية تقسيم عامة تعتمد على انتباه القناع لالتقاط السياق العالمي؛ خط أساس تجميع ميزات عبر الوسائط يستخدم استراتيجية تجميع شاملة متعددة الوسائط؛ وخط أساس دمج الميزات التدريجي الذي يدمج آلية استخراج الميزات التقدمية متعددة المراحل. يتم تقييم كل أساس مقارنة، والعمود الفقري البصري للاندماج، وبنية تحليل شبكة الاستدلال البياني التي تم إنشاؤها في هذه الورقة بشكل مستقل على المجموعات الفرعية أعلاه، ويتم تحليل تدرج تحلل الدقة لكل نموذج إحصائيا.

الجدول 7 يذكر مقاييس المتانة الخاصة بمجموعة فرعية تحت ظروف الإخفاء الخفيف والمتوسط والشديد، والإضاءة الصعبة، وتداخل النسيج، وظروف الشذوذ غير المانهاتنية. يوضح الجدول 7 التغيرات في دقة التنبؤ بالأقنعة للنماذج المختلفة تحت التداخل المكاني. الجدول 7 يذكر قيم mIoU الخاصة بمجموعة فرعية لنماذج مختلفة تحت ظروف تداخل مكاني، محسوبة فقط ضمن المجموعة الفرعية المقابلة للانسداد أو الإضاءة أو النسيج أو غير مانهاتن، بدلا من مجموعة التحقق من صحة المشاهد الداخلية RGB-D الكلية. في مجموعات الإخفاء الخفيف والمتوسط، تحافظ جميع النماذج على دقة أساسية. مع زيادة مساحة الإخراج، تظهر النماذج الأساسية التي تعتمد على قواعد مدفوعة بالبكسل انخفاضا في نسبة التقاطع-الاتحاد (IU) على المجموعة الفرعية المحجوبة بشدة. يعاني خط الأساس التقسيم القائم على القناع والانتباه وخط تجميع الميزات عبر الوسائط من خسائر كبيرة في الدقة في هذه الفئة. تظهر بنية استخراج الميزات التقدمي متعدد المراحل في خط الأساس لدمج الميزات التدريجي تراجعا حادا في الأداء. يعتمد الحل المقترح على ميزات هيكلية ثلاثية الأبعاد صريحة لإجبار الإشارات البصرية التالفة، مع الحفاظ على شكل قناع مستقر على المجموعة المحجوبة بشدة، وإظهار الاستقرار الطوبولوجي لإخراج القناع الدلالي. في المجموعات الفرعية الصعبة للإضاءة والنسيج، يفشل كاشف مقطع الخط في رؤية الحواف الهيكلية في المناطق ذات الانعكاسات القوية والزجاج الشفاف، مما يؤدي إلى انقطاعات محلية في SDF. تنتقل الإحداثيات الهندسية الخاطئة عبر مصفوفة الألفة الهيكلية وفقدان الاتساق الهيكلي، مما يطبق عقوبات التدرج الشاذ على الميزات الدلالية ويسبب انحرافات مماثلة في توقعات الحدود. تكمل آلية التفكير في السياق المكاني العالمي في GCN السابقات الهندسية المفقودة بالتقارب الهيكلية المجاورة، محافظة على دقة تحليل شاملة ضمن نطاق تحلل مقبول وتكشف حدود قدرات الإدراك البصري للخوارزمية تحت التداخل الفيزيائي المعقد. في المجموعة الفرعية للشذوذ غير مانهاتن، يقدم النموذج SDF في الطبقة السفلية تحيز خرائط طفيف، مما يؤدي إلى أداء أقل قليلا من خط أساس دمج الميزات التقدمي. معامل الوزن الهيكلي التكيفي في وحدة الانتباه المتقاطع يقيم ديناميكيا اتساق تدرجات البنية الفيزيائية الأساسية. في المشاهد ذات الجدران المنحنية أو الأسقف المائلة، يقلل هذا المعامل تلقائيا من وزن القيد في SDF، مما يشجع الشبكة على الاعتماد على آلية تجميع العقد المحلية لشبكة الرسم البياني فائق البكسل للحفاظ على التماسك الدلالي في المناطق المتجانسة، مما يؤسس آلية تعويض هندسية فعالة للتخطيطات المكانية غير المانهاتنية.

لإظهار التأثير السلبي لشدة الإخفاء على دقة الدقة بصريا، قمنا برسم رسوم بيانية خطية تظهر تدهور الدقة عبر نماذج خوارزمية مختلفة.

يكشف الشكل 9 بصريا عن الفروقات في المتانة بين نماذج استخراج الميزات المختلفة تحت بيئات فيزيائية متطرفة. تظهر الخطوط الثلاثة المتقطعة التي تمثل نماذج الأساس اتجاها تنازليا ملحوظا عند العقد المحجوبة بشدة، مما يعكس حدود الحقول المستقبلية التقليدية في استخراج الميزات تحت فقدان الإشارة واسع النطاق. يحافظ الخط الصلب الذي يمثل الطريقة المقترحة على مسار تحلل لطيف نسبيا. تظهر البيانات التجريبية أن الاقتران بين النماذج المعمارية ثلاثية الأبعاد الصريحة وآليات الاستدلال القائمة على الرسوم البيانية يوفر دعما هيكليا لمهام تحليل المشاهد المقاومة للانسداد ويحسن أداء تعميم النموذج في البيئات المعقدة.

تحليل الحساسية المكانية لتقسيم عقد الرسوم البيانية الطوبولوجية

يتحكم معامل معدل أخذ العينة في تقليل الأبعاد لوحدة الالتفاف البياني في الفضاء الإحداثي مباشرة في جودة حقل الاستقبال والعبء الحسابي لشبكة الرسوم البيانية. تماشيا مع الإطار النظري لهذه الورقة، تبحث هذه الدراسة في كيفية تأثير عدد عقد الرسوم البيانية المنفصلة الناتجة عن التجميع الخطي التكراري البسيط على أداء الاستدلال الطوبولوجي غير الإقليدي، بهدف توفير دعم صارم لاختيار المعلمات الفائقة. أجريت تجارب لتعديل معلمات التحكم في التهيئة في خوارزمية التجميع، مع التدخل القسري في تقليل أبعاد الفضاء الديناميكي للميزات، وتحديد عدد تقسيمات عقد الرسوم البيعية الفائقة إلى 64، 128، 256، 512، و1024. تحت معيار اختبار محاذي بدقة، تم تسجيل متوسط نسبة التقاطع فوق الاتحاد (IoU)، ودرجة F1 للحدود الهيكلية، ومتوسط زمن الاستدلال لكل صورة عالية الدقة في نفس الوقت عبر أحجام عقد طوبولوجية مختلفة.

يوضح الجدول 8 العلاقة بين درجة تقليل الأبعاد الديناميكية في فضاء الميزة وكل من الدقة التحليلية والتكلفة الحاسوبية. تعيين عدد العقد منخفضا جدا يؤدي إلى تقسيم ناقص لميزات الصورة، مما يؤدي إلى اندماج السمات الدلالية للأجسام الصغيرة مع ميزات الجدران الكبيرة، مما يقلل من مقاييس الدقة المختلفة. مع زيادة مقياس تقسيم العقد، تتحسن حساسية النموذج للتفاصيل المكانية المحلية بشكل كبير. زيادة عدد العقد إلى 512 و1024 تؤدي إلى تجزئة المناطق المتجانسة، وضعف تأثير التنعيم على الميزات الكبيرة في الشبكات العصبية البيانية، وزيادة أبعاد مصفوفة علاقات العقد، وزيادة زمن الاستدلال. تكوين المعلمات بعدد ثابت من العقد 256 يؤدي إلى أعلى القيم لنسبة التقاطع-الاتحاد ودرجة الحدود.

لتمثيل المقايضة بصريا بين الدقة والقدرة الحسابية في الاستدلال الطوبولوجي غير الإقليدي، تم رسم رسم بياني إحصائي ثنائي المحور يظهر حساسية حجم العقدة.

يوضح الشكل 10 المنطق الأساسي الذي يؤثر من خلاله عدد عقد الرسوم البيانية المنفصلة على تطور ميزات الشبكة. شريط الخلفية الذي يمثل وقت الحساب يظهر زيادة حادة بعد أن يتجاوز عدد العقد عتبة 256. الخط المزدوج الذي يمثل الدقة يصل إلى ذروته عند 256 على المحور الأفقي، ثم ينخفض بشكل معقول بسبب تأثيرات التجزئة. البيانات الكمية الموضوعية واتجاه التطور البصري متسقان للغاية، مما يوضح أن الحفاظ على حجم رسم الحوسبة عند 256 عقدة يحقق توازنا بين معالجة الأجهزة والمنطق تحت التكوين الحالي ذو المعلمات الثابتة. يكشف التدهور الشديد في الأداء الناتج عن الانحراف عن هذا العدد عن الحساسية العالية لاستراتيجية تقسيم البكسل الفائق الثابت لضبط المعاملات الفائقة ويؤكد الحاجة إلى تطوير آلية اختيار العقد الديناميكية.

توفر البيانات:

البيانات الخام التي تم تحليلها في هذه الدراسة متاحة للجمهور من المستودعات الرسمية المدرجة في جدول المواد. تم الوصول إلى اختبار القياس الداخلي واسع النطاق ثلاثي الأبعاد كإصدار رسمي ل ScanNet v2، مع معرف إصدار مجموعة البيانات ScanNet v2. تم الوصول إلى معيار RGB-D للمشهد الداخلي عبر الإصدار الرسمي لمجموعة بيانات عمق جامعة نيويورك V2، مع معرف الإصدار NYU Depth Dataset V2. المنشور الوصفي DOI لمعيار القياس الداخلي الثلاثي الأبعاد واسع النطاق هو 10.1109/CVPR.2017.261، والمنشور الوصفي DOI لمعيار RGB-D للمشاهد الداخلية هو 10.1007/978-3-642-33715-4_54. لم يتم توليد أي صور خام جديدة أو مجموعات بيانات RGB-D في هذه الدراسة. الملفات المنقسمة المعالجة، ملفات تكوين التدريب، سجلات التقييم الخام، ملفات المصدر العددية التي تدعم الجدول 2، الجدول 3، الجدول 4، الجدول 5، الجدول 6، الجدول 7، والجدول 8، والشكل 5، الشكل 6، الشكل 7، الشكل 8، الشكل 9 والشكل 10، تم إيداع أوزان النماذج المدربة، والشيفرة المصدرية في FigShare تحت DOI: 10.6084/m9.figshare.32906765. يوفر سجل فيجشير بيانات النتائج الخام الكاملة اللازمة لإعادة إنتاج الجداول الكمية والأرقام المبلغ عنها في هذه المخطوطة. يحتوي المستودع على أقنعة التنبؤ، وملفات تقييم الحدود، وبرمجيات حساب المقاييس، ونقاط التحقق من النماذج، وملفات المصدر الجداول المستخدمة في تحليلات mIoU المبلغ عنها، وحدود F1، وPixelAcc، وMeanAcc، والتعقيد الحسابي، والمتانة، والتحقق من صحة دالة الفقد، وحساسية تقسيم العقد.

figure-results-1
الشكل 1: مقارنة الانقطاع الدلالي وتأثيرات الإصلاح السابقة الهيكلية في سيناريوهات الانسداد الداخلي المعقدة. (أ) صورة RGB أصلية مع حجب أثاث واسع النطاق. (ب) مخرجات النموذج الأساسي التقليدي الذي يبرز تشويه الحدود الفيزيائية وعيوب الانقطاع الدلالي. (ج) مخرجات الطريقة المقترحة مع تراكب منظور خط متقطع باللون السماوي يرسم بشكل صريح هيكل المبنى ثلاثي الأبعاد لإصلاح الطوبولوجيا للميزات التالفة في البنية الأساسية. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-2
الشكل 2: إطار التحليل الدلالي العام الموجه بواسطة البناء السابقين الهيكليين. يحدد المخطط خط الأنابيب الكامل بدءا من إدخال صورة RGB، مرورا بفرع استخراج الميزات البصرية ذات النافذة المتغيرة وفرع استخراج البنية السابقة، إلى وحدة الانتباه المتقاطع الموجهة بالهيكل، تليها الاستدلال الطوبولوجي عبر GCN الفائق البكسل، وأخيرا فك التشفير إلى الخريطة الدلالية الكثيفة. تعرض على اليمين تخطيطات مفصلة لحساب مصفوفة الألفة الانتباهية، وتمرير رسائل الرسم البياني، ودوال فقدان التحسين المشترك على اليمين. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-3
الشكل 3: مخطط تدفق مصفوفة الألفة وبناء الترابط الطوبولوجي. يوضح المخطط خط أنابيب الخرائط الرياضي خطوة بخطوة، موضحا التحويل من خريطة حقل المسافات الداخلة وأزواج البكسلات المختارة، من خلال استخراج الميزات الهندسية المستمرة وتقييم اتساق التدرج، إلى مصفوفة التقارب المصحح المستخدمة كتحيز مكاني صريح لآلية الانتباه المتقاطع. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-4
الشكل 4: مخطط تخطيطي لإسقاط عقد الالتفاف في رسم البياني فائق البكسل وتجميع الميزات. توضح اللوحة عملية الاستدلال الطوبولوجي غير الإقليدية: (أ) ميزات بكسل كثيفة تظهر مصفوفة الميزات المحلية الأصلية وحدود تجميع البكسلات الفائقة؛ (B) بناء طوبولوجيا رسم بياني فائق البكسل يربط الشبكة المنتظمة بعقد منفصلة وحواف متصلة فيزيائية؛ (ج) تمرير رسالة التفافية بيانية يقوم بتجميع اتجاهي للميزات المحلية؛ و(د) إسقاط الإحداثيات العكسي الذي يعرض ميزات الاتساق الدلالي الماكروسكوبي المستعادة على الشبكة الكثيفة. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-5
الشكل 5: مخطط الشبكة النوعي للمقارنة النوعية. توفر المصفوفة تقييما بصريا للأداء عبر مشاهد داخلية مختلفة حسب الصف، تقارن مدخلات RGB الداخلية الأصلية وتخطيطات الحقيقة الأرضية مع مخرجات خط التقسيم القائم على القناع والانتباه، وخط أساس تجميع الميزات عبر الوسائط، وخط أساس دمج الميزات التدريجي، والطريقة المقترحة التي تستعيد بنجاح الزوايا المحجوبة ومحاذاة الأسطح الحاملة. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-6
الشكل 6: نتائج التآكل لتكامل الوحدات التراكمي. يوضح مخطط المحورين تطور الأداء خطوة بخطوة عبر إعدادات الكاشفة المعيارية المختلفة، حيث يرسم المسار التصاعدي المستمر للتقاطع المتوسط فوق الاتحاد (mIoU) كأشرطة، ودرجة F1 للحدود الهيكلية كرسم خطي من العمود الفقري الأساسي إلى الإطار الكامل. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-7
الشكل 7: تعقيد الحاسوب، وقت التدريب، وتوزيع كفاءة الاستدلال. يكشف مخطط الفقاعات متعدد الأبعاد عن الموازنات بين التكاليف الحسابية والدقة في التحليل. يقيس المحور الأفقي عمليات النقطة العائمة (FLOPs)، والمحور الرأسي يشير إلى mIoU، وحجم الفقاعة يمثل مقياس المعاملات القابلة للتدريب، وتسميات النصوص المجاورة تحدد زمن استجابة الاستدلال بإطار واحد لكل بنية شبكة. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-8
الشكل 8: مخطط دقة الحدود ودرجات القياس تحت تكوينات دوال الخسارة المختلفة. يقارن المخطط الشريطي المجمع التأثيرات الدافعة لاستراتيجيات التحسين المختلفة على المنطق المكاني الأساسي، موضحا المكاسب الكبيرة في mIoU ودرجة F1 للحدود الهيكلية التي تم تحقيقها من خلال الترقية من الصيغ القياسية للانتروبيا المتقاطعة إلى فقدان الاتساق الهيكلي المقترح. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-9
الشكل 9: رسم خطي يوضح العلاقة بين شدة الإخفاء وتراجع الأداء. يتتبع المنحنى تدهور الدقة عبر نماذج استخراج الميزات المختلفة تحت مستويات انسداد خفيفة ومتوسطة وشديدة، مما يبرز الاستقرار الطوبولوجي القوي والقدرة المضادة للتداخل للإطار المقترح الموجه بالهيكل مقارنة بالخطوط الأساسية المعتمدة فقط على البكسلات. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

figure-results-10
الشكل 10: تحليل حساسية مقياس عقدة البكسل الفائق. يوضح الرسم الإحصائي ثنائي المحور المقايضة بين سرعة معالجة الأجهزة ودقة الاستدلال المنطقي عبر أحجام تقسيم الرسوم البيانية المختلفة، موضحا كيف يؤثر عدد عقد البكسل الفائقة على مقاييس الدقة ويؤدي إلى زيادة حادة في متوسط زمن الاستدلال. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

ترقيم طبقة الشبكةبعد ميزة العقدة المدخلةبعد ميزة العقدة المخرجةإعداد احتمالية التعطيل العشوائي
15122560.15
22562560.15
32561280.1
4128640.05

الجدول 1: جدول تكوين المعاملات الفائقة لبنية الشبكة لوحدة الاستدلال الالتفافي. يبلغ الجدول عن ترقيم طبقة الشبكة، وأبعاد ميزات العقدة المدخلة، وأبعاد ميزات العقدة المخرجة، وإعدادات احتمالية التعطيل العشوائي المستخدمة في شبكة استدلال الرسوم البيانية.

عنصر التكويناختبار ثلاثي الأبعاد داخلي واسع النطاقاختبار RGB-D للمشهد الداخلي
معرف الإصدار الرسميScanNet v2مجموعة بيانات عمق جامعة نيويورك V2
عينات التدريب المستخدمة في هذه الدراسة1201 مشهد795 صورة
عينات التحقق أو الاختبار المستخدمة للتقييم312 مشهد تحقق654 صورة اختبار
الفئات الدلالية الكلية2040
دقة الصورة المدخلة512 × 512512 × 512
معدل التعلم الأولي0.00010.0001
عدد عينات الإدخال الدفعي88
معامل تآكل الوزن0.010.01
الفترات التدريبية الكاملة300300
عدد العروض المستقلة55

الجدول 2: تقسيم مجموعة البيانات التجريبية وتكوين المعلمات الفائقة الموحدة للتدريب. يعرض الجدول إعدادات تقسيم عينات مجموعات بيانات داخلية ثلاثية الأبعاد وRGB-D لمشاهد داخلية، وعدد الفئات الدلالية، وإعدادات معدل التعلم، وعدد عينات الإدخال الدفعي، ومعدل تدهور الوزن، وإجمالي عدد تكرارات التدريب.

بنية نموذج الشبكةmIoUالحدود F1PixelAccMeanAcc
سيغفورمر0.596 ± 0.0030.635 ± 0.0040.838 ± 0.0030.704 ± 0.004
ConvNeXt UperNet0.604 ± 0.0030.642 ± 0.0040.846 ± 0.0030.713 ± 0.004
Mask2Former0.612 ± 0.0030.654 ± 0.0040.853 ± 0.0030.721 ± 0.004
ون فورمر0.621 ± 0.0020.663 ± 0.0030.861 ± 0.0030.733 ± 0.003
ماسكدينو0.628 ± 0.0020.667 ± 0.0030.869 ± 0.0030.741 ± 0.003
CCANet0.635 ± 0.0030.671 ± 0.0040.876 ± 0.0030.745 ± 0.004
InternImage UperNet0.641 ± 0.0020.692 ± 0.0030.884 ± 0.0020.756 ± 0.003
CMPFFNet0.658 ± 0.0020.712 ± 0.0030.891 ± 0.0020.773 ± 0.003
SGCA_GCN0.687 ± 0.0020.764 ± 0.0030.924 ± 0.0020.816 ± 0.003

الجدول 3: مقارنة كمية عامة لخطوط تحليل المشاهد الداخلية على مجموعة التحقق من صحة المشاهد الداخلية RGB-D. يعرض الجدول mIoU، ودرجة Boundary F1، ودقة البكسل العالمية، ودقة الفئة المتوسطة لخط أساس تقسيم الانتباه القائم على القناع، وخط تجميع الميزات عبر الوسائط، وخط أساس دمج الميزات التدريجي، وبنية الشبكة الموجهة بالبنية المقترحة.

تكوين بنية الشبكةmIoUالحدود F1PixelAccMeanAcc
العمود الفقري للقاعدة ذات النافذة المنقولة0.615 ± 0.0030.630 ± 0.0040.842±0.0030.706 ± 0.004
العمود الفقري بالإضافة إلى الانتباه الموجه بالبنية0.648 ± 0.0030.685 ± 0.0040.874 ± 0.0030.748 ± 0.004
العمود الفقري بالإضافة إلى التفكير البياني فائق البكسل0.641 ± 0.0030.676 ± 0.0040.868 ± 0.0030.741 ± 0.004
العمود الفقري بالإضافة إلى فقدان الاتساق الهيكلي0.632 ± 0.0030.662 ± 0.0040.859 ± 0.0030.732 ± 0.004
العمود الفقري بالإضافة إلى الانتباه المتقاطع والاستدلال البياني0.669 ± 0.0020.721 ± 0.0030.897 ± 0.0020.782 ± 0.003
العمود الفقري بالإضافة إلى فقدان الانتباه المتقاطع وفقدان الاتساق الهيكلي0.660 ± 0.0020.713 ± 0.0030.889 ± 0.0020.773 ± 0.003
العمود الفقري بالإضافة إلى الاستدلال البياني وفقدان اتساق البنية0.653 ± 0.0030.704 ± 0.0030.881 ± 0.0030.765 ± 0.003
نموذج كامل بدون تحيز إضافي للحقل بمسافة موقعة0.656 ± 0.0030.698 ± 0.0040.884 ± 0.0030.761 ± 0.004
نموذج كامل بدون وزن هيكلي تكيفي λ0.671 ± 0.0020.736 ± 0.0030.904 ± 0.0020.792 ± 0.003
نموذج كامل بدون قيد الحافة المشتركة المستوية0.666 ± 0.0020.728 ± 0.0030.899 ± 0.0020.786 ± 0.003
نموذج كامل بدون تطبيع رسم بياني متماثل0.673 ± 0.0020.737 ± 0.0030.906 ± 0.0020.795 ± 0.003
SGCA_GCN كاملة0.687 ± 0.0020.764 ± 0.0030.924 ± 0.0020.816 ± 0.003

الجدول 4: تحليل الكئت الكمي الموسع للمكونات الأساسية. يذكر الجدول تكامل الوحدات التراكمي، وتركيبات الوحدات الزوجية، وإعدادات إزالة المكونات لقياس المساهمات المستقلة والتعاونية لتوجيه الهيكل المتبادل، وتحيز الحقل بالمسافة الموقعة، والوزن الهيكلي التكيفي، واستدلال الرسوم البيضوية الفائقة، وبناء الحواف المتقاربة، وتطبيع الرسوم البيانية المتماثلة، وفقدان الاتساق الهيكلي.

بنية نموذج الشبكةالمعاييرFLOPsالذكاء الذروتيوقت التدريبزمن الاستنتاجألعاب التصويب من منظور الشخص الأولmIoUالحدود F1
سيغفورمر83.7 م80.1 ج6.1 جيجابايت10.6 ساعة44 مللي ثانية22.70.5960.635
ConvNeXt UperNet60.2 متر91.5 ج6.4 جيجابايت11.2 ساعة47 مللي ثانية21.30.6040.642
Mask2Former44.0 متر74.6 ج5.8 جيجابايت9.4 ساعة41 مللي ثانية24.40.6120.654
ون فورمر64.1 م103.2 G7.0 جيجابايت12.9 ساعة55 مللي ثانية18.20.6210.663
ماسكدينو52.8 متر96.8 ج6.8 جيجابايت12.1 ساعة52 مللي ثانية19.20.6280.667
CCANet63.5 متر118.7 ج7.6 جيجابايت14.8 ساعة67 مللي ثانية14.90.6350.671
InternImage UperNet70.4 م112.3 ج7.4 جيجابايت14.2 ساعة64 مللي ثانية15.60.6410.692
CMPFFNet58.9 م104.6 ج7.1 جيجابايت13.1 ساعة59 مللي ثانية16.90.6580.712
SGCA_GCN66.8 متر121.4 ج7.9 جيجابايت15.6 ساعة61 مللي ثانية16.40.6870.764

الجدول 5: مقارنة تعقيد الحساب، وقت التدريب، وكفاءة الاستدلال مع الدقة العامة لمجموعة التحقق. يذكر الجدول معلمات قابلة للتدريب، وعمليات الفاصلة العائمة، واستخدام الذاكرة، ووقت التدريب ل 300 عصر، وكمون الاستدلال في إطار واحد، وإطارات في الثانية، وmIoU، ودرجة Boundary F1 للطريقة المقترحة وشبكات المقارنة.

تكوين دالة الفقدانmIoUالحدود F1
الإنتروبيا المتقاطع (CE) فقط0.6690.721
CE + الحدود قبل الميلاد0.6740.738
CE + فقدان الشكل العكسي0.6810.752
CE + Ours SCL0.6870.764

الجدول 6: مقارنة كمية للتحقق من صحة دالة الفقد. يعرض الجدول درجة mIoU وحدود F1 تحت خسارة الإنتروبيا المتقاطعة، وفقدان الإنتروبيا الثنائية الحدودية، وفقدان التحويل العكسي، وفقدان الاتساق الهيكلي المقترح.

بنية النموذج الخوارزميالانسداد الخفيفالانسداد المعتدلالانسداد الشديدمجموعة الشذوذات غير المانهاتنيةمجموعة تداخل النسيج
(mIoU)(mIoU)(mIoU)(mIoU)(mIoU)
Mask2Former0.6850.6120.4210.5840.553
CCANet0.6980.6350.4630.6120.566
CMPFFNet0.7150.6580.5120.6350.602
SGCA_GCN0.7320.6870.6450.6280.649

الجدول 7: تحليل المتانة الخاصة بمجموعة فرعية لتوزيع الإخفاء الشديد والهياكل غير المانهاتنية. يبلغ الجدول عن تغييرات في دقة التحليل عبر المجموعات الفرعية ذات الانسداد الخفيف، والإغلاق المتوسط، والانسداد الشديد، والإضاءة التحدي، وتداخل النسيج، وغير النمط الشاذ في مانهاتن.

عدد العقد فائقة الحجمmIoUباوندري F1متوسط زمن الاستدلال (ms)
640.6410.69545
1280.6650.73252
2560.6870.76461
5120.6780.75195
10240.6620.735185

الجدول 8: تحليل الحساسية المكانية لمقياس تقسيم العقد في رسم الطوبولوجيا. يعرض الجدول mIoU، ودرجة F1 للحدود الهيكلية، ومتوسط زمن الاستدلال عبر إعدادات تقسيم العقد الفائقة المختلفة.

المناقشة

تربط خوارزمية هذه الورقة بشكل وثيق الميزات البصرية الهرمية التي يلتقطها مشفر محول النوافذ الهرمية المتحركة مع عمق صندوق حدود مانهاتن ثلاثي الأبعاد السابق الناتج عن اكتشاف مقاطع الخط، مما يحقق إعادة بناء دلالية عالية الدقة لمشاهد داخلية معقدة. آلية الانتباه المتقاطع الموجهة بالبنية تجبر الإشارة البصرية على المحاذاة مع الحدود الهندسية الحقيقية التي تم معايرتها بواسطة SDF، مما يعيد استمرارية الميزات منخفضة المستوى في المناطق المحجوبةمحليا 42. يتم إنشاء رسم الطوبولوجيا باستخدام عقد فائقة البكسل تولدها خوارزمية تجميع محلي تكراري، والتي تدفع GCN لأداء تجميع الميزات تحت قيود فيزيائية متساوية المستويات، مما يضمن اتساق التوزيع الدلالي الكبير43. تظهر النتائج التجريبية أن الطريقة تحقق متوسط تقاطع فوق نسبة اتحاد بنسبة 68.7٪ مع انحراف معياري 0.2٪، وقيمة هندسية عملية، ودرجة F1 للحدود الهيكلية تبلغ 76.4٪ مع انحراف معياري 0.3٪، ومتوسط زمن استدلال 61 مللي ثانية مع تكوين من 256 عقدة فائقة بكسل، مما يعكس مقايضة متعمدة تعطي الأولوية لدقة إعادة بناء الحدود على كفاءة الاستدلال النهائي44. تظهر اختبارات المتانة أيضا أن النموذج يظهر قدرات قوية على إصلاح الطوبولوجيا تحت ظروف قاسية لفقدان الإشارة البصرية واسع النطاق. من خلال إدخال فقدان الاتساق الهيكلي، يتم تحسين دقة محاذاة القناع المتوقع مع الحدود الفيزيائية ذات المسافة الصفرية التي تم معايرتها بواسطة SDF، مما يحقق تحسينا تآزريا لتعقيد الحساب وجودة التحليل45. يوفر هذا المخطط نهجا لدمج الميزات يعتمد على قوانين الفضاء ثلاثي الأبعاد ويظهر الاتساق المنطقي في إصلاح الطوبولوجيا عند التعامل مع انسداد الأثاث واسع النطاق وتشوه الحدود الفيزيائي46. توفر نتائج البحث إطار عمل قيود فيزيائي-هندسي قوي للاستدلال المكاني الذكي وإعادة البناء ثلاثي الأبعاد عالي الدقة، ولها قيمة هندسية عملية لمهام الملاحة البصرية والتعرف على المشاهد في البيئات الفيزيائية الحقيقية.

آلية اشتقاق الطوبولوجيا الهندسية، التي تعتمد بشكل كبير على فرضية عالم مانهاتن، تعاني من تحيز التوافق عند التعامل مع الفضاءات المعمارية غير المنتظمة ذات الجدران المنحنية أو الحدود غير المتعامدة47. لتجاوز عنق الزجاجة في النمذجة الهندسية، ستدمج التكرارات الشبكية اللاحقة خوارزميات ملاءمة الأسطح متعددة الدرجات ووحدات استخراج منحنى B-spline غير منتظمة نسبيا في فرع الأساس الفيزيائي. تقوم هذه الاستراتيجية العالمية للنمذجة المكانية بترجمة الخطوط المتعامدة الصلبة إلى حدود طوبولوجية قابلة للتشوه ديناميكيا، مما يعزز باستمرار دقة التحليل في الخوارزمية في التصاميم المكانية الداخلية الشاذة.

يعتمد الاستخراج الهندسي المسبق على كاشف الخط الأساسي، مما يجعل النظام عرضة لتشوه القناع الهيكلي عند معالجة المشاهد الداخلية التي تهيمن عليها المواد العاكسة أو الشفافة48. فقدان الاتساق الهيكلي يستدعي مباشرة SDF الناتج عن هذا الكاشف، مما يخلق حلقة اعتماد مغلقة بين الاستخراج السابق وتحسين التدرج. عندما يؤدي التداخل البصري إلى اكتشافات شذوذية لمقاطع الخط، يتم رسم الإحداثيات الهندسية المعيبة في SDF وتضخم مباشرة بفقدان الاتساق الهيكلي أثناء الانتشار العكسي، مما يجبر معلمات الشبكة على ملاءمة الحدود الفيزيائية غير الصحيحة49. ستقدم التكرارات الخوارزمية اللاحقة فروعا متعددة الوسائط للاندماج التكيفي لاستيعاب خرائط الأعماق العميقة وبيانات الأشعة تحت الحمراء، مما يفصل الإدراك الهيكلي الهندسي عن قيود إضاءة الضوء المرئي ويوسع حدود التفكير المكاني في البيئات البصرية القصوى.

لحل عنق الزجاجة في حساسية الأداء الناتج عن مقياس عقدة السوبربكسل الثابت، ستصمم الأبحاث اللاحقة وحدة تجميع رسوم بيانية قابلة للتعلم، تحدد ديناميكيا نظام تقسيم العقد بناء على تعقيد الصورة، مما يلغي اعتماد الشبكة على ضبط المعاملات الفائقة يدويا. لمعالجة قيود نشر الأجهزة الناتجة عن العبء الحاسوبي لشبكة الرسوم البيانية فائقة البكسل، ستقدم خطط تحسين مستقبلية آليات فصل ميزات خفيفة الوزن ووحدات تجميع مسورة لضغط مقياس المعلمات وتسريع عمليات المصفوفة للفرع الهندسي السابق50.

الإفصاحات

يعلن المؤلفون أنهم لا يواجهون تضارب مالي.

شكر وتقدير

التمويل: برنامج البحث والتطوير الرئيسي في شنشي (رقم البرنامج 2024CY2-GJHX-76).

المواد

قائمة المواد المستخدمة في هذه المقالة
الاسمالشركةرقم فهرسيالتعليقات
AdamW optimizerPyTorch Contributorshttps://pytorch.org/
CCANetZihao Z. et al.https://doi.org/10.1109/TCDS.2024.3455356
CMPFFNetZhou W. et al.https://doi.org/10.1109/TASE.2023.3332021
ConvNeXtMeta AI Researchhttps://github.com/facebookresearch/ConvNeXt
InternImageOpenGVLabhttps://github.com/OpenGVLab/InternImage
Mask2FormerMeta AI Researchhttps://github.com/facebookresearch/Mask2Former
MaskDINOIDEA-Researchhttps://github.com/IDEA-Research/MaskDINO
NYUv2http://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html
OneFormerSHI Labshttps://github.com/SHI-Labs/OneFormer
RANSAC algorithmscikit-learn developershttps://scikit-learn.org/
ScanNet V2http://www.scan-net.org/
SegFormerNVIDIAhttps://github.com/NVlabs/SegFormer
SGCA_GCNAuthors of this studyProposed method (N/A)
Softmax functionPyTorch Contributorshttps://pytorch.org/
Swin TransformerMicrosoft Researchhttps://github.com/microsoft/Swin-Transformer

المراجع

  1. Zhang Z et al. CCANet: cross-modality comprehensive feature aggregation network for indoor scene semantic segmentation. IEEE Trans Cogn Dev Syst. 2024;17:366–378.
  2. Cui Y et al. Improving the segmentation of confusable indoor structures using point convolution and sparse vector attention. Geospat Inf Sci. 2025:1–22.
  3. Yang L, Cai H. Cost-efficient image semantic segmentation for indoor scene understanding using weakly supervised learning and BIM. J Comput Civ Eng. 2023;37:04022062–04022082.
  4. Uckan T, Aslan C, Hark C. A comprehensive hybrid approach for indoor scene recognition combining CNNs and text-based features. Sensors. 2025;25(17):5350. doi:10.3390/s25175350.
  5. Sun R et al. Training indoor and scene-specific semantic segmentation models to assist blind and low-vision users in activities of daily living. IEEE Open J Eng Med Biol. 2025;6:533–539.
  6. Ye S, Hu Y, Lin M. Indoor scene reconstruction with fine-grained details using hybrid representation and normal prior enhancement. IEEE Trans Vis Comput Graph. 2024;31:5275–5287.
  7. Naseer A et al. Multimodal scene recognition using semantic segmentation and deep learning integration. PeerJ Comput Sci. 2025;11. doi:10.7717/peerj-cs.2858.
  8. Bae JH, Yu GH, Lee JH. Superpixel image classification with graph convolutional neural networks based on learnable positional embedding. Appl Sci. 2022;12:9176–9190.
  9. Zhang H, Zou J, Zhang L. EMS-GCN: an end-to-end mixhop superpixel-based graph convolutional network for hyperspectral image classification. IEEE Trans Geosci Remote Sens. 2022;60:1–16.
  10. Mu Y, Ou L, Chen W. Superpixel-based graph convolutional network for UAV forest fire image segmentation. Drones. 2024;8:142–158.
  11. Khatun Z, Jonsson H Jr, Tsirilaki M. Beyond pixel: superpixel-based MRI segmentation through traditional machine learning and graph convolutional network. Comput Methods Programs Biomed. 2024;256:108398–108412.
  12. Yongyin L, Caixia Y. Cross-attention swin transformer for detailed segmentation of ancient architectural color patterns. Front Neurorobot. 2024;18:1513488–1513508.
  13. Zhou X, Zhou L, Gong S. Swin transformer embedding dual stream for semantic segmentation of remote sensing imagery. IEEE J Sel Top Appl Earth Obs Remote Sens. 2023;17:175–189.
  14. Ning X, Jiang L, Li W. Swin-MGNet: swin transformer-based multiview grouping network for 3D object recognition. IEEE Trans Artif Intell. 2024;6:747–758.
  15. Ke A, Luo J, Cai B. UNet-like network fused swin transformer and CNN for semantic image synthesis. Sci Rep. 2024;14:16761–16779.
  16. Li Y et al. IED-GCN: an internal and external decoupled graph convolutional network for landslide susceptibility assessment. IEEE Trans Geosci Remote Sens. 2025;63:1–17.
  17. He T, Chen J. DC-GCN: a lightweight graph convolutional network integrating local and global context for semantic segmentation. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:28283–28299. doi:10.1109/JSTARS.2025.3626006.
  18. Imani M. Superpixel-based graph convolutional neural network for polarimetric synthetic aperture radar image classification. Sci Rep. 2026;16:4736. doi:10.1038/s41598-025-34965-6.
  19. Wang S, Feng S, Wang Z. Structural prior-guided and feature-enhanced transformer with masked image modeling pretraining for retinal layers and fluid segmentation in macular edema OCT images. Biomed Opt Express. 2025;16:5096–5117.
  20. Yuan Z et al. Structure-aware progressive multimodal fusion network for RGB-T crack segmentation. J Imaging. 2025;11(11):384. doi:10.3390/jimaging11110384.
  21. Xu S, Shen R, Liu E. A structure-prior-guided adaptive context selection network for remote sensing semantic segmentation. Electron Lett. 2025;61. doi:10.1049/ell2.70161.
  22. Minaee S, Boykov Y, Porikli F. Image segmentation using deep learning: a survey. IEEE Trans Pattern Anal Mach Intell. 2021;44:3523–3542.
  23. Zhou E, Murray AT, Baik J. Mapping 3D classroom seats based on partial object point cloud completion. Cartogr Geogr Inf Sci. 2024;51:404–420.
  24. Nishi T, Kawasaki S, Iewaki K. M3R-CNN: on effective multimodal fusion of RGB and depth cues for instance segmentation in bin picking. Adv Robot. 2023;37:1143–1157.
  25. Zhou W, Xiao Y, Yan W. CMPFFNet: cross-modal and progressive feature fusion network for RGB-D indoor scene semantic segmentation. IEEE Trans Autom Sci Eng. 2023;21:5523–5533.
  26. Zhou W, Xiao Y, Liu Y. FIMKD: feature implicit mapping knowledge distillation for RGB-D indoor scene semantic segmentation. IEEE Trans Artif Intell. 2024;5:6488–6499.
  27. Liu J, Jiang Z, Xu X. Multi-robot collaborative complex indoor scene segmentation via multiplex interactive learning. CAAI Trans Intell Technol. 2025;10:1646–1660.
  28. Zhang S, Xie M. MIPANet: optimizing RGB-D semantic segmentation through multimodal interaction and pooling attention. Front Phys. 2024;12:1411559–1411572.
  29. Li JW et al. Construction of a multiscale feature fusion model for indoor scene recognition and semantic segmentation. Sci Rep. 2025;15:14701. doi:10.1038/s41598-025-95465-1.
  30. Liang X et al. Indoor building structure segmentation in unorganized point clouds based on corner feature. Eng Constr Archit Manag. 2025. doi:10.1108/ECAM-10-2024-1433.
  31. Wu LF, Wei D, Xu CA. CFANet: the cross-modal fusion attention network for indoor RGB-D semantic segmentation. J Imaging. 2025;11(6):177. doi:10.3390/jimaging11060177.
  32. Fan L, Zhou Y, Liu H. Combining swin transformer with UNet for remote sensing image semantic segmentation. IEEE Trans Geosci Remote Sens. 2023;61:1–11.
  33. Wang Z, Liao Z, Zhou B. SwinURNet: hybrid transformer-CNN architecture for real-time unstructured road segmentation. IEEE Trans Instrum Meas. 2024;73:1–16.
  34. Zhang H et al. Frequency-domain-guided swin transformer and global-local feature integration for remote sensing images semantic segmentation. IEEE Trans Geosci Remote Sens. 2025;63:5612611. doi:10.1109/TGRS.2025.3535724.
  35. Li GY, Chen J, Jang SI. SwinCross: cross-modal swin transformer for head and neck tumor segmentation in PET-CT images. Med Phys. 2024;51:2096–2107.
  36. Tang Y, Hu X, Ke T. Semantic segmentation of high-resolution remote sensing imagery via an end-to-end graph attention network with superpixel embedding. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:7236–7252.
  37. Wang R, Nie Y, Geng J. Multiscale superpixel-guided weighted graph convolutional network for polarimetric SAR image classification. IEEE J Sel Top Appl Earth Obs Remote Sens. 2024;17:3727–3741.
  38. Li S, Wu K, Liu H. Hyperspectral image classification based on multiscale feature search graph convolutional network with meta pseudo-labels. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:23485–23504.
  39. Yang B, Cheng X, Guo J. Temporal information-enhanced graph convolutional network with superpixel-pixel gated knowledge dynamic selection for change detection in satellite time series. IEEE J Sel Top Appl Earth Obs Remote Sens. 2024;17:18399–18412.
  40. Zhang H, Ku J, Zhao J. Multi-scale graph wavelet convolutional network for hyperspectral image classification. Front Remote Sens. 2025;6:1637820. doi:10.3389/frsen.2025.1637820.
  41. Zhou Q, Wang L, Gao G. Boundary-guided lightweight semantic segmentation with multiscale semantic context. IEEE Trans Multimedia. 2024;26:7887–7900.
  42. Xu X, Yen GG, Zhao C. Boundary-based active domain adaptation for semantic segmentation under adverse conditions. IEEE Trans Neural Netw Learn Syst. 2025;36:14721–14734.
  43. Tang Y, Feng S, Zhao C. A semantic change detection network based on boundary detection and task interaction for high-resolution remote sensing images. IEEE Trans Neural Netw Learn Syst. 2025;36:17184–17198.
  44. Guan L, Yuan X. Dynamic weighting and boundary-aware active domain adaptation for semantic segmentation in autonomous driving environment. IEEE Trans Intell Transp Syst. 2024;25:18461–18471.
  45. Fenglei W, Xin G, Zongze Z. A boundary-enhanced semantic segmentation model for buildings. IEEE J Sel Top Appl Earth Obs Remote Sens. 2025;18:5733–5748.
  46. Shan K, Tan L, Li Y, Jia T. Multi-scale boundary-aware network for remote sensing image semantic segmentation. Sci Rep. 2026;16:3797. doi:10.1038/s41598-025-33943-2.
  47. Wu D, Guo Z, Li A. Conditional boundary loss for semantic segmentation. IEEE Trans Image Process. 2023;32:3717–3731.
  48. Li Y, Zhang C, Wang H. Boundaries matter: a novel multibranch semisupervised semantic segmentation method. IEEE Intell Syst. 2024;40:35–44.
  49. Wang JQ, Chen T, Zheng L. A multiscale remote sensing semantic segmentation model with boundary enhancement based on UNetFormer. Sci Rep. 2025;15:14737. doi:10.1038/s41598-025-99663-9.
  50. Jung H, Choi HS, Kang M. Boundary enhancement semantic segmentation for building extraction from remote sensed image. IEEE Trans Geosci Remote Sens. 2021;60:1–12.

إعادة الطباعة والأذونات

طلب إذن لإعادة استخدام النص أو الأشكال في مقالة JoVE هذه

طلب إذن

الوسوم

مقالات ذات صلة