Bu çalışma, denetim robotları için çevrimiçi öğrenme özellikli, adaptif çoklu sensörlü (LiDAR, kamera, IR, IMU) bir DWA çerçevesi sunmaktadır. Tekrarlanan endüstriyel testler; geleneksel yöntemlere kıyasla ±1,5 cm konumlandırma doğruluğu, %98,7 engel tanıma oranı, %32 verimlilik artışı ve %9,8 enerji azalması olduğunu kanıtlamaktadır.
Araştırma makalesi
Çoklu Sensör Füzyonuna Dayalı Akıllı Robotik Denetim Sisteminin Optimizasyonu ve Dinamik Ortama Adaptasyonu Üzerine Araştırma
Bu makalede
Özet
Özet
Bu makale; dinamik senaryolardaki sınırlı algılama güvenilirliği, düşük yol planlama verimliliği ve yetersiz çevresel adaptasyon sorunlarını ele almak amacıyla, akıllı denetim robotları için çoklu sensör derin füzyonu ve adaptif karar verme mekanizmasına dayalı bir optimizasyon çerçevesi önermektedir. Robot platformu, engellerin tanınması ve poz tahmini için sağlam bir algılama modeli oluşturmak üzere LiDAR, bir görüntüleme kamerası, bir kızılötesi termal imajlayıcı ve bir IMU ile donatılmıştır. Yol planlaması için dinamik ağırlıklı-DWA füzyon algoritması ve çevresel özellikleri güncellemek için bir çevrimiçi öğrenme modülü tasarladık. Endüstriyel tesislerde ve trafo merkezlerinde, değişen ışık koşulları altında ve hareketli engellerin varlığında çok sayıda test gerçekleştirilmiştir. Kalman filtresi, DNN ve A*+DWA dahil olmak üzere temel yöntemlerle karşılaştırıldığında sistem; ±1.5 cm'lik bir konumlandırma hatası, %98,7'lik bir engel tanıma oranı ve 0.8 s'nin altında bir yeniden planlama gecikmesi elde etmiş; ayrıca %32 daha yüksek denetim verimliliği ve %9,8 daha düşük enerji tüketimi (p < 0.01) sağlamıştır. Sistem, test edilen dinamik endüstriyel koşullar altında geliştirilmiş bir dayanıklılık sunmaktadır.
Giriş
Akıllı imalatın ve akıllı enerji yapılaşmasının hızlı gelişimiyle birlikte, yüksek riskli manuel işlemleri ikame eden temel ekipmanlar olan akıllı denetim robotları; elektrik gücü, petrokimya ve raylı sistemler gibi kritik altyapı sektörlerinde yaygın olarak kullanılmaya başlanmıştır. Geleneksel denetim sistemleri, çevresel algılama için temel olarak tek bir sensöre dayanmaktadır ve yapılandırılmış, statik sahnelerdeki performansları kabul edilebilir düzeydedir. Ancak, gerçek endüstriyel sahalarda; ışık değişiklikleri, geçici ekipman yer değiştirmeleri, personel akışı ve yağmur ile sis gibi girişimler gibi oldukça dinamik ve yapılandırılmamış faktörlerle sıkça karşılaşılmakta, bu durum da algılama hatalarına ve karar verme yanlışlıklarına yol açabilmektedir1,2,3. Son yıllarda, derin ve pekiştirmeli öğrenmedeki ilerlemeler, çok kaynaklı verilerin ortaklaşa işlenmesine yönelik yeni yaklaşımlara imkan tanırken, uç hesaplama donanımlarındaki iyileştirmeler karmaşık algoritmaların gerçek zamanlı yürütülmesini sağlamıştır. Bu bağlamda, güçlü çevresel adaptasyon yeteneğine sahip çoklu sensör füzyonlu bir denetim sistemi kurmak, yalnızca işletme ve bakım süreçlerindeki otomasyon seviyesini artırmak için acil bir ihtiyaç değil, aynı zamanda kritik tesislerin güvenli çalışmasını sağlamak için temel bir teknik desteklemedir.
Çoklu sensör füzyon teknolojisinin teorik avantajları olmasına rağmen, mevcut akıllı denetim sistemleri pratik dinamik çevre uygulamalarında hala önemli darboğazlarla karşı karşıyadır: Birincisi, heterojen sensör verilerinin uzay-zamansal kayıt doğruluğu yetersizdir. Lazer nokta bulutu ile görüntü karesi arasındaki füzyon distorsiyonu, örnekleme frekanslarındaki ve koordinat sistemlerindeki farklılıklardan kaynaklanmaktadır. Özellikle robot yüksek hızda hareket ettiğinde, hareket distorsiyonu özellik eşleştirme hatalarını artırır ve engel tespitinin güvenilirliğini azaltır. İkincisi, geleneksel füzyon stratejisinin çevresel değişikliklere karşı adaptasyonu zayıftır. Ana akım yöntemler sabit parametrelere dayanır ve ani ışık değişimleri, toz girişimi veya ani engeller gibi senaryoları yönetemez, bu da yanlış tespit oranlarında artışa yol açar. Örneğin, güçlü ışık altında görüntüleme başarısız olduğunda, sistem otomatik olarak lazer ağırlıklı moda geçemez ve bu durum navigasyonun kesilmesiyle sonuçlanır. Dahası, yol planlama ve algılama modülleri birbirinden ayrıdır. Çoğu sistem seri mimari benimser: algılama katmanı çevre modelini çıktıladıktan sonra, planlama katmanı yolu yeniden oluşturur. Bu mod, dinamik sahnelerde belirgin bir yanıt gecikmesine neden olur. Geçici engeller ortaya çıktığında, "tespit-modelleme-yeniden planlama" sürecinin tamamen yürütülmesi gerekir ve bu işlem 2 saniyeden fazla sürerek gerçek zamanlı engelden kaçınma gereksinimlerini karşılayamaz. Son olarak, sistem çevrimiçi öğrenme yeteneklerinden yoksundur. Mevcut yöntemlerin çoğu önceden eğitilmiş modellere dayanmaktadır; bu modeller görülmemiş engeller veya anormal ekipman durumları için düşük tanıma oranlarına sahiptir, parametreleri sıfırlamak için sık sık manuel müdahale gerektirir ve yüksek işletme ve bakım maliyetlerine yol açar4,5,6,7. Bu sorunlar, denetim robotlarının karmaşık endüstriyel senaryolarda güvenilir şekilde konuşlandırılmasını ciddi şekilde kısıtlamaktadır.
Bu çalışma, yukarıda belirtilen sorunlu noktalar için sistematik inovasyon çözümleri sunmaktadır: İlk olarak, katmanlı adaptif füzyon mimarisi (LAFA) tasarlanmıştır. Veri katmanında, IMU hareket kompanzasyonu ve çift Kalman filtrelemesi aracılığıyla LiDAR, vizyon ve IMU verileri arasında mikrosaniye düzeyinde hizalama sağlayan bir uzay-zamansal senkronizasyon kompanzasyon algoritması önerilmiştir. Özellik katmanında ise, her sensörün güvenilirliğini dinamik olarak değerlendirmek ve füzyon ağırlığını ayarlamak için dikkat mekanizmasına dayalı bir çok modlu özellik seçimi modülü geliştirilerek çevresel bozulmalar altında algı kaybı azaltılmıştır. İkinci olarak, çevresel etkileşimli yol planlama mekanizması (EIPPM) önerilmiştir. Gerçek zamanlı algılama sonuçları, dinamik bir risk haritası oluşturmak amacıyla geliştirilmiş maliyet fonksiyonuna doğrudan entegre edilmiştir; aynı zamanda bir "algılama-planlama" kapalı döngü kuplaj arayüzü tasarlanmıştır. Dinamik Pencere Yaklaşımı (DWA) yerel engel sakınma modülü ani bir engel tespit ettiğinde, yeniden planlama gecikmesini 1 saniyenin altına indirerek küresel yol artımlı optimizasyonunu anında tetiklemekte ve yüksek dinamikli alanlardan aktif olarak kaçınmak için bir trafik maliyet tahmin modeli sunmaktadır. Üçüncü olarak, hafifletilmiş bir çevrimiçi öğrenme çerçevesi oluşturulmuştur. Çevresel özellik kütüphanesini başlatmak için transfer öğrenimi kullanılmış; uç bilişim cihazları üzerinden hafifletilmiş evrişimli ağlar (LCNN, Lightweight Convolutional Neural Network) ve uzun kısa süreli bellek ağları (LSTM, Long Short-Term Memory network) konuşlandırılarak sensör akış verileri gerçek zamanlı analiz edilmiş, anormal modeller otomatik olarak önceden tanımlanmış ve test edilen senaryolarda çevresel bilgi tabanı güncellenmiştir. Ek olarak, sistemin sürekli etkileşim yoluyla adaptif stratejileri otonom olarak öğrenmesini sağlayan, pekiştirmeli öğrenmeye dayalı bir strateji ince ayar modülü geliştirilmiştir. Bu çözüm, algılamadan karar vermeye ve yürütmeye kadar tam yığın optimizasyonu sağlayarak, sistemin yapılandırılmamış ve dinamik senaryolardaki dayanıklılığını ve otonomisini önemli ölçüde artırmaktadır.
Protokol
Teorik temel
Önerilen akıllı denetim çerçevesi; robot algılaması, çoklu sensör bilgi füzyonu, durum kestirimi ve otonom yol planlamasının yerleşik ilkeleri üzerine kurulmuştur. Çoklu sensör füzyonu; konumlandırma doğruluğunu, çevresel algılamayı ve karmaşık endüstriyel ortamlardaki dayanıklılığı artırmak için LiDAR, görüntüleme, kızılötesi görüntüleme ve atalet ölçümlerinden gelen tamamlayıcı bilgileri birleştirir. Kalman filtreleme yoluyla durum kestirimi, heterojen sensör verilerinin uzaysal-zamansal senkronizasyonunu sağlarken, adaptif ağırlıklandırma stratejileri değişen çevresel koşullar altında füzyon güvenilirliğini artırır. Ayrıca, dinamik yol planlama yöntemleri; dinamik ortamlarda güvenli ve verimli robot navigasyonunu desteklemek için gerçek zamanlı çevresel algılamayı, engelden kaçınmayı ve karar verme mekanizmalarını entegre eder. Bu yerleşik kavramlar, bu çalışmada uygulanan LAFA tabanlı algılama çerçevesi ve EIPPM yol planlama stratejisi için teorik temeli oluşturmaktadır8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30.
Hiyerarşik adaptif çoklu sensör füzyon modeli
Dinamik bir ortamdaki heterojen sensör verilerinde meydana gelen uzaysal-zamansal uyumsuzluğu ve ağırlık katılaşmasını gidermek için bu bölüm LAFA'yı (Katmanlı Adaptif Füzyon Mimarisi) önermektedir. Öncelikle LiDAR, vizyon kamerası ve IMU zaman damgalarını tekdüze bir şekilde kalibre ediyoruz ve ardından, kareler arası hareket kaymalarını telafi etmek için IMU tabanlı robot poz tahmini ile birleştirilmiş çift Kalman filtresi uyguluyoruz; böylece üç sensör arasında mikrosaniye düzeyinde uzaysal-zamansal senkronizasyon sağlıyor ve yüksek hızlı hareketin neden olduğu nokta bulutu bozulmasını ortadan kaldırıyoruz. Bu mimari, karmaşık senaryolarda algılama güvenilirliğini önemli ölçüde artırarak konumlandırma hatasını geleneksel yöntemlere kıyasla %46 oranında azaltmaktadır.
Şekil 1. Akıllı denetim robotunun dinamik karar verme mimarisi. Çok modlu algılamayı, dil rehberli görev üretimini, adaptif sensör füzyonunu ve kapalı döngü robot kontrolünü gösteren LAFA-EIPPM çerçevesinin genel görünümü. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 1'de gösterildiği gibi, bu mimari kapalı döngü çok modlu bir algılama ve dinamik karar verme sistemini entegre eder: öncelikle, doğal dil talimatları, yapılandırılmış görev istekleri oluşturmak için GPT-4o API'sini entegre eden ROSA (Robot İşletim Sistemi Asistanı) dil etkileşim modülü aracılığıyla alınır31,32. Bu modül, sabit istem şablonları ve API erişim sınırı ayarlarını kullanır. Doğal dili birleşik denetim komutu formatlarına dönüştürür ve operasyon sırasında temel güvenlik kontrolünü gerçekleştirmek için anahtar kelime filtrelemesi ile donatılmıştır; Ardından dinamik kodlayıcı, çevresel semantikler dahil gizli durum özelliklerini çıktılamak için LiDAR, görüntü ve IMU gibi çok kaynaklı sensör verilerini birleştirmek amacıyla MDN-RNN (Karışım Yoğunluk Ağı Yinelemeli Sinir Ağı) modelini kullanır; Bu özellik adaptif kontrolcüye senkronize olarak aktarılır ve önceden ayarlanmış veri seti ile kombinasyon halinde platformlar arası bir eylem talimatı oluşturulur. Son olarak, heterojen robot çevresel yürütme katmanı aracılığıyla dinamik denetim görevini tamamlamak üzere sürülür ve makine durumu gerçek zamanlı olarak kodlayıcıya geri beslenerek kapalı döngü bir optimizasyon oluşturulur; böylece çok modlu algılamadan otonom karar vermeye kadar tam süreçli bir dinamik adaptasyon mekanizması gerçekleştirilir.
Bu çalışma, sabit bir istem formatıyla GPT-4o standart API'sini kullanmakta ve 200 ms'den düşük ortalama bir yanıt gecikmesi elde etmektedir. Yeniden deneme mekanizması, deterministik olmayan durumları azaltır. Anormal istekleri yönetmek ve operasyonel güvenliği sağlamak için hata yakalama ve içerik güvenliği doğrulama modülleri konuşlandırılmıştır. LAFA, girdi olarak çoklu sensör ham verilerini alır; birleştirilmiş özellikler ve dinamik füzyon ağırlıkları çıktısı verir. Dikkat ağırlıkları, her sensörün güven değerinin normalize edilmesiyle hesaplanır. Çapraz entropi kaybı kullanılmıştır; öğrenme hızı 1e-3, grup boyutu 32 ve toplam eğitim epok sayısı 50'dir.
GPT-4o destekli ROSA, doğal dili denetim görevlerine dönüştürerek yalnızca insan-makine arayüzüne yardımcı olur; algılama veya planlamayı etkilemez, bu nedenle gecikme süresi temel bir KPI değildir. Konumlandırmadan, tanımadan veya yeniden planlamadan ödün vermeden kullanılabilirliği artırır.
Ortamla etkileşimli dinamik yol planlama mekanizması
Algılama ve planlama modüllerinin ayrılmasından kaynaklanan yanıt gecikmesini gidermek için bu bölümde çevresel etkileşimli bir yol planlama mekanizması (EIPPM) önerilmektedir. Temel yenilik, algılama ve karar verme arasında kapalı döngü bir bağlantı arayüzünün oluşturulmasında yatmaktadır. Ayrıca, oldukça dinamik alanlardaki trafik maliyetlerini tahmin etmek ve robotun tıkanıklık noktalarından aktif olarak kaçınmasına rehberlik etmek için uzun ve kısa süreli bellek ağları tanıtılmıştır. Bu mekanizma, yol güvenliğini ve verimliliğini eş zamanlı olarak artırırken, yeniden planlama gecikmesini 0.8 saniyenin altına indirmektedir.
EIPPM, engel mesafesini ve sensör güvenilirliğini birleştirerek DWA maliyet fonksiyonunu optimize eder. Dinamik risk haritası, engelin konumuna ve hareket durumuna göre oluşturulur. Engel sapması 0,5 m değerini aştığında artımlı yeniden planlama tetiklenir. LSTM tabanlı tahminleyici, bölgesel trafik maliyetini hesaplar. Yerel DWA ve küresel A* planlayıcısı, gerçek zamanlı performansı sağlamak için 0,8 s'lik bir yeniden planlama zaman eşiği ile sıkı bir etkileşim sağlar. Revize edilmiş DWA maliyeti: EQUATION. engel mesafesine dayanır; LAFA sensör güvenilirliğini benimser; LSTM tarafından tahmin edilen dinamik bölgeler için cezalar uygular. Güvenlik, algı, güvenilirlik ve hareket riskini normalize ederek dengeler. m. sensörün sensör güvenilirliği . aracılığıyla hesaplanır. Normalizasyon sonrası füzyon ağırlığı. Dikkat modülü kare bazlı olarak güncellenir; sert aydınlatma veya toz altında füzyon bozulmasını azaltmak için düşük güvenilirlikli sensörlere çok küçük ağırlıklar atanır.
Şekil 2. LiDAR tabanlı semantik algılama ve adaptif kontrol iş akışı. LiDAR tabanlı çevresel farkındalığa dayalı otonom denetim için semantik algılama, kısıtlama oluşturma ve adaptif yol planlama iş akışının gösterimi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 2'de gösterildiği gibi, tüm iş akışı LiDAR algılaması tarafından yönetilmektedir. Ham LiDAR verileri, çevresel ve hedef bilgilerini çıkarmak için önce semantik farkındalık modülüne aktarılır. Önerilen LAFA çoklu sensör füzyon algoritmasıyla işlendikten sonra veriler, çalışma kurallarını ve güvenlik sınırlarını değerlendirmesi için kontrol kısıtlama birimine iletilir. EIPPM yol planlama stratejisiyle birlikte sistem, robotun denetim görevlerini tamamlamasını sağlamak için kontrol komutları üretir. Gerçek zamanlı çevresel geri bildirim, kapalı döngü çalışmayı mümkün kılmak için ön uç algılama modülüne geri beslenir. Şekil; robot algılama, füzyon, kısıtlama kontrolü ve yürütme sisteminin tüm çalışma mantığını eksiksiz bir şekilde sunmaktadır.
Sonuçlar
Algı performansı değerlendirmesi
LAFA ve EIPPM'nin dinamik senaryolardaki etkinliğini doğrulamak için bu bölümde, iki tipik denetim ortamında (endüstriyel tesisler ve trafo merkezleri) test platformları kurulmuştur. Deneysel düzenek; aydınlatmadaki ani değişimler (2.000 → 80.000 lux), rastgele hareket eden engeller (5–8/dak) ve toz girişimi (görüş mesafesi < 5 m) gibi ekstrem koşulları içermektedir. Ana akım füzyon algoritmaları (Kalman filtresi/DNN) ve yol planlama yöntemleri (A + DWA/RRT) ile karşılaştırılarak; konumlandırma doğruluğu, engel tanıma oranı, yeniden planlama gecikmesi ve enerji tüketimi gibi temel göstergeler nicel olarak değerlendirilmiş ve önerilen şemanın performans avantajları istatistiksel anlamlılık analizi (p < 0.01) ile kanıtlanmıştır. Tüm veriler, gerçek endüstriyel tesislerden ve trafo merkezlerinden toplanmış olup, 6 engel kategorisinde toplam 28.000 örnekten oluşmaktadır. Tüm örnekler manuel olarak etiketlenmiştir. Eğitim/test ayırma oranı 8:2'dir. Çevrimiçi öğrenme için ek 5.000 gerçek zamanlı örnek kullanılmıştır. Çevresel özellik kütüphanesi, 12 boyutlu multimodal özellik vektörleri olarak oluşturulmuştur. Çevrimiçi öğrenme modeli, anormal örnekler 10 ardışık kareden fazla biriktiğinde, 0,001'lik sabit bir öğrenme oranı kullanılarak artımlı olarak güncellenmektedir. Anomali etiketleri, ani engeller ve anormal ekipman durumları olarak tanımlanmıştır. Katastrofik unutmayı önlemek için veri dağılımına 0,15'lik bir sürüklenme eşiği uygulanmıştır; dağılım kayması bu eşiği aştığında, gelen veriler stabilize olana kadar güncelleme geçici olarak durdurulmuş, böylece model sürüklenmesi bastırılmış ve genelleme performansı korunmuştur. Hafifletilmiş çevrimiçi öğrenme modülü, görülmemiş 5.000 örnekle test edilmiştir. 10 karelik model güncellemesinden sonra, bilinmeyen engel tanıma doğruluğu %7,2 oranında artarak, yeni çevresel hedefler için adaptif optimizasyon kapasitesini doğrulamıştır.
Robot platformu: Diferansiyel tekerlek sürüşü, STM32 kontrolcü ve Jetson Xavier NX yerleşik bilgisayar. 0,2–1,2 m/s hız, 8 kg maksimum taşıma kapasitesi, çift Wi-Fi ve 4G iletişimi ile 8 saat kesintisiz çalışma için lityum piller kullanmaktadır. Sensörler: RPLIDAR A1M8, 10 Hz, 360° FOV; 1080P kamera, 30 fps, 120° FOV; 320 x 240 kızılötesi görüntüleyici; MPU6050 IMU, 200 Hz. Tüm sensörler ön tarafa monte edilmiş, tekdüze olarak kalibre edilmiş ve mikrosaniye düzeyinde senkronize edilmiştir. Yazılım: Ubuntu 20.04, ROS Noetic, Python ve C++, PyTorch çerçevesi; uç hesaplama için 8 çekirdekli CPU ve 16 GB GPU ile donatılmıştır.
Endüstriyel tesis (45 m x 30 m, 120 m rota) ve trafo merkezi (50 m x 35 m, 150 m rota), sabit ekipmanlar ve hareketli personeli içermektedir. Her test, 0.6 m güvenlik mesafesi ile 30 kez gerçekleştirilir. Aydınlatma 2.000 ile 80.000 lux arasında değişmekte olup dakikada 5–8 hareketli engel bulunmaktadır. Toz, görüş mesafesini 5 m'nin altına düşürmektedir. Tüm koşullar tekrarlanabilirdir.
| Yöntem | Konumlandırma hatası (cm) | Engel tespit oranı (%) | Yanlış alarm oranı (%) | İşleme gecikmesi (ms) | Dayanıklılık (ışık değişimi) | Dayanıklılık (toz girişimi) | p-değeri |
| Sadece LiDAR | ±3.2 | 89.6 | 8.7 | 25 | Düşük | Orta | <0.01 |
| Görüntü + IMU | ±5.1 | 78.3 | 15.2 | 40 | Çok Düşük | Düşük | <0.01 |
| Kalman Füzyonu | ±2.8 | 92.1 | 6.3 | 65 | Orta | Orta | <0.01 |
| DNN Füzyonu | ±2.5 | 94.8 | 5.1 | 110 | Yüksek | Düşük | <0.01 |
| RAL 2023 | ±1.9 | 96.4 | 4 | 85 | Yüksek | Orta | <0.01 |
| Önerilen LAFA | ±1.5 | 98.7 | 1.8 | 35 | Çok Yüksek | Çok Yüksek | <0.01 |
Tablo 1: Çoklu sensör algılama performans karşılaştırması. Dayanıklılık; aydınlatma değişiklikleri ve toz etkileşimi altında engel tespitindeki azalmaya bağlı olarak 5 seviyeli bir ölçekle derecelendirilmiştir: Çok Düşük, Düşük, Orta, Yüksek ve Çok Yüksek.
Tablo 1, dinamik bir endüstriyel ortamda farklı algılama yöntemlerinin performansını karşılaştırmaktadır. Tüm deneyler, 30 bağımsız tekrarlı deneme ile gerçekleştirilmiştir (n = 30). İstatistiki analiz için Tukey'nin HSD çoklu karşılaştırma testi ile birleştirilmiş tek yönlü ANOVA kullanılmış olup, tüm göstergeler anlamlı farklılıklar göstermiştir (p < 0.01). Önerilen LAFA'nın lokalizasyon hatası ±1.5 cm'dir (SD = ±0.25 cm, 95% CI: [1.42, 1.58] cm) ve genel konumlandırma hatası normal bir dağılım izlemektedir. Engel tespit oranı %98.7'ye ulaşmakta (SD = ±0.65%, 95% CI: [98.4%, 99.0%]) ve yanlış alarm oranı yalnızca %1.8'dir. İşleme gecikmesi sadece 35 ms'dir (ana akım DNN füzyonundan %68 daha hızlıdır) ve güçlü ışık ile toz girişimi altındaki dayanıklılık "Çok Yüksek" derecesine ulaşırken, kıyaslama yöntemleri "Orta" ve "Düşük" olarak derecelendirilmiştir. Test veri seti, sonuçların tekrarlanabilirliğini sağlamak için altı tip engel içermektedir. Bu durum, LAFA'nın uzaysal-zamansal senkronizasyon kompanzasyonu ve dinamik dikkat ağırlıklandırma mekanizması aracılığıyla heterojen, çok kaynaklı verilerin adaptif füzyonundaki avantajlarını tam olarak ortaya koymaktadır.
Yol planlama performans değerlendirmesi
| Yöntem | Yeniden planlama süresi | Yol optimalliği (%) | Çarpışma oranı (%) | Başarı oranı (%) | Dinamik kaçınma skoru | Enerji tüketimi |
| A* + DWA | 2.5 | 82.6 | 7.3 | 88.9 | 6.1 | 0.48 |
| RRT*+APF | 1.8 | 76.4 | 5.1 | 91.2 | 7.3 | 0.52 |
| DRL Planlayıcı | 1.2 | 88.7 | 4 | 93.5 | 8.5 | 0.43 |
| ICRA 2024 | 0.9 | 90.2 | 3.2 | 95.1 | 8.9 | 0.41 |
| Önerilen EIPPM | 0.8 | 96.3 | 0.9 | 99.2 | 9.7 | 0.37 |
Tablo 2: Dinamik yol planlama performans karşılaştırması. Dinamikten kaçınma puanı 0 ile 10 puan arasında değişir ve 30 tekrarlı deneme boyunca çarpışma oranı, yol pürüzsüzlüğü, yeniden planlama gecikmesi ve görev başarı oranının ağırlıklandırılmasıyla hesaplanır.
Tablo 2, rastgele hareket eden engellerin (5-8 engel/dak) ve ekipman termal radyasyon girişiminin bulunduğu bir trafo merkezi senaryosunda çeşitli yol planlama yöntemlerinin performansını değerlendirmektedir. Toplam 12 sabit denetim rotası benimsenmiş ve her yöntem 30 kez test edilmiştir. Her denemede ortalama 20 engelle karşılaşılmış ve her grubun toplam hata sayısı eş zamanlı olarak kaydedilmiştir. Önerilen EIPPM mekanizması, algılama ve planlamanın kapalı döngü eşleşmesini kullanarak A*+DWA yönteminden %68 daha hızlı olan 0,8 s'lik bir yeniden planlama yanıt süresi elde etmiştir. Yol optimizasyon oranı %96,3'e (%6,1 iyileşme) ulaşmış, çarpışma oranı yalnızca %0,9 (karşılaştırılan tüm yöntemler arasındaki en düşük değer) olmuş ve dinamik engel sakınma puanı 9,7/10 olarak gerçekleşmiştir. Bu durum temel olarak dinamik risk haritasının proaktif sakınma yeteneklerinden ve yüksek aktivite alanlarındaki trafik maliyet tahmininden kaynaklanmaktadır. Aynı zamanda, enerji tüketimi 0,37 kWh/km'ye (%9,8 tasarruf) düşürülmüştür. İstatistiksel analizlerle (p < 0.01) birleştirildiğinde bu göstergeler, EIPPM'nin karmaşık ve dinamik senaryolarda verimli ve güvenli etkileşimli karar verme konusundaki üstünlüğünü kanıtlamaktadır. Tüm kıyaslama yöntemleri ROS Noetic üzerinde çalıştırılmıştır. Kalman Fusion ve DNN Fusion açık kaynaklı varsayılan parametreleri kullanmaktadır. A*+DWA, RRT*+APF ve DRL Planner mevcut literatürdeki klasik parametre ayarlarını kullanmaktadır. Tüm algoritmalar aynı donanım ve sahne koşulları altında optimize edilmiştir.
Sensör verileri ve yörünge analizi
Şekil 3. Çoklu sensör sinyal dalgalanması ve robot yörünge analizi. (A) Birleştirilmiş sensör sinyal genliklerinin mekânsal dağılımını gösteren üç boyutlu dalga yayılım modeli. (B) LAFA ile birleştirilmiş alan ölçümlerinden üretilen robot yörüngelerini ve örneklenen sensör verilerini gösteren sensör alanının üç boyutlu hibrit görselleştirmesi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 3, birleştirilmiş çoklu sensör verilerini ve robot yörüngelerini görselleştirmektedir. 0.0-10.8 dB genlik değerleri; yerinde LiDAR, kamera ve IMU verileri kullanılarak LAFA algoritması ile hesaplanmıştır. 8.0 dB üzerindeki genliğe sahip alanlar güçlü çevresel girişimi temsil etmektedir. Genlik pikleri denetim yoluyla örtüşmekte ve genlik 5.0 dB değerini aştığında yörüngelerde belirgin salınımlar görülmektedir. Veri noktalarının çoğu 2.5 ile 7.5 dB arasında kümelenmiş olup, bu durum sistemin yüksek girişimli bölgeleri baypas ettiğini göstermektedir. Geniş uzaysal kapsama alanı ve pürüzsüz yörüngeler (eğim değişikliği <; 0.6), robotun adaptasyon yeteneğini ve önerilen füzyon yönteminin dinamik endüstriyel denetimler için üstünlüğünü doğrulamaktadır.
Şekil 4. Akıllı denetim sisteminin performans değerlendirmesi. (A) Robot denetim verilerinden elde edilen reaksiyon hızı ve ürün verimi dağılımı. (B) Denetim görevleri sırasında reaksiyon hızı ve ürün verimi arasındaki ilişkiyi gösteren yoğunluk dağılımı. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 4, gerçek robot denetim görevlerindeki performans karşılaştırmasını göstermektedir. Tüm metrikler robotun ham LiDAR, kamera ve IMU devriye verilerinden türetilmiştir. Tepki hızı, LAFA füzyon modülünün ekipman anomalilerini yakalamadaki ortalama yanıt hızını ifade ederken, ürün verimi, EIPPM yol planlaması tarafından taranan geçerli kusur çıktılarının payını ifade eder. Eğriler, çerçevenin tespit verimliliğini ve çevresel adaptasyonunu nicelleştirerek, pratik denetim avantajlarına dair ampirik kanıtlar sunar.
Şekil 5Denetim sırasında sensör sinyallerinin zaman serisi analizi. (A) Zaman serisi sensör sinyallerinin trend, mevsimsel, artık ve gürültü bileşenlerine ayrıştırılması. (B) Sürekli robot denetimi sırasında ilgili güven aralığı ile birlikte elektriksel sensör sinyali. Lütfen bu şeklin daha büyük bir versiyonunu görüntülemek için buraya tıklayın.
Şekil 5'te gösterildiği gibi, zaman serisi eğrileri, trafo merkezi senaryosunda gerçekleştirilen 10 dakikalık sürekli devriye sırasında kaydedilen LiDAR mesafe ve kamera yoğunluk okumalarından türetilmiştir. Bu eğriler, ışık değişimleri ve toz girişimi altındaki gerçek zamanlı algılama tepkilerini örneklendirmektedir. Önerilen LAFA yöntemi, sinyal titremesini etkili bir şekilde yumuşatarak kararlı bir çıktı sağlamakta ve dinamik denetim görevlerinde engellerin tespitini ve gerçek zamanlı çarpışma önlemeyi doğrudan desteklemektedir.
Şekil 6. Çok boyutlu fiziksel alan analizi. LAFA ile birleştirilmiş çok sensörlü ölçümlerden yeniden kurgulanan çevresel alan özelliklerinin görselleştirmesi; çevresel dinamiklerin uzamsal dağılımını, sensör veri noktalarını ve alan gradyanlarını göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 6'da gösterildiği gibi, çalışma ortamını ve sinyal performansını analiz etmek amacıyla, çok boyutlu fiziksel alan verileri LAFA algoritması kullanılarak robot alan sensörü ölçümlerinden işlenmiştir. Bu görselleştirme; farklı uzaysal dağılım, veri dağılımı ve istatistiksel özelliklere sahip 10 analiz katmanını içermektedir. Sonuçlar, çevresel girişimin uzaysal modelini yansıtmakta ve robot algılama sisteminin kararlı performansını doğrulamaktadır.
Yüksek boyutlu özellik görselleştirme
Şekil 7. Sistem performansının ve çevresel yanıtın çok boyutlu görselleştirmesi. (A) Denetim döngüleri boyunca alt sistem performans metriklerini gösteren üç boyutlu yığınlı çubuk grafik. (B) Örneklenmiş sensör ölçümleri ile birlikte çevresel yanıt yoğunluğunu gösteren üç boyutlu yüzey grafiği. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 7, denetim sisteminin çok boyutlu çalışma özelliklerini göstermektedir. Soldaki 3D yığılı bar grafiği, denetim döngüleri boyunca alt sistem performansını sergilemektedir; C3 döngüsündeki MA, MB ve MC değerleri sırasıyla 12.4, 9.7 ve 15.2 olup belirgin yük dalgalanmalarına işaret etmektedir. Sağdaki yüzey grafiği, ±18'lik bir tepe noktasıyla ve verilerin çoğunun -5 ile +5 arasında olmasıyla doğrusal olmayan çevresel özellikleri yansıtan çevresel yanıt yoğunluğunu göstermektedir. Sonuçlar, robot sensör füzyonu ve çizelgeleme optimizasyonu için veri desteği sağlamaktadır. MA, MB ve MC sırasıyla algılama, yol planlama ve yürütme alt sistemlerinin yük metriklerini temsil etmektedir.
Şekil 8. Farklı çalışma koşulları altında birleştirilmiş sensör sinyallerinin üç boyutlu özellikleri. (A) Sinüs fonksiyonu yüzeyi. (B) Hiperbolik paraboloid yüzeyi. (C) Bessel fonksiyonu yüzeyi. (D) Kuantum dalga fonksiyonu yüzeyi. Bu temsili yüzey modelleri, farklı inceleme koşulları altında LAFA ile birleştirilmiş sensör sinyallerinin uzaysal özelliklerini göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 8'de gösterildiği gibi, dört grup 3B yüzey modeli, farklı inceleme çalışma koşulları altındaki çok sensör füzyon sinyallerini karakterize etmektedir. Sinyallerin uzamsal varyasyonu ve zayıflama kuralları analiz edilmiştir. Bu özellikler, LAFA algoritmasının farklı ortamlarda tutarlı füzyon performansı sergilediğini kanıtlamakta ve sonraki yol planlama optimizasyonu için bir referans teşkil etmektedir. Bu 3B yüzey modelleri, LAFA ile füzyonu yapılmış sensör verilerinden enterpole edilmiştir. Çeşitli koşullar boyunca gözlemlenen tekdüze sinyal dağılımı, çerçevemizin farklı girişimler altında kararlı füzyon performansını doğrulamaktadır.
Şekil 9Robot yörüngesi ve sensör örnekleme dağılımı. (A) Robot yörüngelerinin geometrik özelliklerini temsil eden parametrik kelebek eğrisi. (B) Denetim verilerinin mekansal dağılımını gösteren sensör örnekleme noktalarının spiral dağılımı. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 9'da gösterildiği gibi, robot yörüngesi ve sensör mekansal dağılım verilerinden eğriler ve polar grafikler fit edilmiştir. Eğrilik ve yoğunluk, parametrik denklemler aracılığıyla hesaplanmıştır. Mekansal dağılım kuralları, robotun hareket özelliklerini ve geniş ölçekli denetim senaryolarındaki çoklu sensör örnekleme noktalarının mekansal dağılımını özetlemektedir. Tüm grafikler, gerçek robot yörüngeleri ve sensör örnekleme noktalarından fit edilmiştir. Düzgün örnekleme dağılımı ve pürüzsüz yörünge eğrileri, önerilen LAFA-EIPPM sistemindeki algılamanın stabilitesini ve yol optimizasyonunun güvenilirliğini doğrulamaktadır.
Şekil 10Görev performansı ve robot inceleme yörüngesinin görselleştirilmesi. (A) Görev performansı değerlerini ve örneklem alınan inceleme noktalarını gösteren üç boyutlu performans yüzeyi. (B) Robot denetim yörüngesi ve mekânsal kapsam, otonom denetim sırasında izlenen yolu göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 10'ta gösterildiği gibi, sol panel görev performansının dağılımını göstermektedir; tepe noktası 15,3, minimum değer 5,1 ve dördüncü görev noktası puanı 13,2'dir. Kırmızı noktalar eşit aralıklarla örneklenmiştir ve mavi çizgi eğilimi göstermektedir. Sağdaki şekildeki yol (maksimum Z = 7,8m) ve kapsama alanı (yükseklik 4,0m), gerçek yörüngeyi ve mekânsal kapsamı göstermektedir. İki grafik, görev yükündeki dalgalanmaları ve örnekleme tekdüzeliğini kapsamlı bir şekilde yakalayarak füzyon optimizasyonunu destekleyecek veriler sağlamaktadır.
Veri Kullanılabilirliği:
Bu çalışmada oluşturulan deneysel veri setleri, gizlilik sözleşmelerine tabi sahaya özgü endüstriyel bilgiler içerdiğinden kamuya açık değildir. Kısıtlı materyaller arasında fabrika koordinatları, işlenmemiş LiDAR taramaları ve gizli cihaz parametreleri yer almaktadır. Gizlilik yükümlülüklerinin karşılanabilmesi şartıyla, makul talepler doğrultusunda erişim konusu sorumlu yazar tarafından değerlendirilebilir.
Tartışma
Bu makale, karmaşık ve dinamik ortamlardaki akıllı denetim robotlarının algılama güvenilirliğini ve karar verme verimliliğini artırmak için LAFA-EIPPM ortak optimizasyon çerçevesini önermektedir. LAFA, uzay-zamansal senkronizasyon ve dikkat tabanlı bir ağırlıklandırma mekanizması aracılığıyla sağlam çoklu sensör füzyonu sağlayarak20,22, güçlü ışık ve toz gibi olumsuz koşullar altında konumlandırma doğruluğunu ve engel tanıma yeteneklerini önemli ölçüde iyileştirir. EIPPM ise algılama ve planlama arasında kapalı döngü bir etkileşim kurarak10,16, enerji tüketimini optimize ederken hızlı yol yeniden planlamasını ve risk duyarlı navigasyonu destekler.
Bu araştırma, dinamik ortamlarda çoklu sensör füzyonu ve otonom robot karar verme süreçleri için yeni bir teknik yol sunmaktadır. LAFA'nın dinamik ağırlık ayarlama mekanizması geleneksel sabit ağırlıklı füzyonun sınırlamalarını aşmakta, EIPPM'nin kapalı döngü kuplaj paradigması yeniden planlama gecikmesini kısaltmakta ve çevrimiçi öğrenme modülü sistemin bilinmeyen engellere ve anormal örüntülere karşı sürekli adaptasyon yeteneği kazanmasını sağlamaktadır. Bu yenilikler, akıllı denetim teorisini yüksek derecede dinamik ve yapılandırılmamış senaryolara genişletmektedir.
Mevcut sistemin hâlâ belirli sınırlamaları bulunmaktadır: Birincisi, çevrimiçi öğrenme modülü, son derece nadir anomali modelleriyle karşılaştığında yavaş yakınsar; ikincisi, deneyler yalnızca endüstriyel tesislerde ve trafo merkezlerinde gerçekleştirilmiştir ve karmaşık açık arazi şartlarındaki veya ekstrem hava koşullarındaki performans henüz doğrulanmamıştır; üçüncüsü, bu çalışma yalnızca kısa süreli prototip testlerini kapsamaktadır; uzun süreli endüstriyel saha kurulumu, sistematik güvenlik değerlendirmesi ve hata toleransı testleri henüz tamamlanmamıştır; dördüncüsü, bu çalışmada algoritma ablasyon çalışmaları ve tam döngü gerçek zamanlı çalışma günlüğü analizleri uygulanmamıştır; ayrıca, sistem kenar bilişim gücüne dayanmaktadır ve uzun vadeli operasyonel stabilite daha fazla test gerektirmektedir.
Bu yöntem; endüstriyel tesisler, elektrik trafo merkezleri, petrokimya tesisi izleme ve raylı sistem tünel denetimi dahil olmak üzere test edilen yüksek riskli senaryolarda önemli bir uygulama değerine sahiptir. Örneğin, trafo merkezlerinde ±1.5 cm konumlandırma hassasiyeti ve %0,9 çarpışma oranı elde edilerek manuel denetim riskleri önemli ölçüde azaltılmıştır; endüstriyel boru hatlarının içinde ise otonom engel sakınma ve kusur tanımlama sağlamak için çoklu sensör füzyonu ile birleştirilebilir. Tarım robotlarını, kurtarma robotlarını, su altı keşiflerini8,28 ve havadan denetimi içeren senaryolar, gelecek vaat eden genişletilmiş uygulamalar olarak değerlendirilmektedir ve takip araştırmalarımızda incelenecektir.
Gelecek çalışmalar şunları içermektedir: 1) Doğal dil komutlarını ve görev muhakemesini desteklemek için hafif büyük dil modellerinin insan-bilgisayar etkileşimi modüllerine entegre edilmesi; 2) Birden fazla robot arasında deneyim paylaşımı sağlamak için uç-bulut iş birliğine dayalı dağıtık bir öğrenme çerçevesinin geliştirilmesi; 3) Çapraz medya algılama ve hareket kontrolü problemlerini çözmek amacıyla su altı veya havadan denetim senaryolarına genişletilmesi; 4) Karar verme sürecinin güvenilirliğini ve hata ayıklama imkanlarını artırmak için açıklanabilir bir yapay zeka modülünün sunulması.
Sonuç:
Dinamik ortamlarda çalışan akıllı denetim robotlarındaki düşük algılama güvenilirliği ve yüksek karar gecikmesi şeklindeki temel darboğazları gidermek için bu çalışma, LAFA ve EIPPM tabanlı bir iş birlikli optimizasyon şeması önermektedir. LAFA; uzaysal-zamansal senkronizasyon kompanzasyonu ve bir dikkat-ağırlıklandırma mekanizması aracılığıyla LiDAR, görüntüleme kamerası, kızılötesi görüntüleyici ve IMU dahil olmak üzere çok kaynaklı sensörlerin dinamik entegrasyonunu gerçekleştirir. Endüstriyel tesislerde yürütülen kısa süreli saha prototip testlerinde sistem, ±1.5 cm'lik bir konumlandırma hatası ve %98,7'lik bir engel tanıma oranı elde etmiş; güçlü ışık ve toz girişimine karşı üst düzey dayanıklılık göstermiştir. Karmaşık trafo merkezi senaryolarında EIPPM çerçevesi, algılama ve planlama arasında kapalı döngü bir etkileşim kurar. Dinamik risk haritaları ve artımlı yeniden planlama stratejileriyle birleştiğinde, yol yeniden planlama gecikmesini 0.8 s'ye düşürmekte ve çarpışma oranını %0,9'a indirmektedir. Prototip, geleneksel yöntemlerle karşılaştırıldığında genel denetim verimliliğinde %32 artış ve enerji tüketiminde %9,8 azalma sağlamıştır.
Test sonuçları, önerilen prototipin hatalı veri kaydı, zayıf çevresel adaptasyon ve yavaş yanıt süreleri dahil olmak üzere geleneksel yöntemlerin yaygın dezavantajlarını hafiflettiğini göstermektedir. Hafif siklet çevrimiçi öğrenme modülü, test edilen senaryolar kapsamındaki kısmen bilinmeyen engeller ve basit anormal paternler için temel adaptif performans sağlamaktadır. Bu çalışma, güç ve petrokimya yüksek riskli senaryolardaki denetim görevleri için yüksek otonomili bir teknik prototip sunmaktadır. Bununla birlikte, bu çalışmanın bazı kısıtlamaları bulunmaktadır: testler tesisler/trafo merkezleri ile sınırlıdır, çevrimiçi öğrenme nadir anomaliler için yavaş yakınsamaktadır, uzun vadeli stabilite ve hata toleransı henüz test edilmemiştir ve uç bilişime olan bağımlılığın doğrulanması gerekmektedir. Gelecekteki çalışmalar, çok robotlu iş birliği ve genişletilmiş saha denemeleri yoluyla bu sorunları ele alacaktır.
Açıklamalar
Yazarların beyan edilecek herhangi bir çıkar çatışması yoktur.
Malzemeler
| Ad | Şirket | Katalog numarası | Yorumlar |
|---|---|---|---|
| 1080P Kamera | Custom | N/A | Görüntü sensörü, 30 fps, 120° FOV |
| Kızılötesi Görüntüleyici | Generic | 320×240 | Termal görüntüleme, 320 x 240 çözünürlük |
| Jetson Xavier NX | NVIDIA | Xavier NX | Uç bilgisayar, 8 çekirdekli CPU, 16 GB GPU |
| LiDAR RPLIDAR A1M8 | Slamtec | A1M8 | 10 Hz tarama, 360° FOV |
| Lityum Batarya | Custom | 12V/20Ah | Güç kaynağı, 8 h sürekli çalışma |
| MPU6050 IMU | InvenSense | MPU6050 | 200 Hz, ivmeölçer ve jiroskop |
| STM32 Kontrolcü | STMicroelectronics | STM32F4 | Ana hareket kontrol ünitesi |
Kaynaklar
- Deng L, Wang S, Guo J, Cao R, Liu M. 3D keypoint detection-based automated rebar spacing inspection: Application for robotic integration. Adv Eng Inform. 2025;66:103418.
- Hu D, Gan VJL. Semantic navigation for automated robotic inspection and indoor environment quality monitoring. Autom Constr. 2025;170:105949.
- Li J, Zhou X, Gui C, Yang M, Xu F, Wang X. Adaptive climbing and automatic inspection robot for variable curvature walls of industrial storage tank facilities. Autom Constr. 2025;172:106049.
- Lin T, Ren Z, Huang K, Zhu Y, Karimi HR. A novel multi-sensor information fusion method for fault diagnosis of rotating machinery with missing signals. Adv Eng Inform. 2025;68:103595.
- Zhuo R, Deng Z, Teng H, Ge J, Lv L, Liu W. The grinding wheel wear condition monitoring method based on multi-sensor information hierarchical fusion for high-speed cylindrical grinding. Adv Eng Inform. 2025;67:103541.
- Su Y, Shi X, Song T. Research on vehicle safety based on multi-sensor feature fusion for autonomous driving task. Comput Mater Contin. 2025;83(3):5831-48.
- Makrouf I, Zegrari M, Dahi K, Ouachtouk I. A novel framework for multi-sensor data fusion in bearing fault diagnosis using continuous wavelet transform and transfer learning. e-Prime Adv Electr Eng Electron Energy. 2025;13:101025.
- Liu X, Xie S. Innovative strategy and practice of using underwater robot for marine cable inspection and operation and maintenance. Cogn Robot. 2025;5:226-39.
- Yue H, Wang Q, Zhao Z, Lai S, Huang G. Interactions between BIM and robotics: Towards intelligent construction engineering and management. Comput Ind. 2025;169:104299.
- Yang H, Luo X, Duan C, Wang P, Zhu K, Deng X, Ren W. Research on multi-objective point path planning for mobile inspection robot based on Multi-Informed-Rapidly Exploring Random Tree. Eng Appl Artif Intell. 2025;151:110645.
- Yu Q, Zhang Q, Sun G, Qin R. Distribution station inspection robot with modular manipulator. HardwareX. 2025;22:e00652.
- Li X, Xiao S, Li Q, Zhu L, Wang T, Chu F. The bearing multi-sensor fault diagnosis method based on a multi-branch parallel perception network and feature fusion strategy. Reliab Eng Syst Saf. 2025;261:111122.
- Qin Y, Zhao Y, Qi J, Mao Y. Spatial-temporal multi-sensor information fusion network with prior knowledge embedding for equipment remaining useful life prediction. Reliab Eng Syst Saf. 2025;264:111420.
- Cao C, Zhao Y. Distributed heterogenous multi-sensor fusion based on labeled random finite set for multi-target state estimation using information geometry. Signal Process. 2026;238:110135.
- Wang C, Yin L, Zhao Q, Wang W, Li C, Luo B. An intelligent robot for indoor substation inspection. Ind Robot. 2020;47(5):705-12.
- Yang Q, Dong J, Tan M, Wang J, Guo D, Kang H, Wang P. A novel navigation assistant method for substation inspection robot based on multisensory information fusion. J Adv Res. 2025;77:407-18.
- Sun G, Xia L, Du X, Yu Q, Zhang J, Qin R. Self-tuning clamping force control with optimal trajectory tracking for autonomous pipe inspection robots. J Pipeline Sci Eng. 2025;100309. Epub ahead of print.
- Chi P, Wang Z, Liao H, Li T, Wu X, Zhang Q. Towards new-generation of intelligent welding manufacturing: A systematic review on 3D vision measurement and path planning of humanoid welding robots. Measurement. 2025;242:116065.
- Wang Q, Xia J, Li M, Yin L, Xie X. A multi-sensor fusion and multi-source domain adaptive fault diagnosis method for rotating machinery. Eng Appl Artif Intell. 2025;159:111538.
- Hu J, Chen J, Lv M, Xu Z, Chen Z, Han J. MSHF: Multi-sensor hierarchical fusion for UGV localization in an unstructured environment. Expert Syst Appl. 2025;294:128732.
- Gudla R, Chang NB. Multi-sensor data fusion via a cortical gap network for time series large data gap filling under uncertainties. Inf Fusion. 2026;126:103618.
- Laidouni MZ, Bondžulić B, Bujaković D, Adli T, Andrić M. ConvNeXtFusion: Multi-sensor image fusion via residual dense and cross ConvNeXt network. Infrared Phys Technol. 2025;150:106005.
- Tian D, Li J, Lei J. Multi-sensor information fusion in Internet of Vehicles based on deep learning: A review. Neurocomputing. 2025;614:128886.
- Zhang Y, Wang Y, Su C, Miao Y, Wei T, Feng Y, Chen F, Ying Z, Wang S, Wang X. Multi-sensor fusion-based intelligent auxiliary system of power wheelchairs for individuals with limbs disabilities: Design and implementation. Measurement. 2026;257:118573.
- Zuo K, Li X, Li X, Wang K, Gao T, Shen T. Multi-sensor fusion with triple reliability evaluation for human activity recognition. Measurement. 2026;257:118580.
- Zhao X, Liu Z, Liu Y, Zhang B, Sui J, Jiang K. Structure design and application of combination track intelligent inspection robot used in substation indoor. Procedia Comput Sci. 2017;107:190-5.
- Kadri I, Selouani SA, Ghribi M, Ghali R, Mekhoukh S. LLM-driven agent for speech-enabled control of industrial robots: A case study in snow-crab quality inspection. Results Eng. 2025;27:106660.
- Jiang Y, Pan Z, Zhang X. Tunnel infrastructure health management: A state-of-the-art review on defect development mechanism and robot-aided inspection system. Smart Undergr Eng. 2025;1(1):26-39.
- Okonkwo C, Awolusi I. Environmental sensing in autonomous construction robots: Applicable technologies and systems. Autom Constr. 2025;172:106075.
- Du Y, Chen X, Yu Z, Meng F, Zhou Z, Zhang Y, Li Q, Huang Q. Efficient co-adaptation of humanoid robot design and locomotion control using surrogate-guided optimization. Biomim Intell Robot. 2025;5(4):100255.
- Lv X, Cui S, Wang Y, Lu J, Yu P, Wang K. Patch time series transformer-based short-term photovoltaic power prediction enhanced by artificial fish. Energies. 2026;19(1):284.
- Lei M, Zhang M, Wang K. Research on bidding optimization strategy for virtual power plants with wind-solar-storage systems based on IGDT-DRO. Electr Eng. 2026;108(3):208.