Bu çalışma, denetim robotları için çevrimiçi öğrenme özellikli, adaptif çoklu sensörlü (LiDAR, kamera, IR, IMU) bir DWA çerçevesi sunmaktadır. Tekrarlanan endüstriyel testler; geleneksel yöntemlere kıyasla ±1,5 cm konumlandırma doğruluğu, %98,7 engel tanıma oranı, %32 verimlilik artışı ve %9,8 enerji azalması olduğunu kanıtlamaktadır.
Araştırma makalesi
Çoklu Sensör Füzyonuna Dayalı Akıllı Robotik Denetim Sisteminin Optimizasyonu ve Dinamik Ortama Adaptasyonu Üzerine Araştırma
Bu makalede
Özet
Özet
Bu makale; dinamik senaryolardaki sınırlı algılama güvenilirliği, düşük yol planlama verimliliği ve yetersiz çevresel adaptasyon sorunlarını ele almak amacıyla, akıllı denetim robotları için çoklu sensör derin füzyonu ve adaptif karar verme mekanizmasına dayalı bir optimizasyon çerçevesi önermektedir. Robot platformu, engellerin tanınması ve poz tahmini için sağlam bir algılama modeli oluşturmak üzere LiDAR, bir görüntüleme kamerası, bir kızılötesi termal imajlayıcı ve bir IMU ile donatılmıştır. Yol planlaması için dinamik ağırlıklı-DWA füzyon algoritması ve çevresel özellikleri güncellemek için bir çevrimiçi öğrenme modülü tasarladık. Endüstriyel tesislerde ve trafo merkezlerinde, değişen ışık koşulları altında ve hareketli engellerin varlığında çok sayıda test gerçekleştirilmiştir. Kalman filtresi, DNN ve A*+DWA dahil olmak üzere temel yöntemlerle karşılaştırıldığında sistem; ±1.5 cm'lik bir konumlandırma hatası, %98,7'lik bir engel tanıma oranı ve 0.8 s'nin altında bir yeniden planlama gecikmesi elde etmiş; ayrıca %32 daha yüksek denetim verimliliği ve %9,8 daha düşük enerji tüketimi (p < 0.01) sağlamıştır. Sistem, test edilen dinamik endüstriyel koşullar altında geliştirilmiş bir dayanıklılık sunmaktadır.
Giriş
Akıllı imalatın ve akıllı enerji yapılaşmasının hızlı gelişimiyle birlikte, yüksek riskli manuel işlemleri ikame eden temel ekipmanlar olan akıllı denetim robotları; elektrik gücü, petrokimya ve raylı sistemler gibi kritik altyapı sektörlerinde yaygın olarak kullanılmaya başlanmıştır. Geleneksel denetim sistemleri, çevresel algılama için temel olarak tek bir sensöre dayanmaktadır ve yapılandırılmış, statik sahnelerdeki performansları kabul edilebilir düzeydedir. Ancak, gerçek endüstriyel sahalarda; ışık değişiklikleri, geçici ekipman yer değiştirmeleri, personel akışı ve yağmur ile sis gibi girişimler gibi oldukça dinamik ve yapılandırılmamış faktörlerle sıkça karşılaşılmakta, bu durum da algılama hatalarına ve karar verme yanlışlıklarına yol açabilmektedir1,2,3. Son yıllarda, derin ve pekiştirmeli öğrenmedeki ilerlemeler, çok kaynaklı verilerin ortaklaşa işlenmesine yönelik yeni yaklaşımlara imkan tanırken, uç hesaplama donanımlarındaki iyileştirmeler karmaşık algoritmaların gerçek zamanlı yürütülmesini sağlamıştır. Bu bağlamda, güçlü çevresel adaptasyon yeteneğine sahip çoklu sensör füzyonlu bir denetim sistemi kurmak, yalnızca işletme ve bakım süreçlerindeki otomasyon seviyesini artırmak için acil bir ihtiyaç değil, aynı zamanda kritik tesislerin güvenli çalışmasını sağlamak için temel bir teknik desteklemedir.
Çoklu sensör füzyon teknolojisinin teorik avantajları olmasına rağmen, mevcut akıllı denetim sistemleri pratik dinamik çevre uygulamalarında hala önemli darboğazlarla karşı karşıyadır: Birincisi, heterojen sensör verilerinin uzay-zamansal kayıt doğruluğu yetersizdir. Lazer nokta bulutu ile görüntü karesi arasındaki füzyon distorsiyonu, örnekleme frekanslarındaki ve koordinat sistemlerindeki farklılıklardan kaynaklanmaktadır. Özellikle robot yüksek hızda hareket ettiğinde, hareket distorsiyonu özellik eşleştirme hatalarını artırır ve engel tespitinin güvenilirliğini azaltır. İkincisi, geleneksel füzyon stratejisinin çevresel değişikliklere karşı adaptasyonu zayıftır. Ana akım yöntemler sabit parametrelere dayanır ve ani ışık değişimleri, toz girişimi veya ani engeller gibi senaryoları yönetemez, bu da yanlış tespit oranlarında artışa yol açar. Örneğin, güçlü ışık altında görüntüleme başarısız olduğunda, sistem otomatik olarak lazer ağırlıklı moda geçemez ve bu durum navigasyonun kesilmesiyle sonuçlanır. Dahası, yol planlama ve algılama modülleri birbirinden ayrıdır. Çoğu sistem seri mimari benimser: algılama katmanı çevre modelini çıktıladıktan sonra, planlama katmanı yolu yeniden oluşturur. Bu mod, dinamik sahnelerde belirgin bir yanıt gecikmesine neden olur. Geçici engeller ortaya çıktığında, "tespit-modelleme-yeniden planlama" sürecinin tamamen yürütülmesi gerekir ve bu işlem 2 saniyeden fazla sürerek gerçek zamanlı engelden kaçınma gereksinimlerini karşılayamaz. Son olarak, sistem çevrimiçi öğrenme yeteneklerinden yoksundur. Mevcut yöntemlerin çoğu önceden eğitilmiş modellere dayanmaktadır; bu modeller görülmemiş engeller veya anormal ekipman durumları için düşük tanıma oranlarına sahiptir, parametreleri sıfırlamak için sık sık manuel müdahale gerektirir ve yüksek işletme ve bakım maliyetlerine yol açar4,5,6,7. Bu sorunlar, denetim robotlarının karmaşık endüstriyel senaryolarda güvenilir şekilde konuşlandırılmasını ciddi şekilde kısıtlamaktadır.
Bu çalışma, yukarıda belirtilen sorunlu noktalar için sistematik inovasyon çözümleri sunmaktadır: İlk olarak, katmanlı adaptif füzyon mimarisi (LAFA) tasarlanmıştır. Veri katmanında, IMU hareket kompanzasyonu ve çift Kalman filtrelemesi aracılığıyla LiDAR, vizyon ve IMU verileri arasında mikrosaniye düzeyinde hizalama sağlayan bir uzay-zamansal senkronizasyon kompanzasyon algoritması önerilmiştir. Özellik katmanında ise, her sensörün güvenilirliğini dinamik olarak değerlendirmek ve füzyon ağırlığını ayarlamak için dikkat mekanizmasına dayalı bir çok modlu özellik seçimi modülü geliştirilerek çevresel bozulmalar altında algı kaybı azaltılmıştır. İkinci olarak, çevresel etkileşimli yol planlama mekanizması (EIPPM) önerilmiştir. Gerçek zamanlı algılama sonuçları, dinamik bir risk haritası oluşturmak amacıyla geliştirilmiş maliyet fonksiyonuna doğrudan entegre edilmiştir; aynı zamanda bir "algılama-planlama" kapalı döngü kuplaj arayüzü tasarlanmıştır. Dinamik Pencere Yaklaşımı (DWA) yerel engel sakınma modülü ani bir engel tespit ettiğinde, yeniden planlama gecikmesini 1 saniyenin altına indirerek küresel yol artımlı optimizasyonunu anında tetiklemekte ve yüksek dinamikli alanlardan aktif olarak kaçınmak için bir trafik maliyet tahmin modeli sunmaktadır. Üçüncü olarak, hafifletilmiş bir çevrimiçi öğrenme çerçevesi oluşturulmuştur. Çevresel özellik kütüphanesini başlatmak için transfer öğrenimi kullanılmış; uç bilişim cihazları üzerinden hafifletilmiş evrişimli ağlar (LCNN, Lightweight Convolutional Neural Network) ve uzun kısa süreli bellek ağları (LSTM, Long Short-Term Memory network) konuşlandırılarak sensör akış verileri gerçek zamanlı analiz edilmiş, anormal modeller otomatik olarak önceden tanımlanmış ve test edilen senaryolarda çevresel bilgi tabanı güncellenmiştir. Ek olarak, sistemin sürekli etkileşim yoluyla adaptif stratejileri otonom olarak öğrenmesini sağlayan, pekiştirmeli öğrenmeye dayalı bir strateji ince ayar modülü geliştirilmiştir. Bu çözüm, algılamadan karar vermeye ve yürütmeye kadar tam yığın optimizasyonu sağlayarak, sistemin yapılandırılmamış ve dinamik senaryolardaki dayanıklılığını ve otonomisini önemli ölçüde artırmaktadır.
Protokol
Teorik temel
Önerilen akıllı denetim çerçevesi; robot algılaması, çok sensörlü bilgi füzyonu, durum kestirimi ve otonom yol planlama gibi yerleşik prensipler üzerine inşa edilmiştir. Çok sensörlü füzyon; lokalizasyon doğruluğunu, çevresel algılamayı ve karmaşık endüstriyel ortamlardaki dayanıklılığı artırmak için LiDAR, görüntüleme, kızılötesi görüntüleme ve atalet ölçümlerinden gelen tamamlayıcı bilgileri birleştirir. Kalman filtreleme yoluyla yapılan durum kestirimi, heterojen sensör verilerinin uzay-zamansal senkronizasyonuna olanak tanırken, adaptif ağırlıklandırma stratejileri değişen çevresel koşullar altında füzyon güvenilirliğini artırır. Ek olarak, dinamik yol planlama yöntemleri; dinamik ortamlarda güvenli ve verimli robot navigasyonunu desteklemek için gerçek zamanlı çevresel algılamayı, engelden kaçınmayı ve karar verme süreçlerini entegre eder. Bu yerleşik kavramlar, bu çalışmada uygulanan LAFA tabanlı algılama çerçevesi ve EIPPM yol planlama stratejisinin teorik temelini oluşturmaktadır8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30.
Hiyerarşik adaptif çoklu sensör füzyon modeli
Dinamik bir ortamdaki heterojen sensör verilerinde spasyotamporal uyumsuzluğu ve ağırlık katılaşmasını gidermek için bu bölüm LAFA'yı (Katmanlı Adaptif Füzyon Mimarisi) önermektedir. Öncelikle LiDAR, görüntü kamerası ve IMU'nun zaman damgalarını tekdüze bir şekilde kalibre ediyoruz ve ardından, kareler arası hareket sapmalarını telafi etmek için IMU tabanlı robot poz tahmini ile kombine edilmiş çift Kalman filtresi uyguluyoruz; böylece üç sensör arasında mikrosaniye düzeyinde spasyotamporal senkronizasyon sağlıyor ve yüksek hızlı hareketten kaynaklanan nokta bulutu bozulmalarını ortadan kaldırıyoruz. Bu mimari, karmaşık senaryolarda algılama güvenilirliğini önemli ölçüde artırarak konumlandırma hatasını geleneksel yöntemlere kıyasla %46 oranında azaltmaktadır.
Şekil 1. Akıllı denetim robotunun dinamik karar verme mimarisi. Çok modlu algılama, dil yönlendirmeli görev oluşturma, adaptif sensör füzyonu ve kapalı döngü robot kontrolünü gösteren LAFA-EIPPM çerçevesinin genel görünümü. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 1'de gösterildiği gibi, bu mimari kapalı döngü bir multimodal algılama ve dinamik karar verme sistemini entegre etmektedir: öncelikle, yapılandırılmış görev istekleri oluşturmak için GPT-4o API'sini entegre eden ROSA (Robot Operating System Assistant) dil etkileşim modülü aracılığıyla doğal dil talimatları alınır31,32. Bu modül, sabit istem şablonları ve API erişim sınırı ayarlarını kullanır. Doğal dili birleştirilmiş denetim komutu formatlarına dönüştürür ve operasyon sırasında temel güvenlik kontrolünü gerçekleştirmek için anahtar kelime filtreleme özelliğiyle donatılmıştır; dinamik kodlayıcı daha sonra çevresel semantikleri içeren gizli durum özelliklerini çıktılamak için LiDAR, vizyon ve IMU gibi çok kaynaklı sensör verilerini kaynaştırmak amacıyla MDN-RNN (Mixture Density Network Recurrent Neural Network) modelini kullanır; bu özellik eş zamanlı olarak adaptif kontrolcüye girdi olarak verilir ve önceden ayarlanmış veri seti ile kombinasyon halinde platformlar arası bir eylem talimatı oluşturulur. Son olarak, heterojen robot, çevresel yürütme katmanı aracılığıyla dinamik denetim görevini tamamlamak üzere sürülür ve makine durumu, kapalı döngü bir optimizasyon oluşturmak için gerçek zamanlı olarak kodlayıcıya geri beslenir; böylece multimodal algılamadan otonom karar vermeye kadar tam süreçli bir dinamik adaptasyon mekanizması gerçekleştirilir.
Bu çalışma, sabit bir istem formatıyla GPT-4o standart API'sini kullanmakta ve 200 ms'den kısa bir ortalama yanıt gecikmesi elde etmektedir. Yeniden deneme mekanizması deterministik olmayan durumları azaltır. Anormal istekleri yönetmek ve operasyonel güvenliği sağlamak için hata yakalama ve içerik güvenliği doğrulama modülleri konuşlandırılmıştır. LAFA, girdi olarak çoklu sensör ham verilerini almakta; füzyonlanmış özellikleri ve dinamik füzyon ağırlıklarını çıktı olarak vermektedir. Dikkat ağırlıkları, her sensörün güven değerinin normalize edilmesiyle hesaplanır. Çapraz entropi kaybı kullanılmıştır; öğrenme oranı 1e-3, grup boyutu 32 ve toplam eğitim epok sayısı 50'dir.
GPT-4o destekli ROSA, doğal dili denetim görevlerine dönüştürerek yalnızca insan-makine arayüzüne yardımcı olur; algılama veya planlamayı etkilemez, bu nedenle gecikme süresi temel bir KPI değildir. Konumlandırma, tanıma veya yeniden planlamadan ödün vermeden kullanılabilirliği artırır.
Ortam etkileşimli dinamik yol planlama mekanizması
Algılama ve planlama modüllerinin ayrılmasından kaynaklanan yanıt gecikmesini gidermek için bu bölüm, çevresel etkileşimli bir yol planlama mekanizması (EIPPM) önermektedir. Temel yenilik, algılama ve karar verme arasında kapalı döngü bir kuplaj arayüzünün oluşturulmasında yatmaktadır. Ayrıca, oldukça dinamik bölgelerdeki trafik maliyetlerini tahmin etmek ve robotun tıkanıklık noktalarından aktif olarak kaçınmasına rehberlik etmek için uzun ve kısa süreli bellek ağları sunulmuştur. Bu mekanizma, yol güvenliğini ve verimliliğini eş zamanlı olarak artırırken, yeniden planlama gecikmesini 0,8 saniyenin altına indirmektedir.
EIPPM, engel mesafesi ve sensör güvenilirliğini birleştirerek DWA maliyet fonksiyonunu optimize eder. Dinamik risk haritası, engelin konumu ve hareket durumuna göre oluşturulur. Engel sapması 0.5 m değerini aştığında artımlı yeniden planlama tetiklenir. LSTM tabanlı öngörücü, bölgesel trafik maliyetini hesaplar. Yerel DWA ve küresel A* planlayıcı, gerçek zamanlı performansı sağlamak için 0.8 s yeniden planlama süresi eşiği ile sıkı bir kenetlenme sağlar. Revize edilmiş DWA maliyeti: EQUATION. engel mesafesine dayanır; LAFA sensör güvenilirliğini benimser; LSTM tarafından öngörülen dinamik bölgeler için cezalar uygular. Güvenlik, algı, güvenilirlik ve hareket riskini normalize ederek dengeler. m-inci sensörün sensör güvenilirliği . aracılığıyla hesaplanır. Normalizasyon sonrası füzyon ağırlığı. Dikkat modülü kare bazlı güncellenir; sert aydınlatma veya toz altında füzyon bozulmasını azaltmak için düşük güvenilirliğe sahip sensörlere çok küçük ağırlıklar atanır.
Şekil 2. LiDAR tabanlı semantik algılama ve adaptif kontrol iş akışı. LiDAR tabanlı çevresel farkındalığa dayalı otonom denetim için semantik algılama, kısıt oluşturma ve adaptif yol planlama iş akışının gösterimi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 2'de gösterildiği gibi, tüm iş akışı LiDAR algılama tarafından yönlendirilmektedir. Ham LiDAR verileri, çevresel ve hedef bilgilerini çıkarmak için öncelikle semantik farkındalık modülüne aktarılır. Önerilen LAFA çoklu sensör füzyon algoritması tarafından işlendikten sonra veriler, çalışma kurallarını ve güvenlik sınırlarını değerlendirmek üzere kontrol kısıtlama ünitesine iletilir. EIPPM yol planlama stratejisi ile birleştirilen sistem, robotun denetim görevlerini tamamlamasını sağlamak için kontrol komutları üretir. Gerçek zamanlı çevresel geri bildirim, kapalı döngü çalışmayı mümkün kılmak için ön uç algılama modülüne geri beslenir. Şekil; robot algılama, füzyon, kısıtlama kontrolü ve yürütme sisteminin tüm çalışma mantığını eksiksiz bir şekilde sunmaktadır.
Sonuçlar
Algı performansı değerlendirmesi
LAFA ve EIPPM'nin dinamik senaryolardaki etkinliğini doğrulamak için bu bölümde, iki tipik denetim ortamında test platformları konuşlandırılmıştır: endüstriyel tesisler ve trafo merkezleri. Deneysel kurulum; aydınlatmadaki ani değişimler (2.000 → 80.000 lux), rastgele hareket eden engeller (5–8/dak) ve toz girişimi (görüş < 5 m) gibi ekstrem koşulları içermektedir. Ana akım füzyon algoritmaları (Kalman filtresi/DNN) ve yol planlama yöntemleri (A + DWA/RRT) ile karşılaştırılarak; konumlandırma doğruluğu, engel tanıma oranı, yeniden planlama gecikmesi ve enerji tüketimi gibi temel göstergeler nicel olarak değerlendirilmiş ve önerilen şemanın performans avantajları istatistiksel anlamlılık analizi (p < 0.01) ile kanıtlanmıştır. Tüm veriler, 6 engel kategorisinde toplam 28.000 örneğe ulaşan gerçek endüstriyel tesislerden ve trafo merkezlerinden toplanmıştır. Tüm örnekler manuel olarak etiketlenmiştir. Eğitim/test bölme oranı 8:2'dir. Çevrimiçi öğrenme için ekstra 5.000 gerçek zamanlı örnek kullanılmıştır. Çevresel özellik kütüphanesi, 12 boyutlu çok modlu özellik vektörleri olarak oluşturulmuştur. Çevrimiçi öğrenme modeli, anormal örnekler 10'dan fazla ardışık kare boyunca biriktiğinde, 0.001 sabit öğrenme hızı kullanılarak artımlı olarak güncellenmektedir. Anomali etiketleri, ani engeller ve anormal ekipman durumları olarak tanımlanmıştır. Katastrofik unutmayı önlemek için veri dağılımına 0.15'lik bir kayma eşiği uygulanmıştır; dağılım kayması bu eşiği aştığında, gelen veriler stabilize olana kadar güncelleme geçici olarak askıya alınarak model kayması bastırılmış ve genelleme performansı korunmuştur. Hafif siklet çevrimiçi öğrenme modülü, görülmemiş 5.000 örnekle test edilmiştir. 10 karelik model güncellemesinin ardından, bilinmeyen engel tanıma doğruluğu %7,2 oranında artmış ve böylece yeni çevresel hedefler için adaptif optimizasyon kapasitesi doğrulanmıştır.
Robot platformu: Diferansiyel tekerlek sürüşü, STM32 kontrolcü ve Jetson Xavier NX yerleşik bilgisayar. 8 saatlik sürekli çalışma için lityum piller kullanan platform, 0.2–1.2 m/s hız, 8 kg maksimum faydalı yük kapasitesi ile çift Wi-Fi ve 4G iletişimi özelliklerine sahiptir. Sensörler: RPLIDAR A1M8, 10 Hz, 360° FOV; 1080P kamera, 30 fps, 120° FOV; 320 x 240 kızılötesi imajlayıcı; MPU6050 IMU, 200 Hz. Tüm sensörler ön tarafa monte edilmiş, tek tip kalibre edilmiş ve mikrosaniye düzeyinde senkronize edilmiştir. Yazılım: Ubuntu 20.04, ROS Noetic, Python ve C++, PyTorch framework; uç hesaplama (edge computing) için 8 çekirdekli CPU ve 16 GB GPU ile donatılmıştır.
Endüstriyel tesis (45 m x 30 m, 120 m güzergah) ve trafo merkezi (50 m x 35 m, 150 m güzergah), sabit ekipmanlar ve hareket halindeki personeli içermektedir. Her test, 0,6 m güvenlik mesafesi ile 30 kez yürütülmüştür. Aydınlatma 2.000 ile 80.000 lux arasında değişmekte olup dakikada 5–8 hareketli engel bulunmaktadır. Toz, görüş mesafesini 5 m'nin altına düşürmektedir. Tüm koşullar tekrarlanabilirdir.
| Yöntem | Konumlandırma hatası (cm) | Engel tespit oranı (%) | Yanlış alarm oranı (%) | İşleme gecikmesi (ms) | Dayanıklılık (aydınlatma değişimi) | Dayanıklılık (toz girişimi) | p-değeri |
| Yalnızca LiDAR | ±3.2 | 89.6 | 8.7 | 25 | Düşük | Orta | <0.01 |
| Görüntü + IMU | ±5.1 | 78.3 | 15.2 | 40 | Çok Düşük | Düşük | <0.01 |
| Kalman Füzyonu | ±2.8 | 92.1 | 6.3 | 65 | Orta | Orta | <0.01 |
| DNN Füzyonu | ±2.5 | 94.8 | 5.1 | 110 | Yüksek | Düşük | <0.01 |
| RAL 2023 | ±1.9 | 96.4 | 4 | 85 | Yüksek | Orta | <0.01 |
| Önerilen LAFA | ±1.5 | 98.7 | 1.8 | 35 | Çok Yüksek | Çok Yüksek | <0.01 |
Tablo 1: Çoklu sensör algılama performansı karşılaştırması. Dayanıklılık, aydınlatma değişiklikleri ve toz girişimi altında engel tespitindeki düşüşe bağlı olarak 5 seviyeli bir ölçekle derecelendirilmiştir: Çok Düşük, Düşük, Orta, Yüksek ve Çok Yüksek.
Tablo 1, farklı algılama yöntemlerinin dinamik bir endüstriyel ortamdaki performansını karşılaştırmaktadır. Tüm deneyler 30 bağımsız tekrarlı deneme (n = 30) ile gerçekleştirilmiştir. İstatistiki analiz için tek yönlü ANOVA ve Tukey'nin HSD çoklu karşılaştırma testi kullanılmış olup, tüm göstergeler anlamlı farklılıklar göstermiştir (p < 0.01). Önerilen LAFA'nın lokalizasyon hatası ±1.5 cm (SD = ±0.25 cm, %95 CI: [1.42, 1.58] cm) olup genel konumlandırma hatası normal dağılım göstermektedir. Engelleri tespit etme oranı %98.7'ye (SD = ±0.65%, %95 CI: [98.4%, 99.0%]) ulaşırken, yanlış alarm oranı yalnızca %1.8'dir. İşleme gecikmesi sadece 35 ms'dir (ana akım DNN füzyonundan %68 daha hızlı) ve güçlü ışık ile toz girişimi altındaki dayanıklılık "Çok Yüksek" derecesine ulaşırken, kıyaslama yöntemleri "Orta" ve "Düşük" olarak derecelendirilmiştir. Test veri seti, sonuçların tekrarlanabilirliğini sağlamak amacıyla altı farklı engel türü içermektedir. Bu durum; uzay-zamansal senkronizasyon kompanzasyonu ve dinamik dikkat ağırlıklandırma mekanizması yoluyla, heterojen ve çok kaynaklı verilerin adaptif füzyonunda LAFA'nın avantajlarını tam olarak ortaya koymaktadır.
Yol planlama performans değerlendirmesi
| Yöntem | Yeniden planlama süresi | Yol optimalliği (%) | Çarpışma oranı (%) | Başarı oranı (%) | Dinamik kaçınma skoru | Enerji tüketimi |
| A* + DWA | 2.5 | 82.6 | 7.3 | 88.9 | 6.1 | 0.48 |
| RRT*+APF | 1.8 | 76.4 | 5.1 | 91.2 | 7.3 | 0.52 |
| DRL Planlayıcı | 1.2 | 88.7 | 4 | 93.5 | 8.5 | 0.43 |
| ICRA 2024 | 0.9 | 90.2 | 3.2 | 95.1 | 8.9 | 0.41 |
| Önerilen EIPPM | 0.8 | 96.3 | 0.9 | 99.2 | 9.7 | 0.37 |
Tablo 2: Dinamik yol planlama performans karşılaştırması. Dinamik kaçınma puanı 0 ile 10 puan arasında değişir ve 30 tekrarlı deneme boyunca çarpışma oranı, yol pürüzsüzlüğü, yeniden planlama gecikmesi ve görev başarı oranının ağırlıklandırılmasıyla hesaplanır.
Tablo 2, rastgele hareket eden engellerin (5-8 engel/dak) ve ekipman termal radyasyon girişiminin bulunduğu bir trafo merkezi senaryosunda çeşitli yol planlama yöntemlerinin performansını değerlendirmektedir. Toplam 12 sabit denetim rotası benimsenmiş ve her yöntem 30 kez test edilmiştir. Her denemede ortalama 20 engelle karşılaşılmış ve her grubun toplam başarısızlık sayısı eş zamanlı olarak kaydedilmiştir. Önerilen EIPPM mekanizması, algılama ve planlamanın kapalı döngü kuplajını kullanarak A*+DWA yönteminden %68 daha hızlı olan 0,8 s'lik bir yeniden planlama yanıt süresi elde etmiştir. Yol optimizasyon oranı %96,3'e (%6,1 iyileşme) ulaşırken, çarpışma oranı yalnızca %0,9 (karşılaştırılan tüm yöntemler arasında en düşük) ve dinamik engelden kaçınma puanı 9,7/10 olarak belirlenmiştir. Bu durum temel olarak dinamik risk haritasının proaktif kaçınma yeteneklerinden ve yüksek aktivite alanlarındaki trafik maliyet tahmininden kaynaklanmaktadır. Aynı zamanda enerji tüketimi 0,37 kWh/km'ye (%9,8 tasarruf) düşürülmüştür. İstatistiksel analizle (p < 0,01) birleştirildiğinde bu göstergeler, EIPPM'nin karmaşık ve dinamik senaryolarda verimli, güvenli etkileşimli karar verme konusundaki üstünlüğünü kanıtlamaktadır. Tüm karşılaştırma yöntemleri ROS Noetic üzerinde çalıştırılmıştır. Kalman Fusion ve DNN Fusion açık kaynaklı varsayılan parametreleri kullanmaktadır. A*+DWA, RRT*+APF ve DRL Planner, mevcut literatürdeki klasik parametre ayarlarını kullanmaktadır. Tüm algoritmalar aynı donanım ve sahne koşulları altında ayarlanmıştır.
Sensör verileri ve yörünge analizi
Şekil 3. Çoklu sensör sinyal dalgalanması ve robot yörüngesi analizi. (A) Birleştirilmiş sensör sinyal genliklerinin uzaysal dağılımını gösteren üç boyutlu dalga yayılım modeli. (B) LAFA ile birleştirilmiş alan ölçümlerinden üretilen örneklenmiş sensör verilerini ve robot yörüngelerini gösteren sensör uzayının üç boyutlu hibrit görselleştirmesi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 3, birleştirilmiş çok sensörlü verileri ve robot yörüngelerini görselleştirmektedir. 0.0-10.8 dB genlik değerleri, LAFA algoritması kullanılarak yerindeki LiDAR, kamera ve IMU verilerinden hesaplanmıştır. 8.0 dB üzerindeki genliğe sahip alanlar, güçlü çevresel girişimi temsil etmektedir. Genlik tepeleri denetim yoluyla örtüşmekte ve genlik 5.0 dB değerini aştığında yörüngeler belirgin salınımlar sergilemektedir. Veri noktalarının çoğu 2.5 ve 7.5 dB arasında kümelenmektedir; bu durum, sistemin yüksek girişimli bölgeleri baypas ettiğini göstermektedir. Geniş mekansal kapsama alanı ve pürüzsüz yörüngeler (curvature change <; 0.6), robotun adaptasyon yeteneğini ve önerilen füzyon yönteminin dinamik endüstriyel denetim için üstünlüğünü doğrulamaktadır.
Şekil 4. Akıllı inceleme sisteminin performans değerlendirmesi. (A) Robot inceleme verilerinden elde edilen reaksiyon hızı ve ürün veriminin dağılımı. (B) İnceleme görevleri sırasında reaksiyon hızı ile ürün verimi arasındaki ilişkiyi gösteren yoğunluk dağılımı. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 4, gerçek robot denetim görevlerindeki performans karşılaştırmasını göstermektedir. Tüm metrikler, robotun ham LiDAR, kamera ve IMU devriye verilerinden türetilmiştir. Tepki hızı, LAFA füzyon modülünün ekipman anomalilerini yakalamadaki ortalama yanıt hızını ifade ederken, ürün verimi, EIPPM yol planlaması tarafından taranan geçerli kusur çıktıları payını ifade eder. Eğriler, çerçevenin tespit verimliliğini ve çevresel adaptasyon yeteneğini nicelleştirerek, pratik denetim avantajlarına dair ampirik kanıtlar sunmaktadır.
Şekil 5. Muayene sırasındaki sensör sinyallerinin zaman serisi analizi. (A) Zaman serisi sensör sinyallerinin trend, mevsimsel, artık ve gürültü bileşenlerine ayrıştırılması. (B) Sürekli robot muayenesi sırasında karşılık gelen güven aralığı ile birlikte elektriksel sensör sinyali. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 5'te gösterildiği gibi, zaman serisi eğrileri, trafo merkezi senaryosunda gerçekleştirilen 10 dakikalık sürekli bir devriye sırasında kaydedilen LiDAR mesafe ve kamera yoğunluk okumalarından elde edilmiştir. Bu eğriler, ışık değişimleri ve toz girişimi altındaki gerçek zamanlı algılama tepkilerini örneklendirmektedir. Önerilen LAFA yöntemi, sinyal titremelerini etkili bir şekilde gidererek kararlı bir çıktı sağlamakta ve dinamik denetim görevlerinde engel tespitini ve gerçek zamanlı çarpışma önlemeyi doğrudan desteklemektedir.
Şekil 6. Çok boyutlu fiziksel alan analizi. LAFA ile birleştirilmiş çoklu sensör ölçümlerinden yeniden oluşturulan çevresel alan özelliklerinin görselleştirmesi; çevresel dinamiklerin, sensör veri noktalarının ve alan gradyanlarının uzaysal dağılımını göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 6'da gösterildiği gibi, çalışma ortamını ve sinyal performansını analiz etmek amacıyla, robot alan sensörü ölçümlerinden elde edilen çok boyutlu fiziksel alan verileri LAFA algoritması kullanılarak işlenmektedir. Bu görselleştirme; belirgin uzaysal dağılıma, veri dağılımına ve istatistiksel özelliklere sahip 10 analiz katmanını içermektedir. Sonuçlar, çevresel girişimlerin uzaysal örüntüsünü yansıtmakta ve robot algılama sisteminin kararlı performansını doğrulamaktadır.
Yüksek boyutlu özellik görselleştirmesi
Şekil 7. Sistem performansının ve çevresel tepkinin çok boyutlu görselleştirmesi. (A) Denetim döngüleri boyunca alt sistem performans metriklerini gösteren üç boyutlu yığılmış sütun grafiği. (B) Örneklenen sensör ölçümleriyle birlikte çevresel tepki yoğunluğunu gösteren üç boyutlu yüzey grafiği. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 7, denetim sisteminin çok boyutlu çalışma özelliklerini göstermektedir. Soldaki 3B yığılmış sütun grafiği, denetim döngüleri boyunca alt sistem performansını göstermektedir; C3 döngüsündeki MA, MB ve MC değerleri 12,4, 9,7 ve 15,2 olup belirgin yük dalgalanmalarına işaret etmektedir. Sağdaki yüzey grafiği, ±18'lik bir tepe noktası ve çoğu verinin -5 ile +5 arasında olduğu çevresel tepki yoğunluğunu göstermekte olup doğrusal olmayan çevresel özellikleri yansıtmaktadır. Sonuçlar, robot sensör füzyonu ve çizelgeleme optimizasyonu için veri desteği sağlamaktadır. MA, MB ve MC sırasıyla algılama, yol planlama ve yürütme alt sistemlerinin yük metriklerini temsil etmektedir.
Şekil 8. Farklı çalışma koşulları altında birleştirilmiş sensör sinyallerinin üç boyutlu özellikleri. (A) Sinüs fonksiyonu yüzeyi. (B) Hiperbolik paraboloid yüzeyi. (C) Bessel fonksiyonu yüzeyi. (D) Kuantum dalga fonksiyonu yüzeyi. Bu temsili yüzey modelleri, farklı denetim koşulları altında LAFA ile birleştirilmiş sensör sinyallerinin uzaysal özelliklerini göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 8'de gösterildiği gibi, farklı denetim çalışma koşulları altındaki çoklu sensör füzyon sinyallerini karakterize eden dört grup 3B yüzey modeli bulunmaktadır. Sinyallerin uzaysal varyasyonu ve sönümlenme kuralları analiz edilmiştir. Bu özellikler, LAFA algoritmasının farklı ortamlarda tutarlı füzyon performansı sergilediğini kanıtlamakta ve sonraki yol planlama optimizasyonu için bir referans teşkil etmektedir. Bu 3B yüzey modelleri, LAFA ile füzyonu yapılmış sensör verilerinden interpolle edilmiştir. Çeşitli koşullar altında gözlemlenen tekdüze sinyal dağılımı, çerçevemizin farklı girişimler altında stabil füzyon performansını doğrulamaktadır.
Şekil 9. Robot yörüngesi ve sensör örnekleme dağılımı. (A) Robot yörüngelerinin geometrik özelliklerini temsil eden parametrik kelebek eğrisi. (B) İnceleme verilerinin mekansal dağılımını gösteren sensör örnekleme noktalarının spiral dağılımı. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 9'ta gösterildiği gibi, robot yörüngesi ve sensör uzamsal dağılım verilerinden eğriler ve polar grafikler oluşturulmuştur. Eğrilik ve yoğunluk, parametrik denklemler aracılığıyla hesaplanmıştır. Uzamsal dağılım kuralları, robotun hareket özelliklerini ve geniş ölçekli denetim senaryolarındaki çoklu sensör örnekleme noktalarının uzamsal dağılımını özetlemektedir. Tüm grafikler, gerçek robot yörüngelerinden ve sensör örnekleme noktalarından türetilmiştir. Tekdüze örnekleme dağılımı ve pürüzsüz yörünge eğrileri, önerilen LAFA-EIPPM sistemindeki algılamanın stabilitesini ve yol optimizasyonunun güvenilirliğini doğrulamaktadır.
Şekil 10. Görev performansı ve robot denetim yörüngesinin görselleştirmesi. (A) Görev performansı değerlerini ve örneklenmiş denetim noktalarını gösteren üç boyutlu performans yüzeyi. (B) Otonom denetim sırasında izlenen yolu gösteren robot denetim yörüngesi ve mekansal kapsama alanı. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 10'ta gösterildiği üzere, sol panel görev performansının dağılımını göstermektedir; zirve nokta 15,3, minimum 5,1 ve dördüncü görev noktası puanı 13,2'dir. Kırmızı noktalar eşit aralıklarla örneklenmiştir ve mavi çizgi eğilimi göstermektedir. Sağdaki şekildeki yol (maksimum Z = 7,8m) ve kapsama alanı (yükseklik 4,0m), gerçek yörüngeyi ve mekansal kapsamı göstermektedir. İki grafik, görev yükündeki dalgalanmaları ve örnekleme tekdüzeliğini kapsamlı bir şekilde yakalayarak füzyon optimizasyonunu destekleyecek veriler sağlamaktadır.
Veri Kullanılabilirliği:
Bu çalışmada oluşturulan deneysel veri setleri, gizlilik sözleşmelerine tabi sahaya özgü endüstriyel bilgiler içerdiğinden kamuya açık değildir. Kısıtlanmış materyaller arasında fabrika koordinatları, işlenmemiş LiDAR taramaları ve gizli cihaz parametreleri yer almaktadır. Gizlilik yükümlülüklerinin karşılanabilmesi kaydıyla, makul bir talep üzerine erişim konusu sorumlu yazar tarafından değerlendirilebilir.
Tartışma
Bu makale, karmaşık ve dinamik ortamlardaki akıllı denetim robotlarının algılama güvenilirliğini ve karar verme verimliliğini artırmak için LAFA-EIPPM ortak optimizasyon çerçevesini önermektedir. LAFA, uzay-zamansal senkronizasyon ve dikkat tabanlı bir ağırlıklandırma mekanizması aracılığıyla sağlam çoklu sensör füzyonu sağlayarak20,22, güçlü ışık ve toz gibi olumsuz koşullar altında konumlandırma doğruluğunu ve engel tanıma yeteneklerini önemli ölçüde iyileştirir. EIPPM ise algılama ve planlama arasında kapalı döngü bir etkileşim kurarak10,16, enerji tüketimini optimize ederken hızlı yol yeniden planlamasını ve risk duyarlı navigasyonu destekler.
Bu araştırma, dinamik ortamlarda çoklu sensör füzyonu ve otonom robot karar verme süreçleri için yeni bir teknik yol sunmaktadır. LAFA'nın dinamik ağırlık ayarlama mekanizması geleneksel sabit ağırlıklı füzyonun sınırlamalarını aşmakta, EIPPM'nin kapalı döngü kuplaj paradigması yeniden planlama gecikmesini kısaltmakta ve çevrimiçi öğrenme modülü sistemin bilinmeyen engellere ve anormal örüntülere karşı sürekli adaptasyon yeteneği kazanmasını sağlamaktadır. Bu yenilikler, akıllı denetim teorisini yüksek derecede dinamik ve yapılandırılmamış senaryolara genişletmektedir.
Mevcut sistemin hâlâ belirli sınırlamaları bulunmaktadır: Birincisi, çevrimiçi öğrenme modülü, son derece nadir anomali modelleriyle karşılaştığında yavaş yakınsar; ikincisi, deneyler yalnızca endüstriyel tesislerde ve trafo merkezlerinde gerçekleştirilmiştir ve karmaşık açık arazi şartlarındaki veya ekstrem hava koşullarındaki performans henüz doğrulanmamıştır; üçüncüsü, bu çalışma yalnızca kısa süreli prototip testlerini kapsamaktadır; uzun süreli endüstriyel saha kurulumu, sistematik güvenlik değerlendirmesi ve hata toleransı testleri henüz tamamlanmamıştır; dördüncüsü, bu çalışmada algoritma ablasyon çalışmaları ve tam döngü gerçek zamanlı çalışma günlüğü analizleri uygulanmamıştır; ayrıca, sistem kenar bilişim gücüne dayanmaktadır ve uzun vadeli operasyonel stabilite daha fazla test gerektirmektedir.
Bu yöntem; endüstriyel tesisler, elektrik trafo merkezleri, petrokimya tesisi izleme ve raylı sistem tünel denetimi dahil olmak üzere test edilen yüksek riskli senaryolarda önemli bir uygulama değerine sahiptir. Örneğin, trafo merkezlerinde ±1.5 cm konumlandırma hassasiyeti ve %0,9 çarpışma oranı elde edilerek manuel denetim riskleri önemli ölçüde azaltılmıştır; endüstriyel boru hatlarının içinde ise otonom engel sakınma ve kusur tanımlama sağlamak için çoklu sensör füzyonu ile birleştirilebilir. Tarım robotlarını, kurtarma robotlarını, su altı keşiflerini8,28 ve havadan denetimi içeren senaryolar, gelecek vaat eden genişletilmiş uygulamalar olarak değerlendirilmektedir ve takip araştırmalarımızda incelenecektir.
Gelecek çalışmalar şunları içermektedir: 1) Doğal dil komutlarını ve görev muhakemesini desteklemek için hafif büyük dil modellerinin insan-bilgisayar etkileşimi modüllerine entegre edilmesi; 2) Birden fazla robot arasında deneyim paylaşımı sağlamak için uç-bulut iş birliğine dayalı dağıtık bir öğrenme çerçevesinin geliştirilmesi; 3) Çapraz medya algılama ve hareket kontrolü problemlerini çözmek amacıyla su altı veya havadan denetim senaryolarına genişletilmesi; 4) Karar verme sürecinin güvenilirliğini ve hata ayıklama imkanlarını artırmak için açıklanabilir bir yapay zeka modülünün sunulması.
Sonuç:
Dinamik ortamlarda çalışan akıllı denetim robotlarındaki düşük algılama güvenilirliği ve yüksek karar gecikmesi şeklindeki temel darboğazları gidermek için bu çalışma, LAFA ve EIPPM tabanlı bir iş birlikli optimizasyon şeması önermektedir. LAFA; uzaysal-zamansal senkronizasyon kompanzasyonu ve bir dikkat-ağırlıklandırma mekanizması aracılığıyla LiDAR, görüntüleme kamerası, kızılötesi görüntüleyici ve IMU dahil olmak üzere çok kaynaklı sensörlerin dinamik entegrasyonunu gerçekleştirir. Endüstriyel tesislerde yürütülen kısa süreli saha prototip testlerinde sistem, ±1.5 cm'lik bir konumlandırma hatası ve %98,7'lik bir engel tanıma oranı elde etmiş; güçlü ışık ve toz girişimine karşı üst düzey dayanıklılık göstermiştir. Karmaşık trafo merkezi senaryolarında EIPPM çerçevesi, algılama ve planlama arasında kapalı döngü bir etkileşim kurar. Dinamik risk haritaları ve artımlı yeniden planlama stratejileriyle birleştiğinde, yol yeniden planlama gecikmesini 0.8 s'ye düşürmekte ve çarpışma oranını %0,9'a indirmektedir. Prototip, geleneksel yöntemlerle karşılaştırıldığında genel denetim verimliliğinde %32 artış ve enerji tüketiminde %9,8 azalma sağlamıştır.
Test sonuçları, önerilen prototipin hatalı veri kaydı, zayıf çevresel adaptasyon ve yavaş yanıt süreleri dahil olmak üzere geleneksel yöntemlerin yaygın dezavantajlarını hafiflettiğini göstermektedir. Hafif siklet çevrimiçi öğrenme modülü, test edilen senaryolar kapsamındaki kısmen bilinmeyen engeller ve basit anormal paternler için temel adaptif performans sağlamaktadır. Bu çalışma, güç ve petrokimya yüksek riskli senaryolardaki denetim görevleri için yüksek otonomili bir teknik prototip sunmaktadır. Bununla birlikte, bu çalışmanın bazı kısıtlamaları bulunmaktadır: testler tesisler/trafo merkezleri ile sınırlıdır, çevrimiçi öğrenme nadir anomaliler için yavaş yakınsamaktadır, uzun vadeli stabilite ve hata toleransı henüz test edilmemiştir ve uç bilişime olan bağımlılığın doğrulanması gerekmektedir. Gelecekteki çalışmalar, çok robotlu iş birliği ve genişletilmiş saha denemeleri yoluyla bu sorunları ele alacaktır.
Açıklamalar
Yazarların beyan edilecek herhangi bir çıkar çatışması yoktur.
Malzemeler
| Ad | Şirket | Katalog numarası | Yorumlar |
|---|---|---|---|
| 1080P Kamera | Custom | N/A | Görüntü sensörü, 30 fps, 120° FOV |
| Kızılötesi Görüntüleyici | Generic | 320×240 | Termal görüntüleme, 320 x 240 çözünürlük |
| Jetson Xavier NX | NVIDIA | Xavier NX | Uç bilgisayar, 8 çekirdekli CPU, 16 GB GPU |
| LiDAR RPLIDAR A1M8 | Slamtec | A1M8 | 10 Hz tarama, 360° FOV |
| Lityum Batarya | Custom | 12V/20Ah | Güç kaynağı, 8 h sürekli çalışma |
| MPU6050 IMU | InvenSense | MPU6050 | 200 Hz, ivmeölçer ve jiroskop |
| STM32 Kontrolcü | STMicroelectronics | STM32F4 | Ana hareket kontrol ünitesi |
Kaynaklar
- Deng L, Wang S, Guo J, Cao R, Liu M. 3D keypoint detection-based automated rebar spacing inspection: Application for robotic integration. Adv Eng Inform. 2025;66:103418.
- Hu D, Gan VJL. Semantic navigation for automated robotic inspection and indoor environment quality monitoring. Autom Constr. 2025;170:105949.
- Li J, Zhou X, Gui C, Yang M, Xu F, Wang X. Adaptive climbing and automatic inspection robot for variable curvature walls of industrial storage tank facilities. Autom Constr. 2025;172:106049.
- Lin T, Ren Z, Huang K, Zhu Y, Karimi HR. A novel multi-sensor information fusion method for fault diagnosis of rotating machinery with missing signals. Adv Eng Inform. 2025;68:103595.
- Zhuo R, Deng Z, Teng H, Ge J, Lv L, Liu W. The grinding wheel wear condition monitoring method based on multi-sensor information hierarchical fusion for high-speed cylindrical grinding. Adv Eng Inform. 2025;67:103541.
- Su Y, Shi X, Song T. Research on vehicle safety based on multi-sensor feature fusion for autonomous driving task. Comput Mater Contin. 2025;83(3):5831-48.
- Makrouf I, Zegrari M, Dahi K, Ouachtouk I. A novel framework for multi-sensor data fusion in bearing fault diagnosis using continuous wavelet transform and transfer learning. e-Prime Adv Electr Eng Electron Energy. 2025;13:101025.
- Liu X, Xie S. Innovative strategy and practice of using underwater robot for marine cable inspection and operation and maintenance. Cogn Robot. 2025;5:226-39.
- Yue H, Wang Q, Zhao Z, Lai S, Huang G. Interactions between BIM and robotics: Towards intelligent construction engineering and management. Comput Ind. 2025;169:104299.
- Yang H, Luo X, Duan C, Wang P, Zhu K, Deng X, Ren W. Research on multi-objective point path planning for mobile inspection robot based on Multi-Informed-Rapidly Exploring Random Tree. Eng Appl Artif Intell. 2025;151:110645.
- Yu Q, Zhang Q, Sun G, Qin R. Distribution station inspection robot with modular manipulator. HardwareX. 2025;22:e00652.
- Li X, Xiao S, Li Q, Zhu L, Wang T, Chu F. The bearing multi-sensor fault diagnosis method based on a multi-branch parallel perception network and feature fusion strategy. Reliab Eng Syst Saf. 2025;261:111122.
- Qin Y, Zhao Y, Qi J, Mao Y. Spatial-temporal multi-sensor information fusion network with prior knowledge embedding for equipment remaining useful life prediction. Reliab Eng Syst Saf. 2025;264:111420.
- Cao C, Zhao Y. Distributed heterogenous multi-sensor fusion based on labeled random finite set for multi-target state estimation using information geometry. Signal Process. 2026;238:110135.
- Wang C, Yin L, Zhao Q, Wang W, Li C, Luo B. An intelligent robot for indoor substation inspection. Ind Robot. 2020;47(5):705-12.
- Yang Q, Dong J, Tan M, Wang J, Guo D, Kang H, Wang P. A novel navigation assistant method for substation inspection robot based on multisensory information fusion. J Adv Res. 2025;77:407-18.
- Sun G, Xia L, Du X, Yu Q, Zhang J, Qin R. Self-tuning clamping force control with optimal trajectory tracking for autonomous pipe inspection robots. J Pipeline Sci Eng. 2025;100309. Epub ahead of print.
- Chi P, Wang Z, Liao H, Li T, Wu X, Zhang Q. Towards new-generation of intelligent welding manufacturing: A systematic review on 3D vision measurement and path planning of humanoid welding robots. Measurement. 2025;242:116065.
- Wang Q, Xia J, Li M, Yin L, Xie X. A multi-sensor fusion and multi-source domain adaptive fault diagnosis method for rotating machinery. Eng Appl Artif Intell. 2025;159:111538.
- Hu J, Chen J, Lv M, Xu Z, Chen Z, Han J. MSHF: Multi-sensor hierarchical fusion for UGV localization in an unstructured environment. Expert Syst Appl. 2025;294:128732.
- Gudla R, Chang NB. Multi-sensor data fusion via a cortical gap network for time series large data gap filling under uncertainties. Inf Fusion. 2026;126:103618.
- Laidouni MZ, Bondžulić B, Bujaković D, Adli T, Andrić M. ConvNeXtFusion: Multi-sensor image fusion via residual dense and cross ConvNeXt network. Infrared Phys Technol. 2025;150:106005.
- Tian D, Li J, Lei J. Multi-sensor information fusion in Internet of Vehicles based on deep learning: A review. Neurocomputing. 2025;614:128886.
- Zhang Y, Wang Y, Su C, Miao Y, Wei T, Feng Y, Chen F, Ying Z, Wang S, Wang X. Multi-sensor fusion-based intelligent auxiliary system of power wheelchairs for individuals with limbs disabilities: Design and implementation. Measurement. 2026;257:118573.
- Zuo K, Li X, Li X, Wang K, Gao T, Shen T. Multi-sensor fusion with triple reliability evaluation for human activity recognition. Measurement. 2026;257:118580.
- Zhao X, Liu Z, Liu Y, Zhang B, Sui J, Jiang K. Structure design and application of combination track intelligent inspection robot used in substation indoor. Procedia Comput Sci. 2017;107:190-5.
- Kadri I, Selouani SA, Ghribi M, Ghali R, Mekhoukh S. LLM-driven agent for speech-enabled control of industrial robots: A case study in snow-crab quality inspection. Results Eng. 2025;27:106660.
- Jiang Y, Pan Z, Zhang X. Tunnel infrastructure health management: A state-of-the-art review on defect development mechanism and robot-aided inspection system. Smart Undergr Eng. 2025;1(1):26-39.
- Okonkwo C, Awolusi I. Environmental sensing in autonomous construction robots: Applicable technologies and systems. Autom Constr. 2025;172:106075.
- Du Y, Chen X, Yu Z, Meng F, Zhou Z, Zhang Y, Li Q, Huang Q. Efficient co-adaptation of humanoid robot design and locomotion control using surrogate-guided optimization. Biomim Intell Robot. 2025;5(4):100255.
- Lv X, Cui S, Wang Y, Lu J, Yu P, Wang K. Patch time series transformer-based short-term photovoltaic power prediction enhanced by artificial fish. Energies. 2026;19(1):284.
- Lei M, Zhang M, Wang K. Research on bidding optimization strategy for virtual power plants with wind-solar-storage systems based on IGDT-DRO. Electr Eng. 2026;108(3):208.