Niniejsza praca przedstawia adaptacyjny wielosensorowy (LiDAR, kamera, IR, IMU) system DWA z uczeniem online dla robotów inspekcyjnych. Powtarzalne testy przemysłowe wykazały dokładność pozycjonowania ±1.5 cm, 98.7% skuteczność rozpoznawania przeszkód, wzrost wydajności o 32% oraz redukcję zużycia energii o 9.8% w porównaniu z metodami konwencjonalnymi.
Artykuł badawczy
Badania nad optymalizacją i dynamiczną adaptacją do środowiska inteligentnego systemu inspekcyjnego robota opartego na fuzji wielosensorowej
W tym artykule
Podsumowanie
Streszczenie
Niniejsza praca proponuje ramy optymalizacji oparte na głębokiej fuzji wielosensorowej i adaptacyjnym podejmowaniu decyzji dla inteligentnych robotów inspekcyjnych, rozwiązując problemy ograniczonej niezawodności percepcji, niskiej wydajności planowania ścieżki oraz słabej adaptacyjności środowiskowej w scenariuszach dynamicznych. Platforma robotyczna została wyposażona w LiDAR, kamerę wizyjną, termowizyjny obrazer podczerwieni oraz IMU w celu zbudowania odpornego modelu percepcji do rozpoznawania przeszkód i estymacji pozy. Zaprojektowano algorytm fuzji dynamic weight-DWA do planowania ścieżki oraz moduł uczenia online do aktualizacji cech środowiskowych. Przeprowadzono liczne testy w zakładach przemysłowych i podstacjach przy zmiennych warunkach oświetlenia oraz w obecności ruchomych przeszkód. W porównaniu z metodami bazowymi, w tym filtrem Kalmana, DNN oraz A*+DWA, system osiąga błąd pozycjonowania wynoszący ±1.5 cm, wskaźnik rozpoznawania przeszkód na poziomie 98.7% oraz opóźnienie w replanowaniu poniżej 0.8 s, przy 32% wyższej wydajności inspekcji i o 9.8% niższym zużyciu energii (p < 0.01). System wykazuje zwiększoną odporność w testowanych dynamicznych warunkach przemysłowych.
Wprowadzenie
Wraz z gwałtownym rozwojem inteligentnej produkcji i inteligentnej infrastruktury energetycznej, inteligentne roboty inspekcyjne, jako kluczowe urządzenia zastępujące manualne operacje wysokiego ryzyka, znajdują szerokie zastosowanie w kluczowych sektorach infrastruktury, takich jak energetyka elektryczna, przemysł petrochemiczny i transport kolejowy. Tradycyjne systemy inspekcyjne opierają się głównie na pojedynczym czujniku do percepcji środowiska, a ich wydajność w ustrukturyzowanych, statycznych scenach jest zadowalająca. Jednak w rzeczywistych obiektach przemysłowych często napotykają one na wysoce dynamiczne i nieustrukturyzowane czynniki, takie jak zmiany oświetlenia, tymczasowe przemieszczanie urządzeń, przepływ personelu oraz zakłócenia spowodowane deszczem i mgłą, co może prowadzić do błędów w percepcji i błędnych decyzji1,2,3. W ostatnich latach postępy w dziedzinie głębokiego uczenia i uczenia ze wzmocnieniem umożliwiły zastosowanie nowych podejść do wspólnego przetwarzania danych z wielu źródeł, natomiast usprawnienia w sprzęcie do obliczeń krawędziowych pozwoliły na wykonywanie złożonych algorytmów w czasie rzeczywistym. W tym kontekście budowa systemu inspekcyjnego opartego na fuzji wielu czujników o silnej adaptacyjności środowiskowej jest nie tylko pilną potrzebą w celu podniesienia poziomu automatyzacji eksploatacji i konserwacji, ale także kluczowym wsparciem technicznym zapewniającym bezpieczne funkcjonowanie kluczowych obiektów.
Mimo że technologia fuzji wielu czujników posiada zalety teoretyczne, istniejące inteligentne systemy inspekcyjne wciąż napotykają znaczące wąskie gardła w praktycznych zastosowaniach w środowiskach dynamicznych: Po pierwsze, dokładność rejestracji czasoprzestrzennej danych z heterogenicznych czujników jest niewystarczająca. Zniekształcenia fuzji między chmurą punktów laserowych a klatką obrazu wynikają z różnic w częstotliwości próbkowania i układach współrzędnych. Zwłaszcza gdy robot porusza się z dużą prędkością, zniekształcenia ruchu pogłębiają błędy dopasowania cech i obniżają niezawodność wykrywania przeszkód. Po drugie, tradycyjna strategia fuzji wykazuje słabą adaptacyjność do zmian środowiskowych. Metody głównego nurtu opierają się na stałych parametrach i nie radzą sobie w scenariuszach takich jak nagłe zmiany oświetlenia, zakłócenia spowodowane pyłem czy pojawienie się niespodziewanych przeszkód, co prowadzi do gwałtownego wzrostu wskaźnika fałszywych detekcji. Na przykład, gdy system wizyjny zawodzi w warunkach silnego światła, system nie przełącza się automatycznie w tryb zdominowany przez laser, co skutkuje przerwaniem nawigacji. Ponadto moduły planowania ścieżki i percepcji są od siebie oddzielone. Większość systemów przyjmuje architekturę szeregową: po tym, jak warstwa percepcji wygeneruje model środowiska, warstwa planowania ponownie wyznacza ścieżkę. Tryb ten charakteryzuje się znacznym opóźnieniem reakcji w scenach dynamicznych. W przypadku pojawienia się tymczasowych przeszkód proces „wykrywania-modelowania-replanowania” musi zostać w pełni wykonany, co zajmuje ponad 2 s i nie spełnia wymogów unikania przeszkód w czasie rzeczywistym. Wreszcie, systemowi brakuje możliwości uczenia się online. Istniejące metody opierają się głównie na modelach wstępnie wytrenowanych, które wykazują niską skuteczność rozpoznawania nieznanych przeszkód lub nieprawidłowych stanów urządzeń, wymagają częstej manualnej interwencji w celu resetowania parametrów oraz generują wysokie koszty operacyjne i konserwacyjne4,5,6,7. Problemy te poważnie ograniczają niezawodne wdrożenie robotów inspekcyjnych w złożonych scenariuszach przemysłowych.
Niniejsze badanie proponuje systemowe rozwiązania innowacyjne dla powyższych problemów: po pierwsze, zaprojektowano warstwową adaptacyjną architekturę fuzji (LAFA). W warstwie danych zaproponowano algorytm kompensacji synchronizacji czasoprzestrzennej, który zapewnia wyrównanie danych z LiDAR, systemów wizyjnych i IMU na poziomie mikrosekund poprzez kompensację ruchu IMU i podwójne filtrowanie Kalmana. W warstwie cech opracowano moduł wyboru cech wielomodalnych oparty na mechanizmie uwagi, który dynamicznie ocenia pewność każdego czujnika i dostosowuje wagę fuzji, łagodząc tym samym degradację percepcji w warunkach zakłóceń środowiskowych. Po drugie, zaproponowano mechanizm planowania ścieżki interaktywnej z otoczeniem (EIPPM). Wyniki percepcji w czasie rzeczywistym są bezpośrednio włączane do ulepszonej funkcji kosztu w celu zbudowania dynamicznej mapy ryzyka; jednocześnie zaprojektowano interfejs sprzężenia zamkniętego „percepcja-planowanie”. Gdy moduł lokalnego omijania przeszkód Dynamic Window Approach (DWA) wykryje nagłą przeszkodę, natychmiast uruchamia on inkrementalną optymalizację ścieżki globalnej, skracając opóźnienie replanowania do mniej niż 1 s, oraz wprowadza model predykcji kosztów ruchu, aby aktywnie unikać obszarów o wysokiej dynamice. Po trzecie, zbudowano lekką strukturę uczenia online. Wykorzystano uczenie transferowe do inicjalizacji biblioteki cech środowiskowych, wdrożono lekkie sieci konwolucyjne (LCNN, Lightweight Convolutional Neural Network) oraz sieci długo- i krótkotrwałej pamięci (LSTM, Long Short-Term Memory network) za pomocą urządzeń brzegowych, aby w czasie rzeczywistym analizować strumieniowe dane z czujników, automatycznie wstępnie identyfikować anormalne wzorce i aktualizować bazę wiedzy o środowisku w testowanych scenariuszach. Dodatkowo opracowano moduł dostrajania strategii oparty na uczeniu ze wzmocnieniem, umożliwiający systemowi autonomiczne uczenie się strategii adaptacyjnych poprzez ciągłą interakcję. Rozwiązanie to zapewnia optymalizację pełnego stosu – od percepcji i podejmowania decyzji po wykonanie – znacząco poprawiając odporność i autonomię systemu w nieustrukturyzowanych, dynamicznych scenariuszach.
Protokół
Podstawy teoretyczne
Zaproponowany inteligentny system inspekcji opiera się na uznanych zasadach percepcji robotycznej, fuzji informacji z wielu czujników, estymacji stanu oraz autonomicznego planowania ścieżki. Fuzja wieloczujnikowa łączy komplementarne informacje z LiDAR-u, systemów wizyjnych, obrazowania w podczerwieni oraz pomiarów inercyjnych w celu poprawy dokładności lokalizacji, percepcji otoczenia i odporności w złożonych środowiskach przemysłowych. Estymacja stanu za pomocą filtrowania Kalmana umożliwia synchronizację czasoprzestrzenną heterogenicznych danych z czujników, natomiast strategie adaptacyjnego ważenia zwiększają niezawodność fuzji w zmiennych warunkach środowiskowych. Ponadto dynamiczne metody planowania ścieżki integrują percepcję otoczenia w czasie rzeczywistym, unikanie przeszkód i podejmowanie decyzji, aby zapewnić bezpieczną i wydajną nawigację robota w środowiskach dynamicznych. Koncepcje te stanowią podstawę teoretyczną dla zaproponowanego systemu percepcji opartego na LAFA oraz strategii planowania ścieżki EIPPM zaimplementowanej w niniejszym badaniu8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30.
Hierarchiczny adaptacyjny model fuzji wielu czujników
Aby rozwiązać problem niedopasowania czasoprzestrzennego oraz sztywności wag w heterogenicznych danych sensorycznych w dynamicznym środowisku, w tej sekcji zaproponowano architekturę LAFA (Layered Adaptive Fusion Architecture). W pierwszej kolejności dokonano jednolitej kalibracji znaczników czasu LiDAR-u, kamery wizyjnej oraz IMU, a następnie zastosowano podwójny filtr Kalmana w połączeniu z predykcją pozy robota na podstawie IMU, aby skompensować przesunięcia ruchu między klatkami. Dzięki temu osiągnięto synchronizację czasoprzestrzenną trzech czujników na poziomie mikrosekund i wyeliminowano zniekształcenia chmury punktów spowodowane szybkim ruchem. Architektura ta znacząco zwiększa niezawodność percepcji w złożonych scenariuszach, redukując błąd pozycjonowania o 46% w porównaniu z metodami tradycyjnymi.
Rysunek 1. Architektura dynamicznego podejmowania decyzji inteligentnego robota inspekcyjnego. Przegląd struktury LAFA-EIPPM przedstawiający percepcję multimodalną, generowanie zadań sterowane językiem, adaptacyjną fuzję czujników oraz zamkniętą pętlę sterowania robotem. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.
Jak pokazano na Rysunku 1, architektura ta integruje zamknięty system multimodalnej percepcji i dynamicznego podejmowania decyzji: najpierw instrukcje w języku naturalnym są odbierane przez moduł interakcji językowej ROSA (Robot Operating System Assistant), który integruje API GPT-4o w celu generowania ustrukturyzowanych żądań zadań31,32. Moduł ten wykorzystuje stałe szablony promptów oraz ustawienia limitów dostępu do API. Przekształca on język naturalny w ujednolicone formaty poleceń inspekcyjnych i posiada funkcję filtrowania słów kluczowych, aby zapewnić podstawową kontrolę bezpieczeństwa podczas pracy; następnie dynamiczny koder wykorzystuje model MDN-RNN (Mixture Density Network Recurrent Neural Network) do fuzji danych z wielu czujników, takich jak LiDAR, wizja i IMU, w celu wygenerowania cech stanu ukrytego, w tym semantyki środowiskowej; cechy te są synchronicznie wprowadzane do kontrolera adaptacyjnego, a w połączeniu z predefiniowanym zbiorem danych generowana jest międzyplatformowa instrukcja działania. W końcu heterogeniczny robot jest sterowany w celu wykonania dynamicznego zadania inspekcyjnego poprzez warstwę wykonawczą środowiska, a stan maszyny jest przekazywany w czasie rzeczywistym z powrotem do kodera w celu utworzenia pętli optymalizacji, co realizuje pełny mechanizm dynamicznej adaptacji – od percepcji multimodalnej po autonomiczne podejmowanie decyzji.
W niniejszej pracy wykorzystano standardowy interfejs API GPT-4o z ustalonym formatem promptu, co pozwoliło osiągnąć średnią latencję odpowiedzi poniżej 200 ms. Mechanizm ponowień redukuje niedeterminizm. W celu obsługi nietypowych zapytań i zapewnienia bezpieczeństwa operacyjnego wdrożono moduły przechwytywania błędów oraz weryfikacji bezpieczeństwa treści. Model LAFA przyjmuje jako dane wejściowe surowe dane z wielu czujników, a na wyjściu generuje cechy scalone oraz dynamiczne wagi fuzji. Wagi uwagi oblicza się poprzez normalizację wartości ufności każdego czujnika. Zastosowano funkcję straty cross-entropy; szybkość uczenia wynosi 1e-3, wielkość partii (batch size) 32, a łączna liczba epok treningowych 50.
ROSA z GPT-4o wspomaga wyłącznie interfejs człowiek-maszyna poprzez konwertowanie języka naturalnego na zadania inspekcyjne; nie wpływa on na percepcję ani planowanie, zatem jego opóźnienie nie stanowi kluczowego wskaźnika KPI. Poprawia on użyteczność bez ograniczania precyzji pozycjonowania, rozpoznawania lub replanowania.
Interaktywny mechanizm dynamicznego planowania ścieżki w środowisku
Aby rozwiązać problem opóźnienia w odpowiedzi spowodowanego rozdzieleniem modułów percepcji i planowania, w tej sekcji zaproponowano mechanizm planowania ścieżki z interakcją środowiskową (EIPPM). Główna innowacja polega na konstrukcji zamkniętego interfejsu sprzężenia między percepcją a podejmowaniem decyzji. Ponadto wprowadzono sieci pamięci długo- i krótkotrwałej w celu przewidywania kosztów transportowych w obszarach o wysokiej dynamice oraz prowadzenia robota w aktywnym unikaniu punktów zatorów. Mechanizm ten skraca opóźnienie ponownego planowania do mniej niż 0,8 s, jednocześnie poprawiając bezpieczeństwo i efektywność ścieżki.
EIPPM optymalizuje funkcję kosztu DWA poprzez fuzję odległości od przeszkód i pewności czujnika. Dynamiczna mapa ryzyka jest konstruowana na podstawie pozycji i stanu ruchu przeszkody. Przyrostkowe replanowanie jest uruchamiane, gdy przesunięcie przeszkody przekroczy 0.5 m. Predyktor oparty na LSTM oblicza regionalny koszt ruchu. Lokalny planista DWA oraz globalny planista A* osiągają ścisłe sprzężenie, z progiem czasu replanowania wynoszącym 0.8 s w celu zapewnienia wydajności w czasie rzeczywistym. Zrewidowany koszt DWA: EQUATION. opiera się na odległości od przeszkód; przyjmuje pewność czujnika LAFA; nakłada kary za dynamiczne strefy przewidziane przez LSTM. Znormalizowana równowaga bezpieczeństwa, percepcji, wiarygodności i ryzyka ruchu. Pewność m-tego czujnika jest obliczana za pomocą . Waga fuzji po normalizacji. Moduł uwagi jest aktualizowany klatka po klatce; czujnikom o niskiej pewności przypisuje się minimalne wagi, aby zmniejszyć zniekształcenia fuzji w trudnych warunkach oświetleniowych lub przy zapyleniu.
Rycina 2. Schemat percepcji semantycznej i sterowania adaptacyjnego opartego na LiDAR. Ilustracja procesu percepcji semantycznej, generowania ograniczeń i adaptacyjnego planowania ścieżki dla autonomicznej inspekcji w oparciu o świadomość środowiskową sterowaną przez LiDAR. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.
Jak pokazano na Rysunku 2, cały schemat postępowania jest sterowany przez czujniki LiDAR. Surowe dane LiDAR są najpierw importowane do modułu świadomości semantycznej w celu wyodrębnienia informacji o środowisku i celu. Po przetworzeniu przez zaproponowany algorytm fuzji wieloczujnikowej LAFA, dane są przekazywane do jednostki ograniczeń sterowania w celu oceny reguł operacyjnych i limitów bezpieczeństwa. W połączeniu ze strategią planowania ścieżki EIPPM, system generuje polecenia sterujące, aby robot mógł wykonać zadania inspekcyjne. Informacje zwrotne o środowisku w czasie rzeczywistym są przekazywane z powrotem do przedniego modułu percepcji, co umożliwia pracę w pętli zamkniętej. Rysunek w pełni przedstawia całą logikę działania systemu percepcji, fuzji, sterowania z ograniczeniami i wykonawstwa robota.
Wyniki
Ocena sprawności percepcyjnej
Aby zweryfikować skuteczność LAFA i EIPPM w scenariuszach dynamicznych, w tym rozdziale wdrożono platformy testowe w dwóch typowych środowiskach inspekcyjnych: zakładach przemysłowych i podstacjach. Ustawienia eksperymentalne obejmują ekstremalne warunki, takie jak nagłe zmiany oświetlenia (2 000 → 80 000 lux), losowo poruszające się przeszkody (5–8/min) oraz zakłócenia pyłowe (widoczność < 5 m). W porównaniu z głównymi algorytmami fuzji (filtr Kalmana/DNN) i metodami planowania ścieżki (A + DWA/RRT), ilościowo oceniono kluczowe wskaźniki, takie jak dokładność pozycjonowania, wskaźnik rozpoznawania przeszkód, opóźnienie replanowania oraz zużycie energii, a zalety wydajnościowe proponowanego schematu udowodniono poprzez analizę istotności statystycznej (p < 0,01). Wszystkie dane zostały zebrane z rzeczywistych zakładów przemysłowych i podstacji, co łącznie daje 28 000 próbek w 6 kategoriach przeszkód. Wszystkie próbki zostały adnotowane ręcznie. Stosunek podziału na zbiór treningowy i testowy wynosi 8:2. Dodatkowe 5 000 próbek w czasie rzeczywistym wykorzystano do uczenia online. Biblioteka cech środowiskowych została skonstruowana jako 12-wymiarowe multimodalne wektory cech. Model uczenia online jest aktualizowany inkrementalnie, gdy próbki anomalne gromadzą się przez więcej niż 10 kolejnych klatek, przy zastosowaniu stałej prędkości uczenia 0,001. Etykiety anomalii zdefiniowano jako nagłe przeszkody i nieprawidłowe stany urządzeń. Aby zapobiec katastroficznej zapominalności, do rozkładu danych zastosowano próg dryfu 0,15; jeśli przesunięcie rozkładu przekroczy ten próg, aktualizacja zostaje tymczasowo zawieszona do czasu ustabilizowania się napływających danych, co tłumi dryf modelu i utrzymuje zdolność do generalizacji. Lekki moduł uczenia online został przetestowany na 5 000 nieznanych próbek. Po aktualizacji modelu na podstawie 10 klatek dokładność rozpoznawania nieznanych przeszkód wzrosła o 7,2%, co potwierdza jego zdolność do adaptacyjnej optymalizacji w odniesieniu do nowych obiektów środowiskowych.
Platforma robotyczna: różnicowy napęd kołowy, kontroler STM32 oraz pokładowy komputer Jetson Xavier NX. Urządzenie wykorzystuje akumulatory litowe zapewniające 8 godzin ciągłej pracy, osiąga prędkość od 0,2–1,2 m/s, posiada maksymalny udźwig 8 kg oraz komunikację przez Wi-Fi i 4G. Czujniki: RPLIDAR A1M8, 10 Hz, FOV 360°; kamera 1080P, 30 fps, FOV 120°; obrazownik podczerwieni 320 x 240; IMU MPU6050, 200 Hz. Wszystkie czujniki są zamontowane z przodu, skalibrowane jednolicie i zsynchronizowane z dokładnością do mikrosekundy. Oprogramowanie: Ubuntu 20.04, ROS Noetic, Python i C++, framework PyTorch, wyposażone w 8-rdzeniowy procesor CPU i 16 GB pamięci GPU do obliczeń krawędziowych (edge computing).
Zakład przemysłowy (45 m x 30 m, trasa 120 m) oraz podstacja (50 m x 35 m, trasa 150 m) obejmują stałe wyposażenie i przemieszczający się personel. Każdy test przeprowadzono 30 razy, przy zachowaniu bezpiecznej odległości 0,6 m. Natężenie oświetlenia wynosi od 2 000 do 80 000 lux, przy 5–8 ruchomych przeszkodach na minutę. Kurz ogranicza widoczność poniżej 5 m. Wszystkie warunki są powtarzalne.
| Metoda | Błąd lokalizacji (cm) | Wskaźnik wykrywania przeszkód (%) | Wskaźnik fałszywych alarmów (%) | Opóźnienie przetwarzania (ms) | Odporność (zmiana oświetlenia) | Robustność (zakłócenia spowodowane pyłem) | pwartość p |
| Wyłącznie LiDAR | ±3.2 | 89.6 | 8.7 | 25 | Niski | Pożywka | <0.01 |
| Wizja + IMU | ±5.1 | 78.3 | 15.2 | 40 | Bardzo niski | Niski | <0.01 |
| Fuzja Kalmana | ±2.8 | 92.1 | 6.3 | 65 | Pożywka | Pożywka | <0.01 |
| Fuzja DNN | ±2.5 | 94.8 | 5.1 | 110 | Wysoki | Niski | <0.01 |
| RAL 2023 | ±1.9 | 96.4 | 4 | 85 | Wysoki | Pożywka | <0.01 |
| Proponowana metoda LAFA | ±1.5 | 98.7 | 1.8 | 35 | Bardzo wysoki | Bardzo wysoki | <0.01 |
Tabela 1: Porównanie wydajności detekcji wieloczujnikowej. Odporność została oceniona w 5-stopniowej skali na podstawie spadku skuteczności wykrywania przeszkód w warunkach zmian oświetlenia i zakłóceń spowodowanych zapyleniem: bardzo niska, niska, średnia, wysoka i bardzo wysoka.
Tabela 1 porównuje wydajność różnych metod percepcji w dynamicznym środowisku przemysłowym. Wszystkie eksperymenty przeprowadzono w 30 niezależnych powtórzeniach (n = 30). Do analizy statystycznej wykorzystano jednoczynnikową analizę wariancji (ANOVA) wraz z testem wielokrotnych porównań Tukeya (HSD), a wszystkie wskaźniki wykazały istotne różnice (p < 0.01). Błąd lokalizacji proponowanego systemu LAFA wynosi ±1.5 cm (SD = ±0.25 cm, 95% CI: [1.42, 1.58] cm), a całkowity błąd pozycjonowania wykazuje rozkład normalny. Skuteczność wykrywania przeszkód osiąga 98.7% (SD = ±0.65%, 95% CI: [98.4%, 99.0%]), natomiast wskaźnik fałszywych alarmów wynosi zaledwie 1.8%. Opóźnienie przetwarzania wynosi tylko 35 ms (co jest wynikiem o 68% szybszym niż w przypadku głównego nurtu fuzji DNN), a odporność na silne oświetlenie i zakłócenia pyłowe osiąga ocenę „Bardzo wysoka”, podczas gdy metody referencyjne zostały ocenione jako „Średnia” i „Niska”. Zestaw danych testowych zawiera sześć rodzajów przeszkód, aby zapewnić powtarzalność wyników. W pełni demonstruje to zalety LAFA w adaptacyjnej fuzji heterogenicznych danych wieloźródłowych poprzez czasowo-przestrzenną kompensację synchronizacji oraz dynamiczny mechanizm ważenia uwagi.
Ocena wydajności planowania ścieżki
| Metoda | Czas replanowania | Optymalność ścieżki (%) | Wskaźnik kolizji (%) | Wskaźnik sukcesu (%) | Wynik unikania dynamicznego | Zużycie energii |
| A* + DWA | 2.5 | 82.6 | 7.3 | 88.9 | 6.1 | 0.48 |
| RRT*+APF | 1.8 | 76.4 | 5.1 | 91.2 | 7.3 | 0.52 |
| DRL Planner | 1.2 | 88.7 | 4 | 93.5 | 8.5 | 0.43 |
| ICRA 2024 | 0.9 | 90.2 | 3.2 | 95.1 | 8.9 | 0.41 |
| Proponowany EIPPM | 0.8 | 96.3 | 0.9 | 99.2 | 9.7 | 0.37 |
Tabela 2: Porównanie wydajności dynamicznego planowania ścieżki. Wynik dynamicznego unikania przeszkód mieści się w zakresie od 0 do 10 punktów i jest obliczany poprzez ważenie współczynnika kolizji, gładkości ścieżki, opóźnienia replanowania oraz wskaźnika sukcesu zadania w 30 powtórnych próbach.
Tabela 2 ocenia wydajność różnych metod planowania ścieżki w scenariuszu podstacji z losowo poruszającymi się przeszkodami (5-8 przeszkód/min) i zakłóceniami wynikającymi z promieniowania termicznego urządzeń. Zastosowano łącznie 12 stałych tras inspekcyjnych, a każdą metodę przetestowano 30 razy. W każdej próbie napotkano średnio 20 przeszkód, a całkowita liczba niepowodzeń w każdej grupie była rejestrowana synchronicznie. Zaproponowany mechanizm EIPPM wykorzystuje sprzężenie zamkniętej pętli percepcji i planowania, osiągając czas odpowiedzi na replanowanie wynoszący 0,8 s, co jest wynikiem o 68% szybszym niż w metodzie A*+DWA. Wskaźnik optymalizacji ścieżki osiąga 96,3% (poprawa o 6,1%), przy współczynniku kolizji wynoszącym zaledwie 0,9% (najniższy spośród wszystkich porównywanych metod) oraz ocenie unikania dynamicznych przeszkód na poziomie 9,7/10. Wynika to głównie z proaktywnych możliwości unikania przeszkód przez dynamiczną mapę ryzyka oraz przewidywania kosztów ruchu w obszarach o wysokiej aktywności. Jednocześnie zużycie energii zostało zredukowane do 0,37 kWh/km (oszczędność 9,8%). W połączeniu z analizą statystyczną (p < 0,01), wskaźniki te wykazują przewagę EIPPM w zakresie wydajnego i bezpiecznego interaktywnego podejmowania decyzji w złożonych, dynamicznych scenariuszach. Wszystkie metody odniesienia działają w środowisku ROS Noetic. Kalman Fusion oraz DNN Fusion wykorzystują domyślne parametry open-source. A*+DWA, RRT*+APF oraz DRL Planner wykorzystują klasyczne ustawienia parametrów z istniejącej literatury. Wszystkie algorytmy zostały nastrojone w tych samych warunkach sprzętowych i scenicznych.
Analiza danych z czujników i trajektorii
Rysunek 3. Analiza fluktuacji sygnałów z wielu czujników i trajektorii robota. (A) Trójwymiarowy model propagacji fal ilustrujący przestrzenną dystrybucję amplitud sygnałów z połączonych czujników. (B) Trójwymiarowa hybrydowa wizualizacja przestrzeni czujników pokazująca trajektorie robota oraz próbkowane dane z czujników wygenerowane z pomiarów polowych połączonych metodą LAFA. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Rysunek 3 przedstawia zintegrowane dane z wielu czujników oraz trajektorie robota. Wartości amplitudy w zakresie 0,0-10,8 dB zostały obliczone na podstawie danych z LiDAR-u, kamery i IMU zainstalowanych na miejscu przy użyciu algorytmu LAFA. Obszary z amplitudą powyżej 8,0 dB reprezentują silne zakłócenia środowiskowe. Piki amplitudy pokrywają się ze ścieżką inspekcyjną, a trajektorie wykazują wyraźne oscylacje, gdy amplituda przekracza 5,0 dB. Większość punktów danych grupuje się w zakresie od 2,5 do 7,5 dB, co wskazuje, że system omija regiony o wysokim poziomie zakłóceń. Szeroki zasięg przestrzenny i gładkie trajektorie (zmiana krzywizny <; 0,6) potwierdzają adaptacyjność robota oraz przewagę proponowanej metody fuzji danych w dynamicznej inspekcji przemysłowej.
Rycina 4. Ocena wydajności inteligentnego systemu inspekcyjnego. (A) Rozkład szybkości reakcji i wydajności produktu uzyskany z danych inspekcji robotycznej. (B) Rozkład gęstości ilustrujący zależność między szybkością reakcji a wydajnością produktu podczas zadań inspekcyjnych. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Rysunek 4 przedstawia porównanie wydajności w zadaniach inspekcyjnych z użyciem rzeczywistego robota. Wszystkie metryki zostały wyprowadzone z surowych danych patrolu robota z LiDAR-a, kamery oraz IMU. Szybkość reakcji oznacza średnią prędkość odpowiedzi modułu fuzji LAFA w zakresie wykrywania anomalii sprzętowych, natomiast wydajność produktu oznacza udział poprawnych wyników wykrycia defektów przesiewanych przez planowanie ścieżki EIPPM. Krzywe określają efektywność detekcji oraz zdolność adaptacji do środowiska opracowanego systemu, dostarczając empirycznych dowodów na jego praktyczne zalety w procesach inspekcyjnych.
Rysunek 5. Analiza szeregów czasowych sygnałów z czujników podczas inspekcji. (A) Dekompozycja sygnałów z czujników w szeregach czasowych na komponenty trendu, sezonowości, reziduum i szumu. (B) Sygnał elektryczny z czujnika z odpowiadającym mu przedziałem ufności podczas ciągłej inspekcji robotycznej. Proszę kliknąć tutaj, aby wyświetlić większą wersję tego rysunku.
Jak pokazano na Rysunku 5, krzywe szeregów czasowych zostały wyprowadzone z odczytów zasięgu LiDAR-u i natężenia kamery, zarejestrowanych podczas 10-minutowego ciągłego patrolu w scenariuszu podstacji. Ilustrują one reakcje percepcji w czasie rzeczywistym przy zmiennym oświetleniu i zakłóceniach spowodowanych pyłem. Zaproponowana metoda LAFA skutecznie wygładza drgania sygnału, utrzymując stabilny wynik i bezpośrednio wspierając wykrywanie przeszkód oraz unikanie kolizji w czasie rzeczywistym podczas dynamicznych misji inspekcyjnych.
Rycina 6. Wielowymiarowa analiza pola fizycznego. Wizualizacja charakterystyki pola środowiskowego zrekonstruowanej z pomiarów wielosensorowych zintegrowanych za pomocą LAFA, ilustrująca przestrzenny rozkład dynamiki środowiska, punktów danych z sensorów oraz gradientów pola. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Jak pokazano na Rysunku 6, wielowymiarowe dane pola fizycznego są przetwarzane z pomiarów czujników polowych robota przy użyciu algorytmu LAFA w celu analizy środowiska operacyjnego i wydajności sygnału. Wizualizacja ta obejmuje 10 warstw analizy o odmiennym rozkładzie przestrzennym, rozkładzie danych i charakterystyce statystycznej. Wyniki odzwierciedlają wzorzec przestrzenny zakłóceń środowiskowych i potwierdzają stabilne działanie systemu percepcji robota.
Wizualizacja cech wysokowymiarowych
Rysunek 7. Wielowymiarowa wizualizacja wydajności systemu i odpowiedzi środowiskowej. (A) Trójwymiarowy skumulowany wykres słupkowy przedstawiający metryki wydajności podsystemów w cyklach inspekcji. (B) Trójwymiarowy wykres powierzchniowy ilustrujący intensywność odpowiedzi środowiskowej wraz z pomiarami z próbkowanych czujników. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Rysunek 7 przedstawia wielowymiarową charakterystykę pracy systemu inspekcyjnego. Lewy trójwymiarowy skumulowany wykres słupkowy pokazuje wydajność podsystemów w poszczególnych cyklach inspekcyjnych; wartości MA, MB i MC w cyklu C3 wynoszą odpowiednio 12,4, 9,7 i 15,2, co wskazuje na znaczne wahania obciążenia. Prawy wykres powierzchniowy przedstawia intensywność odpowiedzi środowiskowej z pikiem na poziomie ±18 i większością danych w zakresie od -5 do +5, co odzwierciedla nieliniowe cechy środowiska. Wyniki dostarczają wsparcia danych dla fuzji czujników robota oraz optymalizacji harmonogramowania. MA, MB i MC reprezentują odpowiednio wskaźniki obciążenia dla podsystemów percepcji, planowania ścieżki i wykonania.
Rycina 8. Trójwymiarowe charakterystyki sygnałów z sensorów po fuzji w różnych warunkach pracy. (A) Powierzchnia funkcji sinus. (B) Powierzchnia paraboloidy hiperbolicznej. (C) Powierzchnia funkcji Bessela. (D) Powierzchnia kwantowej funkcji falowej. Te reprezentatywne modele powierzchni ilustrują charakterystyki przestrzenne sygnałów z sensorów po fuzji LAFA w różnych warunkach inspekcji. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Jak pokazano na Rysunku 8, cztery grupy trójwymiarowych modeli powierzchni charakteryzują sygnały fuzji wielosensorowej w różnych warunkach pracy podczas inspekcji. Przeanalizowano zasady zmienności przestrzennej i tłumienia sygnałów. Cechy te dowodzą, że algorytm LAFA utrzymuje spójną wydajność fuzji w różnych środowiskach i służą jako punkt odniesienia dla późniejszej optymalizacji planowania ścieżki. Przedstawione modele 3D powierzchni zostały zinterpolowane z danych sensorowych scalonych za pomocą LAFA. Jednolity rozkład sygnału w zróżnicowanych warunkach potwierdza stabilną wydajność fuzji naszej struktury przy zmiennych zakłóceniach.
Rycina 9. Trajektoria robota i rozkład próbkowania czujników. (A) Parametryczna krzywa motyla reprezentująca charakterystykę geometryczną trajektorii robota. (B) Spiralny rozkład punktów próbkowania czujników ilustrujący przestrzenny rozkład danych inspekcyjnych. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.
Jak pokazano na Rysunku 9, krzywe i wykresy polarne zostały dopasowane na podstawie danych z trajektorii robota oraz rozkładu przestrzennego czujników. Krzywizna i gęstość zostały obliczone za pomocą równań parametrycznych. Reguły rozkładu przestrzennego podsumowują charakterystykę ruchu robota oraz rozkład przestrzenny punktów próbkowania wieloczujnikowego w scenariuszach inspekcji wielkoskalowych. Wszystkie wykresy zostały dopasowane do rzeczywistych trajektorii robota i punktów próbkowania czujników. Jednolity rozkład próbkowania oraz gładkie krzywe trajektorii potwierdzają stabilność percepcji i niezawodność optymalizacji ścieżki w proponowanym systemie LAFA-EIPPM.
Rysunek 10Wykonywanie zadania i wizualizacja trajektorii inspekcji robota. (ATrójwymiarowa powierzchnia wyników przedstawiająca wartości wykonania zadania oraz próbkowane punkty inspekcyjne.B) Trajektoria inspekcji robota i pokrycie przestrzenne obrazujące ścieżkę pokonaną podczas autonomicznej inspekcji. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Jak pokazano na Ryc. 10, lewy panel przedstawia rozkład wydajności zadań; wartość szczytowa wynosi 15.3, minimalna 5.1, a wynik czwartego punktu zadania to 13.2. Czerwone punkty są próbkowane równomiernie, a niebieska linia pokazuje trend. Ścieżka (maksymalne Z = 7.8m) i pokrycie (wysokość 4.0m) na prawym rysunku przedstawiają rzeczywistą trajektorię i pokrycie przestrzenne. Oba wykresy kompleksowo oddają wahania obciążenia zadaniami i jednorodność próbkowania, dostarczając danych wspierających optymalizację fuzji.
Dostępność danych:
Zestawy danych eksperymentalnych wygenerowane w niniejszym badaniu nie są publicznie dostępne, ponieważ zawierają specyficzne dla danej lokalizacji informacje przemysłowe objęte umowami o poufności. Materiały zastrzeżone obejmują współrzędne fabryki, nieprzetworzone skany LiDAR oraz poufne parametry urządzeń. Autor korespondencyjny może rozważyć udzielenie dostępu na uzasadnioną prośbę, pod warunkiem spełnienia zobowiązań dotyczących poufności.
Dyskusja
Niniejsza praca proponuje współpracujący framework optymalizacji LAFA–EIPPM w celu poprawy niezawodności percepcji i efektywności podejmowania decyzji przez inteligentne roboty inspekcyjne w złożonych, dynamicznych środowiskach. LAFA zapewnia odporną fuzję wielosensorową poprzez synchronizację czasoprzestrzenną oraz mechanizm ważenia oparty na uwadze20,22, co znacząco poprawia dokładność pozycjonowania i możliwości rozpoznawania przeszkód w niesprzyjających warunkach, takich jak silne światło i zapylenie. EIPPM ustanawia sprzężenie w pętli zamkniętej między percepcją a planowaniem10,16, wspierając szybkie replanowanie ścieżki i nawigację uwzględniającą ryzyko, przy jednoczesnej optymalizacji zużycia energii.
Niniejsze badanie wyznacza nową ścieżkę techniczną dla fuzji wielosensorowej i podejmowania decyzji przez autonomiczne roboty w środowiskach dynamicznych. Mechanizm dynamicznej regulacji wag w systemie LAFA przełamuje ograniczenia tradycyjnej fuzji o stałych wagach, paradygmat sprzężenia zamkniętego w EIPPM skraca opóźnienia w replanowaniu, a moduł uczenia online nadaje systemowi zdolność do ciągłej adaptacji do nieznanych przeszkód i anormalnych wzorców. Innowacje te rozszerzają teorię inteligentnej inspekcji na scenariusze o wysokiej dynamice i strukturze nieustrukturyzowanej.
Obecny system nadal posiada pewne ograniczenia: po pierwsze, moduł uczenia online konwerguje powoli w przypadku wystąpienia niezwykle rzadkich wzorców anomalii; po drugie, eksperymenty przeprowadzono wyłącznie w zakładach przemysłowych i podstacjach, a wydajność w trudnym terenie zewnętrznym lub w ekstremalnych warunkach pogodowych nie została jeszcze zweryfikowana; po trzecie, w niniejszym badaniu przeprowadzono jedynie krótkoterminowe testy prototypu, a długotrwałe wdrożenia w warunkach przemysłowych, systemowa ocena bezpieczeństwa oraz testy tolerancji błędów nie zostały ukończone; po czwarte, w pracy tej nie przeprowadzono badań ablacyjnych algorytmu ani pełnoobrotowej analizy logów operacji w czasie rzeczywistym; ponadto system opiera się na mocy obliczeniowej krawędziowej (edge computing), a długoterminowa stabilność operacyjna wymaga dalszych testów.
Metoda ta ma istotną wartość aplikacyjną w testowanych scenariuszach wysokiego ryzyka, w tym w zakładach przemysłowych, podstacjach energetycznych, monitorowaniu zakładów petrochemicznych oraz inspekcji tuneli transportu szynowego. Na przykład w podstacjach osiągnięto dokładność pozycjonowania ±1.5 cm i wskaźnik kolizji 0.9%, co znacząco zredukowało ryzyko związane z inspekcją manualną; wewnątrz rurociągów przemysłowych metoda może być łączona z fuzją wielu czujników w celu realizacji autonomicznego omijania przeszkód i identyfikacji defektów. Scenariusze obejmujące roboty rolnicze, roboty ratownicze, eksplorację podwodną8,28 oraz inspekcje lotnicze są uważane za obiecujące rozszerzenia zastosowań i zostaną zbadane w naszych kolejnych pracach badawczych.
Dalsze prace obejmują: 1) Integrację lekkich dużych modeli językowych z modułami interakcji człowiek-komputer w celu obsługi poleceń w języku naturalnym i wnioskowania o zadaniach; 2) Opracowanie rozproszonego modelu uczenia dla współpracy krawędziowo-chmurowej (edge-cloud), aby umożliwić wymianę doświadczeń między wieloma robotami; 3) Rozszerzenie zastosowań o scenariusze inspekcji podwodnych lub powietrznych w celu rozwiązania problemów związanych z percepcją międzyśrodowiskową i sterowaniem ruchem; 4) Wprowadzenie modułu wyjaśnialnej sztucznej inteligencji (explainable AI), aby zwiększyć wiarygodność i możliwość debugowania procesu podejmowania decyzji.
Wniosek:
Aby rozwiązać główne problemy związane z niską niezawodnością percepcji i dużym opóźnieniem decyzji w inteligentnych robotach inspekcyjnych pracujących w dynamicznych środowiskach, w niniejszym badaniu zaproponowano schemat optymalizacji kolaboracyjnej oparty na LAFA i EIPPM. LAFA realizuje dynamiczną integrację czujników wieloźródłowych, w tym LiDAR-u, kamery wizyjnej, obrazownika podczerwieni oraz IMU, poprzez kompensację synchronizacji czasoprzestrzennej i mechanizm ważenia uwagi. W krótkoterminowych testach prototypowych przeprowadzonych w zakładach przemysłowych system osiągnął błąd pozycjonowania wynoszący ±1,5 cm oraz współczynnik rozpoznawania przeszkód na poziomie 98,7%, wykazując wysoką odporność na zakłócenia wywołane silnym światłem i zapyleniem. W złożonych scenariuszach podstacji framework EIPPM tworzy sprzężenie w pętli zamkniętej pomiędzy percepcją a planowaniem. W połączeniu z dynamicznymi mapami ryzyka i strategiami inkrementalnego replanowania, skraca on opóźnienie w replanowaniu ścieżki do 0,8 s i obniża wskaźnik kolizji do 0,9%. Prototyp osiągnął 32% poprawę ogólnej wydajności inspekcji oraz 9,8% redukcję zużycia energii w porównaniu z metodami tradycyjnymi.
Wyniki testów wykazują, że zaproponowany prototyp niweluje typowe wady metod tradycyjnych, takie jak niedokładna rejestracja danych, słaba adaptacyjność do warunków środowiskowych oraz powolny czas reakcji. Lekki moduł uczenia online zapewnia podstawową wydajność adaptacyjną w przypadku częściowo nieznanych przeszkód i prostych wzorców anomalii w ramach testowanych scenariuszy. Niniejsza praca dostarcza wysokiej autonomii prototypu technicznego do zadań inspekcyjnych w scenariuszach wysokiego ryzyka w energetyce i petrochemii. Badanie to posiada jednak pewne ograniczenia: testy ograniczono do zakładów/podstacji, uczenie online powoli zbiega w przypadku rzadkich anomalii, stabilność długoterminowa i odporność na błędy nie zostały przetestowane, a zależność od przetwarzania krawędziowego wymaga weryfikacji. Przyszłe prace będą adresować te kwestie poprzez współpracę wielu robotów oraz rozszerzone próby polowe.
Oświadczenia
Autorzy nie deklarują żadnych konfliktów interesów.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Kamera 1080P | Custom | N/A | Sensor wizyjny, 30 fps, 120° FOV |
| Kamera termowizyjna | Generic | 320×240 | Obrazowanie termiczne, rozdzielczość 320 x 240 |
| Jetson Xavier NX | NVIDIA | Xavier NX | Komputer brzegowy, 8-rdzeniowy CPU, 16 GB GPU |
| LiDAR RPLIDAR A1M8 | Slamtec | A1M8 | Skanowanie 10 Hz, 360° FOV |
| Akumulator litowy | Custom | 12V/20Ah | Zasilanie, 8 h pracy ciągłej |
| MPU6050 IMU | InvenSense | MPU6050 | 200 Hz, akcelerometr i żyroskop |
| Kontroler STM32 | STMicroelectronics | STM32F4 | Główna jednostka sterowania ruchem |
Bibliografia
- Deng L, Wang S, Guo J, Cao R, Liu M. 3D keypoint detection-based automated rebar spacing inspection: Application for robotic integration. Adv Eng Inform. 2025;66:103418.
- Hu D, Gan VJL. Semantic navigation for automated robotic inspection and indoor environment quality monitoring. Autom Constr. 2025;170:105949.
- Li J, Zhou X, Gui C, Yang M, Xu F, Wang X. Adaptive climbing and automatic inspection robot for variable curvature walls of industrial storage tank facilities. Autom Constr. 2025;172:106049.
- Lin T, Ren Z, Huang K, Zhu Y, Karimi HR. A novel multi-sensor information fusion method for fault diagnosis of rotating machinery with missing signals. Adv Eng Inform. 2025;68:103595.
- Zhuo R, Deng Z, Teng H, Ge J, Lv L, Liu W. The grinding wheel wear condition monitoring method based on multi-sensor information hierarchical fusion for high-speed cylindrical grinding. Adv Eng Inform. 2025;67:103541.
- Su Y, Shi X, Song T. Research on vehicle safety based on multi-sensor feature fusion for autonomous driving task. Comput Mater Contin. 2025;83(3):5831-48.
- Makrouf I, Zegrari M, Dahi K, Ouachtouk I. A novel framework for multi-sensor data fusion in bearing fault diagnosis using continuous wavelet transform and transfer learning. e-Prime Adv Electr Eng Electron Energy. 2025;13:101025.
- Liu X, Xie S. Innovative strategy and practice of using underwater robot for marine cable inspection and operation and maintenance. Cogn Robot. 2025;5:226-39.
- Yue H, Wang Q, Zhao Z, Lai S, Huang G. Interactions between BIM and robotics: Towards intelligent construction engineering and management. Comput Ind. 2025;169:104299.
- Yang H, Luo X, Duan C, Wang P, Zhu K, Deng X, Ren W. Research on multi-objective point path planning for mobile inspection robot based on Multi-Informed-Rapidly Exploring Random Tree. Eng Appl Artif Intell. 2025;151:110645.
- Yu Q, Zhang Q, Sun G, Qin R. Distribution station inspection robot with modular manipulator. HardwareX. 2025;22:e00652.
- Li X, Xiao S, Li Q, Zhu L, Wang T, Chu F. The bearing multi-sensor fault diagnosis method based on a multi-branch parallel perception network and feature fusion strategy. Reliab Eng Syst Saf. 2025;261:111122.
- Qin Y, Zhao Y, Qi J, Mao Y. Spatial-temporal multi-sensor information fusion network with prior knowledge embedding for equipment remaining useful life prediction. Reliab Eng Syst Saf. 2025;264:111420.
- Cao C, Zhao Y. Distributed heterogenous multi-sensor fusion based on labeled random finite set for multi-target state estimation using information geometry. Signal Process. 2026;238:110135.
- Wang C, Yin L, Zhao Q, Wang W, Li C, Luo B. An intelligent robot for indoor substation inspection. Ind Robot. 2020;47(5):705-12.
- Yang Q, Dong J, Tan M, Wang J, Guo D, Kang H, Wang P. A novel navigation assistant method for substation inspection robot based on multisensory information fusion. J Adv Res. 2025;77:407-18.
- Sun G, Xia L, Du X, Yu Q, Zhang J, Qin R. Self-tuning clamping force control with optimal trajectory tracking for autonomous pipe inspection robots. J Pipeline Sci Eng. 2025;100309. Epub ahead of print.
- Chi P, Wang Z, Liao H, Li T, Wu X, Zhang Q. Towards new-generation of intelligent welding manufacturing: A systematic review on 3D vision measurement and path planning of humanoid welding robots. Measurement. 2025;242:116065.
- Wang Q, Xia J, Li M, Yin L, Xie X. A multi-sensor fusion and multi-source domain adaptive fault diagnosis method for rotating machinery. Eng Appl Artif Intell. 2025;159:111538.
- Hu J, Chen J, Lv M, Xu Z, Chen Z, Han J. MSHF: Multi-sensor hierarchical fusion for UGV localization in an unstructured environment. Expert Syst Appl. 2025;294:128732.
- Gudla R, Chang NB. Multi-sensor data fusion via a cortical gap network for time series large data gap filling under uncertainties. Inf Fusion. 2026;126:103618.
- Laidouni MZ, Bondžulić B, Bujaković D, Adli T, Andrić M. ConvNeXtFusion: Multi-sensor image fusion via residual dense and cross ConvNeXt network. Infrared Phys Technol. 2025;150:106005.
- Tian D, Li J, Lei J. Multi-sensor information fusion in Internet of Vehicles based on deep learning: A review. Neurocomputing. 2025;614:128886.
- Zhang Y, Wang Y, Su C, Miao Y, Wei T, Feng Y, Chen F, Ying Z, Wang S, Wang X. Multi-sensor fusion-based intelligent auxiliary system of power wheelchairs for individuals with limbs disabilities: Design and implementation. Measurement. 2026;257:118573.
- Zuo K, Li X, Li X, Wang K, Gao T, Shen T. Multi-sensor fusion with triple reliability evaluation for human activity recognition. Measurement. 2026;257:118580.
- Zhao X, Liu Z, Liu Y, Zhang B, Sui J, Jiang K. Structure design and application of combination track intelligent inspection robot used in substation indoor. Procedia Comput Sci. 2017;107:190-5.
- Kadri I, Selouani SA, Ghribi M, Ghali R, Mekhoukh S. LLM-driven agent for speech-enabled control of industrial robots: A case study in snow-crab quality inspection. Results Eng. 2025;27:106660.
- Jiang Y, Pan Z, Zhang X. Tunnel infrastructure health management: A state-of-the-art review on defect development mechanism and robot-aided inspection system. Smart Undergr Eng. 2025;1(1):26-39.
- Okonkwo C, Awolusi I. Environmental sensing in autonomous construction robots: Applicable technologies and systems. Autom Constr. 2025;172:106075.
- Du Y, Chen X, Yu Z, Meng F, Zhou Z, Zhang Y, Li Q, Huang Q. Efficient co-adaptation of humanoid robot design and locomotion control using surrogate-guided optimization. Biomim Intell Robot. 2025;5(4):100255.
- Lv X, Cui S, Wang Y, Lu J, Yu P, Wang K. Patch time series transformer-based short-term photovoltaic power prediction enhanced by artificial fish. Energies. 2026;19(1):284.
- Lei M, Zhang M, Wang K. Research on bidding optimization strategy for virtual power plants with wind-solar-storage systems based on IGDT-DRO. Electr Eng. 2026;108(3):208.