Niniejsza praca przedstawia adaptacyjny wielosensorowy (LiDAR, kamera, IR, IMU) system DWA z uczeniem online dla robotów inspekcyjnych. Powtarzalne testy przemysłowe wykazały dokładność pozycjonowania ±1.5 cm, 98.7% skuteczność rozpoznawania przeszkód, wzrost wydajności o 32% oraz redukcję zużycia energii o 9.8% w porównaniu z metodami konwencjonalnymi.
Artykuł badawczy
Badania nad optymalizacją i dynamiczną adaptacją do środowiska inteligentnego systemu inspekcyjnego robota opartego na fuzji wielosensorowej
W tym artykule
Podsumowanie
Streszczenie
Niniejsza praca proponuje ramy optymalizacji oparte na głębokiej fuzji wielosensorowej i adaptacyjnym podejmowaniu decyzji dla inteligentnych robotów inspekcyjnych, rozwiązując problemy ograniczonej niezawodności percepcji, niskiej wydajności planowania ścieżki oraz słabej adaptacyjności środowiskowej w scenariuszach dynamicznych. Platforma robotyczna została wyposażona w LiDAR, kamerę wizyjną, termowizyjny obrazer podczerwieni oraz IMU w celu zbudowania odpornego modelu percepcji do rozpoznawania przeszkód i estymacji pozy. Zaprojektowano algorytm fuzji dynamic weight-DWA do planowania ścieżki oraz moduł uczenia online do aktualizacji cech środowiskowych. Przeprowadzono liczne testy w zakładach przemysłowych i podstacjach przy zmiennych warunkach oświetlenia oraz w obecności ruchomych przeszkód. W porównaniu z metodami bazowymi, w tym filtrem Kalmana, DNN oraz A*+DWA, system osiąga błąd pozycjonowania wynoszący ±1.5 cm, wskaźnik rozpoznawania przeszkód na poziomie 98.7% oraz opóźnienie w replanowaniu poniżej 0.8 s, przy 32% wyższej wydajności inspekcji i o 9.8% niższym zużyciu energii (p < 0.01). System wykazuje zwiększoną odporność w testowanych dynamicznych warunkach przemysłowych.
Wprowadzenie
Wraz z gwałtownym rozwojem inteligentnej produkcji i inteligentnej infrastruktury energetycznej, inteligentne roboty inspekcyjne, jako kluczowe urządzenia zastępujące manualne operacje wysokiego ryzyka, znajdują szerokie zastosowanie w kluczowych sektorach infrastruktury, takich jak energetyka elektryczna, przemysł petrochemiczny i transport kolejowy. Tradycyjne systemy inspekcyjne opierają się głównie na pojedynczym czujniku do percepcji środowiska, a ich wydajność w ustrukturyzowanych, statycznych scenach jest zadowalająca. Jednak w rzeczywistych obiektach przemysłowych często napotykają one na wysoce dynamiczne i nieustrukturyzowane czynniki, takie jak zmiany oświetlenia, tymczasowe przemieszczanie urządzeń, przepływ personelu oraz zakłócenia spowodowane deszczem i mgłą, co może prowadzić do błędów w percepcji i błędnych decyzji1,2,3. W ostatnich latach postępy w dziedzinie głębokiego uczenia i uczenia ze wzmocnieniem umożliwiły zastosowanie nowych podejść do wspólnego przetwarzania danych z wielu źródeł, natomiast usprawnienia w sprzęcie do obliczeń krawędziowych pozwoliły na wykonywanie złożonych algorytmów w czasie rzeczywistym. W tym kontekście budowa systemu inspekcyjnego opartego na fuzji wielu czujników o silnej adaptacyjności środowiskowej jest nie tylko pilną potrzebą w celu podniesienia poziomu automatyzacji eksploatacji i konserwacji, ale także kluczowym wsparciem technicznym zapewniającym bezpieczne funkcjonowanie kluczowych obiektów.
Mimo że technologia fuzji wielu czujników posiada zalety teoretyczne, istniejące inteligentne systemy inspekcyjne wciąż napotykają znaczące wąskie gardła w praktycznych zastosowaniach w środowiskach dynamicznych: Po pierwsze, dokładność rejestracji czasoprzestrzennej danych z heterogenicznych czujników jest niewystarczająca. Zniekształcenia fuzji między chmurą punktów laserowych a klatką obrazu wynikają z różnic w częstotliwości próbkowania i układach współrzędnych. Zwłaszcza gdy robot porusza się z dużą prędkością, zniekształcenia ruchu pogłębiają błędy dopasowania cech i obniżają niezawodność wykrywania przeszkód. Po drugie, tradycyjna strategia fuzji wykazuje słabą adaptacyjność do zmian środowiskowych. Metody głównego nurtu opierają się na stałych parametrach i nie radzą sobie w scenariuszach takich jak nagłe zmiany oświetlenia, zakłócenia spowodowane pyłem czy pojawienie się niespodziewanych przeszkód, co prowadzi do gwałtownego wzrostu wskaźnika fałszywych detekcji. Na przykład, gdy system wizyjny zawodzi w warunkach silnego światła, system nie przełącza się automatycznie w tryb zdominowany przez laser, co skutkuje przerwaniem nawigacji. Ponadto moduły planowania ścieżki i percepcji są od siebie oddzielone. Większość systemów przyjmuje architekturę szeregową: po tym, jak warstwa percepcji wygeneruje model środowiska, warstwa planowania ponownie wyznacza ścieżkę. Tryb ten charakteryzuje się znacznym opóźnieniem reakcji w scenach dynamicznych. W przypadku pojawienia się tymczasowych przeszkód proces „wykrywania-modelowania-replanowania” musi zostać w pełni wykonany, co zajmuje ponad 2 s i nie spełnia wymogów unikania przeszkód w czasie rzeczywistym. Wreszcie, systemowi brakuje możliwości uczenia się online. Istniejące metody opierają się głównie na modelach wstępnie wytrenowanych, które wykazują niską skuteczność rozpoznawania nieznanych przeszkód lub nieprawidłowych stanów urządzeń, wymagają częstej manualnej interwencji w celu resetowania parametrów oraz generują wysokie koszty operacyjne i konserwacyjne4,5,6,7. Problemy te poważnie ograniczają niezawodne wdrożenie robotów inspekcyjnych w złożonych scenariuszach przemysłowych.
Niniejsze badanie proponuje systemowe rozwiązania innowacyjne dla powyższych problemów: po pierwsze, zaprojektowano warstwową adaptacyjną architekturę fuzji (LAFA). W warstwie danych zaproponowano algorytm kompensacji synchronizacji czasoprzestrzennej, który zapewnia wyrównanie danych z LiDAR, systemów wizyjnych i IMU na poziomie mikrosekund poprzez kompensację ruchu IMU i podwójne filtrowanie Kalmana. W warstwie cech opracowano moduł wyboru cech wielomodalnych oparty na mechanizmie uwagi, który dynamicznie ocenia pewność każdego czujnika i dostosowuje wagę fuzji, łagodząc tym samym degradację percepcji w warunkach zakłóceń środowiskowych. Po drugie, zaproponowano mechanizm planowania ścieżki interaktywnej z otoczeniem (EIPPM). Wyniki percepcji w czasie rzeczywistym są bezpośrednio włączane do ulepszonej funkcji kosztu w celu zbudowania dynamicznej mapy ryzyka; jednocześnie zaprojektowano interfejs sprzężenia zamkniętego „percepcja-planowanie”. Gdy moduł lokalnego omijania przeszkód Dynamic Window Approach (DWA) wykryje nagłą przeszkodę, natychmiast uruchamia on inkrementalną optymalizację ścieżki globalnej, skracając opóźnienie replanowania do mniej niż 1 s, oraz wprowadza model predykcji kosztów ruchu, aby aktywnie unikać obszarów o wysokiej dynamice. Po trzecie, zbudowano lekką strukturę uczenia online. Wykorzystano uczenie transferowe do inicjalizacji biblioteki cech środowiskowych, wdrożono lekkie sieci konwolucyjne (LCNN, Lightweight Convolutional Neural Network) oraz sieci długo- i krótkotrwałej pamięci (LSTM, Long Short-Term Memory network) za pomocą urządzeń brzegowych, aby w czasie rzeczywistym analizować strumieniowe dane z czujników, automatycznie wstępnie identyfikować anormalne wzorce i aktualizować bazę wiedzy o środowisku w testowanych scenariuszach. Dodatkowo opracowano moduł dostrajania strategii oparty na uczeniu ze wzmocnieniem, umożliwiający systemowi autonomiczne uczenie się strategii adaptacyjnych poprzez ciągłą interakcję. Rozwiązanie to zapewnia optymalizację pełnego stosu – od percepcji i podejmowania decyzji po wykonanie – znacząco poprawiając odporność i autonomię systemu w nieustrukturyzowanych, dynamicznych scenariuszach.
Protokół
Podstawy teoretyczne
Zaproponowany inteligentny system inspekcyjny opiera się na ugruntowanych zasadach percepcji robotycznej, fuzji informacji z wielu czujników, estymacji stanu oraz autonomicznego planowania ścieżek. Fuzja danych z wielu czujników łączy komplementarne informacje z LiDAR-u, systemów wizyjnych, obrazowania w podczerwieni oraz pomiarów inercyjnych, aby zwiększyć dokładność lokalizacji, percepcję otoczenia i odporność systemu w złożonych środowiskach przemysłowych. Estymacja stanu za pomocą filtrowania Kalmana umożliwia synchronizację czasowo-przestrzenną heterogenicznych danych z czujników, natomiast strategie adaptacyjnego ważenia zwiększają niezawodność fuzji w zmiennych warunkach środowiskowych. Ponadto dynamiczne metody planowania ścieżek integrują percepcję otoczenia w czasie rzeczywistym, unikanie przeszkód i podejmowanie decyzji, aby zapewnić bezpieczną i wydajną nawigację robota w środowiskach dynamicznych. Koncepcje te stanowią podstawę teoretyczną dla zaproponowanego systemu percepcji opartego na LAFA oraz strategii planowania ścieżek EIPPM zaimplementowanej w niniejszym badaniu8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30.
Hierarchiczny adaptacyjny model fuzji wielosensorowej
Aby rozwiązać problem niedopasowania czasoprzestrzennego oraz sztywności wag w heterogenicznych danych z czujników w dynamicznym środowisku, w tej sekcji zaproponowano LAFA (Layered Adaptive Fusion Architecture). W pierwszej kolejności jednolicie skalibrowano znaczniki czasu LiDAR-u, kamery wizyjnej oraz IMU, a następnie zastosowano podwójny filtr Kalmana, połączony z predykcją pozy robota w oparciu o IMU, aby skompensować przesunięcia ruchu między klatkami, osiągając tym samym synchronizację czasoprzestrzenną na poziomie mikrosekund między trzema czujnikami i eliminując zniekształcenia chmury punktów spowodowane szybkim ruchem. Architektura ta znacząco poprawia niezawodność percepcji w złożonych scenariuszach, redukując błąd pozycjonowania o 46% w porównaniu z metodami tradycyjnymi.
Rysunek 1. Dynamiczna architektura podejmowania decyzji inteligentnego robota inspekcyjnego. Przegląd struktury LAFA-EIPPM przedstawiający percepcję multimodalną, generowanie zadań sterowane językiem, adaptacyjną fuzję czujników oraz zamkniętą pętlę sterowania robotem. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Jak pokazano na Rysunku 1, architektura ta integruje multimodalny system percepcji w pętli zamkniętej oraz system dynamicznego podejmowania decyzji: najpierw instrukcje w języku naturalnym są odbierane przez moduł interakcji językowej ROSA (Robot Operating System Assistant), który integruje API GPT-4o w celu generowania ustrukturyzowanych żądań zadań31,32. Moduł ten wykorzystuje stałe szablony promptów i ustawienia limitów dostępu do API. Przekształca on język naturalny w ujednolicone formaty poleceń inspekcyjnych i posiada funkcję filtrowania słów kluczowych w celu zapewnienia podstawowej kontroli bezpieczeństwa podczas pracy; Następnie dynamiczny koder wykorzystuje model MDN-RNN (Mixture Density Network Recurrent Neural Network) do fuzji danych z wielu sensorów, takich jak LiDAR, wizja i IMU, aby wygenerować cechy stanu ukrytego, w tym semantykę środowiska; Cechy te są synchronicznie wprowadzane do kontrolera adaptacyjnego, a w połączeniu z predefiniowanym zbiorem danych generowana jest międzyplatformowa instrukcja działania. Na koniec, za pośrednictwem warstwy wykonawczej środowiska, sterowany jest heterogeniczny robot w celu wykonania dynamicznego zadania inspekcyjnego, a stan maszyny jest przekazywany w czasie rzeczywistym z powrotem do kodera, tworząc pętlę optymalizacji, co pozwala na realizację pełnego mechanizmu dynamicznej adaptacji — od percepcji multimodalnej po autonomiczne podejmowanie decyzji.
W niniejszej pracy wykorzystano standardowy interfejs API GPT-4o z ustalonym formatem promptu, osiągając średni czas opóźnienia odpowiedzi poniżej 200 ms. Mechanizm ponawiania prób ogranicza niedeterminizm. W celu obsługi nieprawidłowych żądań oraz zapewnienia bezpieczeństwa operacyjnego wdrożono moduły przechwytywania błędów i weryfikacji bezpieczeństwa treści. Model LAFA przyjmuje jako dane wejściowe surowe dane z wielu czujników, a na wyjściu generuje cechy zfuzowane oraz dynamiczne wagi fuzji. Wagi uwagi są obliczane poprzez normalizację wartości ufności każdego czujnika. Zastosowano funkcję straty entropii krzyżowej; szybkość uczenia wyniosła 1e-3, wielkość partii danych (batch size) 32, a całkowita liczba epok treningowych 50.
ROSA z GPT-4o wspomaga wyłącznie interfejs człowiek-maszyna poprzez konwertowanie języka naturalnego na zadania inspekcyjne; nie wpływa on na percepcję ani planowanie, zatem jego opóźnienie nie stanowi kluczowego KPI. Poprawia on użyteczność bez pogarszania pozycjonowania, rozpoznawania lub replanowania.
Mechanizm dynamicznego planowania ścieżki z interakcją z otoczeniem
Aby wyeliminować opóźnienie w reakcji spowodowane rozdzieleniem modułów percepcji i planowania, w tej sekcji zaproponowano mechanizm interaktywnego planowania ścieżki w środowisku (EIPPM). Główna innowacja polega na stworzeniu zamkniętego interfejsu sprzężenia zwrotnego między percepcją a decyzją. Ponadto wprowadzono sieci pamięci długo- i krótkotrwałej w celu przewidywania kosztów ruchu w obszarach o wysokiej dynamice oraz prowadzenia robota w sposób aktywnie unikający punktów zatorów. Mechanizm ten skraca opóźnienie ponownego planowania do mniej niż 0,8 seconds, jednocześnie zwiększając bezpieczeństwo i efektywność ścieżki.
EIPPM optymalizuje funkcję kosztu DWA poprzez fuzję odległości od przeszkody i pewności czujnika. Dynamiczna mapa ryzyka jest konstruowana na podstawie pozycji i stanu ruchu przeszkody. Przyrostowe replanowanie jest wyzwalane, gdy przesunięcie przeszkody przekroczy 0.5 m. Predyktor oparty na LSTM oblicza regionalny koszt ruchu. Lokalny DWA i globalny planista A* osiągają ścisłe sprzężenie, z progiem czasu replanowania wynoszącym 0.8 s w celu zapewnienia wydajności w czasie rzeczywistym. Zrewidowany koszt DWA: EQUATION. opiera się na odległości od przeszkody; przyjmuje pewność czujnika LAFA; nakłada kary za dynamiczne strefy przewidziane przez LSTM. Znormalizowany bilans bezpieczeństwa, percepcji, wiarygodności i ryzyka ruchu. Pewność m-tego czujnika jest obliczana za pomocą . Waga fuzji po normalizacji. Moduł uwagi jest aktualizowany klatka po klatce; czujnikom o niskiej pewności przypisuje się znikome wagi, aby zredukować zniekształcenia fuzji w trudnych warunkach oświetleniowych lub przy zapyleniu.
Rysunek 2. Przepływ pracy w zakresie semantycznej percepcji i adaptacyjnego sterowania opartego na LiDAR.Ilustracja przepływu pracy obejmującego percepcję semantyczną, generowanie ograniczeń i adaptacyjne planowanie ścieżki dla autonomicznej inspekcji w oparciu o świadomość środowiskową sterowaną przez LiDAR. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Jak pokazano na Rysunku 2, cały proces jest sterowany przez czujniki LiDAR. Surowe dane z LiDAR-u są najpierw importowane do modułu świadomości semantycznej w celu wyodrębnienia informacji o środowisku i celu. Po przetworzeniu przez proponowany algorytm fuzji wielosensorowej LAFA, dane są przekazywane do jednostki ograniczeń sterowania w celu oceny reguł operacyjnych i limitów bezpieczeństwa. W połączeniu ze strategią planowania ścieżki EIPPM, system generuje polecenia sterujące, które prowadzą robota do wykonania zadań inspekcyjnych. Informacje zwrotne o środowisku w czasie rzeczywistym są przesyłane z powrotem do przedniego modułu percepcji, aby umożliwić działanie w pętli zamkniętej. Rysunek w pełni przedstawia całą logikę działania systemu percepcji, fuzji, sterowania ograniczeniami i wykonawstwa robota.
Wyniki
Ocena wydajności percepcji
Aby zweryfikować skuteczność LAFA i EIPPM w scenariuszach dynamicznych, w tym rozdziale wykorzystano platformy testowe w dwóch typowych środowiskach inspekcyjnych: zakładach przemysłowych i podstacjach. Konfiguracja eksperymentalna obejmuje ekstremalne warunki, takie jak nagłe zmiany oświetlenia (2 000 → 80 000 lux), losowo poruszające się przeszkody (5–8/min) oraz zakłócenia spowodowane zapyleniem (widoczność < 5 m). W porównaniu z głównymi algorytmami fuzji (filtr Kalmana/DNN) i metodami planowania ścieżki (A + DWA/RRT), przeprowadzono ilościową ocenę kluczowych wskaźników, takich jak dokładność pozycjonowania, wskaźnik rozpoznawania przeszkód, opóźnienie replanowania i zużycie energii, a następnie udowodniono przewagę wydajności proponowanego schematu poprzez analizę istotności statystycznej (p < 0,01). Wszystkie dane zostały zebrane z rzeczywistych zakładów przemysłowych i podstacji, co łącznie daje 28 000 próbek w 6 kategoriach przeszkód. Wszystkie próbki zostały opisane ręcznie. Stosunek podziału na zbiór treningowy i testowy wynosi 8:2. Dodatkowe 5 000 próbek w czasie rzeczywistym wykorzystano do uczenia online. Biblioteka cech środowiskowych została skonstruowana jako 12-wymiarowe multimodalne wektory cech. Model uczenia online jest aktualizowany inkrementalnie, gdy próbki anomalne kumulują się przez więcej niż 10 kolejnych klatek, przy zastosowaniu stałej szybkości uczenia wynoszącej 0,001. Etykiety anomalii zdefiniowano jako nagłe przeszkody i nieprawidłowe stany urządzeń. Aby zapobiec katastroficznej zapominaniu, do rozkładu danych zastosowano próg dryfu wynoszący 0,15; jeśli przesunięcie rozkładu przekroczy ten próg, aktualizacja zostaje tymczasowo zawieszona do momentu ustabilizowania się przychodzących danych, co tłumi dryf modelu i utrzymuje zdolność do generalizacji. Lekki moduł uczenia online przetestowano na 5 000 nieznanych próbkach. Po aktualizacji modelu na podstawie 10 klatek dokładność rozpoznawania nieznanych przeszkód wzrosła o 7,2%, co potwierdza jego zdolność do adaptacyjnej optymalizacji w odniesieniu do nowych celów środowiskowych.
Platforma robota: różnicowy napęd kołowy, kontroler STM32 oraz komputer pokładowy Jetson Xavier NX. Wykorzystuje akumulatory litowe zapewniające 8 godzin ciągłej pracy, przy prędkości 0,2–1,2 m/s, maksymalnym udźwigu 8 kg oraz dwukanałowej komunikacji Wi-Fi i 4G. Czujniki: RPLIDAR A1M8, 10 Hz, FOV 360°; kamera 1080P, 30 fps, FOV 120°; obrazownik podczerwieni 320 x 240; IMU MPU6050, 200 Hz. Wszystkie czujniki są zamontowane z przodu, skalibrowane jednolicie i zsynchronizowane z dokładnością do mikrosekundy. Oprogramowanie: Ubuntu 20.04, ROS Noetic, Python i C++, framework PyTorch, wyposażone w 8-rdzeniowy procesor CPU i 16 GB GPU do obliczeń krawędziowych.
Zakład przemysłowy (45 m x 30 m, trasa 120 m) oraz podstacja (50 m x 35 m, trasa 150 m) obejmują sprzęt stacjonarny i przemieszczający się personel. Każdy test jest przeprowadzany 30 razy przy zachowaniu bezpiecznego odstępu 0,6 m. Natężenie oświetlenia wynosi od 2 000 do 80 000 lux, przy 5–8 ruchomych przeszkodach na minutę. Kurz ogranicza widoczność poniżej 5 m. Wszystkie warunki są powtarzalne.
| Metoda | Błąd lokalizacji (cm) | Wskaźnik wykrywania przeszkód (%) | Wskaźnik fałszywych alarmów (%) | Opóźnienie przetwarzania (ms) | Odporność (zmiana oświetlenia) | Solidność (wpływ zapylenia) | pwartość p |
| Wyłącznie LiDAR | ±3.2 | 89.6 | 8.7 | 25 | Niski | Pożywka | <0.01 |
| Wizja + IMU | ±5.1 | 78.3 | 15.2 | 40 | Bardzo niski | Niski | <0.01 |
| Fuzja Kalmana | ±2.8 | 92.1 | 6.3 | 65 | Pożywka | Pożywka | <0.01 |
| Fuzja DNN | ±2.5 | 94.8 | 5.1 | 110 | Wysoki | Niski | <0.01 |
| RAL 2023 | ±1.9 | 96.4 | 4 | 85 | Wysoki | Podłoże | <0.01 |
| Proponowany LAFA | ±1.5 | 98.7 | 1.8 | 35 | Bardzo wysoki | Bardzo wysoka | <0.01 |
Tabela 1: Porównanie wydajności detekcji wieloczujnikowej. Wytrzymałość oceniano w 5-stopniowej skali na podstawie spadku skuteczności wykrywania przeszkód przy zmianach oświetlenia i zakłóceniach spowodowanych zapyleniem: bardzo niska, niska, średnia, wysoka i bardzo wysoka.
Tabela 1 porównuje wydajność różnych metod percepcji w dynamicznym środowisku przemysłowym. Wszystkie eksperymenty przeprowadzono w 30 niezależnych powtórzeniach (n = 30). Do analizy statystycznej wykorzystano jednoczynnikową analizę wariancji (ANOVA) w połączeniu z testem wielokrotnych porównań Tukeya (HSD); wszystkie wskaźniki wykazały istotne różnice (p < 0.01). Błąd lokalizacji zaproponowanego systemu LAFA wynosi ±1.5 cm (SD = ±0.25 cm, 95% CI: [1.42, 1.58] cm), a całkowity błąd pozycjonowania wykazuje rozkład normalny. Współczynnik wykrywania przeszkód osiąga 98.7% (SD = ±0.65%, 95% CI: [98.4%, 99.0%]), natomiast współczynnik fałszywych alarmów wynosi zaledwie 1.8%. Opóźnienie przetwarzania wynosi tylko 35 ms (co jest wynikiem o 68% szybszym niż w przypadku głównego nurtu fuzji DNN), a odporność na zakłócenia spowodowane silnym światłem i pyłem została oceniona jako „Bardzo wysoka”, podczas gdy metody referencyjne oceniono jako „Średnia” i „Niska”. Zestaw danych testowych zawiera sześć rodzajów przeszkód, aby zapewnić powtarzalność wyników. W pełni demonstruje to zalety LAFA w zakresie adaptacyjnej fuzji heterogenicznych danych wieloźródłowych dzięki kompensacji synchronizacji czasoprzestrzennej oraz dynamicznemu mechanizmowi ważenia uwagi.
Ocena wydajności planowania ścieżek
| Metoda | Zmiana harmonogramu | Optymalność ścieżki (%) | Wskaźnik kolizji (%) | Wskaźnik sukcesu (%) | Dynamiczny wskaźnik unikania | Zużycie energii |
| A* + DWA | 2.5 | 82.6 | 7.3 | 88.9 | 6.1 | 0.48 |
| RRT*+APF | 1.8 | 76.4 | 5.1 | 91.2 | 7.3 | 0.52 |
| Planista DRL | 1.2 | 88.7 | 4 | 93.5 | 8.5 | 0.43 |
| ICRA 2024 | 0.9 | 90.2 | 3.2 | 95.1 | 8.9 | 0.41 |
| Proponowany EIPPM | 0.8 | 96.3 | 0.9 | 99.2 | 9.7 | 0.37 |
Tabela 2: Porównanie wydajności dynamicznego planowania ścieżki. Wynik dynamicznego unikania przeszkód mieści się w przedziale od 0 do 10 punktów i jest obliczany poprzez ważenie wskaźnika kolizji, gładkości ścieżki, opóźnienia w replanowaniu oraz wskaźnika sukcesu zadania w 30 powtórzonych próbach.
Tabela 2 ocenia wydajność różnych metod planowania ścieżek w scenariuszu podstacji z losowo poruszającymi się przeszkodami (5-8 przeszkód/min) i zakłóceniami promieniowania cieplnego urządzeń. Przyjęto łącznie 12 stałych tras inspekcyjnych, a każda metoda została przetestowana 30 razy. W każdej próbie napotkano średnio 20 przeszkód, a całkowita liczba niepowodzeń w każdej grupie była rejestrowana synchronicznie. Zaproponowany mechanizm EIPPM wykorzystuje sprzężenie w pętli zamkniętej percepcji i planowania, osiągając czas odpowiedzi ponownego planowania wynoszący 0,8 s, co jest wynikiem o 68% szybszym niż w metodzie A*+DWA. Wskaźnik optymalizacji ścieżki osiąga 96,3% (poprawa o 6,1%), przy współczynniku kolizji wynoszącym zaledwie 0,9% (najniższym spośród wszystkich porównanych metod) i ocenie unikania dynamicznych przeszkód na poziomie 9,7/10. Wynika to głównie z proaktywnych możliwości unikania kolizji dynamicznej mapy ryzyka oraz przewidywania kosztów ruchu w obszarach o wysokiej aktywności. Jednocześnie zużycie energii zostało zredukowane do 0,37 kWh/km (oszczędność 9,8%). W połączeniu z analizą statystyczną (p < 0,01), wskaźniki te demonstrują przewagę EIPPM w zakresie wydajnego i bezpiecznego interaktywnego podejmowania decyzji w złożonych, dynamicznych scenariuszach. Wszystkie metody referencyjne uruchomiono w środowisku ROS Noetic. Kalman Fusion i DNN Fusion wykorzystują domyślne parametry open-source. Metody A*+DWA, RRT*+APF oraz DRL Planner wykorzystują klasyczne ustawienia parametrów z istniejącej literatury. Wszystkie algorytmy zostały dostrojone w tych samych warunkach sprzętowych i scenariuszowych.
Analiza danych z czujników i trajektorii
Rysunek 3. Analiza fluktuacji sygnałów z wielu czujników oraz trajektorii robota. (A) Trójwymiarowy model propagacji fal ilustrujący przestrzenną dystrybucję amplitud sygnałów z połączonych czujników. (B) Trójwymiarowa hybrydowa wizualizacja przestrzeni czujników przedstawiająca trajektorie robota oraz próbkowane dane z czujników wygenerowane z pomiarów pola połączonych metodą LAFA. Proszę kliknąć tutaj, aby zobaczyć powiększoną wersję tego rysunku.
Rycina 3 przedstawia zwizualizowane zintegrowane dane z wielu czujników oraz trajektorie robota. Wartości amplitudy w zakresie 0,0-10,8 dB zostały obliczone z danych z lokalnego LiDAR-u, kamery i IMU przy użyciu algorytmu LAFA. Obszary z amplitudą powyżej 8,0 dB reprezentują silne zakłócenia środowiskowe. Piki amplitudy pokrywają się ze ścieżką inspekcyjną, a trajektorie wykazują wyraźne oscylacje, gdy amplituda przekracza 5,0 dB. Większość punktów danych skupia się w przedziale od 2,5 do 7,5 dB, co wskazuje, że system omija regiony o dużych zakłóceniach. Szeroki zasięg przestrzenny i gładkie trajektorie (zmiana krzywizny <; 0,6) potwierdzają zdolność robota do adaptacji oraz wyższość proponowanej metody fuzji w dynamicznej inspekcji przemysłowej.
Rysunek 4. Ocena wydajności inteligentnego systemu inspekcyjnego. (A) Rozkład szybkości reakcji i wydajności produktu opracowany na podstawie danych z inspekcji robotycznej. (B) Rozkład gęstości ilustrujący zależność między szybkością reakcji a wydajnością produktu podczas zadań inspekcyjnych. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Rycina 4 przedstawia porównanie wydajności w rzeczywistych zadaniach inspekcyjnych robota. Wszystkie metryki zostały wyprowadzone z surowych danych patrolu robota z LiDAR-a, kamery i IMU. Szybkość reakcji oznacza średnią prędkość odpowiedzi modułu fuzji LAFA w zakresie wykrywania anomalii sprzętowych, natomiast wydajność produktu oznacza udział poprawnych wyników wykrycia wad odfiltrowanych przez planowanie ścieżki EIPPM. Krzywe określają efektywność detekcji i zdolność adaptacji do środowiska opracowanego systemu, stanowiąc empiryczny dowód jego praktycznych zalet w inspekcji.
Rysunek 5. Analiza szeregów czasowych sygnałów z czujników podczas inspekcji. (A) Dekompozycja sygnałów czasowych z czujników na komponenty trendu, sezonowości, reszt i szumu. (B) Sygnał z czujnika elektrycznego z odpowiednim przedziałem ufności podczas ciągłej inspekcji robotycznej. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Jak pokazano na Rysunku 5, krzywe szeregów czasowych zostały wyprowadzone z odczytów zasięgu LiDAR oraz natężenia kamery, zarejestrowanych podczas 10-minutowego ciągłego patrolu w scenariuszu podstacji. Ilustrują one odpowiedzi percepcji w czasie rzeczywistym w warunkach zmienności oświetlenia i zakłóceń pyłowych. Zaproponowana metoda LAFA skutecznie wygładza drgania sygnału, zapewniając stabilny wynik i bezpośrednio wspierając wykrywanie przeszkód oraz unikanie kolizji w czasie rzeczywistym podczas dynamicznych misji inspekcyjnych.
Rycina 6. Wielowymiarowa analiza pola fizycznego. Wizualizacja charakterystyk pola środowiskowego zrekonstruowanych z pomiarów wielosensorowych połączonych metodą LAFA, ilustrująca przestrzenny rozkład dynamiki środowiska, punktów danych sensorów oraz gradientów pola. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.
Jak pokazano na Rysunku 6, wielowymiarowe dane pola fizycznego są przetwarzane z pomiarów czujników polowych robota przy użyciu algorytmu LAFA w celu analizy środowiska operacyjnego i wydajności sygnału. Wizualizacja ta obejmuje 10 warstw analizy o odmiennym rozkładzie przestrzennym, rozkładzie danych i charakterystyce statystycznej. Wyniki odzwierciedlają przestrzenny wzorzec zakłóceń środowiskowych i potwierdzają stabilne działanie systemu percepcji robota.
Wizualizacja cech wysokowymiarowych
Rysunek 7. Wielowymiarowa wizualizacja wydajności systemu i odpowiedzi środowiskowej. (A) Trójwymiarowy skumulowany wykres słupkowy przedstawiający wskaźniki wydajności podsystemów w cyklach inspekcyjnych. (B) Trójwymiarowy wykres powierzchni ilustrujący intensywność odpowiedzi środowiskowej wraz z próbkowanymi pomiarami z czujników. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.
Rysunek 7 przedstawia wielowymiarową charakterystykę pracy systemu inspekcyjnego. Lewy skumulowany wykres słupkowy 3D obrazuje wydajność podsystemów w cyklach inspekcyjnych; wartości MA, MB i MC w cyklu C3 wynoszą odpowiednio 12,4, 9,7 i 15,2, co wskazuje na znaczne wahania obciążenia. Prawy wykres powierzchniowy przedstawia intensywność odpowiedzi środowiskowej z szczytem ±18 i większością danych w zakresie od -5 do +5, co odzwierciedla nieliniowe cechy środowiska. Wyniki stanowią wsparcie danych dla fuzji czujników robota i optymalizacji harmonogramowania. MA, MB i MC reprezentują odpowiednio metryki obciążenia dla podsystemów percepcji, planowania ścieżki i wykonawstwa.
Rycina 8. Charakterystyka trójwymiarowa sygnałów z połączonych czujników w różnych warunkach pracy. (A) Powierzchnia funkcji sinus. (B) Powierzchnia paraboloidy hiperbolicznej. (C) Powierzchnia funkcji Bessela. (D) Powierzchnia funkcji falowej kwantowej. Te reprezentatywne modele powierzchni ilustrują charakterystykę przestrzenną sygnałów z czujników połączonych metodą LAFA w różnych warunkach inspekcji. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Jak pokazano na Rysunku 8, cztery grupy trójwymiarowych modeli powierzchni charakteryzują sygnały z fuzji wielosensorowej w różnych warunkach inspekcji. Przeanalizowano zasady zmienności przestrzennej i tłumienia sygnałów. Cechy te wykazują, że algorytm LAFA utrzymuje spójną wydajność fuzji w różnych środowiskach i służą jako punkt odniesienia dla późniejszej optymalizacji planowania ścieżki. Modele powierzchni 3D zostały interpolowane z danych sensorowych połączonych za pomocą LAFA. Jednolity rozkład sygnału w różnych warunkach potwierdza stabilną wydajność fuzji naszego frameworka przy zmiennych zakłóceniach.
Rysunek 9. Trajektoria robota i rozkład próbkowania czujników. (A) Parametryczna krzywa motyla reprezentująca cechy geometryczne trajektorii robota. (B) Spiralny rozkład punktów próbkowania czujnika ilustrujący przestrzenny rozkład danych inspekcyjnych. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.
Jak pokazano na Rysunku 9, na podstawie danych o trajektorii robota i rozmieszczeniu przestrzennym czujników dopasowano krzywe i wykresy biegunowe. Krzywiznę i gęstość obliczono za pomocą równań parametrycznych. Reguły rozmieszczenia przestrzennego podsumowują charakterystykę ruchu robota oraz rozkład przestrzenny punktów próbkowania wieloczujnikowego w scenariuszach inspekcji wielkoskalowych. Wszystkie wykresy zostały dopasowane do rzeczywistych trajektorii robota i punktów próbkowania czujników. Jednolity rozkład próbkowania oraz gładkie krzywe trajektorii potwierdzają stabilność percepcji i niezawodność optymalizacji ścieżki w proponowanym systemie LAFA-EIPPM.
Rysunek 10. Wizualizacja wydajności wykonywania zadania i trajektorii inspekcji robota. (A) Trójwymiarowa powierzchnia wydajności przedstawiająca wartości wydajności zadania i próbkowane punkty inspekcji. (B) Trajektoria inspekcji robota i pokrycie przestrzenne obrazujące ścieżkę przebytą podczas autonomicznej inspekcji. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Jak pokazano na Rysunku 10, lewy panel przedstawia rozkład wydajności zadań; wartość szczytowa wynosi 15,3, minimalna 5,1, a wynik czwartego punktu zadania wynosi 13,2. Czerwone punkty są próbkowane równomiernie, a niebieska linia wskazuje trend. Ścieżka (maksymalne Z = 7,8m) i pokrycie (wysokość 4,0m) na prawym rysunku pokazują rzeczywistą trajektorię i pokrycie przestrzenne. Oba wykresy kompleksowo oddają wahania obciążenia zadaniami i jednorodność próbkowania, dostarczając danych wspierających optymalizację fuzji.
Dostępność danych:
Zbiory danych eksperymentalnych wygenerowane w niniejszym badaniu nie są publicznie dostępne, ponieważ zawierają specyficzne dla danej lokalizacji informacje przemysłowe objęte umowami o poufności. Materiały zastrzeżone obejmują współrzędne fabryki, nieprzetworzone skany LiDAR oraz poufne parametry urządzeń. Autor korespondujący może rozważyć udostępnienie danych na uzasadnioną prośbę, pod warunkiem spełnienia obowiązków dotyczących zachowania poufności.
Dyskusja
Niniejsza praca proponuje współpracujący framework optymalizacji LAFA–EIPPM w celu poprawy niezawodności percepcji i efektywności podejmowania decyzji przez inteligentne roboty inspekcyjne w złożonych, dynamicznych środowiskach. LAFA zapewnia odporną fuzję wielosensorową poprzez synchronizację czasoprzestrzenną oraz mechanizm ważenia oparty na uwadze20,22, co znacząco poprawia dokładność pozycjonowania i możliwości rozpoznawania przeszkód w niesprzyjających warunkach, takich jak silne światło i zapylenie. EIPPM ustanawia sprzężenie w pętli zamkniętej między percepcją a planowaniem10,16, wspierając szybkie replanowanie ścieżki i nawigację uwzględniającą ryzyko, przy jednoczesnej optymalizacji zużycia energii.
Niniejsze badanie wyznacza nową ścieżkę techniczną dla fuzji wielosensorowej i podejmowania decyzji przez autonomiczne roboty w środowiskach dynamicznych. Mechanizm dynamicznej regulacji wag w systemie LAFA przełamuje ograniczenia tradycyjnej fuzji o stałych wagach, paradygmat sprzężenia zamkniętego w EIPPM skraca opóźnienia w replanowaniu, a moduł uczenia online nadaje systemowi zdolność do ciągłej adaptacji do nieznanych przeszkód i anormalnych wzorców. Innowacje te rozszerzają teorię inteligentnej inspekcji na scenariusze o wysokiej dynamice i strukturze nieustrukturyzowanej.
Obecny system nadal posiada pewne ograniczenia: po pierwsze, moduł uczenia online konwerguje powoli w przypadku wystąpienia niezwykle rzadkich wzorców anomalii; po drugie, eksperymenty przeprowadzono wyłącznie w zakładach przemysłowych i podstacjach, a wydajność w trudnym terenie zewnętrznym lub w ekstremalnych warunkach pogodowych nie została jeszcze zweryfikowana; po trzecie, w niniejszym badaniu przeprowadzono jedynie krótkoterminowe testy prototypu, a długotrwałe wdrożenia w warunkach przemysłowych, systemowa ocena bezpieczeństwa oraz testy tolerancji błędów nie zostały ukończone; po czwarte, w pracy tej nie przeprowadzono badań ablacyjnych algorytmu ani pełnoobrotowej analizy logów operacji w czasie rzeczywistym; ponadto system opiera się na mocy obliczeniowej krawędziowej (edge computing), a długoterminowa stabilność operacyjna wymaga dalszych testów.
Metoda ta ma istotną wartość aplikacyjną w testowanych scenariuszach wysokiego ryzyka, w tym w zakładach przemysłowych, podstacjach energetycznych, monitorowaniu zakładów petrochemicznych oraz inspekcji tuneli transportu szynowego. Na przykład w podstacjach osiągnięto dokładność pozycjonowania ±1.5 cm i wskaźnik kolizji 0.9%, co znacząco zredukowało ryzyko związane z inspekcją manualną; wewnątrz rurociągów przemysłowych metoda może być łączona z fuzją wielu czujników w celu realizacji autonomicznego omijania przeszkód i identyfikacji defektów. Scenariusze obejmujące roboty rolnicze, roboty ratownicze, eksplorację podwodną8,28 oraz inspekcje lotnicze są uważane za obiecujące rozszerzenia zastosowań i zostaną zbadane w naszych kolejnych pracach badawczych.
Dalsze prace obejmują: 1) Integrację lekkich dużych modeli językowych z modułami interakcji człowiek-komputer w celu obsługi poleceń w języku naturalnym i wnioskowania o zadaniach; 2) Opracowanie rozproszonego modelu uczenia dla współpracy krawędziowo-chmurowej (edge-cloud), aby umożliwić wymianę doświadczeń między wieloma robotami; 3) Rozszerzenie zastosowań o scenariusze inspekcji podwodnych lub powietrznych w celu rozwiązania problemów związanych z percepcją międzyśrodowiskową i sterowaniem ruchem; 4) Wprowadzenie modułu wyjaśnialnej sztucznej inteligencji (explainable AI), aby zwiększyć wiarygodność i możliwość debugowania procesu podejmowania decyzji.
Wniosek:
Aby rozwiązać główne problemy związane z niską niezawodnością percepcji i dużym opóźnieniem decyzji w inteligentnych robotach inspekcyjnych pracujących w dynamicznych środowiskach, w niniejszym badaniu zaproponowano schemat optymalizacji kolaboracyjnej oparty na LAFA i EIPPM. LAFA realizuje dynamiczną integrację czujników wieloźródłowych, w tym LiDAR-u, kamery wizyjnej, obrazownika podczerwieni oraz IMU, poprzez kompensację synchronizacji czasoprzestrzennej i mechanizm ważenia uwagi. W krótkoterminowych testach prototypowych przeprowadzonych w zakładach przemysłowych system osiągnął błąd pozycjonowania wynoszący ±1,5 cm oraz współczynnik rozpoznawania przeszkód na poziomie 98,7%, wykazując wysoką odporność na zakłócenia wywołane silnym światłem i zapyleniem. W złożonych scenariuszach podstacji framework EIPPM tworzy sprzężenie w pętli zamkniętej pomiędzy percepcją a planowaniem. W połączeniu z dynamicznymi mapami ryzyka i strategiami inkrementalnego replanowania, skraca on opóźnienie w replanowaniu ścieżki do 0,8 s i obniża wskaźnik kolizji do 0,9%. Prototyp osiągnął 32% poprawę ogólnej wydajności inspekcji oraz 9,8% redukcję zużycia energii w porównaniu z metodami tradycyjnymi.
Wyniki testów wykazują, że zaproponowany prototyp niweluje typowe wady metod tradycyjnych, takie jak niedokładna rejestracja danych, słaba adaptacyjność do warunków środowiskowych oraz powolny czas reakcji. Lekki moduł uczenia online zapewnia podstawową wydajność adaptacyjną w przypadku częściowo nieznanych przeszkód i prostych wzorców anomalii w ramach testowanych scenariuszy. Niniejsza praca dostarcza wysokiej autonomii prototypu technicznego do zadań inspekcyjnych w scenariuszach wysokiego ryzyka w energetyce i petrochemii. Badanie to posiada jednak pewne ograniczenia: testy ograniczono do zakładów/podstacji, uczenie online powoli zbiega w przypadku rzadkich anomalii, stabilność długoterminowa i odporność na błędy nie zostały przetestowane, a zależność od przetwarzania krawędziowego wymaga weryfikacji. Przyszłe prace będą adresować te kwestie poprzez współpracę wielu robotów oraz rozszerzone próby polowe.
Oświadczenia
Autorzy nie deklarują żadnych konfliktów interesów.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Kamera 1080P | Custom | N/A | Sensor wizyjny, 30 fps, 120° FOV |
| Kamera termowizyjna | Generic | 320×240 | Obrazowanie termiczne, rozdzielczość 320 x 240 |
| Jetson Xavier NX | NVIDIA | Xavier NX | Komputer brzegowy, 8-rdzeniowy CPU, 16 GB GPU |
| LiDAR RPLIDAR A1M8 | Slamtec | A1M8 | Skanowanie 10 Hz, 360° FOV |
| Akumulator litowy | Custom | 12V/20Ah | Zasilanie, 8 h pracy ciągłej |
| MPU6050 IMU | InvenSense | MPU6050 | 200 Hz, akcelerometr i żyroskop |
| Kontroler STM32 | STMicroelectronics | STM32F4 | Główna jednostka sterowania ruchem |
Bibliografia
- Deng L, Wang S, Guo J, Cao R, Liu M. 3D keypoint detection-based automated rebar spacing inspection: Application for robotic integration. Adv Eng Inform. 2025;66:103418.
- Hu D, Gan VJL. Semantic navigation for automated robotic inspection and indoor environment quality monitoring. Autom Constr. 2025;170:105949.
- Li J, Zhou X, Gui C, Yang M, Xu F, Wang X. Adaptive climbing and automatic inspection robot for variable curvature walls of industrial storage tank facilities. Autom Constr. 2025;172:106049.
- Lin T, Ren Z, Huang K, Zhu Y, Karimi HR. A novel multi-sensor information fusion method for fault diagnosis of rotating machinery with missing signals. Adv Eng Inform. 2025;68:103595.
- Zhuo R, Deng Z, Teng H, Ge J, Lv L, Liu W. The grinding wheel wear condition monitoring method based on multi-sensor information hierarchical fusion for high-speed cylindrical grinding. Adv Eng Inform. 2025;67:103541.
- Su Y, Shi X, Song T. Research on vehicle safety based on multi-sensor feature fusion for autonomous driving task. Comput Mater Contin. 2025;83(3):5831-48.
- Makrouf I, Zegrari M, Dahi K, Ouachtouk I. A novel framework for multi-sensor data fusion in bearing fault diagnosis using continuous wavelet transform and transfer learning. e-Prime Adv Electr Eng Electron Energy. 2025;13:101025.
- Liu X, Xie S. Innovative strategy and practice of using underwater robot for marine cable inspection and operation and maintenance. Cogn Robot. 2025;5:226-39.
- Yue H, Wang Q, Zhao Z, Lai S, Huang G. Interactions between BIM and robotics: Towards intelligent construction engineering and management. Comput Ind. 2025;169:104299.
- Yang H, Luo X, Duan C, Wang P, Zhu K, Deng X, Ren W. Research on multi-objective point path planning for mobile inspection robot based on Multi-Informed-Rapidly Exploring Random Tree. Eng Appl Artif Intell. 2025;151:110645.
- Yu Q, Zhang Q, Sun G, Qin R. Distribution station inspection robot with modular manipulator. HardwareX. 2025;22:e00652.
- Li X, Xiao S, Li Q, Zhu L, Wang T, Chu F. The bearing multi-sensor fault diagnosis method based on a multi-branch parallel perception network and feature fusion strategy. Reliab Eng Syst Saf. 2025;261:111122.
- Qin Y, Zhao Y, Qi J, Mao Y. Spatial-temporal multi-sensor information fusion network with prior knowledge embedding for equipment remaining useful life prediction. Reliab Eng Syst Saf. 2025;264:111420.
- Cao C, Zhao Y. Distributed heterogenous multi-sensor fusion based on labeled random finite set for multi-target state estimation using information geometry. Signal Process. 2026;238:110135.
- Wang C, Yin L, Zhao Q, Wang W, Li C, Luo B. An intelligent robot for indoor substation inspection. Ind Robot. 2020;47(5):705-12.
- Yang Q, Dong J, Tan M, Wang J, Guo D, Kang H, Wang P. A novel navigation assistant method for substation inspection robot based on multisensory information fusion. J Adv Res. 2025;77:407-18.
- Sun G, Xia L, Du X, Yu Q, Zhang J, Qin R. Self-tuning clamping force control with optimal trajectory tracking for autonomous pipe inspection robots. J Pipeline Sci Eng. 2025;100309. Epub ahead of print.
- Chi P, Wang Z, Liao H, Li T, Wu X, Zhang Q. Towards new-generation of intelligent welding manufacturing: A systematic review on 3D vision measurement and path planning of humanoid welding robots. Measurement. 2025;242:116065.
- Wang Q, Xia J, Li M, Yin L, Xie X. A multi-sensor fusion and multi-source domain adaptive fault diagnosis method for rotating machinery. Eng Appl Artif Intell. 2025;159:111538.
- Hu J, Chen J, Lv M, Xu Z, Chen Z, Han J. MSHF: Multi-sensor hierarchical fusion for UGV localization in an unstructured environment. Expert Syst Appl. 2025;294:128732.
- Gudla R, Chang NB. Multi-sensor data fusion via a cortical gap network for time series large data gap filling under uncertainties. Inf Fusion. 2026;126:103618.
- Laidouni MZ, Bondžulić B, Bujaković D, Adli T, Andrić M. ConvNeXtFusion: Multi-sensor image fusion via residual dense and cross ConvNeXt network. Infrared Phys Technol. 2025;150:106005.
- Tian D, Li J, Lei J. Multi-sensor information fusion in Internet of Vehicles based on deep learning: A review. Neurocomputing. 2025;614:128886.
- Zhang Y, Wang Y, Su C, Miao Y, Wei T, Feng Y, Chen F, Ying Z, Wang S, Wang X. Multi-sensor fusion-based intelligent auxiliary system of power wheelchairs for individuals with limbs disabilities: Design and implementation. Measurement. 2026;257:118573.
- Zuo K, Li X, Li X, Wang K, Gao T, Shen T. Multi-sensor fusion with triple reliability evaluation for human activity recognition. Measurement. 2026;257:118580.
- Zhao X, Liu Z, Liu Y, Zhang B, Sui J, Jiang K. Structure design and application of combination track intelligent inspection robot used in substation indoor. Procedia Comput Sci. 2017;107:190-5.
- Kadri I, Selouani SA, Ghribi M, Ghali R, Mekhoukh S. LLM-driven agent for speech-enabled control of industrial robots: A case study in snow-crab quality inspection. Results Eng. 2025;27:106660.
- Jiang Y, Pan Z, Zhang X. Tunnel infrastructure health management: A state-of-the-art review on defect development mechanism and robot-aided inspection system. Smart Undergr Eng. 2025;1(1):26-39.
- Okonkwo C, Awolusi I. Environmental sensing in autonomous construction robots: Applicable technologies and systems. Autom Constr. 2025;172:106075.
- Du Y, Chen X, Yu Z, Meng F, Zhou Z, Zhang Y, Li Q, Huang Q. Efficient co-adaptation of humanoid robot design and locomotion control using surrogate-guided optimization. Biomim Intell Robot. 2025;5(4):100255.
- Lv X, Cui S, Wang Y, Lu J, Yu P, Wang K. Patch time series transformer-based short-term photovoltaic power prediction enhanced by artificial fish. Energies. 2026;19(1):284.
- Lei M, Zhang M, Wang K. Research on bidding optimization strategy for virtual power plants with wind-solar-storage systems based on IGDT-DRO. Electr Eng. 2026;108(3):208.