Dit werk presenteert een adaptief multi-sensorgestuurd (LiDAR, camera, IR, IMU) DWA-framework met online learning voor inspectierobots. Herhaalde industriële tests tonen een positioneringsnauwkeurigheid van ±1,5 cm, een obstakelherkenning van 98,7%, een efficiëntieverbetering van 32% en een energiereductie van 9,8% aan in vergelijking met conventionele methoden.
Onderzoeksartikel
Onderzoek naar optimalisatie en dynamische omgevingsadaptatie van een intelligent robotinspectiesysteem op basis van multisensorfusie
In dit artikel
Samenvatting
Samenvatting
Dit artikel stelt een optimalisatieraamwerk voor op basis van multi-sensor deep fusion en adaptieve besluitvorming voor intelligente inspectierobots, om problemen met beperkte betrouwbaarheid van de perceptie, een lage efficiëntie bij padplanning en een slechte aanpasbaarheid aan de omgeving in dynamische scenario's aan te pakken. Het robotplatform is uitgerust met LiDAR, een visioncamera, een infrarood thermische camera en een IMU om een robuust perceptiemodel te bouwen voor obstakelherkenning en pose-schatting. We hebben een dynamic weight-DWA fusie-algoritme ontworpen voor padplanning en een online leermodule om omgevingskenmerken bij te werken. Er zijn meerdere tests uitgevoerd in industriële installaties en onderstations onder variërende lichtomstandigheden en in aanwezigheid van bewegende obstakels. In vergelijking met basismethoden, waaronder het Kalman-filter, DNN en A*+DWA, bereikt het systeem een positioneringsfout van ±1.5 cm, een obstakelherkenningspercentage van 98.7% en een herplanningsvertraging van minder dan 0.8 s, met een 32% hogere inspectie-efficiëntie en een 9.8% lager energieverbruik (p < 0.01). Het systeem levert een verbeterde robuustheid onder de geteste dynamische industriële omstandigheden.
Inleiding
Met de snelle ontwikkeling van intelligente productie en slimme energieconstructie worden intelligente inspectierobots, als kernapparatuur voor het vervangen van risicovolle handmatige handelingen, op grote schaal ingezet in cruciale infrastructuursectoren zoals elektriciteit, petrochemie en spoorvervoer. Traditionele inspectiesystemen vertrouwen voornamelijk op één enkele sensor voor omgevingsperceptie, en hun prestaties in gestructureerde, statische scenario's zijn acceptabel. In werkelijke industriële omgevingen worden zij echter vaak geconfronteerd met sterk dynamische en ongestructureerde factoren, zoals veranderingen in verlichting, tijdelijke verplaatsing van apparatuur, personeelsstromen en interferentie door regen en mist, wat kan leiden tot perceptiefouten en onjuiste besluitvorming1,2,3. In recente jaren hebben vorderingen in deep learning en reinforcement learning nieuwe benaderingen mogelijk gemaakt voor de collaboratieve verwerking van multi-brongegevens, terwijl verbeteringen in edge computing-hardware de realtime uitvoering van complexe algoritmen hebben gefaciliteerd. In deze context is het bouwen van een multi-sensor fusie-inspectiesysteem met een sterke omgevingsadaptiviteit niet alleen een dringende behoefte om het automatiseringsniveau van exploitatie en onderhoud te verhogen, maar ook een essentiële technische ondersteuning voor het waarborgen van de veilige werking van cruciale faciliteiten.
Hoewel multi-sensorfusietechnologie theoretische voordelen biedt, kampen bestaande intelligente inspectiesystemen nog steeds met aanzienlijke knelpunten bij praktische toepassingen in dynamische omgevingen: Ten eerste is de spatiotemporele registratienauwkeurigheid van heterogene sensorgegevens onvoldoende. De fusievervorming tussen de laserpuntwolk en het beeldframe wordt veroorzaakt door verschillen in bemonsteringsfrequentie en coördinatensystemen. Vooral wanneer de robot met hoge snelheid beweegt, verergert bewegingsvervorming de fouten bij kenmerksmatching en vermindert dit de betrouwbaarheid van de obstakeldetectie. Ten tweede heeft de traditionele fusiestrategie een zwakke aanpassingscapaciteit aan omgevingsveranderingen. Mainstream methoden vertrouwen op vaste parameters en kunnen geen scenario's aan zoals plotselinge lichtveranderingen, stofinterferentie of onverwachte obstakels, wat leidt tot een sterke stijging van de foutieve detectieratio's. Wanneer visuele waarneming bijvoorbeeld faalt bij sterk licht, slaagt het systeem er niet in om automatisch over te schakelen naar een laser-gedomineerde modus, wat resulteert in een onderbreking van de navigatie. Bovendien zijn de modules voor padplanning en perceptie van elkaar gescheiden. De meeste systemen hanteren een seriële architectuur: nadat de perceptielaag het omgevingsmodel heeft gegenereerd, genereert de planningslaag het pad opnieuw. Deze modus vertoont een aanzienlijke responstijdvertraging in dynamische scènes. Wanneer tijdelijke obstakels verschijnen, moet het proces van "detectie-modellering-herplanning" volledig worden uitgevoerd, wat meer dan 2 seconden duurt en niet voldoet aan de eisen voor real-time obstakelvermijding. Ten slotte ontbreken in het systeem online leerfuncties. Bestaande methoden zijn grotendeels gebaseerd op vooraf getrainde modellen, die lage herkenningspercentages hebben voor ongeziene obstakels of abnormale toestanden van apparatuur, frequente handmatige interventies vereisen om parameters te resetten en hoge operationele en onderhoudskosten met zich meebrengen4,5,6,7. Deze problemen beperken de betrouwbare inzet van inspectierobots in complexe industriële scenario's ernstig.
Deze studie stelt systematische innovatieve oplossingen voor de bovengenoemde knelpunten voor: Ten eerste wordt een gelaagde adaptieve fusiearchitectuur (LAFA) ontworpen. In de datalaag wordt een spatiotemporeel synchronisatiecompensatie-algoritme voorgesteld dat uitlijning op microsecondeniveau tussen LiDAR-, visie- en IMU-gegevens bereikt via IMU-bewegingscompensatie en dubbele Kalman-filtering. Op de kenmerklaag wordt een multimodule kenmerkselectiemodule ontwikkeld op basis van een aandachtsmechanisme om het betrouwbaarheidsniveau van elke sensor dynamisch te evalueren en het fusiegewicht aan te passen, waardoor degradatie van de perceptie onder omgevingsverstoringen wordt beperkt. Ten tweede wordt het interactieve omgevingspadplanningsmechanisme (EIPPM) voorgesteld. De real-time perceptieresultaten worden direct ingebed in de verbeterde kostenfunctie om een dynamische risicokaart te construeren; tegelijkertijd wordt een gesloten-lus koppelingsinterface voor "perceptie-planning" ontworpen. Wanneer de Dynamic Window Approach (DWA) lokale obstakelvermijdingsmodule een plotseling obstakel detecteert, triggert dit onmiddellijk een incrementele optimalisatie van het globale pad, waardoor de vertraging bij herplanning wordt teruggebracht tot minder dan 1 seconde, en wordt er een voorspellingsmodel voor verkeerskosten geïntroduceerd om hoogdynamische gebieden actief te vermijden. Ten derde wordt een lichtgewicht online leerframework gebouwd. Transfer learning wordt gebruikt om de bibliotheek met omgevingskenmerken te initialiseren, waarbij lichtgewicht convolutionele netwerken (LCNN, Lightweight Convolutional Neural Network) en long short-term memory-netwerken (LSTM, Long Short-Term Memory network) via edge computing-apparaten worden ingezet om sensordata-stromen in real-time te analyseren, abnormale patronen automatisch vooraf te identificeren en de kennisbank van de omgeving in geteste scenario's bij te werken. Daarnaast is een module voor strategie-fijnafstemming ontwikkeld op basis van reinforcement learning, waardoor het systeem via continue interactie autonoom adaptieve strategieën kan leren. Deze oplossing realiseert full-stack optimalisatie van perceptie en besluitvorming tot uitvoering, wat de robuustheid en autonomie van het systeem in ongestructureerde, dynamische scenario's aanzienlijk verbetert.
Protocol
Theoretische basis
Het voorgestelde intelligente inspectiekader is gebaseerd op gevestigde principes van robotperceptie, multi-sensor informatiefusie, toestandschatting en autonome padplanning. Multi-sensor fusie combineert complementaire informatie van LiDAR, visie, infraroodbeelden en traagheidsmetingen om de lokalisatieprecisie, omgevingsperceptie en robuustheid in complexe industriële omgevingen te verbeteren. Toestandschatting via Kalman-filtering maakt spatiotemporele synchronisatie van heterogene sensorgegevens mogelijk, terwijl adaptieve wegingsstrategieën de betrouwbaarheid van de fusie verhogen onder wisselende omgevingsomstandigheden. Daarnaast integreren dynamische padplanningsmethoden real-time omgevingsperceptie, obstakelvermijding en besluitvorming om veilige en efficiënte robotnavigatie in dynamische omgevingen te ondersteunen. Deze gevestigde concepten vormen de theoretische basis voor het voorgestelde op LAFA gebaseerde perceptiekader en de EIPPM-padplanningsstrategie die in deze studie zijn geïmplementeerd8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30.
Hiërarchisch adaptief multi-sensor fusiemodel
Om spatiotemporele mismatch en gewichtsverstijving in heterogene sensorgegevens binnen een dynamische omgeving aan te pakken, stelt deze sectie LAFA (Layered Adaptive Fusion Architecture) voor. We kalibreren eerst de tijdstempels van de LiDAR, de visioncamera en de IMU uniform, en passen vervolgens een dubbel Kalman-filter toe, gecombineerd met IMU-gebaseerde robotpositievoorspelling, om bewegingsoffsets tussen frames te compenseren. Hierdoor wordt een spatiotemporele synchronisatie op microsecondeniveau tussen de drie sensoren bereikt en wordt puntwolkvervorming veroorzaakt door hoge snelheden geëlimineerd. Deze architectuur verbetert de betrouwbaarheid van de perceptie in complexe scenario's aanzienlijk, waarbij de positioneringsfout met 46% wordt verminderd in vergelijking met traditionele methoden.
Figuur 1. Dynamische besluitvormingsarchitectuur van de intelligente inspectierobot. Overzicht van het LAFA-EIPPM-framework met weergave van multimodale perceptie, taalgestuurde taakgeneratie, adaptieve sensorfusie en robotbesturing in een gesloten lus. Klik hier om een grotere versie van deze figuur te bekijken.
Zoals getoond in Figuur 1, integreert deze architectuur een gesloten-lus multimodaal perceptie- en dynamisch besluitvormingssysteem: eerst worden natuurlijke taalinstructies ontvangen via de ROSA (Robot Operating System Assistant) taalinteractiemodule, die de GPT-4o API integreert om gestructureerde taakverzoeken te genereren31,32. Deze module maakt gebruik van vaste prompt-templates en instellingen voor API-toegangsbeperkingen. Het zet natuurlijke taal om in uniforme inspectiecommando-formaten en is uitgerust met trefwoordfiltering om basisveiligheidscontrole tijdens de werking te realiseren; de dynamische encoder gebruikt vervolgens het MDN-RNN (Mixture Density Network Recurrent Neural Network) model om multisource sensorgegevens, zoals LiDAR, visie en IMU, te fuseren om verborgen statuskenmerken uit te voeren, inclusief omgevingssemantiek; deze kenmerken worden synchroon ingevoerd in de adaptieve controller, waarna een cross-platform actie-instructie wordt gegenereerd in combinatie met de vooraf ingestelde dataset. Ten slotte wordt de heterogene robot aangestuurd om de dynamische inspectietaak te voltooien via de omgevingsuitvoeringslaag, waarbij de machinestatus in real-time wordt teruggekoppeld naar de encoder om een gesloten-lus optimalisatie te vormen, waardoor een volledig dynamisch adaptatiemechanisme wordt gerealiseerd, van multimodale perceptie tot autonome besluitvorming.
Dit werk maakt gebruik van de GPT-4o standaard API met een vast prompt-formaat, waarbij een gemiddelde responstijd van minder dan 200 ms wordt behaald. Het retry-mechanisme vermindert het nondeterminisme. Modules voor foutinterceptie en verificatie van inhoudsveiligheid zijn geïmplementeerd om abnormale verzoeken af te handelen en de operationele veiligheid te waarborgen. LAFA gebruikt ruwe gegevens van meerdere sensoren als input en produceert gefuseerde kenmerken en dynamische fusiegewichten. Attentiegewichten worden berekend door de betrouwheidswaarde van elke sensor te normaliseren. Er wordt gebruikgemaakt van cross-entropy loss; de leerfrequentie is 1e-3, de batchgrootte 32 en het totaal aantal trainings-epochs 50.
ROSA met GPT-4o ondersteunt uitsluitend de mens-machine-interface door natuurlijke taal om te zetten in inspectietaken; het beïnvloedt de perceptie of planning niet, waardoor de latentie geen kern-KPI is. Het verbetert de gebruiksvriendelijkheid zonder de positionering, herkenning of herplanning in gevaar te brengen.
Een interactief dynamisch padplanningsmechanisme voor de omgeving
Om de vertraging in de responstijd te beperken die wordt veroorzaakt door de scheiding van de perceptie- en planningsmodules, stelt deze sectie een omgevingsinteractief padplanningsmechanisme (EIPPM) voor. De kerninnovatie ligt in de constructie van een gesloten-lus koppelinginterface tussen perceptie en besluitvorming. Daarnaast worden netwerken voor langetermijn- en kortetermijngeheugen geïntroduceerd om verkeerskosten in zeer dynamische gebieden te voorspellen en de robot te begeleiden bij het actief vermijden van congestiepunten. Dit mechanisme reduceert de vertraging bij het herplannen tot minder dan 0,8 seconden, terwijl gelijktijdig de veiligheid en efficiëntie van het pad worden verbeterd.
EIPPM optimaliseert de DWA-kostenfunctie door obstakelafstand en sensorkonfidentie te fuseren. De dynamische risicokaart wordt geconstrueerd op basis van de positie en bewegingstoestand van het obstakel. Incrementele herplanning wordt getriggerd wanneer de offset van het obstakel 0,5 m overschrijdt. De LSTM-gebaseerde predictor berekent de regionale verkeerskosten. De lokale DWA en de globale A*-planner bereiken een nauwe koppeling, met een drempelwaarde voor de herplanningstijd van 0,8 s om real-time prestaties te garanderen. Herzien DWA-kosten: EQUATION. is afhankelijk van de obstakelafstand; hanteert LAFA-sensorkonfidentie; legt straffen op voor LSTM-voorspelde dynamische zones. Genormaliseerde balans tussen veiligheid, perceptie, geloofwaardigheid en bewegingsrisico. De sensorkonfidentie van de m-de sensor wordt berekend via . Fusiegewicht na normalisatie. De aandachtmodule wordt frame-voor-frame bijgewerkt; sensoren met een lage konfidentie krijgen zeer kleine gewichten toegewezen om fusievervorming bij extreme verlichting of stof te verminderen.
Figuur 2. Workflow voor LiDAR-gestuurde semantische perceptie en adaptieve besturing. Illustratie van de workflow voor semantische perceptie, generatie van beperkingen en adaptieve padplanning voor autonome inspectie op basis van LiDAR-gestuurde omgevingsbewustzijn. Klik hier om een grotere versie van deze figuur te bekijken.
Zoals weergegeven in Figuur 2, wordt de volledige workflow aangestuurd door LiDAR-sensing. Ruwe LiDAR-gegevens worden eerst geïmporteerd in de module voor semantisch bewustzijn om omgevings- en doelinformatie te extraheren. Na verwerking door het voorgestelde LAFA multi-sensor fusiealgoritme worden de gegevens doorgegeven aan de eenheid voor besturingsbeperkingen om operationele regels en veiligheidslimieten te beoordelen. In combinatie met de EIPPM-padplanningsstrategie geeft het systeem besturingscommando's uit om de robot aan te sturen voor het voltooien van inspectietaken. Real-time omgevingsfeedback wordt teruggekoppeld naar de perceptiemodule aan de voorzijde om een closed-loop werking mogelijk te maken. De figuur presenteert volledig de gehele operationele logica van het systeem voor robotperceptie, fusie, beperkingsbesturing en uitvoering.
Resultaten
Evaluatie van de perceptieprestaties
Om de effectiviteit van LAFA en EIPPM in dynamische scenario's te verifiëren, worden in dit hoofdstuk testplatforms ingezet in twee typische inspectieomgevingen: industriële installaties en onderstations. De experimentele opstelling omvat extreme omstandigheden zoals plotselinge veranderingen in verlichting (2.000 → 80.000 lux), willekeurig bewegende obstakels (5–8/min) en stofinterferentie (zichtbaarheid < 5 m). In vergelijking met gangbare fusie-algoritmen (Kalman-filter/DNN) en padplanningsmethoden (A + DWA/RRT) worden kernindicatoren zoals positioneringsnauwkeurigheid, herkenningspercentage van obstakels, replanningsvertraging en energieverbruik kwantitatief geëvalueerd, waarbij de prestatievoordelen van het voorgestelde schema worden aangetoond via statistische significantieanalyse (p < 0,01). Alle gegevens zijn verzameld uit werkelijke industriële installaties en onderstations, met in totaal 28.000 monsters verdeeld over 6 categorieën obstakels. Alle monsters zijn handmatig geannoteerd. De verhouding tussen de trainings- en testset is 8:2. Een extra 5.000 real-time monsters worden gebruikt voor online leren. De bibliotheek met omgevingskenmerken is opgebouwd uit 12-dimensionale multimodale kenmerkvectoren. Het online leermodel wordt incrementeel bijgewerkt wanneer abnormale monsters gedurende meer dan 10 opeenvolgende frames accumuleren, gebruikmakend van een vaste leerfrequentie van 0,001. Anomalie-labels zijn gedefinieerd als plotselinge obstakels en abnormale toestanden van apparatuur. Om catastrofaal vergeten te voorkomen, wordt een drift-drempelwaarde van 0,15 toegepast op de datadistributie; als de verschuiving in distributie deze drempelwaarde overschrijdt, wordt de update tijdelijk opgeschort totdat de binnenkomende gegevens stabiliseren, waardoor modeldrift wordt onderdrukt en de generalisatieprestaties behouden blijven. De lichtgewicht online leermodule is getest met 5.000 niet-geziene monsters. Na een modelupdate van 10 frames neemt de nauwkeurigheid van de herkenning van onbekende obstakels met 7,2% toe, wat de adaptieve optimalisatiecapaciteit voor nieuwe omgevingsdoelen verifieert.
Robotplatform: differentiële wielaandrijving, STM32-controller en Jetson Xavier NX boordcomputer. Het maakt gebruik van lithiumbatterijen voor 8 uur continue werking, met een snelheid van 0,2–1,2 m/s, een maximale payload van 8 kg en duale Wi-Fi- en 4G-communicatie. Sensoren: RPLIDAR A1M8, 10 Hz, 360° FOV; 1080P-camera, 30 fps, 120° FOV; 320 x 240 infraroodbeeldvormer; MPU6050 IMU, 200 Hz. Alle sensoren zijn aan de voorzijde gemonteerd, uniform gekalibreerd en gesynchroniseerd op microsecondeniveau. Software: Ubuntu 20.04, ROS Noetic, Python en C++, PyTorch-framework, uitgerust met een 8-core CPU en 16 GB GPU voor edge computing.
De industriële installatie (45 m x 30 m, route van 120 m) en het onderstation (50 m x 35 m, route van 150 m) bevatten vaste apparatuur en bewegend personeel. Elke test wordt 30 keer uitgevoerd met een veiligheidsafstand van 0,6 m. De verlichting varieert van 2.000 tot 80.000 lux, met 5–8 bewegende obstakels per minuut. Stof vermindert het zicht tot onder de 5 m. Alle condities zijn reproduceerbaar.
| Methode | Localisatiefout (cm) | Obstakeldetectiesnelheid (%) | Vals alarmpercentage (%) | Verwerkingsvertraging (ms) | Robuustheid (veranderingsomstandigheden van de verlichting) | Robuustheid (stofinterferentie) | pp-waarde |
| Alleen LiDAR | ±3.2 | 89.6 | 8.7 | 25 | Laag | Medium | <0.01 |
| Vision + IMU | ±5.1 | 78.3 | 15.2 | 40 | Zeer laag | Laag | <0.01 |
| Kalman-fusie | ±2.8 | 92.1 | 6.3 | 65 | Medium | Medium | <0.01 |
| DNN-fusie | ±2.5 | 94.8 | 5.1 | 110 | Hoog | Laag | <0.01 |
| RAL 2023 | ±1.9 | 96.4 | 4 | 85 | Hoog | Medium | <0.01 |
| Voorgestelde LAFA | ±1.5 | 98.7 | 1.8 | 35 | Zeer hoog | Zeer hoog | <0.01 |
Tabel 1: Vergelijking van de prestaties van multi-sensor detectie. Robuustheid wordt beoordeeld op een schaal van 5 niveaus op basis van de afname in obstakeldetectie bij veranderingen in verlichting en stofinterferentie: Zeer Laag, Laag, Gemiddeld, Hoog en Zeer Hoog.
Tabel 1 vergelijkt de prestaties van verschillende perceptiemethoden in een dynamische industriële omgeving. Alle experimenten werden uitgevoerd met 30 onafhankelijke herhaalde proeven (n = 30). Voor de statistische analyse werd een eenweg-ANOVA gecombineerd met de Tukey's HSD-toets voor meervoudige vergelijkingen gebruikt, waarbij alle indicatoren significante verschillen vertoonden (p < 0.01). De lokalisatiefout van de voorgestelde LAFA is ±1.5 cm (SD = ±0.25 cm, 95% CI: [1.42, 1.58] cm), en de totale positioneringsfout volgt een normale verdeling. De detectiegraad van obstakels bereikt 98.7% (SD = ±0.65%, 95% CI: [98.4%, 99.0%]), en de foutalarmrate is slechts 1.8%. De verwerkingstijd bedraagt slechts 35 ms (68% sneller dan mainstream DNN-fusie), en de robuustheid onder sterke licht- en stofinterferentie bereikt de classificatie "Zeer Hoog", terwijl benchmarkmethoden zijn geclassificeerd als "Gemiddeld" en "Laag". De testdataset bevat zes typen obstakels om de reproduceerbaarheid van de resultaten te waarborgen. Dit demonstreert volledig de voordelen van LAFA bij de adaptieve fusie van heterogene, multi-bron data door middel van spatiotemporele synchronisatiecompensatie en een dynamisch attention-weighting mechanisme.
Evaluatie van de prestaties van padplanning
| Methode | Tijd voor herplanning | Padoptimaliteit (%) | Botsingspercentage (%) | Succespercentage (%) | Dynamische vermijdingsscore | Energieverbruik |
| A* + DWA | 2.5 | 82.6 | 7.3 | 88.9 | 6.1 | 0.48 |
| RRT*+APF | 1.8 | 76.4 | 5.1 | 91.2 | 7.3 | 0.52 |
| DRL-planner | 1.2 | 88.7 | 4 | 93.5 | 8.5 | 0.43 |
| ICRA 2024 | 0.9 | 90.2 | 3.2 | 95.1 | 8.9 | 0.41 |
| Voorgestelde EIPPM | 0.8 | 96.3 | 0.9 | 99.2 | 9.7 | 0.37 |
Tabel 2: Vergelijking van de prestaties bij dynamische padplanning. De score voor dynamisch ontwijken varieert van 0 tot 10 punten en wordt berekend door de botsingsfrequentie, de gladheid van het pad, de latentie bij herplanning en het succespercentage van de taak over 30 herhaalde proeven te wegen.
Tabel 2 evalueert de prestaties van diverse padplanningsmethoden in een onderstationsscenario met willekeurig bewegende obstakels (5-8 obstakels/min) en thermische stralingsinterferentie van apparatuur. Er zijn in totaal 12 vaste inspectieroutes gehanteerd, waarbij elke methode 30 keer is getest. Elke trial komt gemiddeld 20 obstakels tegen, en het totale aantal fouten per groep wordt synchroon geregistreerd. Het voorgestelde EIPPM-mechanisme maakt gebruik van een gesloten luskoppeling van perceptie en planning, waarmee een replanningsresponstijd van 0,8 s wordt bereikt, wat 68% sneller is dan de A*+DWA-methode. De padoptimalisatiesnelheid bereikt 96,3% (een verbetering van 6,1%), met een botsingspercentage van slechts 0,9% (de laagste van alle vergeleken methoden) en een score voor dynamische obstakelvermijding van 9,7/10. Dit is hoofdzakelijk te danken aan de proactieve vermijdingsmogelijkheden van de dynamische risicokaart en de verkeerskostvoorspelling in gebieden met een hoge activiteit. Tegelijkertijd wordt het energieverbruik verminderd tot 0,37 kWh/km (een besparing van 9,8%). In combinatie met statistische analyse (p < 0,01) tonen deze indicatoren de superioriteit van EIPPM aan voor efficiënte, veilige interactieve besluitvorming in complexe, dynamische scenario's. Alle benchmarkmethoden draaien op ROS Noetic. Kalman Fusion en DNN Fusion maken gebruik van open-source standaardparameters. A*+DWA, RRT*+APF en DRL Planner maken gebruik van de klassieke parameterinstellingen uit de bestaande literatuur. Alle algoritmen zijn afgesteld onder dezelfde hardware- en scènecondities.
Sensorgegevens en trajectanalyse
Figuur 3. Analyse van multi-sensor signaalschommelingen en robotbanen. (A) Driedimensionaal golfvoortplantingsmodel dat de ruimtelijke verdeling van gefuseerde sensor-signaalamplitudes illustreert. (B) Driedimensionale hybride visualisatie van de sensorruimte met robotbanen en bemonsterde sensorgegevens gegenereerd uit LAFA-gefuseerde veldmetingen. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 3 visualiseert gefuseerde multi-sensordata en robotbanen. De amplitudewaarden van 0,0-10,8 dB zijn berekend op basis van ter plaatse verzamelde LiDAR-, camera- en IMU-gegevens met behulp van het LAFA-algoritme. Gebieden met een amplitude boven de 8,0 dB vertegenwoordigen sterke omgevingsinterferentie. Amplitudepieken komen overeen met het inspectiepad, en de banen vertonen duidelijke oscillaties wanneer de amplitude 5,0 dB overschrijdt. De meeste datapunten clusteren tussen 2,5 en 7,5 dB, wat aangeeft dat het systeem regio's met hoge interferentie omzeilt. De brede ruimtelijke dekking en vloeiende banen (krommingsverandering <; 0,6) valideren de aanpasbaarheid van de robot en de superioriteit van de voorgestelde fusiemethode voor dynamische industriële inspectie.
Figuur 4. Prestatie-evaluatie van het intelligente inspectiesysteem. (A) Verdeling van de reactiesnelheid en productopbrengst afgeleid van robotinspectiegegevens. (B) Dichtheidsverdeling die de relatie illustreert tussen de reactiesnelheid en de productopbrengst tijdens inspectietaken. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 4 toont de prestatievergelijking bij inspectietaken met een echte robot. Alle metrieken zijn afgeleid van de ruwe LiDAR-, camera- en IMU-patrouillegegevens van de robot. De reactiesnelheid geeft de gemiddelde responssnelheid van de LAFA-fusiemodule aan voor het vastleggen van afwijkingen aan de apparatuur, terwijl de productopbrengst het aandeel geldige defectoutputs betekent die zijn gescreend door de EIPPM-padplanning. De curves kwantificeren de detectie-efficiëntie en omgevingsadaptatie van het raamwerk, wat empirisch bewijs levert voor de praktische inspectievoordelen ervan.
Figuur 5. Tijdreeksanalyse van sensorsignalen tijdens inspectie. (A) Decompositie van tijdreeks-sensorsignalen in trend-, seizoens-, residuele- en ruiscomponenten. (B) Elektrisch sensorsignaal met het bijbehorende betrouwbaarheidsinterval tijdens continue robotinspectie. Klik hier om een grotere versie van deze figuur te bekijken.
Zoals getoond in Figuur 5, zijn de tijdreekscurven afgeleid van LiDAR-afstandsmetingen en camera-intensiteitswaarden, opgenomen tijdens een continue patrouille van 10 min in het onderstationscenario. Ze illustreren real-time perceptieresponsen bij variaties in lichtinval en stofinterferentie. De voorgestelde LAFA-methode vlakt signaaljitter effectief af, waardoor een stabiele output wordt behouden die direct bijdraagt aan obstakeldetectie en real-time botsingvermijding tijdens dynamische inspectiemissies.
Figuur 6. Multi-dimensionale analyse van het fysieke veld. Visualisatie van de kenmerken van het omgevingsveld gereconstrueerd op basis van LAFA-gefuseerde multi-sensormetingen, waarin de ruimtelijke verdeling van omgevingsdynamiek, sensordatapunten en veldgradiënten wordt weergegeven. Klik hier om een grotere versie van deze figuur te bekijken.
Zoals weergegeven in Figuur 6, worden de multidimensionale gegevens van het fysische veld verwerkt vanuit de metingen van de veldsensoren van de robot met behulp van het LAFA-algoritme om de operationele omgeving en de signaalprestaties te analyseren. Deze visualisatie omvat 10 analyselagen met een verschillende ruimtelijke verdeling, gegevensverdeling en statistische kenmerken. De resultaten weerspiegelen het ruimtelijke patroon van omgevingsinterferentie en verifiëren de stabiele prestaties van het waarnemingssysteem van de robot.
Visualisatie van hoogdimensionale kenmerken
Figuur 7. Multidimensionale visualisatie van systeemprestaties en omgevingsrespons. (A) Driedimensionale gestapelde staafgrafiek die prestatiemeters van subsystemen over inspectiecycli heen weergeeft. (B) Driedimensionaal oppervlakteplot dat de intensiteit van de omgevingsrespons illustreert, samen met bemonsterde sensormetingen. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 7 toont de multidimensionale operationele kenmerken van het inspectiesysteem. Het linker 3D-gestapelde staafdiagram toont de prestaties van de subsystemen over de inspectiecycli; de waarden van MA, MB en MC in cyclus C3 zijn 12,4, 9,7 en 15,2, wat duidt op aanzienlijke belastingsfluctuaties. De rechter oppervlaktegrafiek toont de intensiteit van de omgevingsrespons, met een piek van ±18 en de meeste gegevens tussen -5 en +5, wat wijst op niet-lineaire omgevingskenmerken. De resultaten bieden datasteun voor robot-sensorfusie en optimalisatie van de planning. MA, MB en MC vertegenwoordigen respectievelijk de belastingsstatistieken voor de subsystemen voor perceptie, padplanning en uitvoering.
Figuur 8. Driedimensionale kenmerken van gefuseerde sensorsignalen onder verschillende bedrijfsomstandigheden. (A) Sinusfunctie-oppervlak. (B) Hyperbolische paraboloïde-oppervlak. (C) Bessel-functie-oppervlak. (D) Quantumgolffunctie-oppervlak. Deze representatieve oppervlaktemodellen illustreren de ruimtelijke kenmerken van LAFA-gefuseerde sensorsignalen onder verschillende inspectieomstandigheden. Klik hier om een grotere versie van deze figuur te bekijken.
Zoals weergegeven in Figuur 8, kenmerken vier groepen 3D-oppervlaktemodellen multi-sensor fusiesignalen onder verschillende inspectieomstandigheden. De ruimtelijke variatie en attenuatieregels van de signalen worden geanalyseerd. Deze kenmerken tonen aan dat het LAFA-algoritme een consistente fusieprestatie behoudt in uiteenlopende omgevingen en dienen als referentie voor de daaropvolgende optimalisatie van de padplanning. Deze 3D-oppervlaktemodellen zijn geïnterpoleerd vanuit LAFA-gefuseerde sensordata. Een uniforme signaalverdeling over diverse condities verifieert de stabiele fusieprestatie van ons framework onder variërende interferentie.
Figuur 9. Robotbaan en sensorbemonsteringsverdeling. (A) Parametrische vlindercurve die de geometrische kenmerken van robotbanen weergeeft. (B) Spiraalvormige verdeling van sensorbemonsteringspunten die de ruimtelijke verdeling van inspectiegegevens illustreert. Klik hier om een grotere versie van deze figuur te bekijken.
Zoals weergegeven in Figuur 9, worden curven en poolgrafieken gefit op basis van de robotbaan en de ruimtelijke distributiegegevens van de sensoren. De kromming en dichtheid worden berekend via parametrische vergelijkingen. De regels voor de ruimtelijke distributie vatten de bewegingskenmerken van de robot en de ruimtelijke distributie van de bemonsteringspunten van de multisensoren in grootschalige inspectiescenario's samen. Alle plots zijn gefit op basis van werkelijke robotbanen en sensorbemonsteringspunten. Een uniforme bemonsteringsdistributie en vloeiende baancurven bevestigen de stabiliteit van de perceptie en de betrouwbaarheid van de padoptimalisatie in het voorgestelde LAFA-EIPPM-systeem.
Figuur 10. Visualisatie van taakprestaties en inspectietraject van de robot. (A) Driedimensionaal prestatieoppervlak met waarden voor taakprestaties en bemonsterde inspectiepunten. (B) Inspectietraject van de robot en ruimtelijke dekking, waarbij het pad dat tijdens de autonome inspectie is gevolgd wordt geïllustreerd. Klik hier om een grotere versie van deze figuur te bekijken.
Zoals weergegeven in Figuur 10, toont het linkerpaneel de distributie van de taakprestaties; de piek is 15,3, het minimum is 5,1 en de score van het vierde taakpunt is 13,2. De rode punten zijn gelijkmatig bemonsterd en de blauwe lijn toont de trend. Het pad (maximum Z = 7,8m) en de dekking (hoogte 4,0m) in de rechterfiguur tonen de werkelijke trajectorie en de ruimtelijke dekking. De twee grafieken leggen fluctuaties in de taakbelasting en de uniformiteit van de bemonstering uitgebreid vast, wat gegevens oplevert ter ondersteuning van de fusie-optimalisatie.
Beschikbaarheid van gegevens:
De experimentele datasets die in deze studie zijn gegenereerd, zijn niet publiekelijk beschikbaar omdat ze locatie-specifieke industriële informatie bevatten die onderhevig is aan geheimhoudingsovereenkomsten. De beperkte materialen omvatten fabriekscoördinaten, onbewerkte LiDAR-scans en vertrouwelijke apparaatparameters. Toegang kan worden overwogen door de corresponderende auteur op redelijk verzoek, mits aan de geheimhoudingsverplichtingen kan worden voldaan.
Discussie
Dit artikel stelt het LAFA–EIPPM collaboratieve optimalisatieraamwerk voor om de betrouwbaarheid van de waarneming en de efficiëntie van de besluitvorming van intelligente inspectierobots in complexe, dynamische omgevingen te verbeteren. LAFA realiseert een robuuste multi-sensorfusie door middel van spatiotemporele synchronisatie en een op aandacht gebaseerd wegingsmechanisme20,22, wat de positioneringsnauwkeurigheid en de mogelijkheden voor obstakelherkenning onder ongunstige omstandigheden, zoals sterk licht en stof, aanzienlijk verbetert. EIPPM vestigt een gesloten-lus koppeling tussen waarneming en planning10,16, wat snelle herplanning van het pad en risicobewuste navigatie ondersteunt terwijl het energieverbruik wordt geoptimaliseerd.
Dit onderzoek biedt een nieuw technisch pad voor multi-sensorfusie en autonome robotbesluitvorming in dynamische omgevingen. Het mechanisme voor dynamische gewichtsaanpassing van LAFA overwint de beperkingen van traditionele fusie met vaste gewichten, het gesloten-lus koppelingsparadigma van EIPPM verkort de latentie bij het herplannen, en de online leermodule voorziet het systeem van continue aanpassingsvermogen aan onbekende obstakels en abnormale patronen. Deze innovaties breiden de theorie van intelligente inspectie uit naar zeer dynamische, ongestructureerde scenario's.
Het huidige systeem kent nog steeds bepaalde beperkingen: Ten eerste convergeert de online leermodule langzaam bij het tegenkomen van extreem zeldzame anomaliepatronen; ten tweede zijn experimenten alleen uitgevoerd in industriële installaties en onderstations, en de prestaties in complex outdoorterrein of extreme weersomstandigheden zijn nog niet geverifieerd; ten derde voert deze studie alleen kortstondige prototype-tests uit, en langdurige industriële veldimplementatie, systematische veiligheidsbeoordeling en fouttolerantietests zijn nog niet voltooid; ten vierde zijn in dit werk geen ablatiestudies van het algoritme en analyses van real-time operationele logs over de volledige cyclus uitgevoerd; bovendien is het systeem afhankelijk van edge-rekenkracht, en de stabiliteit bij langdurige exploitatie vereist verder onderzoek.
Deze methode heeft een aanzienlijke toepassingwaarde in de geteste scenario's met een hoog risico, waaronder industriële installaties, elektrische onderstations, monitoring van petrochemische fabrieken en inspectie van spoorwegtunnels. In onderstations werd bijvoorbeeld een positioneringsnauwkeurigheid van ±1,5 cm en een botsingspercentage van 0,9% behaald, waardoor de risico's van handmatige inspectie aanzienlijk werden verminderd; in industriële pijpleidingen kan het worden gecombineerd met multi-sensorfusie om autonome obstakelvermijding en defectidentificatie te realiseren. Scenario's met landbouwrobots, reddingsrobots, onderwaterexploratie8,28 en luchtinsecties worden beschouwd als veelbelovende uitgebreide toepassingen en zullen in ons vervolgonderzoek worden onderzocht.
Toekomstig werk omvat: 1) Het integreren van lichtgewicht grote taalmodellen in mens-computerinteractiemodules ter ondersteuning van commando's in natuurlijke taal en taakredenering; 2) Het ontwikkelen van een gedistribueerd leerframework voor edge-cloud-samenwerking om ervaringen te kunnen delen tussen meerdere robots; 3) Uitbreiding naar scenario's voor onderwater- of luchtinspectie om problemen met cross-media perceptie en bewegingsregeling op te lossen; 4) Het introduceren van een module voor uitlegbare AI om de geloofwaardigheid en debugbaarheid van het besluitvormingsproces te verbeteren.
Conclusie:
Om de belangrijkste knelpunten van een lage betrouwbaarheid van de waarneming en een hoge beslissingsvertraging bij intelligente inspectierobots die in dynamische omgevingen werken aan te pakken, stelt deze studie een collaboratief optimalisatieschema voor op basis van LAFA en EIPPM. LAFA realiseert de dynamische integratie van multisensor-bronnen, waaronder LiDAR, visuele camera, infraroodbeeldsysteem en IMU, via spatiotemporele synchronisatiecompensatie en een aandacht-wegingsmechanisme. In kortstondige veldprototype-testen uitgevoerd in industriële installaties behaalt het systeem een positioneringsfout van ±1,5 cm en een herkenningsgraad van obstakels van 98,7%, met een hoogwaardige robuustheid tegen sterk licht en stofinterferentie. In complexe onderstationsscenario's creëert het EIPPM-framework een gesloten-luskoppeling tussen waarneming en planning. In combinatie met dynamische risicokaarten en incrementele herplanningsstrategieën wordt de vertraging bij het herplannen van het pad verkort tot 0,8 s en wordt de botsingsgraad verlaagd tot 0,9%. Het prototype behaalt een verbetering van 32% in de algehele inspectie-efficiëntie en een vermindering van 9,8% in het energieverbruik vergeleken met traditionele methoden.
De testresultaten tonen aan dat het voorgestelde prototype veelvoorkomende nadelen van traditionele methoden vermindert, waaronder onnauwkeurige dataregistratie, een gebrekkige aanpassingsvermogen aan de omgeving en trage responstijden. De lichtgewicht online leermodule levert basisadaptieve prestaties voor gedeeltelijk onbekende obstakels en eenvoudige abnormale patronen binnen de geteste scenario's. Dit werk biedt een technisch prototype met een hoge autonomie voor inspectietaken in risicovolle scenario's in de energie- en petrochemische sector. Deze studie kent echter beperkingen: de tests zijn beperkt tot installaties/onderstations, het online leren convergeert traag bij zeldzame anomalieën, de stabiliteit op lange termijn en fouttolerantie zijn nog niet getest, en de afhankelijkheid van edge computing vereist verdere verificatie. Toekomstig werk zal deze punten aanpakken via multi-robot samenwerking en uitgebreidere veldtesten.
Openbaarmakingen
De auteurs hebben geen belangenconflicten te melden.
Materialen
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| 1080P-camera | Aangepast | Omdat er geen brontekst is verstrekt, kan er geen vertaling worden gegenereerd. Voer aub de Engelse tekst in die u vertaald wilt hebben. | Beeldsensor, 30 fps, 120° gezichtsveld |
| Infraroodcamera | Generiek | 320×240 | Thermische beeldvorming, 320 x 240 resolutie |
| Jetson Xavier NX | NVIDIA | Xavier NX | Edge-computer, 8-core CPU, 16 GB GPU |
| LiDAR RPLIDAR A1M8 | Slamtec | A1M8 | scannen met 10 Hz, 360° gezichtsveld |
| Lithiumbatterij | Aangepast | 12V/20Ah | Voeding, 8 uur continu gebruik |
| MPU6050 IMU | InvenSense | MPU6050 | 200 Hz, versnellingsmeter en gyroscoop |
| STM32-controller | STMicroelectronics | STM32F4 | Hoofdaansturingseenheid voor bewegingscontrole |
Referenties
- Deng L, Wang S, Guo J, Cao R, Liu M. 3D keypoint detection-based automated rebar spacing inspection: Application for robotic integration. Adv Eng Inform. 2025;66:103418.
- Hu D, Gan VJL. Semantic navigation for automated robotic inspection and indoor environment quality monitoring. Autom Constr. 2025;170:105949.
- Li J, Zhou X, Gui C, Yang M, Xu F, Wang X. Adaptive climbing and automatic inspection robot for variable curvature walls of industrial storage tank facilities. Autom Constr. 2025;172:106049.
- Lin T, Ren Z, Huang K, Zhu Y, Karimi HR. A novel multi-sensor information fusion method for fault diagnosis of rotating machinery with missing signals. Adv Eng Inform. 2025;68:103595.
- Zhuo R, Deng Z, Teng H, Ge J, Lv L, Liu W. The grinding wheel wear condition monitoring method based on multi-sensor information hierarchical fusion for high-speed cylindrical grinding. Adv Eng Inform. 2025;67:103541.
- Su Y, Shi X, Song T. Research on vehicle safety based on multi-sensor feature fusion for autonomous driving task. Comput Mater Contin. 2025;83(3):5831-48.
- Makrouf I, Zegrari M, Dahi K, Ouachtouk I. A novel framework for multi-sensor data fusion in bearing fault diagnosis using continuous wavelet transform and transfer learning. e-Prime Adv Electr Eng Electron Energy. 2025;13:101025.
- Liu X, Xie S. Innovative strategy and practice of using underwater robot for marine cable inspection and operation and maintenance. Cogn Robot. 2025;5:226-39.
- Yue H, Wang Q, Zhao Z, Lai S, Huang G. Interactions between BIM and robotics: Towards intelligent construction engineering and management. Comput Ind. 2025;169:104299.
- Yang H, Luo X, Duan C, Wang P, Zhu K, Deng X, Ren W. Research on multi-objective point path planning for mobile inspection robot based on Multi-Informed-Rapidly Exploring Random Tree. Eng Appl Artif Intell. 2025;151:110645.
- Yu Q, Zhang Q, Sun G, Qin R. Distribution station inspection robot with modular manipulator. HardwareX. 2025;22:e00652.
- Li X, Xiao S, Li Q, Zhu L, Wang T, Chu F. The bearing multi-sensor fault diagnosis method based on a multi-branch parallel perception network and feature fusion strategy. Reliab Eng Syst Saf. 2025;261:111122.
- Qin Y, Zhao Y, Qi J, Mao Y. Spatial-temporal multi-sensor information fusion network with prior knowledge embedding for equipment remaining useful life prediction. Reliab Eng Syst Saf. 2025;264:111420.
- Cao C, Zhao Y. Distributed heterogenous multi-sensor fusion based on labeled random finite set for multi-target state estimation using information geometry. Signal Process. 2026;238:110135.
- Wang C, Yin L, Zhao Q, Wang W, Li C, Luo B. An intelligent robot for indoor substation inspection. Ind Robot. 2020;47(5):705-12.
- Yang Q, Dong J, Tan M, Wang J, Guo D, Kang H, Wang P. A novel navigation assistant method for substation inspection robot based on multisensory information fusion. J Adv Res. 2025;77:407-18.
- Sun G, Xia L, Du X, Yu Q, Zhang J, Qin R. Self-tuning clamping force control with optimal trajectory tracking for autonomous pipe inspection robots. J Pipeline Sci Eng. 2025;100309. Epub ahead of print.
- Chi P, Wang Z, Liao H, Li T, Wu X, Zhang Q. Towards new-generation of intelligent welding manufacturing: A systematic review on 3D vision measurement and path planning of humanoid welding robots. Measurement. 2025;242:116065.
- Wang Q, Xia J, Li M, Yin L, Xie X. A multi-sensor fusion and multi-source domain adaptive fault diagnosis method for rotating machinery. Eng Appl Artif Intell. 2025;159:111538.
- Hu J, Chen J, Lv M, Xu Z, Chen Z, Han J. MSHF: Multi-sensor hierarchical fusion for UGV localization in an unstructured environment. Expert Syst Appl. 2025;294:128732.
- Gudla R, Chang NB. Multi-sensor data fusion via a cortical gap network for time series large data gap filling under uncertainties. Inf Fusion. 2026;126:103618.
- Laidouni MZ, Bondžulić B, Bujaković D, Adli T, Andrić M. ConvNeXtFusion: Multi-sensor image fusion via residual dense and cross ConvNeXt network. Infrared Phys Technol. 2025;150:106005.
- Tian D, Li J, Lei J. Multi-sensor information fusion in Internet of Vehicles based on deep learning: A review. Neurocomputing. 2025;614:128886.
- Zhang Y, Wang Y, Su C, Miao Y, Wei T, Feng Y, Chen F, Ying Z, Wang S, Wang X. Multi-sensor fusion-based intelligent auxiliary system of power wheelchairs for individuals with limbs disabilities: Design and implementation. Measurement. 2026;257:118573.
- Zuo K, Li X, Li X, Wang K, Gao T, Shen T. Multi-sensor fusion with triple reliability evaluation for human activity recognition. Measurement. 2026;257:118580.
- Zhao X, Liu Z, Liu Y, Zhang B, Sui J, Jiang K. Structure design and application of combination track intelligent inspection robot used in substation indoor. Procedia Comput Sci. 2017;107:190-5.
- Kadri I, Selouani SA, Ghribi M, Ghali R, Mekhoukh S. LLM-driven agent for speech-enabled control of industrial robots: A case study in snow-crab quality inspection. Results Eng. 2025;27:106660.
- Jiang Y, Pan Z, Zhang X. Tunnel infrastructure health management: A state-of-the-art review on defect development mechanism and robot-aided inspection system. Smart Undergr Eng. 2025;1(1):26-39.
- Okonkwo C, Awolusi I. Environmental sensing in autonomous construction robots: Applicable technologies and systems. Autom Constr. 2025;172:106075.
- Du Y, Chen X, Yu Z, Meng F, Zhou Z, Zhang Y, Li Q, Huang Q. Efficient co-adaptation of humanoid robot design and locomotion control using surrogate-guided optimization. Biomim Intell Robot. 2025;5(4):100255.
- Lv X, Cui S, Wang Y, Lu J, Yu P, Wang K. Patch time series transformer-based short-term photovoltaic power prediction enhanced by artificial fish. Energies. 2026;19(1):284.
- Lei M, Zhang M, Wang K. Research on bidding optimization strategy for virtual power plants with wind-solar-storage systems based on IGDT-DRO. Electr Eng. 2026;108(3):208.