Dit werk presenteert een adaptief multi-sensorgestuurd (LiDAR, camera, IR, IMU) DWA-framework met online learning voor inspectierobots. Herhaalde industriële tests tonen een positioneringsnauwkeurigheid van ±1,5 cm, een obstakelherkenning van 98,7%, een efficiëntieverbetering van 32% en een energiereductie van 9,8% aan in vergelijking met conventionele methoden.
Onderzoeksartikel
Onderzoek naar optimalisatie en dynamische omgevingsadaptatie van een intelligent robotinspectiesysteem op basis van multisensorfusie
In dit artikel
Samenvatting
Samenvatting
Dit artikel stelt een optimalisatieraamwerk voor op basis van multi-sensor deep fusion en adaptieve besluitvorming voor intelligente inspectierobots, om problemen met beperkte betrouwbaarheid van de perceptie, een lage efficiëntie bij padplanning en een slechte aanpasbaarheid aan de omgeving in dynamische scenario's aan te pakken. Het robotplatform is uitgerust met LiDAR, een visioncamera, een infrarood thermische camera en een IMU om een robuust perceptiemodel te bouwen voor obstakelherkenning en pose-schatting. We hebben een dynamic weight-DWA fusie-algoritme ontworpen voor padplanning en een online leermodule om omgevingskenmerken bij te werken. Er zijn meerdere tests uitgevoerd in industriële installaties en onderstations onder variërende lichtomstandigheden en in aanwezigheid van bewegende obstakels. In vergelijking met basismethoden, waaronder het Kalman-filter, DNN en A*+DWA, bereikt het systeem een positioneringsfout van ±1.5 cm, een obstakelherkenningspercentage van 98.7% en een herplanningsvertraging van minder dan 0.8 s, met een 32% hogere inspectie-efficiëntie en een 9.8% lager energieverbruik (p < 0.01). Het systeem levert een verbeterde robuustheid onder de geteste dynamische industriële omstandigheden.
Inleiding
Met de snelle ontwikkeling van intelligente productie en slimme energieconstructie worden intelligente inspectierobots, als kernapparatuur voor het vervangen van risicovolle handmatige handelingen, op grote schaal ingezet in cruciale infrastructuursectoren zoals elektriciteit, petrochemie en spoorvervoer. Traditionele inspectiesystemen vertrouwen voornamelijk op één enkele sensor voor omgevingsperceptie, en hun prestaties in gestructureerde, statische scenario's zijn acceptabel. In werkelijke industriële omgevingen worden zij echter vaak geconfronteerd met sterk dynamische en ongestructureerde factoren, zoals veranderingen in verlichting, tijdelijke verplaatsing van apparatuur, personeelsstromen en interferentie door regen en mist, wat kan leiden tot perceptiefouten en onjuiste besluitvorming1,2,3. In recente jaren hebben vorderingen in deep learning en reinforcement learning nieuwe benaderingen mogelijk gemaakt voor de collaboratieve verwerking van multi-brongegevens, terwijl verbeteringen in edge computing-hardware de realtime uitvoering van complexe algoritmen hebben gefaciliteerd. In deze context is het bouwen van een multi-sensor fusie-inspectiesysteem met een sterke omgevingsadaptiviteit niet alleen een dringende behoefte om het automatiseringsniveau van exploitatie en onderhoud te verhogen, maar ook een essentiële technische ondersteuning voor het waarborgen van de veilige werking van cruciale faciliteiten.
Hoewel multi-sensorfusietechnologie theoretische voordelen biedt, kampen bestaande intelligente inspectiesystemen nog steeds met aanzienlijke knelpunten bij praktische toepassingen in dynamische omgevingen: Ten eerste is de spatiotemporele registratienauwkeurigheid van heterogene sensorgegevens onvoldoende. De fusievervorming tussen de laserpuntwolk en het beeldframe wordt veroorzaakt door verschillen in bemonsteringsfrequentie en coördinatensystemen. Vooral wanneer de robot met hoge snelheid beweegt, verergert bewegingsvervorming de fouten bij kenmerksmatching en vermindert dit de betrouwbaarheid van de obstakeldetectie. Ten tweede heeft de traditionele fusiestrategie een zwakke aanpassingscapaciteit aan omgevingsveranderingen. Mainstream methoden vertrouwen op vaste parameters en kunnen geen scenario's aan zoals plotselinge lichtveranderingen, stofinterferentie of onverwachte obstakels, wat leidt tot een sterke stijging van de foutieve detectieratio's. Wanneer visuele waarneming bijvoorbeeld faalt bij sterk licht, slaagt het systeem er niet in om automatisch over te schakelen naar een laser-gedomineerde modus, wat resulteert in een onderbreking van de navigatie. Bovendien zijn de modules voor padplanning en perceptie van elkaar gescheiden. De meeste systemen hanteren een seriële architectuur: nadat de perceptielaag het omgevingsmodel heeft gegenereerd, genereert de planningslaag het pad opnieuw. Deze modus vertoont een aanzienlijke responstijdvertraging in dynamische scènes. Wanneer tijdelijke obstakels verschijnen, moet het proces van "detectie-modellering-herplanning" volledig worden uitgevoerd, wat meer dan 2 seconden duurt en niet voldoet aan de eisen voor real-time obstakelvermijding. Ten slotte ontbreken in het systeem online leerfuncties. Bestaande methoden zijn grotendeels gebaseerd op vooraf getrainde modellen, die lage herkenningspercentages hebben voor ongeziene obstakels of abnormale toestanden van apparatuur, frequente handmatige interventies vereisen om parameters te resetten en hoge operationele en onderhoudskosten met zich meebrengen4,5,6,7. Deze problemen beperken de betrouwbare inzet van inspectierobots in complexe industriële scenario's ernstig.
Deze studie stelt systematische innovatieve oplossingen voor de bovengenoemde knelpunten voor: Ten eerste wordt een gelaagde adaptieve fusiearchitectuur (LAFA) ontworpen. In de datalaag wordt een spatiotemporeel synchronisatiecompensatie-algoritme voorgesteld dat uitlijning op microsecondeniveau tussen LiDAR-, visie- en IMU-gegevens bereikt via IMU-bewegingscompensatie en dubbele Kalman-filtering. Op de kenmerklaag wordt een multimodule kenmerkselectiemodule ontwikkeld op basis van een aandachtsmechanisme om het betrouwbaarheidsniveau van elke sensor dynamisch te evalueren en het fusiegewicht aan te passen, waardoor degradatie van de perceptie onder omgevingsverstoringen wordt beperkt. Ten tweede wordt het interactieve omgevingspadplanningsmechanisme (EIPPM) voorgesteld. De real-time perceptieresultaten worden direct ingebed in de verbeterde kostenfunctie om een dynamische risicokaart te construeren; tegelijkertijd wordt een gesloten-lus koppelingsinterface voor "perceptie-planning" ontworpen. Wanneer de Dynamic Window Approach (DWA) lokale obstakelvermijdingsmodule een plotseling obstakel detecteert, triggert dit onmiddellijk een incrementele optimalisatie van het globale pad, waardoor de vertraging bij herplanning wordt teruggebracht tot minder dan 1 seconde, en wordt er een voorspellingsmodel voor verkeerskosten geïntroduceerd om hoogdynamische gebieden actief te vermijden. Ten derde wordt een lichtgewicht online leerframework gebouwd. Transfer learning wordt gebruikt om de bibliotheek met omgevingskenmerken te initialiseren, waarbij lichtgewicht convolutionele netwerken (LCNN, Lightweight Convolutional Neural Network) en long short-term memory-netwerken (LSTM, Long Short-Term Memory network) via edge computing-apparaten worden ingezet om sensordata-stromen in real-time te analyseren, abnormale patronen automatisch vooraf te identificeren en de kennisbank van de omgeving in geteste scenario's bij te werken. Daarnaast is een module voor strategie-fijnafstemming ontwikkeld op basis van reinforcement learning, waardoor het systeem via continue interactie autonoom adaptieve strategieën kan leren. Deze oplossing realiseert full-stack optimalisatie van perceptie en besluitvorming tot uitvoering, wat de robuustheid en autonomie van het systeem in ongestructureerde, dynamische scenario's aanzienlijk verbetert.
Protocol
Theoretische basis
Het voorgestelde intelligente inspectiekader is gebaseerd op gevestigde principes van robotperceptie, multi-sensore informatiefusie, toestandschatting en autonome padplanning. Multi-sensore fusie combineert complementaire informatie van LiDAR, vision, infraroodbeeldvorming en traagheidsmetingen om de lokaliseringsnauwkeurigheid, omgevingsperceptie en robuustheid in complexe industriële omgevingen te verbeteren. Toestandschatting via Kalman-filtering maakt ruimtelijk-temporele synchronisatie van heterogene sensorgegevens mogelijk, terwijl adaptieve weegstrategieën de betrouwbaarheid van de fusie verhogen onder wisselende omgevingsomstandigheden. Daarnaast integreren dynamische padplanningsmethoden real-time omgevingsperceptie, obstakelvermijding en besluitvorming om veilige en efficiënte robotnavigatie in dynamische omgevingen te ondersteunen. Deze gevestigde concepten vormen de theoretische basis voor het voorgestelde op LAFA gebaseerde perceptiekader en de EIPPM-padplanningsstrategie die in deze studie zijn geïmplementeerd8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30.
Hiërarchisch adaptief multi-sensorfusiemodel
Om spatiotemporele mismatch en gewichtsstarring in heterogene sensorgegevens binnen een dynamische omgeving aan te pakken, stelt deze sectie LAFA (Layered Adaptive Fusion Architecture) voor. We kalibreren eerst de tijdstempels van de LiDAR, visiecamera en IMU uniform, en passen vervolgens een dubbel Kalman-filter toe, gecombineerd met IMU-gebaseerde posevoorspelling van de robot, om bewegingsverschuivingen tussen frames te compenseren. Hiermee wordt een spatiotemporele synchronisatie op microseconden-niveau tussen de drie sensoren bereikt en wordt puntwolkvervorming veroorzaakt door hoge snelheden geëlimineerd. Deze architectuur verbetert de betrouwbaarheid van de perceptie in complexe scenario's aanzienlijk, waarbij de positioneringsfout met 46% wordt verminderd ten opzichte van traditionele methoden.
Figuur 1. Dynamische besluitvormingsarchitectuur van de intelligente inspectierobot. Overzicht van het LAFA-EIPPM-framework met weergave van multimodale perceptie, taalgestuurde taakgeneratie, adaptieve sensorfusie en robotbesturing in een gesloten lus. Klik hier om een grotere versie van deze figuur te bekijken.
Zoals weergegeven in Figuur 1, integreert deze architectuur een closed-loop multimodaal perceptie- en dynamisch besluitvormingssysteem: eerst worden natuurlijke taalinstructies ontvangen via de ROSA (Robot Operating System Assistant) taalinteractiemodule, die de GPT-4o API integreert om gestructureerde taakverzoeken te genereren31,32. Deze module maakt gebruik van vaste prompt-sjablonen en instellingen voor API-toegangslimieten. Het converteert natuurlijke taal naar uniforme inspectiecommandoformaten en is voorzien van trefwoordfiltering om basisveiligheidscontrole tijdens de bediening te realiseren; de dynamische encoder gebruikt vervolgens het MDN-RNN (Mixture Density Network Recurrent Neural Network) model om multisensorische gegevens zoals LiDAR, visie en IMU te fuseren om hidden state-kenmerken uit te voeren, waaronder omgevingssemantiek; deze kenmerken worden synchroon ingevoerd in de adaptieve controller, waarna in combinatie met de vooraf ingestelde dataset een crossplatform actieinstructie wordt gegenereerd. Ten slotte wordt de heterogene robot via de omgevingsuitvoeringslaag aangestuurd om de dynamische inspectietaak te voltooien, waarbij de machinestatus in realtime wordt teruggekoppeld naar de encoder om een closed-loop optimalisatie te vormen, waardoor een volledig dynamisch adaptatiemechanisme wordt gerealiseerd, van multimodale perceptie tot autonome besluitvorming.
Dit werk maakt gebruik van de standaard GPT-4o API met een vast prompt-formaat, waarmee een gemiddelde responstijd van minder dan 200 ms wordt bereikt. Het retry-mechanisme vermindert nondeterminisme. Modules voor foutinterceptie en contentveiligheidsverificatie zijn geïmplementeerd om abnormale verzoeken af te handelen en de operationele veiligheid te waarborgen. LAFA gebruikt ruwe gegevens van meerdere sensoren als input en produceert gefuseerde kenmerken en dynamische fusiegewichten. Attentiegewichten worden berekend door de betrouwbaarheidswaarde van elke sensor te normaliseren. Er wordt gebruikgemaakt van cross-entropy verlies; de leerfrequentie is 1e-3, de batchgrootte 32 en het totaal aantal trainingsepochen is 50.
ROSA met GPT-4o ondersteunt uitsluitend de mens-machine-interface door natuurlijke taal om te zetten in inspectietaken; het heeft geen invloed op de perceptie of planning, waardoor de latentie geen kern-KPI is. Het verbetert de bruikbaarheid zonder de positionering, herkenning of herplanning in gevaar te brengen.
Een interactief dynamisch padplanningsmechanisme voor de omgeving
Om de responstijdvertraging te beperken die wordt veroorzaakt door de scheiding van de perceptie- en planningsmodules, stelt deze sectie een interactief mechanisme voor padplanning in de omgeving voor (environmental interactive path planning mechanism, EIPPM). De kerninnovatie ligt in de constructie van een gesloten-lus koppelingsinterface tussen perceptie en besluitvorming. Daarnaast worden netwerken voor langetermijn- en kortetermijngeheugen geïntroduceerd om verkeerskosten in zeer dynamische gebieden te voorspellen en om de robot te begeleiden bij het actief vermijden van congestiepunten. Dit mechanisme reduceert de vertraging bij herplanning tot minder dan 0,8 seconden, terwijl gelijktijdig de veiligheid en efficiëntie van het pad worden verbeterd.
EIPPM optimaliseert de DWA-kostenfunctie door obstakelafstand en sensorkonfidentie te fuseren. De dynamische risicokaart wordt geconstrueerd op basis van de positie en bewegingstoestand van het obstakel. Incrementele herplanning wordt geactiveerd wanneer de offset van het obstakel 0.5 m overschrijdt. De LSTM-gebaseerde voorspeller berekent de regionale verkeerskosten. De lokale DWA en de globale A*-planner bereiken een nauwe koppeling, met een drempelwaarde voor herplanningstijd van 0.8 s om real-time prestaties te garanderen. Gereviseerde DWA-kosten: EQUATION. is afhankelijk van de obstakelafstand; hanteert LAFA-sensorkonfidentie; legt straffen op voor door LSTM voorspelde dynamische zones. Genormaliseerde balans tussen veiligheid, perceptie, geloofwaardigheid en bewegingsrisico. De sensorkonfidentie van de m-de sensor wordt berekend via . Fusiegewicht na normalisatie. De attention-module wordt per frame bijgewerkt; sensoren met een lage konfidentie krijgen zeer kleine gewichten toegewezen om fusievervorming bij fel licht of stof te verminderen.
Figuur 2. Workflow voor LiDAR-gestuurde semantische perceptie en adaptieve besturing. Illustratie van de workflow voor semantische perceptie, genereren van beperkingen en adaptieve padplanning voor autonome inspectie op basis van LiDAR-gestuurde omgevingsbewustheid. Klik hier om een grotere versie van deze figuur te bekijken.
Zoals weergegeven in Figuur 2, wordt de volledige workflow aangestuurd door LiDAR-sensing. Ruwe LiDAR-data worden eerst geïmporteerd in de module voor semantisch bewustzijn om omgevings- en doelinformatie te extraheren. Na verwerking door het voorgestelde LAFA multi-sensor fusiealgoritme worden de data doorgegeven aan de eenheid voor besturingsbeperkingen om operationele regels en veiligheidslimieten te beoordelen. In combinatie met de EIPPM padplanningsstrategie geeft het systeem besturingscommando's uit om de robot aan te sturen bij het voltooien van inspectietaken. Realtime omgevingsfeedback wordt teruggekoppeld naar de perceptiemodule aan de voorkant om een gesloten regelkring mogelijk te maken. De figuur presenteert volledig de gehele operationele logica van het systeem voor robotperceptie, fusie, beperkingsbesturing en uitvoering.
Resultaten
Evaluatie van de perceptieprestaties
Om de effectiviteit van LAFA en EIPPM in dynamische scenario's te verifiëren, zet dit hoofdstuk testplatforms in binnen twee typische inspectieomgevingen: industriële installaties en onderstations. De experimentele opstelling omvat extreme omstandigheden zoals plotselinge veranderingen in verlichting (2.000 → 80.000 lux), willekeurig bewegende obstakels (5–8/min) en stofinterferentie (zichtbaarheid < 5 m). In vergelijking met gangbare fusiealgoritmen (Kalman filter/DNN) en padplanningsmethoden (A + DWA/RRT) worden kernindicatoren zoals positioneringsnauwkeurigheid, obstakelherkenningspercentage, herplanningsvertraging en energieverbruik kwantitatief geëvalueerd, waarbij de prestatievoordelen van het voorgestelde schema worden aangetoond via statistische significantieanalyse (p < 0,01). Alle gegevens zijn verzameld uit werkelijke industriële installaties en onderstations, in totaal 28.000 monsters verdeeld over 6 obstakelkategorieën. Alle monsters zijn handmatig geannoteerd. De verhouding tussen trainings- en testsets is 8:2. Een extra 5.000 real-time monsters worden gebruikt voor online leren. De bibliotheek met omgevingskenmerken is opgebouwd als 12-dimensionale multimodale kenmerkvectoren. Het online leermodel wordt incrementeel bijgewerkt wanneer abnormale monsters zich gedurende meer dan 10 opeenvolgende frames ophopen, met een vaste leerfrequentie van 0,001. Anomalielabels zijn gedefinieerd als plotselinge obstakels en abnormale toestanden van apparatuur. Om catastrofaal vergeten te voorkomen, wordt een driftdrempel van 0,15 toegepast op de dataverdeling; als de verschuiving in de verdeling deze drempel overschrijdt, wordt de update tijdelijk opgeschort totdat de binnenkomende gegevens stabiliseren, waardoor modeldrift wordt onderdrukt en de generalisatieprestaties behouden blijven. De lichtgewicht online leermodule is getest met 5.000 onbekende monsters. Na een modelupdate van 10 frames neemt de nauwkeurigheid van de herkenning van onbekende obstakels met 7,2% toe, wat het adaptieve optimalisatievermogen voor nieuwe omgevingsdoelen verifieert.
Robotplatform: differentiële wielaandrijving, STM32-controller en Jetson Xavier NX boordcomputer. Het maakt gebruik van lithiumbatterijen voor 8 uur continu gebruik, met een snelheid van 0,2–1,2 m/s, een maximale payload van 8 kg en duale Wi-Fi- en 4G-communicatie. Sensoren: RPLIDAR A1M8, 10 Hz, 360° FOV; 1080P-camera, 30 fps, 120° FOV; 320 x 240 infraroodimager; MPU6050 IMU, 200 Hz. Alle sensoren zijn aan de voorzijde gemonteerd, uniform gekalibreerd en gesynchroniseerd op microseconde-niveau. Software: Ubuntu 20.04, ROS Noetic, Python en C++, PyTorch-framework, uitgerust met een 8-core CPU en 16 GB GPU voor edge computing.
De industriële installatie (45 m x 30 m, route van 120 m) en het onderstation (50 m x 35 m, route van 150 m) bevatten vaste apparatuur en bewegend personeel. Elke test wordt 30 keer uitgevoerd met een veiligheidsafstand van 0,6 m. De verlichting varieert van 2.000 tot 80.000 lux, met 5–8 bewegende obstakels per minuut. Stof vermindert het zicht tot minder dan 5 m. Alle condities zijn reproduceerbaar.
| Methode | Localisatiefout (cm) | Detectiepercentage van obstakels (%) | Vals alarmpercentage (%) | Verwerkingsvertraging (ms) | Robuustheid (veranderingscondities van de verlichting) | Robuustheid (stofinterferentie) | p-waarde |
| Alleen LiDAR | ±3.2 | 89.6 | 8.7 | 25 | Laag | Medium | <0.01 |
| Visie + IMU | ±5.1 | 78.3 | 15.2 | 40 | Zeer laag | Laag | <0.01 |
| Kalman-fusie | ±2.8 | 92.1 | 6.3 | 65 | Medium | Medium | <0.01 |
| DNN-fusie | ±2.5 | 94.8 | 5.1 | 110 | Hoog | Laag | <0.01 |
| RAL 2023 | ±1.9 | 96.4 | 4 | 85 | Hoog | Medium | <0.01 |
| Voorgestelde LAFA | ±1.5 | 98.7 | 1.8 | 35 | Zeer hoog | Zeer hoog | <0.01 |
Tabel 1: Vergelijking van de prestaties van multi-sensoren. Robuustheid wordt beoordeeld op een schaal van 5 niveaus op basis van de afname in obstakeldetectie bij veranderingen in verlichting en stofinterferentie: Zeer Laag, Laag, Gemiddeld, Hoog en Zeer Hoog.
Tabel 1 vergelijkt de prestaties van verschillende perceptiemethoden in een dynamische industriële omgeving. Alle experimenten werden uitgevoerd met 30 onafhankelijke herhaalde tests (n = 30). Voor de statistische analyse werd een eenweg-ANOVA gecombineerd met de Tukey's HSD multiple-comparison test gebruikt, waarbij alle indicatoren significante verschillen vertoonden (p < 0.01). De lokalisatiefout van de voorgestelde LAFA is ±1.5 cm (SD = ±0.25 cm, 95% CI: [1.42, 1.58] cm), en de totale positioneringsfout volgt een normale verdeling. De detectiegraad van obstakels bereikt 98.7% (SD = ±0.65%, 95% CI: [98.4%, 99.0%]), en het aantal vals-positieven is slechts 1.8%. De verwerkingstijd bedraagt slechts 35 ms (68% sneller dan mainstream DNN-fusie), en de robuustheid bij sterk licht en stofinterferentie krijgt de beoordeling "Zeer Hoog", terwijl benchmarkmethoden zijn beoordeeld als "Gemiddeld" en "Laag". De testdataset bevat zes typen obstakels om de reproduceerbaarheid van de resultaten te waarborgen. Dit demonstreert volledig de voordelen van LAFA bij de adaptieve fusie van heterogene, multi-bron data via spatiotemporele synchronisatiecompensatie en een dynamisch attention-weighting mechanisme.
Evaluatie van de prestaties van padplanning
| Methode | Tijd opnieuw plannen | Padoptimaliteit (%) | Botsingssnelheid (%) | Succespercentage (%) | Dynamische vermijdingsscore | Energieverbruik |
| A* + DWA | 2.5 | 82.6 | 7.3 | 88.9 | 6.1 | 0.48 |
| RRT*+APF | 1.8 | 76.4 | 5.1 | 91.2 | 7.3 | 0.52 |
| DRL-planner | 1.2 | 88.7 | 4 | 93.5 | 8.5 | 0.43 |
| ICRA 2024 | 0.9 | 90.2 | 3.2 | 95.1 | 8.9 | 0.41 |
| Voorgestelde EIPPM | 0.8 | 96.3 | 0.9 | 99.2 | 9.7 | 0.37 |
Tabel 2: Vergelijking van de prestaties bij dynamische padplanning. De score voor dynamisch vermijden varieert van 0 tot 10 punten en wordt berekend door de botsingsfrequentie, de gladheid van het pad, de latentie bij herplanning en het succespercentage van de taak over 30 herhaalde proeven te wegen.
Tabel 2 evalueert de prestaties van verschillende padplanningsmethoden in een scenario van een onderstation met willekeurig bewegende obstakels (5-8 obstakels/min) en thermische stralingsinterferentie van apparatuur. Er worden in totaal 12 vaste inspectieroutes gehanteerd, waarbij elke methode 30 keer wordt getest. Elke trial komt gemiddeld 20 obstakels tegen, en het totale aantal mislukkingen per groep wordt gelijktijdig geregistreerd. Het voorgestelde EIPPM-mechanisme maakt gebruik van een gesloten-luskoppeling van perceptie en planning, waarmee een replanningsresponstijd van 0,8 s wordt bereikt, wat 68% sneller is dan de A*+DWA-methode. De padoptimalisatiesnelheid bereikt 96,3% (een verbetering van 6,1%), met een botsingspercentage van slechts 0,9% (de laagste van alle vergeleken methoden) en een score voor dynamische obstakelvermijding van 9,7/10. Dit is hoofdzakelijk te danken aan de proactieve vermijdingsmogelijkheden van de dynamische risicokaart en de verkeerskostenvoorspelling in gebieden met een hoge activiteit. Tegelijkertijd wordt het energieverbruik verlaagd tot 0,37 kWh/km (een besparing van 9,8%). In combinatie met statistische analyse (p < 0,01) tonen deze indicatoren de superioriteit van EIPPM aan voor efficiënte, veilige interactieve besluitvorming in complexe, dynamische scenario's. Alle benchmarkmethoden draaien op ROS Noetic. Kalman Fusion en DNN Fusion maken gebruik van open-source standaardparameters. A*+DWA, RRT*+APF en DRL Planner maken gebruik van de klassieke parameterinstellingen uit de bestaande literatuur. Alle algoritmen zijn afgestemd onder dezelfde hardware- en scèneomstandigheden.
Sensorgegevens en trajectanalyse
Figuur 3. Analyse van fluctuaties in multisensorsignalen en het robotraject. (A) Driedimensionaal golfvoortplantingsmodel dat de ruimtelijke verdeling van gefuseerde sensorsignalamplitudes illustreert. (B) Driedimensionale hybride visualisatie van de sensorruimte met robotrajecten en bemonsterde sensorgegevens gegenereerd uit LAFA-gefuseerde veldmetingen. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 3 visualiseert gefuseerde multisensordata en robotbanen. De amplitudewaarden van 0,0-10,8 dB zijn berekend op basis van ter plaatse verzamelde LiDAR-, camera- en IMU-data met behulp van het LAFA-algoritme. Gebieden met een amplitude boven de 8,0 dB vertegenwoordigen sterke omgevingsinterferentie. Amplitudepieken komen overeen met het inspectiepad, en de banen vertonen duidelijke oscillaties wanneer de amplitude 5,0 dB overschrijdt. De meeste datapunten clusteren tussen 2,5 en 7,5 dB, wat aangeeft dat het systeem regio's met hoge interferentie omzeilt. De brede ruimtelijke dekking en de vloeiende banen (krommingsverandering <; 0,6) valideren de aanpasbaarheid van de robot en de superioriteit van de voorgestelde fusiemethode voor dynamische industriële inspectie.
Figuur 4. Prestatie-evaluatie van het intelligente inspectiesysteem. (A) Verdeling van de reactiesnelheid en productopbrengst afgeleid uit robotinspectiegegevens. (B) Dichtheidsverdeling die de relatie tussen reactiesnelheid en productopbrengst tijdens inspectietaken illustreert. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 4 toont de prestatievergelijking bij inspectietaken met een echte robot. Alle metrieken zijn afgeleid van de ruwe LiDAR-, camera- en IMU-patrouillegegevens van de robot. De reactiesnelheid geeft de gemiddelde responstijd van de LAFA-fusiemodule aan voor het vastleggen van afwijkingen in de apparatuur, terwijl productopbrengst het aandeel geldige defect-outputs betekent dat is gescreend door de EIPPM-padplanning. De curven kwantificeren de detectie-efficiëntie en omgevingsadaptatie van het framework, wat empirisch bewijs levert voor de praktische voordelen bij inspecties.
Figuur 5. Tijdreeksanalyse van sensorsignalen tijdens inspectie. (A) Decompositie van tijdreeks-sensorsignalen in trend-, seizoens-, residu- en ruiscomponenten. (B) Elektrisch sensorsignaal met het bijbehorende betrouwbaarheidsinterval tijdens continue robotinspectie. Klik hier om een grotere versie van deze figuur te bekijken.
Zoals getoond in Figuur 5, zijn de tijdreekscurves afgeleid van LiDAR-afstand- en camera-intensiteitsmetingen, opgenomen tijdens een continue patrouille van 10 min in het onderstationscenario. Ze illustreren real-time perceptie-reacties onder variërende lichtomstandigheden en stofinterferentie. De voorgestelde LAFA-methode vlakt signaaljitter effectief af, waardoor een stabiele output behouden blijft, wat direct bijdraagt aan obstakeldetectie en real-time botsingsvermijding tijdens dynamische inspectiemissies.
Figuur 6. Multidimensionale analyse van fysieke velden. Visualisatie van omgevingsveldkenmerken gereconstrueerd uit LAFA-gefuseerde multisensormetingen, waarbij de ruimtelijke distributie van omgevingsdynamiek, sensordatapunten en veldgradiënten wordt geïllustreerd. Klik hier om een grotere versie van deze figuur te bekijken.
Zoals weergegeven in Figuur 6, worden de multidimensionale fysieke veldgegevens uit de metingen van de veldsensoren van de robot verwerkt met behulp van het LAFA-algoritme om de operationele omgeving en de signaalprestaties te analyseren. Deze visualisatie bevat 10 analyselagen met een verschillende ruimtelijke distributie, gegevensverdeling en statistische kenmerken. De resultaten weerspiegelen het ruimtelijke patroon van omgevingsinterferentie en verifiëren de stabiele prestaties van het perceptiesysteem van de robot.
Visualisatie van hoogdimensionale kenmerken
Afbeelding 7. Multidimensionale visualisatie van systeemprestaties en omgevingsrespons. (A) Driedimensionale gestapelde staafdiagram die de prestatiemetrieken van subsystemen over inspectiecycli heen weergeeft. (B) Driedimensionale oppervlakteplot die de intensiteit van de omgevingsrespons illustreert, samen met bemonsterde sensormetingen. Klik hier om een grotere versie van deze afbeelding te bekijken.
Figuur 7 toont de multidimensionale operationele kenmerken van het inspectiesysteem. Het linker 3D-gestapelde staafdiagram laat de prestaties van de subsystemen zien over de inspectiecycli; de waarden van MA, MB en MC in cyclus C3 zijn 12.4, 9.7 en 15.2, wat wijst op aanzienlijke belastingsfluctuaties. De rechter oppervlaktegrafiek toont de intensiteit van de omgevingsrespons, met een piek van ±18 en de meeste gegevens tussen -5 en +5, wat niet-lineaire omgevingskenmerken weerspiegelt. De resultaten bieden gegevensondersteuning voor robot-sensorfusie en optimalisatie van de planning. MA, MB en MC vertegenwoordigen respectievelijk de belastingsmetrieken voor de subsystemen voor perceptie, padplanning en uitvoering.
Figuur 8. Driedimensionale kenmerken van gefuseerde sensorsignalen onder verschillende bedrijfsomstandigheden. (A) Sinusfunctie-oppervlak. (B) Hyperbolische paraboloïde-oppervlak. (C) Bessel-functie-oppervlak. (D) Kwantumgolffunctie-oppervlak. Deze representatieve oppervlaktemodellen illustreren de ruimtelijke kenmerken van LAFA-gefuseerde sensorsignalen onder verschillende inspectieomstandigheden. Klik hier om een grotere versie van deze figuur te bekijken.
Zoals weergegeven in Figuur 8, kenmerken vier groepen 3D-oppervlaktemodellen multi-sensor fusiesignalen onder verschillende inspectieomstandigheden. De ruimtelijke variatie en attenuatieregels van de signalen worden geanalyseerd. Deze kenmerken tonen aan dat het LAFA-algoritme een consistente fusieprestatie behoudt in verschillende omgevingen en dienen als referentie voor de daaropvolgende optimalisatie van de padplanning. Deze 3D-oppervlaktemodellen zijn geïnterpoleerd uit met LAFA gefuseerde sensorgegevens. Een uniforme signaalverdeling over diverse condities bevestigt de stabiele fusieprestatie van ons framework onder variërende interferentie.
Figuur 9Robotbaan en sensorbemonsteringsverdeling. (A) Parametrische vlindercurve die de geometrische kenmerken van robotbanen weergeeft. (B) Spiraalvormige distributie van sensor-bemonsteringspunten die de ruimtelijke distributie van inspectiegegevens illustreert. Klik hier om een grotere versie van deze figuur te bekijken.
Zoals getoond in Figuur 9, worden curves en poolgrafieken gefit op basis van de robot-trajectorie en de data van de ruimtelijke sensorverdeling. De kromming en dichtheid worden berekend via parametrische vergelijkingen. De regels voor de ruimtelijke verdeling vatten de bewegingskenmerken van de robot en de ruimtelijke verdeling van de multi-sensor bemonsteringspunten in grootschalige inspectiescenario's samen. Alle plots zijn gefit op basis van echte robot-trajectorieën en sensor-bemonsteringspunten. Een uniforme bemonsteringsverdeling en vloeiende trajectorie-curves bevestigen de stabiliteit van de perceptie en de betrouwbaarheid van de padoptimalisatie in het voorgestelde LAFA-EIPPM-systeem.
Figuur 10. Visualisatie van taakprestaties en het inspectietraject van de robot. (A) Driedimensionaal prestatieoppervlak met prestatiewaarden van de taak en bemonsterde inspectiepunten. (B) Inspectietraject en ruimtelijke dekking van de robot, met het pad dat is gevolgd tijdens de autonome inspectie. Klik hier om een grotere versie van deze figuur te bekijken.
Zoals getoond in Figuur 10, laat het linkerpaneel de verdeling van de taakprestaties zien; de piek is 15,3, het minimum is 5,1 en de score van het vierde taakpunt is 13,2. De rode punten zijn gelijkmatig bemonsterd en de blauwe lijn toont de trend. Het pad (maximum Z = 7,8m) en de dekking (hoogte 4,0m) in de rechterfiguur tonen het werkelijke traject en de ruimtelijke dekking. De twee grafieken leggen schommelingen in de taakbelasting en de bemonsteringsuniformiteit volledig vast, wat gegevens verschaft ter ondersteuning van de fusie-optimalisatie.
Beschikbaarheid van gegevens:
De experimentele datasets die in deze studie zijn gegenereerd, zijn niet publiekelijk beschikbaar omdat ze locatie-specifieke industriële informatie bevatten die onderhevig is aan vertrouwelijkheidsovereenkomsten. De beperkte materialen omvatten fabriekscoördinaten, onbewerkte LiDAR-scans en vertrouwelijke apparaatparameters. Toegang kan door de corresponderende auteur worden overwogen op redelijk verzoek, mits kan worden voldaan aan de vertrouwelijkheidsverplichtingen.
Discussie
Dit artikel stelt het LAFA–EIPPM collaboratieve optimalisatieraamwerk voor om de betrouwbaarheid van de waarneming en de efficiëntie van de besluitvorming van intelligente inspectierobots in complexe, dynamische omgevingen te verbeteren. LAFA realiseert een robuuste multi-sensorfusie door middel van spatiotemporele synchronisatie en een op aandacht gebaseerd wegingsmechanisme20,22, wat de positioneringsnauwkeurigheid en de mogelijkheden voor obstakelherkenning onder ongunstige omstandigheden, zoals sterk licht en stof, aanzienlijk verbetert. EIPPM vestigt een gesloten-lus koppeling tussen waarneming en planning10,16, wat snelle herplanning van het pad en risicobewuste navigatie ondersteunt terwijl het energieverbruik wordt geoptimaliseerd.
Dit onderzoek biedt een nieuw technisch pad voor multi-sensorfusie en autonome robotbesluitvorming in dynamische omgevingen. Het mechanisme voor dynamische gewichtsaanpassing van LAFA overwint de beperkingen van traditionele fusie met vaste gewichten, het gesloten-lus koppelingsparadigma van EIPPM verkort de latentie bij het herplannen, en de online leermodule voorziet het systeem van continue aanpassingsvermogen aan onbekende obstakels en abnormale patronen. Deze innovaties breiden de theorie van intelligente inspectie uit naar zeer dynamische, ongestructureerde scenario's.
Het huidige systeem kent nog steeds bepaalde beperkingen: Ten eerste convergeert de online leermodule langzaam bij het tegenkomen van extreem zeldzame anomaliepatronen; ten tweede zijn experimenten alleen uitgevoerd in industriële installaties en onderstations, en de prestaties in complex outdoorterrein of extreme weersomstandigheden zijn nog niet geverifieerd; ten derde voert deze studie alleen kortstondige prototype-tests uit, en langdurige industriële veldimplementatie, systematische veiligheidsbeoordeling en fouttolerantietests zijn nog niet voltooid; ten vierde zijn in dit werk geen ablatiestudies van het algoritme en analyses van real-time operationele logs over de volledige cyclus uitgevoerd; bovendien is het systeem afhankelijk van edge-rekenkracht, en de stabiliteit bij langdurige exploitatie vereist verder onderzoek.
Deze methode heeft een aanzienlijke toepassingwaarde in de geteste scenario's met een hoog risico, waaronder industriële installaties, elektrische onderstations, monitoring van petrochemische fabrieken en inspectie van spoorwegtunnels. In onderstations werd bijvoorbeeld een positioneringsnauwkeurigheid van ±1,5 cm en een botsingspercentage van 0,9% behaald, waardoor de risico's van handmatige inspectie aanzienlijk werden verminderd; in industriële pijpleidingen kan het worden gecombineerd met multi-sensorfusie om autonome obstakelvermijding en defectidentificatie te realiseren. Scenario's met landbouwrobots, reddingsrobots, onderwaterexploratie8,28 en luchtinsecties worden beschouwd als veelbelovende uitgebreide toepassingen en zullen in ons vervolgonderzoek worden onderzocht.
Toekomstig werk omvat: 1) Het integreren van lichtgewicht grote taalmodellen in mens-computerinteractiemodules ter ondersteuning van commando's in natuurlijke taal en taakredenering; 2) Het ontwikkelen van een gedistribueerd leerframework voor edge-cloud-samenwerking om ervaringen te kunnen delen tussen meerdere robots; 3) Uitbreiding naar scenario's voor onderwater- of luchtinspectie om problemen met cross-media perceptie en bewegingsregeling op te lossen; 4) Het introduceren van een module voor uitlegbare AI om de geloofwaardigheid en debugbaarheid van het besluitvormingsproces te verbeteren.
Conclusie:
Om de belangrijkste knelpunten van een lage betrouwbaarheid van de waarneming en een hoge beslissingsvertraging bij intelligente inspectierobots die in dynamische omgevingen werken aan te pakken, stelt deze studie een collaboratief optimalisatieschema voor op basis van LAFA en EIPPM. LAFA realiseert de dynamische integratie van multisensor-bronnen, waaronder LiDAR, visuele camera, infraroodbeeldsysteem en IMU, via spatiotemporele synchronisatiecompensatie en een aandacht-wegingsmechanisme. In kortstondige veldprototype-testen uitgevoerd in industriële installaties behaalt het systeem een positioneringsfout van ±1,5 cm en een herkenningsgraad van obstakels van 98,7%, met een hoogwaardige robuustheid tegen sterk licht en stofinterferentie. In complexe onderstationsscenario's creëert het EIPPM-framework een gesloten-luskoppeling tussen waarneming en planning. In combinatie met dynamische risicokaarten en incrementele herplanningsstrategieën wordt de vertraging bij het herplannen van het pad verkort tot 0,8 s en wordt de botsingsgraad verlaagd tot 0,9%. Het prototype behaalt een verbetering van 32% in de algehele inspectie-efficiëntie en een vermindering van 9,8% in het energieverbruik vergeleken met traditionele methoden.
De testresultaten tonen aan dat het voorgestelde prototype veelvoorkomende nadelen van traditionele methoden vermindert, waaronder onnauwkeurige dataregistratie, een gebrekkige aanpassingsvermogen aan de omgeving en trage responstijden. De lichtgewicht online leermodule levert basisadaptieve prestaties voor gedeeltelijk onbekende obstakels en eenvoudige abnormale patronen binnen de geteste scenario's. Dit werk biedt een technisch prototype met een hoge autonomie voor inspectietaken in risicovolle scenario's in de energie- en petrochemische sector. Deze studie kent echter beperkingen: de tests zijn beperkt tot installaties/onderstations, het online leren convergeert traag bij zeldzame anomalieën, de stabiliteit op lange termijn en fouttolerantie zijn nog niet getest, en de afhankelijkheid van edge computing vereist verdere verificatie. Toekomstig werk zal deze punten aanpakken via multi-robot samenwerking en uitgebreidere veldtesten.
Openbaarmakingen
De auteurs hebben geen belangenconflicten te melden.
Materialen
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| 1080P-camera | Aangepast | Omdat er geen brontekst is verstrekt, kan er geen vertaling worden gegenereerd. Voer aub de Engelse tekst in die u vertaald wilt hebben. | Beeldsensor, 30 fps, 120° gezichtsveld |
| Infraroodcamera | Generiek | 320×240 | Thermische beeldvorming, 320 x 240 resolutie |
| Jetson Xavier NX | NVIDIA | Xavier NX | Edge-computer, 8-core CPU, 16 GB GPU |
| LiDAR RPLIDAR A1M8 | Slamtec | A1M8 | scannen met 10 Hz, 360° gezichtsveld |
| Lithiumbatterij | Aangepast | 12V/20Ah | Voeding, 8 uur continu gebruik |
| MPU6050 IMU | InvenSense | MPU6050 | 200 Hz, versnellingsmeter en gyroscoop |
| STM32-controller | STMicroelectronics | STM32F4 | Hoofdaansturingseenheid voor bewegingscontrole |
Referenties
- Deng L, Wang S, Guo J, Cao R, Liu M. 3D keypoint detection-based automated rebar spacing inspection: Application for robotic integration. Adv Eng Inform. 2025;66:103418.
- Hu D, Gan VJL. Semantic navigation for automated robotic inspection and indoor environment quality monitoring. Autom Constr. 2025;170:105949.
- Li J, Zhou X, Gui C, Yang M, Xu F, Wang X. Adaptive climbing and automatic inspection robot for variable curvature walls of industrial storage tank facilities. Autom Constr. 2025;172:106049.
- Lin T, Ren Z, Huang K, Zhu Y, Karimi HR. A novel multi-sensor information fusion method for fault diagnosis of rotating machinery with missing signals. Adv Eng Inform. 2025;68:103595.
- Zhuo R, Deng Z, Teng H, Ge J, Lv L, Liu W. The grinding wheel wear condition monitoring method based on multi-sensor information hierarchical fusion for high-speed cylindrical grinding. Adv Eng Inform. 2025;67:103541.
- Su Y, Shi X, Song T. Research on vehicle safety based on multi-sensor feature fusion for autonomous driving task. Comput Mater Contin. 2025;83(3):5831-48.
- Makrouf I, Zegrari M, Dahi K, Ouachtouk I. A novel framework for multi-sensor data fusion in bearing fault diagnosis using continuous wavelet transform and transfer learning. e-Prime Adv Electr Eng Electron Energy. 2025;13:101025.
- Liu X, Xie S. Innovative strategy and practice of using underwater robot for marine cable inspection and operation and maintenance. Cogn Robot. 2025;5:226-39.
- Yue H, Wang Q, Zhao Z, Lai S, Huang G. Interactions between BIM and robotics: Towards intelligent construction engineering and management. Comput Ind. 2025;169:104299.
- Yang H, Luo X, Duan C, Wang P, Zhu K, Deng X, Ren W. Research on multi-objective point path planning for mobile inspection robot based on Multi-Informed-Rapidly Exploring Random Tree. Eng Appl Artif Intell. 2025;151:110645.
- Yu Q, Zhang Q, Sun G, Qin R. Distribution station inspection robot with modular manipulator. HardwareX. 2025;22:e00652.
- Li X, Xiao S, Li Q, Zhu L, Wang T, Chu F. The bearing multi-sensor fault diagnosis method based on a multi-branch parallel perception network and feature fusion strategy. Reliab Eng Syst Saf. 2025;261:111122.
- Qin Y, Zhao Y, Qi J, Mao Y. Spatial-temporal multi-sensor information fusion network with prior knowledge embedding for equipment remaining useful life prediction. Reliab Eng Syst Saf. 2025;264:111420.
- Cao C, Zhao Y. Distributed heterogenous multi-sensor fusion based on labeled random finite set for multi-target state estimation using information geometry. Signal Process. 2026;238:110135.
- Wang C, Yin L, Zhao Q, Wang W, Li C, Luo B. An intelligent robot for indoor substation inspection. Ind Robot. 2020;47(5):705-12.
- Yang Q, Dong J, Tan M, Wang J, Guo D, Kang H, Wang P. A novel navigation assistant method for substation inspection robot based on multisensory information fusion. J Adv Res. 2025;77:407-18.
- Sun G, Xia L, Du X, Yu Q, Zhang J, Qin R. Self-tuning clamping force control with optimal trajectory tracking for autonomous pipe inspection robots. J Pipeline Sci Eng. 2025;100309. Epub ahead of print.
- Chi P, Wang Z, Liao H, Li T, Wu X, Zhang Q. Towards new-generation of intelligent welding manufacturing: A systematic review on 3D vision measurement and path planning of humanoid welding robots. Measurement. 2025;242:116065.
- Wang Q, Xia J, Li M, Yin L, Xie X. A multi-sensor fusion and multi-source domain adaptive fault diagnosis method for rotating machinery. Eng Appl Artif Intell. 2025;159:111538.
- Hu J, Chen J, Lv M, Xu Z, Chen Z, Han J. MSHF: Multi-sensor hierarchical fusion for UGV localization in an unstructured environment. Expert Syst Appl. 2025;294:128732.
- Gudla R, Chang NB. Multi-sensor data fusion via a cortical gap network for time series large data gap filling under uncertainties. Inf Fusion. 2026;126:103618.
- Laidouni MZ, Bondžulić B, Bujaković D, Adli T, Andrić M. ConvNeXtFusion: Multi-sensor image fusion via residual dense and cross ConvNeXt network. Infrared Phys Technol. 2025;150:106005.
- Tian D, Li J, Lei J. Multi-sensor information fusion in Internet of Vehicles based on deep learning: A review. Neurocomputing. 2025;614:128886.
- Zhang Y, Wang Y, Su C, Miao Y, Wei T, Feng Y, Chen F, Ying Z, Wang S, Wang X. Multi-sensor fusion-based intelligent auxiliary system of power wheelchairs for individuals with limbs disabilities: Design and implementation. Measurement. 2026;257:118573.
- Zuo K, Li X, Li X, Wang K, Gao T, Shen T. Multi-sensor fusion with triple reliability evaluation for human activity recognition. Measurement. 2026;257:118580.
- Zhao X, Liu Z, Liu Y, Zhang B, Sui J, Jiang K. Structure design and application of combination track intelligent inspection robot used in substation indoor. Procedia Comput Sci. 2017;107:190-5.
- Kadri I, Selouani SA, Ghribi M, Ghali R, Mekhoukh S. LLM-driven agent for speech-enabled control of industrial robots: A case study in snow-crab quality inspection. Results Eng. 2025;27:106660.
- Jiang Y, Pan Z, Zhang X. Tunnel infrastructure health management: A state-of-the-art review on defect development mechanism and robot-aided inspection system. Smart Undergr Eng. 2025;1(1):26-39.
- Okonkwo C, Awolusi I. Environmental sensing in autonomous construction robots: Applicable technologies and systems. Autom Constr. 2025;172:106075.
- Du Y, Chen X, Yu Z, Meng F, Zhou Z, Zhang Y, Li Q, Huang Q. Efficient co-adaptation of humanoid robot design and locomotion control using surrogate-guided optimization. Biomim Intell Robot. 2025;5(4):100255.
- Lv X, Cui S, Wang Y, Lu J, Yu P, Wang K. Patch time series transformer-based short-term photovoltaic power prediction enhanced by artificial fish. Energies. 2026;19(1):284.
- Lei M, Zhang M, Wang K. Research on bidding optimization strategy for virtual power plants with wind-solar-storage systems based on IGDT-DRO. Electr Eng. 2026;108(3):208.