Diese Arbeit stellt einen adaptiven Multisensor-(LiDAR, Kamera, IR, IMU-)DWA-Rahmen mit Online-Lernen für Inspektionsroboter vor. Wiederholte industrielle Tests zeigen eine Positionierungsgenauigkeit von ±1,5 cm, eine Hinderniserkennungsrate von 98,7 %, eine Effizienzsteigerung um 32 % und eine Energieeinsparung von 9,8 % im Vergleich zu herkömmlichen Methoden.
Forschungsartikel
Forschung zur Optimierung und dynamischen Umgebungsanpassung eines intelligenten Roboter-Inspektionssystems auf Basis von Multi-Sensor-Fusion
In diesem Artikel
Zusammenfassung
Zusammenfassung
Dieser Artikel schlägt einen Optimierungsansatz basierend auf einer tiefen Multisensorfusion und adaptiver Entscheidungsfindung für intelligente Inspektionsroboter vor, um die begrenzte Zuverlässigkeit der Wahrnehmung, die geringe Effizienz der Pfadplanung und die schlechte Anpassungsfähigkeit an dynamische Umgebungen zu adressieren. Die Roboterplattform ist mit einem LiDAR, einer Sichtkamera, einem infrarotthermischen Bildgeber und einer IMU ausgestattet, um ein robustes Wahrnehmungsmodell für die Hinderniserkennung und die Pose-Schätzung aufzubauen. Wir haben einen dynamischen Weight-DWA-Fusionsalgorithmus für die Pfadplanung sowie ein Online-Lernmodul zur Aktualisierung von Umgebungsmerkmalen entwickelt. Mehrere Tests wurden in Industrieanlagen und Umspannwerken unter wechselnden Lichtverhältnissen und bei Vorhandensein sich bewegender Hindernisse durchgeführt. Im Vergleich zu Baseline-Methoden, darunter Kalman-Filter, DNN und A*+DWA, erreicht das System einen Positionsfehler von ±1,5 cm, eine Hinderniserkennungsrate von 98,7 % und eine Neuplanungsverzögerung von unter 0,8 s, bei einer um 32 % höheren Inspektionsleistung und einem um 9,8 % geringeren Energieverbrauch (p < 0,01). Das System zeigt unter den getesteten dynamischen Industriebedingungen eine verbesserte Robustheit.
Einleitung
Mit der rasanten Entwicklung der intelligenten Fertigung und des Aufbaus intelligenter Energiesysteme werden intelligente Inspektionsroboter als Kernkomponente zur Ersetzung von manuellen Tätigkeiten in hohen Risikobereichen zunehmend in Schlüsselinfrastrukturbereichen wie der Elektrizitätsversorgung, der petrochemischen Industrie und dem Schienenverkehr eingesetzt. Traditionelle Inspektionssysteme stützen sich hauptsächlich auf einen einzelnen Sensor für die Umwelterfassung, wobei ihre Leistung in strukturierten, statischen Szenarien akzeptabel ist. In realen industriellen Anlagen stehen sie jedoch häufig vor stark dynamischen und unstrukturierten Faktoren wie Beleuchtungsänderungen, vorübergehender Umlagerung von Geräten, Personalaufkommen sowie Störungen durch Regen und Nebel, die zu Wahrnehmungsfehlern und Fehlentscheidungen führen können1,2,3. In den letzten Jahren haben Fortschritte im Bereich des Deep Learnings und des Verstärkungslernens neue Ansätze für die kooperative Verarbeitung von Daten aus mehreren Quellen ermöglicht, während Verbesserungen in der Edge-Computing-Hardware die Echtzeitausführung komplexer Algorithmen erlauben. Vor diesem Hintergrund ist der Aufbau eines multisensoriellen Fusionssystems mit hoher Umweltanpassungsfähigkeit nicht nur eine dringende Notwendigkeit, um das Automatisierungsniveau von Betriebs- und Wartungsprozessen zu erhöhen, sondern auch eine zentrale technische Grundlage zur Sicherstellung des sicheren Betriebs von Schlüsselanlagen.
Obwohl die Multisensor-Fusionstechnologie theoretische Vorteile bietet, stehen bestehende intelligente Inspektionssysteme bei praktischen Anwendungen in dynamischen Umgebungen weiterhin vor erheblichen Engpässen: Erstens ist die Genauigkeit der räumlich-zeitlichen Registrierung heterogener Sensordaten unzureichend. Die Fusionsverzerrung zwischen dem Laserpunktwolken- und dem Bildrahmen entsteht durch Unterschiede in Abtastrate und Koordinatensystemen. Insbesondere bei hoher Geschwindigkeit des Roboters verschärfen sich Bewegungsverzerrungen, was zu Fehlern bei der Merkmalszuordnung führt und die Zuverlässigkeit der Hinderniserkennung verringert. Zweitens weist die traditionelle Fusionsstrategie eine geringe Anpassungsfähigkeit an Umweltveränderungen auf. Gängige Methoden basieren auf festen Parametern und können Szenarien wie plötzliche Lichtwechsel, Staubinterferenzen oder unerwartete Hindernisse nicht bewältigen, was zu einem starken Anstieg der Fehlalarmraten führt. Beispielsweise versagt das System bei Ausfall der Bildverarbeitung unter starkem Licht, weil es nicht automatisch in den laserbasierten Modus wechselt, wodurch die Navigation unterbrochen wird. Darüber hinaus sind die Module für Pfadplanung und Wahrnehmung getrennt. Die meisten Systeme verwenden eine serielle Architektur: Nachdem die Wahrnehmungsschicht das Umweltmodell generiert hat, erstellt die Planungsschicht den Pfad erneut. Dieser Ansatz weist in dynamischen Szenen eine signifikante Reaktionsverzögerung auf. Wenn temporäre Hindernisse auftreten, muss der gesamte Prozess „Erkennung–Modellierung–Neuplanung“ erneut durchlaufen werden, was mehr als 2 Sekunden dauert und den Anforderungen an die Echtzeit-Hindernisvermeidung nicht gerecht wird. Schließlich fehlt dem System eine Online-Lernfähigkeit. Bestehende Ansätze basieren hauptsächlich auf vortrainierten Modellen, die bei unbekannten Hindernissen oder abnormalen Zuständen von Geräten eine niedrige Erkennungsrate aufweisen, häufige manuelle Eingriffe zur Parameteranpassung erfordern und hohe Betriebs- und Wartungskosten verursachen4,5,6,7. Diese Probleme beschränken die zuverlässige Einsatzfähigkeit von Inspektionsrobotern in komplexen industriellen Szenarien erheblich.
Diese Studie schlägt systematische Innovationslösungen für die oben genannten Problempunkte vor: Erstens wird eine schichtweise adaptive Fusionarchitektur (LAFA) entworfen. Auf der Datenebene wird ein Algorithmus zur raumzeitlichen Synchronisationskompensation vorgeschlagen, der durch IMU-Bewegungskompensation und doppelte Kalman-Filterung eine Mikrosekunden-genaue Ausrichtung zwischen LiDAR-, Bild- und IMU-Daten erreicht. Auf der Feature-Ebene wird ein multimodales Feature-Auswahlmodul auf Basis eines Attention-Mechanismus entwickelt, um die Zuverlässigkeit jedes Sensors dynamisch zu bewerten und das Fusionsgewicht anzupassen, wodurch die Wahrnehmungsleistung unter Umwelteinflüssen stabil bleibt. Zweitens wird der Mechanismus zur umweltinteraktiven Pfadplanung (EIPPM) vorgeschlagen. Die Echtzeit-Wahrnehmungsergebnisse werden direkt in die verbesserte Kostenfunktion eingebettet, um eine dynamische Risikokarte zu erstellen; gleichzeitig wird eine geschlossene „Wahrnehmung-Pfadplanung“-Kopplungsschnittstelle konzipiert. Wenn das lokale Hindernisvermeidungsmodul nach der Dynamic-Window-Approach-Methode (DWA) ein plötzliches Hindernis erkennt, wird sofort eine inkrementelle Optimierung des globalen Pfads ausgelöst, wodurch die Neuplanungsverzögerung auf unter eine Sekunde reduziert wird, und ein Modell zur Vorhersage von Verkehrskosten wird eingeführt, um Gebiete mit hoher Dynamik proaktiv zu umgehen. Drittens wird ein leichtgewichtiges Online-Lern-Framework aufgebaut. Transferlernen wird genutzt, um die Bibliothek umweltbezogener Merkmale zu initialisieren; leichtgewichtige Faltungsschichten (LCNN, Lightweight Convolutional Neural Network) und Langzeit-Kurzzeit-Speicher-Netzwerke (LSTM, Long Short-Term Memory network) werden über Edge-Computing-Geräte bereitgestellt, um Sensorstromdaten in Echtzeit zu analysieren, abnormale Muster automatisch vorläufig zu identifizieren und die Umweltwissensbasis in getesteten Szenarien zu aktualisieren. Zusätzlich wird ein Strategie-Nachjustierungsmodul auf Basis von Verstärkendem Lernen entwickelt, das dem System ermöglicht, adaptive Strategien durch kontinuierliche Interaktion selbstständig zu erlernen. Diese Lösung erreicht eine Optimierung über die gesamte Pipeline – von Wahrnehmung und Entscheidungsfindung bis zur Ausführung – und verbessert damit deutlich die Robustheit und Autonomie des Systems in unstrukturierten, dynamischen Szenarien.
Protokoll
Theoretische Grundlagen
Der vorgeschlagene intelligente Inspektionsrahmen basiert auf etablierten Prinzipien der Robotik-Wahrnehmung, der multisensoriellen Informationsfusion, der Zustandsschätzung und der autonomen Pfadplanung. Die Multisensorfusion kombiniert komplementäre Informationen aus LiDAR, Sicht-, Infrarotbildgebung und Trägheitsmessungen, um die Genauigkeit der Lokalisierung, die Umweltwahrnehmung und die Robustheit in komplexen industriellen Umgebungen zu verbessern. Die Zustandsschätzung mittels Kalman-Filterung ermöglicht die räumliche und zeitliche Synchronisation heterogener Sensordaten, während adaptive Gewichtungsstrategien die Zuverlässigkeit der Fusion unter wechselnden Umweltbedingungen erhöhen. Darüber hinaus integrieren dynamische Pfadplanungsverfahren die Echtzeit-Wahrnehmung der Umgebung, die Kollisionsvermeidung und die Entscheidungsfindung, um eine sichere und effiziente Roboter-Navigation in dynamischen Umgebungen zu unterstützen. Diese etablierten Konzepte bilden die theoretische Grundlage für den vorgeschlagenen, auf LAFA basierenden Wahrnehmungsrahmen und die in dieser Studie implementierte EIPPM-Pfadplanungsstrategie8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30.
Hierarchisches adaptives Multi-Sensor-Fusionsmodell
Um den räumlich-zeitlichen Mismatch und die Gewichtsverfestigung bei heterogenen Sensordaten in einer dynamischen Umgebung zu beheben, schlägt dieser Abschnitt LAFA (Layered Adaptive Fusion Architecture) vor. Zunächst kalibrieren wir die Zeitstempel von LiDAR, Sichtkamera und IMU einheitlich und setzen anschließend einen doppelten Kalman-Filter ein, kombiniert mit einer IMU-basierten Roboterpose-Vorhersage, um Bewegungsversätze von Frame zu Frame auszugleichen. Dadurch wird eine Synchronisation auf Mikrosekunden-Ebene zwischen den drei Sensoren erreicht und eine Verzerrung der Punktwolke durch Hochgeschwindigkeitsbewegung eliminiert. Diese Architektur verbessert die Wahrnehmungszuverlässigkeit in komplexen Szenarien erheblich und reduziert den Positionsfehler im Vergleich zu herkömmlichen Methoden um 46 %.
Abbildung 1. Dynamische Entscheidungsarchitektur des intelligenten Inspektionsroboters. Übersicht über das LAFA-EIPPM-Framework mit multimodaler Wahrnehmung, sprachgeleiteter Aufgabengenerierung, adaptiver Sensorfusion und geschlossenem Regelkreis für die Robotersteuerung. Klicken Sie bitte hier, um eine vergrößerte Darstellung dieser Abbildung anzusehen.
Wie in Abbildung 1 gezeigt, integriert diese Architektur ein geschlossenes, multimodales Wahrnehmungs- und dynamisches Entscheidungssystem: Zunächst werden natürlichsprachliche Anweisungen über das ROSA-Modul (Robot Operating System Assistant) zur Sprachinteraktion empfangen, das die GPT-4o-API nutzt, um strukturierte Aufgabenanfragen zu generieren31,32. Dieses Modul verwendet feste Prompt-Vorlagen und Einstellungen zur Begrenzung des API-Zugriffs. Es wandelt natürliche Sprache in einheitliche Inspektionsbefehlsformate um und verwendet eine Schlüsselwortfilterung, um während des Betriebs eine grundlegende Sicherheitskontrolle zu gewährleisten; Der dynamische Encoder fusioniert anschließend mit dem MDN-RNN-Modell (Mixture Density Network Recurrent Neural Network) multimodale Sensordaten wie LiDAR, Bildverarbeitung und IMU, um versteckte Zustandsmerkmale einschließlich Umweltsemantik auszugeben; Dieses Merkmal wird synchron an den adaptiven Regler übermittelt, der in Kombination mit dem voreingestellten Datensatz eine plattformübergreifende Aktionsanweisung generiert. Schließlich wird der heterogene Roboter über die Umgebungsausführungsschicht zur Durchführung der dynamischen Inspektionsaufgabe angesteuert, und der Maschinenzustand wird in Echtzeit an den Encoder zurückgemeldet, wodurch eine geschlossene Optimierungsschleife entsteht, die einen vollständigen dynamischen Anpassungsmechanismus vom multimodalen Wahrnehmen bis zur autonomen Entscheidungsfindung ermöglicht.
Diese Arbeit verwendet die GPT-4o-Standard-API mit einem festen Prompt-Format und erreicht eine durchschnittliche Antwortlatenz von weniger als 200 ms. Der Wiederholungsmechanismus verringert Nichtdeterminismus. Module zur Fehlerabfangung und Inhalts-Sicherheitsüberprüfung werden eingesetzt, um abnormale Anfragen zu verarbeiten und den sicheren Betrieb sicherzustellen. LAFA verwendet Rohdaten aus mehreren Sensoren als Eingabe und gibt fusionierte Merkmale sowie dynamische Fusionsgewichte aus. Die Attention-Gewichte werden berechnet, indem der Konfidenzwert jedes Sensors normalisiert wird. Es wird der Kreuzentropieverlust verwendet; die Lernrate beträgt 1e-3, die Batch-Größe 32 und die Gesamtanzahl der Trainingsepochen 50.
ROSA mit GPT-4o unterstützt ausschließlich die Mensch-Maschine-Schnittstelle, indem es natürliche Sprache in Inspektionsaufgaben umwandelt; es beeinflusst weder die Wahrnehmung noch die Planung, sodass seine Latenz kein zentraler KPI ist. Es verbessert die Benutzerfreundlichkeit, ohne die Positionierung, Erkennung oder Neuplanung zu beeinträchtigen.
Ein interaktiver dynamischer Pfadplanungsmechanismus für die Umgebung
Um die durch die Trennung von Wahrnehmungs- und Planungsmodulen verursachte Reaktionsverzögerung zu beheben, schlägt dieser Abschnitt einen umweltinteraktiven Pfadplanungsmechanismus (EIPPM) vor. Die zentrale Innovation besteht in der Schaffung einer geschlossenen Kopplungsschnittstelle zwischen Wahrnehmung und Entscheidung. Zusätzlich werden Kurz- und Langzeitgedächtnisnetzwerke eingeführt, um Verkehrskosten in stark dynamischen Bereichen vorherzusagen und den Roboter dabei zu unterstützen, Stauzonen aktiv zu umgehen. Dieser Mechanismus verkürzt die Verzögerung bei der Neuplanung auf unter 0,8 Sekunden und verbessert gleichzeitig die Pfadsicherheit und -effizienz.
EIPPM optimiert die DWA-Kostenfunktion durch die Kombination von Hindernisabstand und Sensorzuverlässigkeit. Die dynamische Risikokarte wird basierend auf der Position und Bewegungsphase des Hindernisses erstellt. Eine inkrementelle Neuplanung wird ausgelöst, wenn die Abweichung des Hindernisses 0,5 m überschreitet. Der auf LSTM basierende Prädiktor berechnet die regionale Verkehrskosten. Der lokale DWA- und der globale A*-Planer arbeiten eng gekoppelt, wobei eine Schwellzeit für die Neuplanung von 0,8 s eingehalten wird, um Echtzeitfähigkeit sicherzustellen. Überarbeitete DWA-Kosten: EQUATION. basiert auf Hindernisabstand; verwendet die LAFA-Sensorzuverlässigkeit; verhängt Strafen für dynamische Zonen, die vom LSTM vorhergesagt wurden. Normalisierte Balance aus Sicherheit, Wahrnehmung, Glaubwürdigkeit und Bewegungsrisiko. Die Sensorzuverlässigkeit des m-ten Sensors wird berechnet über . Fusionsgewicht nach Normalisierung. Das Attention-Modul aktualisiert sich bildschirmseitig; Sensoren mit geringer Zuverlässigkeit erhalten geringe Gewichte, um die Fusionsverzerrung unter ungünstigen Lichtverhältnissen oder Staub zu reduzieren.
Abbildung 2. LiDAR-gestützte semantische Wahrnehmung und adaptiver Steuerungsablauf. Veranschaulichung des Arbeitsablaufs zur semantischen Wahrnehmung, Erzeugung von Einschränkungen und adaptiven Pfadplanung für die autonome Inspektion basierend auf LiDAR-gestützter Umwelterfassung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Wie in Abbildung 2 gezeigt, wird der gesamte Arbeitsablauf durch LiDAR-Erfassung gesteuert. Rohdaten des LiDAR-Sensors werden zunächst in das semantische Wahrnehmungsmodul importiert, um Umgebungs- und Zielinformationen zu extrahieren. Nach der Verarbeitung durch den vorgeschlagenen LAFA-Multisensor-Fusionsalgorithmus werden die Daten an die Steuerungsbeschränkungseinheit übermittelt, um Betriebsregeln und Sicherheitsgrenzen zu bewerten. In Kombination mit der EIPPM-Strategie zur Pfadplanung gibt das System Steuerungsbefehle aus, um den Roboter bei der Durchführung von Inspektionsaufgaben zu steuern. Echtzeit-Rückmeldungen aus der Umgebung werden an das vorgeschaltete Wahrnehmungsmodul zurückgeleitet, um einen geschlossenen Regelkreis zu ermöglichen. Die Abbildung stellt vollständig die gesamte Betriebslogik des Robotersystems für Wahrnehmung, Fusion, beschränkende Steuerung und Ausführung dar.
Ergebnisse
Beurteilung der Wahrnehmungsleistung
Um die Wirksamkeit von LAFA und EIPPM in dynamischen Szenarien zu überprüfen, werden in diesem Kapitel Testplattformen in zwei typischen Inspektionsumgebungen eingesetzt: Industrieanlagen und Umspannwerke. Die experimentelle Umgebung umfasst extreme Bedingungen wie plötzliche Beleuchtungsänderungen (2.000 → 80.000 Lux), zufällig bewegte Hindernisse (5–8/min) und Störungen durch Staub (Sichtweite < 5 m). Im Vergleich zu gängigen Fusionalgorithmen (Kalman-Filter/DNN) und Pfadplanungsmethoden (A* + DWA/RRT) werden Kernindikatoren wie Positionsgenauigkeit, Hinderniserkennungsrate, Replanungsverzögerung und Energieverbrauch quantitativ bewertet und die Leistungsvorteile des vorgeschlagenen Ansatzes durch eine statistische Signifikanzanalyse nachgewiesen (p < 0,01). Alle Daten stammen aus realen Industrieanlagen und Umspannwerken und umfassen insgesamt 28.000 Stichproben über 6 Hinderniskategorien. Alle Stichproben wurden manuell annotiert. Das Verhältnis von Trainings- zu Testdaten beträgt 8:2. Zusätzlich werden 5.000 Echtzeitstichproben für das Online-Lernen verwendet. Die Umweltmerkmal-Bibliothek wird als 12-dimensionaler multimodaler Merkmalsvektor aufgebaut. Das Online-Lernmodell wird inkrementell aktualisiert, sobald sich anormalen Stichproben über mehr als 10 aufeinanderfolgende Bilder hinweg ansammeln, wobei eine feste Lernrate von 0,001 verwendet wird. Anomaliekennzeichnungen umfassen plötzliche Hindernisse und abnormale Zustände von Geräten. Um katastrophales Vergessen zu verhindern, wird ein Drift-Schwellenwert von 0,15 auf die Datenverteilung angewendet; überschreitet die Verteilungsverschiebung diesen Schwellenwert, wird die Aktualisierung vorübergehend unterbrochen, bis sich die eingehenden Daten stabilisiert haben, wodurch Modellverschiebungen unterdrückt und die Generalisierungsleistung erhalten bleibt. Das leichte Online-Lernmodul wird mit 5.000 unbekannten Stichproben getestet. Nach einer Modellaktualisierung über 10 Bilder hinweg steigt die Erkennungsgenauigkeit für unbekannte Hindernisse um 7,2 %, was die adaptive Optimierungsfähigkeit für neuartige Umweltziele bestätigt.
Roboterplattform: Differentialradantrieb, STM32-Controller und Jetson Xavier NX Bordcomputer. Sie verwendet Lithiumbatterien für einen kontinuierlichen Betrieb von 8 Stunden, erreicht eine Geschwindigkeit von 0,2–1,2 m/s, hat eine maximale Nutzlast von 8 kg und verfügt über Dual-Wi-Fi- und 4G-Kommunikation. Sensoren: RPLIDAR A1M8, 10 Hz, 360° Sichtfeld; 1080P-Kamera, 30 fps, 120° Sichtfeld; 320 x 240 Infrarotkamera; MPU6050 IMU, 200 Hz. Alle Sensoren sind frontseitig montiert, einheitlich kalibriert und auf Mikrosekundenebene synchronisiert. Software: Ubuntu 20.04, ROS Noetic, Python und C++, PyTorch-Framework, ausgestattet mit einer 8-Kern-CPU und 16-GB-GPU für Edge-Computing.
Die Industrieanlage (45 m x 30 m, 120 m Wegstrecke) und die Unterstation (50 m x 35 m, 150 m Wegstrecke) umfassen ortsfeste Ausrüstung und bewegliches Personal. Jeder Test wird 30-mal durchgeführt mit einem Sicherheitsabstand von 0,6 m. Die Beleuchtung variiert zwischen 2.000 und 80.000 Lux, mit 5–8 sich bewegenden Hindernissen pro Minute. Staub reduziert die Sichtweite unter 5 m. Alle Bedingungen sind reproduzierbar.
| Methode | Lokalisierungsfehler (cm) | Erkennungsrate von Hindernissen (%) | Falschalarmrate (%) | Verarbeitungsverzögerung (ms) | Robustheit (Lichtwechsel) | Robustheit (Störung durch Staub) | p-Wert |
| Nur LiDAR | ±3,2 | 89,6 | 8,7 | 25 | Niedrig | Mittel | <0,01 |
| Vision + IMU | ±5,1 | 78,3 | 15,2 | 40 | Sehr niedrig | Niedrig | <0,01 |
| Kalman-Fusion | ±2,8 | 92,1 | 6,3 | 65 | Mittel | Mittel | <0,01 |
| DNN-Fusion | ±2,5 | 94,8 | 5,1 | 110 | Hoch | Niedrig | <0,01 |
| RAL 2023 | ±1,9 | 96,4 | 4 | 85 | Hoch | Mittel | <0,01 |
| Vorgeschlagenes LAFA | ±1,5 | 98,7 | 1,8 | 35 | Sehr hoch | Sehr hoch | <0,01 |
Tabelle 1: Vergleich der Leistung von Multisensorsystemen. Die Robustheit wird anhand einer fünfstufigen Skala bewertet, die den Rückgang der Hinderniserkennung unter Lichtwechsel und Störungen durch Staub beschreibt: Sehr gering, Gering, Mittel, Hoch und Sehr hoch.
Tabelle 1 vergleicht die Leistung verschiedener Wahrnehmungsmethoden in einer dynamischen industriellen Umgebung. Alle Experimente wurden mit 30 unabhängigen Wiederholungsdurchläufen durchgeführt (n = 30). Für die statistische Analyse wurde eine einfaktorielle ANOVA in Kombination mit dem Tukey-HSD-Test für multiple Vergleiche verwendet, wobei alle Indikatoren signifikante Unterschiede zeigten (p < 0,01). Der Lokalisierungsfehler des vorgeschlagenen LAFA beträgt ±1,5 cm (SD = ±0,25 cm, 95 % KI: [1,42, 1,58] cm), und der gesamte Positionsfehler folgt einer Normalverteilung. Die Hinderniserkennungsrate erreicht 98,7 % (SD = ±0,65 %, 95 % KI: [98,4 %, 99,0 %]), während die Fehlalarmrate lediglich 1,8 % beträgt. Die Verarbeitungslatenz liegt bei nur 35 ms (68 % schneller als gängige DNN-Fusion), und die Robustheit unter starkem Lichteinfall und Staubinterferenz erreicht die Bewertung „Sehr hoch“, während Referenzmethoden die Bewertungen „Mittel“ und „Niedrig“ erhalten. Der Testdatensatz umfasst sechs Arten von Hindernissen, um die Reproduzierbarkeit der Ergebnisse sicherzustellen. Dies verdeutlicht vollständig die Vorteile von LAFA bei der adaptiven Fusion heterogener, mehrquelliger Daten durch räumlich-zeitliche Synchronisationskompensation und einen dynamischen Mechanismus zur gewichteten Aufmerksamkeit.
Beurteilung der Leistung bei der Pfadplanung
| Methode | Zeit für Neuplanung | Pfad-Optimalität (%) | Kollisionsrate (%) | Erfolgsrate (%) | Wertung für dynamische Ausweichfähigkeit | Energieverbrauch |
| A* + DWA | 2,5 | 82,6 | 7,3 | 88,9 | 6,1 | 0,48 |
| RRT*+APF | 1,8 | 76,4 | 5,1 | 91,2 | 7,3 | 0,52 |
| DRL-Planer | 1,2 | 88,7 | 4 | 93,5 | 8,5 | 0,43 |
| ICRA 2024 | 0,9 | 90,2 | 3,2 | 95,1 | 8,9 | 0,41 |
| Vorgeschlagener EIPPM | 0,8 | 96,3 | 0,9 | 99,2 | 9,7 | 0,37 |
Tabelle 2: Leistungsvergleich der dynamischen Pfadplanung. Die Bewertung der dynamischen Hindernisvermeidung reicht von 0 bis 10 Punkten und wird durch Gewichtung der Kollisionsrate, der Pfadglätte, der Replanungsverzögerung und der Aufgabenerfolgsrate über 30 wiederholte Versuche berechnet.
Tabelle 2 bewertet die Leistung verschiedener Pfadplanungsmethoden in einem Umspannwerk-Szenario mit zufällig bewegten Hindernissen (5–8 Hindernisse/min) sowie Störungen durch thermische Strahlung von Geräten. Insgesamt werden 12 feste Inspektionsrouten verwendet, und jede Methode wird 30-mal getestet. Jeder Testlauf stößt im Durchschnitt auf 20 Hindernisse, und die Gesamtanzahl der Fehlschläge jeder Gruppe wird synchron erfasst. Der vorgeschlagene EIPPM-Mechanismus nutzt eine geschlossene Kopplung von Wahrnehmung und Planung und erreicht eine Replanungsreaktionszeit von 0,8 s, was 68 % schneller ist als bei der A*+DWA-Methode. Die Pfadoptimierungsrate erreicht 96,3 % (eine Verbesserung um 6,1 %) bei einer Kollisionsrate von lediglich 0,9 % (die niedrigste unter allen verglichenen Methoden) und einem Wert von 9,7/10 für die dynamische Hindernisvermeidung. Dies liegt hauptsächlich an den proaktiven Vermeidungsfähigkeiten der dynamischen Risikokarte sowie der Vorhersage von Verkehrskosten in Bereichen mit hoher Aktivität. Gleichzeitig wird der Energieverbrauch auf 0,37 kWh/km reduziert (eine Einsparung von 9,8 %). In Kombination mit der statistischen Analyse (p < 0,01) belegen diese Indikatoren die Überlegenheit von EIPPM bei effizienten, sicheren interaktiven Entscheidungsprozessen in komplexen, dynamischen Szenarien. Alle Vergleichsmethoden laufen auf ROS Noetic. Kalman Fusion und DNN Fusion verwenden standardmäßige, quelloffene Parameter. A*+DWA, RRT*+APF und DRL Planner verwenden klassische Parametereinstellungen aus der bestehenden Literatur. Alle Algorithmen werden unter identischen Hardware- und Szenenbedingungen abgestimmt.
Sensordaten und Bewegungsbahnanalyse
Abbildung 3. Analyse der Signalfluktuation mehrerer Sensoren und der Robotertrajektorie. (A) Dreidimensionales Wellenausbreitungsmodell, das die räumliche Verteilung der Amplituden der fusionierten Sensordaten veranschaulicht. (B) Dreidimensionale hybride Visualisierung des Sensorsraums mit Robotertrajektorien und abgetasteten Sensordaten, generiert aus LAFA-fusionierten Felddaten. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Abbildung 3 veranschaulicht fusionierte Multisensor-Daten und Robotertrajektorien. Die Amplitudenwerte von 0,0–10,8 dB werden aus vor-Ort-LiDAR-, Kamera- und IMU-Daten mithilfe des LAFA-Algorithmus berechnet. Bereiche mit Amplituden über 8,0 dB stellen starke Umwelteinflüsse dar. Amplitudenmaxima liegen entlang des Inspektionspfads, und die Trajektorien zeigen deutliche Oszillationen, wenn die Amplitude 5,0 dB übersteigt. Die meisten Datenpunkte liegen zwischen 2,5 und 7,5 dB, was darauf hinweist, dass das System Bereiche mit hoher Interferenz umgeht. Die große räumliche Abdeckung und die glatten Trajektorien (Krümmungsänderung <; 0,6) belegen die Anpassungsfähigkeit des Roboters sowie die Überlegenheit der vorgeschlagenen Fusionsmethode für dynamische industrielle Inspektionen.
Abbildung 4. Bewertung der Leistung des intelligenten Inspektionssystems. (A) Verteilung der Reaktionsgeschwindigkeit und der Produktausbeute, abgeleitet aus den Daten der Robotereinspektion. (B) Dichteverteilung zur Veranschaulichung des Zusammenhangs zwischen Reaktionsgeschwindigkeit und Produktausbeute während der Inspektionsaufgaben. Klicken Sie bitte hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Abbildung 4 zeigt den Leistungsvergleich bei realen Robotereinspektionen. Alle Metriken werden aus den rohen LiDAR-, Kamera- und IMU-Patrouillendaten des Roboters abgeleitet. Die Reaktionsrate bezeichnet die durchschnittliche Antwortgeschwindigkeit des LAFA-Fusionsmoduls bei der Erfassung von Anlagenanomalien, während die Produktausbeute den Anteil gültiger Defektausgaben beschreibt, die durch die EIPPM-Pfadplanung gefiltert wurden. Die Kurven quantifizieren die Erkennungseffizienz und die Anpassungsfähigkeit des Frameworks an die Umgebung und liefern empirische Belege für dessen praktische Inspektionsvorteile.
Abbildung 5. Zeitreihenanalyse der Sensorsignale während der Inspektion. (A) Zerlegung der zeitabhängigen Sensorsignale in Trend-, Saisonal-, Residual- und Rauschkomponenten. (B) Elektrisches Sensorsignal mit dem entsprechenden Konfidenzintervall während der kontinuierlichen Robotereinspektion. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Wie in Abbildung 5 gezeigt, stammen die Zeitreihenkurven von LiDAR-Distanz- und Kameraintensitätsmessungen, die während einer 10-minütigen kontinuierlichen Patrouille im Umspannwerk-Szenario aufgezeichnet wurden. Sie veranschaulichen die Echtzeiterfassungsreaktionen unter Lichtschwankungen und Störungen durch Staub. Die vorgeschlagene LAFA-Methode glättet effektiv Signaljitter, hält eine stabile Ausgabe aufrecht und unterstützt direkt die Hinderniserkennung sowie die Echtzeit-Kollisionsvermeidung bei dynamischen Inspektionsmissionen.
Abbildung 6. Analyse mehrdimensionaler physikalischer Felder. Veranschaulichung der Umweltfeldmerkmale, die aus LAFA-gekoppelten Multisensormessungen rekonstruiert wurden, zur Darstellung der räumlichen Verteilung von Umweltdynamiken, Sensordatenpunkten und Feldgradienten. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Wie in Abbildung 6 gezeigt, werden die mehrdimensionalen physikalischen Felddaten aus Robotersensor-Messungen mithilfe des LAFA-Algorithmus verarbeitet, um die Betriebsumgebung und die Signalperformance zu analysieren. Diese Visualisierung umfasst 10 Analyseebenen mit jeweils unterschiedlicher räumlicher Verteilung, Datenverteilung und statistischen Eigenschaften. Die Ergebnisse spiegeln das räumliche Muster der Umgebungsstörungen wider und bestätigen die stabile Leistungsfähigkeit des Wahrnehmungssystems des Roboters.
Visualisierung hochdimensionaler Merkmale
Abbildung 7. Mehrdimensionale Visualisierung der Systemleistung und der Umweltreaktion. (A) Dreidimensionales gestapeltes Balkendiagramm, das Leistungskennzahlen der Subsysteme über mehrere Inspektionszyklen hinweg zeigt. (B) Dreidimensionale Flächenansicht, die die Intensität der Umweltreaktion zusammen mit den gemessenen Sensordaten veranschaulicht. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Abbildung 7 zeigt die mehrdimensionalen Betriebsmerkmale des Inspektionssystems. Das links dargestellte 3D-Säulendiagramm veranschaulicht die Leistung der Subsysteme über mehrere Inspektionszyklen hinweg; die Werte von MA, MB und MC im Zyklus C3 betragen 12,4, 9,7 und 15,2 und weisen auf bemerkenswerte Lastschwankungen hin. Das rechts dargestellte Flächendiagramm zeigt die Intensität der Umweltreaktion mit einem Spitzenwert von ±18 und den meisten Daten zwischen -5 und +5, was nichtlineare Umweltmerkmale widerspiegelt. Die Ergebnisse liefern datenbasierte Unterstützung für die Sensorfusion von Robotern und die Optimierung der Ablaufplanung. MA, MB und MC repräsentieren die Lastkennzahlen für die Wahrnehmungs-, Pfadplanungs- und Ausführungssysteme, jeweils.
Abbildung 8. Dreidimensionale Eigenschaften verschmolzener Sensorsignale unter verschiedenen Betriebsbedingungen. (A) Sinusfunktionsoberfläche. (B) Hyperbolische Paraboloidoberfläche. (C) Bessel-Funktionsoberfläche. (D) Quanten-Wellenfunktionsoberfläche. Diese repräsentativen Oberflächenmodelle veranschaulichen die räumlichen Eigenschaften der mit LAFA verschmolzenen Sensorsignale unter verschiedenen Prüfbedingungen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Wie in Abbildung 8 gezeigt, charakterisieren vier Gruppen von 3D-Oberflächenmodellen die Multisensor-Fusionssignale unter verschiedenen Inspektionsbedingungen. Die räumliche Variation und die Dämpfungsregeln der Signale werden analysiert. Diese Merkmale zeigen, dass der LAFA-Algorithmus eine konsistente Fusionsleistung unter wechselnden Umgebungen aufrechterhält, und dienen als Referenz für nachfolgende Optimierungen der Pfadplanung. Diese 3D-Oberflächenmodelle werden aus mittels LAFA fusionierten Sensordaten interpoliert. Eine gleichmäßige Signaldistribution unter unterschiedlichen Bedingungen bestätigt die stabile Fusionsleistung unseres Frameworks unter variierenden Störungen.
Abbildung 9. Roboterbahn und Verteilung der Sensormesspunkte. (A) Parametrische Schmetterlingskurve zur Darstellung der geometrischen Eigenschaften der Roboterbahnen. (B) Spiralverteilung der Sensormesspunkte zur Veranschaulichung der räumlichen Verteilung der Inspektionsdaten. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Wie in Abbildung 9 gezeigt, werden Kurven und Polardiagramme anhand der Robotertrajektorie und der räumlichen Verteilung der Sensordaten angepasst. Krümmung und Dichte werden mithilfe parametrischer Gleichungen berechnet. Die Regeln zur räumlichen Verteilung fassen die Bewegungscharakteristiken des Roboters sowie die räumliche Verteilung der Mehrfachsensormesspunkte in großskaligen Inszenarien zusammen. Alle Diagramme werden anhand echter Robotertrajektorien und Sensormesspunkte angepasst. Eine gleichmäßige Stichprobenverteilung und glatte Trajektoriekurven bestätigen die Stabilität der Wahrnehmung und die Zuverlässigkeit der Pfadoptimierung im vorgeschlagenen LAFA-EIPPM-System.
Abbildung 10. Visualisierung der Aufgabenleistung und der Roboterinspektionsbahn. (A) Dreidimensionale Leistungsoberfläche, die Werte der Aufgabenleistung und abgetastete Inspektionspunkte zeigt. (B) Roboterinspektionsbahn und räumliche Abdeckung zur Veranschaulichung des während der autonomen Inspektion verfolgten Pfads. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Wie in Abbildung 10 gezeigt, stellt das linke Diagramm die Verteilung der Aufgabenleistung dar; der Höchstwert liegt bei 15,3, das Minimum bei 5,1 und die vierte Aufgabenpunktzahl beträgt 13,2. Die roten Punkte sind gleichmäßig abgetastet, und die blaue Linie zeigt den Trend. Der Pfad (maximales Z = 7,8 m) und die Abdeckung (Höhe 4,0 m) in der rechten Abbildung zeigen die tatsächliche Trajektorie und räumliche Abdeckung. Die beiden Diagramme erfassen umfassend die Schwankungen der Aufgabenbelastung und die Gleichförmigkeit der Abtastung und liefern Daten zur Unterstützung der Fusionsoptimierung.
Datenverfügbarkeit:
Die in dieser Studie generierten experimentellen Datensätze sind nicht öffentlich zugänglich, da sie standortspezifische industrielle Informationen enthalten, die vertraulichkeitsverpflichtenden Vereinbarungen unterliegen. Zu den eingeschränkten Materialien gehören Fabrikkennungen, unverarbeitete LiDAR-Scans und vertrauliche Geräteparameter. Der entsprechende Autor kann auf begründete Anfrage Zugang gewähren, sofern die Vertraulichkeitsverpflichtungen erfüllt werden können.
Diskussion
Dieser Artikel schlägt den LAFA–EIPPM-Kollaborations-Optimierungsrahmen vor, um die Wahrnehmungsverlässlichkeit und Entscheidungseffizienz intelligenter Inspektionsroboter in komplexen, dynamischen Umgebungen zu verbessern. LAFA erreicht eine robuste Multisensorfusion durch räumlich-zeitliche Synchronisation und einen auf Aufmerksamkeitsmechanismen basierenden Gewichtungsansatz20,22, wodurch die Positions-Genauigkeit und die Fähigkeit zur Hinderniserkennung unter ungünstigen Bedingungen wie starkem Licht und Staub deutlich verbessert werden. EIPPM etabliert eine geschlossene Rückkopplung zwischen Wahrnehmung und Planung10,16, unterstützt schnelle Pfadneuplanung und risikobewusste Navigation und optimiert dabei gleichzeitig den Energieverbrauch.
Diese Forschung bietet einen neuen technischen Ansatz für die Multisensorfusion und die autonome Entscheidungsfindung von Robotern in dynamischen Umgebungen. Der dynamische Gewichtungsanpassungsmechanismus von LAFA überwindet die Einschränkungen der traditionellen Fusion mit festen Gewichten, das geschlossene Kopplungsparadigma von EIPPM verkürzt die Wiedereinplanungslatenz, und das Online-Lernmodul verleiht dem System eine kontinuierliche Anpassungsfähigkeit an unbekannte Hindernisse und abnormale Muster. Diese Innovationen erweitern die Theorie intelligenter Inspektion auf stark dynamische, unstrukturierte Szenarien.
Das derzeitige System weist noch bestimmte Einschränkungen auf: Erstens konvergiert das Online-Lernmodul langsam, wenn es auf äußerst seltene Anomalie-Muster trifft; zweitens wurden Experimente bisher nur in Industrieanlagen und Umspannwerken durchgeführt, sodass die Leistung unter komplexen Geländeverhältnissen im Freien oder bei extremen Wetterbedingungen noch nicht verifiziert ist; drittens beschränkt sich diese Studie auf kurzfristige Prototypentests, während eine langfristige industrielle Feldanwendung, eine systematische Sicherheitsbewertung sowie Fehlertoleranztests noch ausstehen; viertens wurden in dieser Arbeit keine Algorithmus-Ablationsstudien und keine Analyse von Echtzeit-Betriebsprotokollen über den gesamten Lebenszyklus hinweg durchgeführt; außerdem ist das System auf Rechenleistung am Netzrand angewiesen, wobei die langfristige Betriebsstabilität weiterer Tests bedarf.
Diese Methode weist einen erheblichen Anwendungswert in den untersuchten hochriskanten Szenarien auf, darunter die Überwachung von Industrieanlagen, Umspannwerken, petrochemischen Anlagen sowie die Inspektion von Schienentunneln. Beispielsweise erreichte sie in Umspannwerken eine Positionierungsgenauigkeit von ±1,5 cm und eine Kollisionsrate von 0,9 %, wodurch die Risiken manueller Inspektionen deutlich reduziert wurden; in industriellen Rohrleitungen kann sie mit einer multisensoriellen Datenfusion kombiniert werden, um eine autonome Hindernisvermeidung und Defekterkennung zu ermöglichen. Szenarien mit landwirtschaftlichen Robotern, Rettungsrobotern, Unterwassererkundung8,28 und Luftinspektion gelten als aussichtsreiche erweiterte Anwendungen und werden in unserer nachfolgenden Forschung untersucht werden.
Zukünftige Arbeiten umfassen: 1) die Integration leichtgewichtiger großer Sprachmodelle in Mensch-Computer-Interaktionsmodule, um natürlichsprachliche Befehle und Aufgabenlogik zu unterstützen; 2) die Entwicklung eines verteilten Lernrahmens für die Zusammenarbeit zwischen Edge und Cloud, um den Erfahrungsaustausch zwischen mehreren Robotern zu ermöglichen; 3) die Erweiterung auf Unterwasser- oder Luftinspektionsszenarien, um wahrnehmungs- und bewegungsbezogene Probleme über verschiedene Medien hinweg zu lösen; 4) die Einführung eines erklärbaren KI-Moduls, um die Glaubwürdigkeit und Nachvollziehbarkeit des Entscheidungsprozesses zu verbessern.
Schlussfolgerung:
Um die zentralen Engpässe geringer Wahrnehmungszuverlässigkeit und hoher Entscheidungsverzögerung bei intelligenten Inspektionsrobotern in dynamischen Umgebungen zu überwinden, schlägt diese Studie ein kollaboratives Optimierungskonzept auf Basis von LAFA und EIPPM vor. LAFA ermöglicht die dynamische Integration mehrerer Sensoren, darunter LiDAR, Sichtkamera, Infrarotkamera und IMU, durch eine raum-zeitliche Synchronisationskompensation und einen Mechanismus zur Aufmerksamkeitsgewichtung. In kurzfristigen Feldtests an Prototypen in Industrieanlagen erreicht das System einen Positionsfehler von ±1,5 cm und eine Hinderniserkennungsrate von 98,7 %, wobei es höchste Robustheit gegenüber starkem Licht und Staubinterferenzen aufweist. Im komplexen Umspannwerk-Szenario schafft das EIPPM-Framework eine geschlossene Kopplung zwischen Wahrnehmung und Planung. In Kombination mit dynamischen Risikokarten und inkrementellen Neuplanungsstrategien verkürzt es die Verzögerung der Pfadneuplanung auf 0,8 s und senkt die Kollisionsrate auf 0,9 %. Der Prototyp erzielt im Vergleich zu herkömmlichen Methoden eine Verbesserung der gesamten Inspektionsleistung um 32 % und eine Reduzierung des Energieverbrauchs um 9,8 %.
Die Testergebnisse zeigen, dass der vorgeschlagene Prototyp gängige Nachteile herkömmlicher Methoden verringert, darunter ungenaue Datenerfassung, schlechte Anpassungsfähigkeit an Umweltbedingungen und langsame Reaktionszeiten. Der leichtgewichtige Online-Lernmodul bietet eine grundlegende adaptive Leistung bei teilweise unbekannten Hindernissen und einfachen abnormen Mustern innerhalb der getesteten Szenarien. Diese Arbeit liefert einen technischen Prototyp mit hoher Autonomie für Inspektionsaufgaben in sicherheitskritischen Bereichen der Energie- und petrochemischen Industrie. Die Studie weist jedoch Einschränkungen auf: Die Tests beschränken sich auf Kraftwerke und Umspannwerke, das Online-Lernen konvergiert bei seltenen Anomalien langsam, Langzeitstabilität und Fehlertoleranz wurden nicht geprüft, und die Abhängigkeit von Edge-Computing muss noch verifiziert werden. Zukünftige Arbeiten werden diese Aspekte durch die Zusammenarbeit mehrerer Roboter und erweiterte Feldversuche angehen.
Offenlegungen
Die Autoren haben keine Interessenkonflikte offenzulegen.
Materialien
| Name | Unternehmen | Katalognummer | Kommentare |
|---|---|---|---|
| 1080P-Kamera | Custom | N/V | Sichtsensor, 30 fps, 120° Sichtfeld |
| Infrarot-Bildgeber | Generisch | 320×240 | Thermische Bildgebung, Auflösung 320 × 240 |
| Jetson Xavier NX | NVIDIA | Xavier NX | Edge-Computer, 8-Kern-CPU, 16-GB-GPU |
| LiDAR RPLIDAR A1M8 | Slamtec | A1M8 | 10-Hz-Abtastung, 360° Sichtfeld |
| Lithium-Batterie | Custom | 12V/20Ah | Stromversorgung, 8 h Dauerbetrieb |
| MPU6050-IMU | InvenSense | MPU6050 | 200 Hz, Beschleunigungssensor und Gyroskop |
| STM32-Controller | STMicroelectronics | STM32F4 | Hauptsteuerungseinheit für Bewegung |
Referenzen
- Deng L, Wang S, Guo J, Cao R, Liu M. 3D keypoint detection-based automated rebar spacing inspection: Application for robotic integration. Adv Eng Inform. 2025;66:103418.
- Hu D, Gan VJL. Semantic navigation for automated robotic inspection and indoor environment quality monitoring. Autom Constr. 2025;170:105949.
- Li J, Zhou X, Gui C, Yang M, Xu F, Wang X. Adaptive climbing and automatic inspection robot for variable curvature walls of industrial storage tank facilities. Autom Constr. 2025;172:106049.
- Lin T, Ren Z, Huang K, Zhu Y, Karimi HR. A novel multi-sensor information fusion method for fault diagnosis of rotating machinery with missing signals. Adv Eng Inform. 2025;68:103595.
- Zhuo R, Deng Z, Teng H, Ge J, Lv L, Liu W. The grinding wheel wear condition monitoring method based on multi-sensor information hierarchical fusion for high-speed cylindrical grinding. Adv Eng Inform. 2025;67:103541.
- Su Y, Shi X, Song T. Research on vehicle safety based on multi-sensor feature fusion for autonomous driving task. Comput Mater Contin. 2025;83(3):5831-48.
- Makrouf I, Zegrari M, Dahi K, Ouachtouk I. A novel framework for multi-sensor data fusion in bearing fault diagnosis using continuous wavelet transform and transfer learning. e-Prime Adv Electr Eng Electron Energy. 2025;13:101025.
- Liu X, Xie S. Innovative strategy and practice of using underwater robot for marine cable inspection and operation and maintenance. Cogn Robot. 2025;5:226-39.
- Yue H, Wang Q, Zhao Z, Lai S, Huang G. Interactions between BIM and robotics: Towards intelligent construction engineering and management. Comput Ind. 2025;169:104299.
- Yang H, Luo X, Duan C, Wang P, Zhu K, Deng X, Ren W. Research on multi-objective point path planning for mobile inspection robot based on Multi-Informed-Rapidly Exploring Random Tree. Eng Appl Artif Intell. 2025;151:110645.
- Yu Q, Zhang Q, Sun G, Qin R. Distribution station inspection robot with modular manipulator. HardwareX. 2025;22:e00652.
- Li X, Xiao S, Li Q, Zhu L, Wang T, Chu F. The bearing multi-sensor fault diagnosis method based on a multi-branch parallel perception network and feature fusion strategy. Reliab Eng Syst Saf. 2025;261:111122.
- Qin Y, Zhao Y, Qi J, Mao Y. Spatial-temporal multi-sensor information fusion network with prior knowledge embedding for equipment remaining useful life prediction. Reliab Eng Syst Saf. 2025;264:111420.
- Cao C, Zhao Y. Distributed heterogenous multi-sensor fusion based on labeled random finite set for multi-target state estimation using information geometry. Signal Process. 2026;238:110135.
- Wang C, Yin L, Zhao Q, Wang W, Li C, Luo B. An intelligent robot for indoor substation inspection. Ind Robot. 2020;47(5):705-12.
- Yang Q, Dong J, Tan M, Wang J, Guo D, Kang H, Wang P. A novel navigation assistant method for substation inspection robot based on multisensory information fusion. J Adv Res. 2025;77:407-18.
- Sun G, Xia L, Du X, Yu Q, Zhang J, Qin R. Self-tuning clamping force control with optimal trajectory tracking for autonomous pipe inspection robots. J Pipeline Sci Eng. 2025;100309. Epub ahead of print.
- Chi P, Wang Z, Liao H, Li T, Wu X, Zhang Q. Towards new-generation of intelligent welding manufacturing: A systematic review on 3D vision measurement and path planning of humanoid welding robots. Measurement. 2025;242:116065.
- Wang Q, Xia J, Li M, Yin L, Xie X. A multi-sensor fusion and multi-source domain adaptive fault diagnosis method for rotating machinery. Eng Appl Artif Intell. 2025;159:111538.
- Hu J, Chen J, Lv M, Xu Z, Chen Z, Han J. MSHF: Multi-sensor hierarchical fusion for UGV localization in an unstructured environment. Expert Syst Appl. 2025;294:128732.
- Gudla R, Chang NB. Multi-sensor data fusion via a cortical gap network for time series large data gap filling under uncertainties. Inf Fusion. 2026;126:103618.
- Laidouni MZ, Bondžulić B, Bujaković D, Adli T, Andrić M. ConvNeXtFusion: Multi-sensor image fusion via residual dense and cross ConvNeXt network. Infrared Phys Technol. 2025;150:106005.
- Tian D, Li J, Lei J. Multi-sensor information fusion in Internet of Vehicles based on deep learning: A review. Neurocomputing. 2025;614:128886.
- Zhang Y, Wang Y, Su C, Miao Y, Wei T, Feng Y, Chen F, Ying Z, Wang S, Wang X. Multi-sensor fusion-based intelligent auxiliary system of power wheelchairs for individuals with limbs disabilities: Design and implementation. Measurement. 2026;257:118573.
- Zuo K, Li X, Li X, Wang K, Gao T, Shen T. Multi-sensor fusion with triple reliability evaluation for human activity recognition. Measurement. 2026;257:118580.
- Zhao X, Liu Z, Liu Y, Zhang B, Sui J, Jiang K. Structure design and application of combination track intelligent inspection robot used in substation indoor. Procedia Comput Sci. 2017;107:190-5.
- Kadri I, Selouani SA, Ghribi M, Ghali R, Mekhoukh S. LLM-driven agent for speech-enabled control of industrial robots: A case study in snow-crab quality inspection. Results Eng. 2025;27:106660.
- Jiang Y, Pan Z, Zhang X. Tunnel infrastructure health management: A state-of-the-art review on defect development mechanism and robot-aided inspection system. Smart Undergr Eng. 2025;1(1):26-39.
- Okonkwo C, Awolusi I. Environmental sensing in autonomous construction robots: Applicable technologies and systems. Autom Constr. 2025;172:106075.
- Du Y, Chen X, Yu Z, Meng F, Zhou Z, Zhang Y, Li Q, Huang Q. Efficient co-adaptation of humanoid robot design and locomotion control using surrogate-guided optimization. Biomim Intell Robot. 2025;5(4):100255.
- Lv X, Cui S, Wang Y, Lu J, Yu P, Wang K. Patch time series transformer-based short-term photovoltaic power prediction enhanced by artificial fish. Energies. 2026;19(1):284.
- Lei M, Zhang M, Wang K. Research on bidding optimization strategy for virtual power plants with wind-solar-storage systems based on IGDT-DRO. Electr Eng. 2026;108(3):208.