Ce travail présente un cadre DWA adaptatif à multi-capteurs (LiDAR, caméra, IR, IMU) avec apprentissage en ligne destiné aux robots d'inspection. Des tests industriels répétés démontrent une précision de positionnement de ±1,5 cm, une reconnaissance des obstacles de 98,7 %, une amélioration d'efficacité de 32 % et une réduction énergétique de 9,8 % par rapport aux méthodes conventionnelles.
Article de recherche
Recherche sur l'optimisation et l'adaptation à l'environnement dynamique d'un système d'inspection par robot intelligent basé sur la fusion multicapteurs
Dans cet article
Résumé
Résumé
Cet article propose un cadre d'optimisation fondé sur la fusion profonde multi-capteurs et la prise de décision adaptative pour des robots d'inspection intelligents, afin de remédier à la fiabilité limitée de la perception, à l'efficacité réduite de la planification de trajectoire et à la faible adaptabilité à l'environnement dans des scénarios dynamiques. La plateforme robotique est équipée d'un LiDAR, d'une caméra visuelle, d'un imageur thermique infrarouge et d'une unité de mesure inertielle (IMU) afin de construire un modèle de perception robuste pour la reconnaissance d'obstacles et l'estimation de la pose. Nous avons conçu un algorithme de fusion dynamique DWA à poids variables pour la planification de trajectoire ainsi qu'un module d'apprentissage en ligne permettant de mettre à jour les caractéristiques environnementales. Plusieurs tests ont été menés dans des installations industrielles et des sous-stations, sous différentes conditions d'éclairage et en présence d'obstacles mobiles. Par rapport aux méthodes de référence, notamment le filtre de Kalman, les réseaux de neurones profonds (DNN) et A*+DWA, le système atteint une erreur de positionnement de ±1,5 cm, un taux de reconnaissance des obstacles de 98,7 % et un délai de replanification inférieur à 0,8 s, avec une efficacité d'inspection supérieure de 32 % et une consommation énergétique réduite de 9,8 % (p < 0,01). Le système offre une robustesse accrue dans les conditions industrielles dynamiques testées.
Introduction
Avec le développement rapide de la fabrication intelligente et de la construction d'énergies intelligentes, les robots d'inspection intelligents, en tant qu'équipements essentiels permettant de remplacer les opérations manuelles à haut risque, sont largement utilisés dans des secteurs d'infrastructure clés tels que l'énergie électrique, la pétrochimie et les transports ferroviaires. Les systèmes d'inspection traditionnels s'appuient principalement sur un capteur unique pour la perception de l'environnement, et leurs performances dans des scènes structurées et statiques sont acceptables. Toutefois, sur les sites industriels réels, ils sont souvent confrontés à des facteurs fortement dynamiques et non structurés, tels que les variations d'éclairage, le déplacement temporaire d'équipements, les flux de personnel et les interférences dues à la pluie ou au brouillard, ce qui peut entraîner des défaillances de perception et des erreurs de prise de décision1,2,3. Ces dernières années, les progrès réalisés dans les domaines de l'apprentissage profond et de l'apprentissage par renforcement ont permis de nouvelles approches pour le traitement collaboratif de données provenant de multiples sources, tandis que les améliorations apportées au matériel informatique en périphérie ont rendu possible l'exécution en temps réel d'algorithmes complexes. Dans ce contexte, la conception d'un système d'inspection basé sur la fusion de plusieurs capteurs et doté d'une forte adaptabilité environnementale constitue non seulement une nécessité urgente pour améliorer le niveau d'automatisation des opérations et de la maintenance, mais aussi un soutien technique fondamental pour garantir le fonctionnement sécurisé des installations essentielles.
Bien que la technologie de fusion multisenseur présente des avantages théoriques, les systèmes d'inspection intelligents existants font toujours face à des goulots d'étranglement importants dans les applications pratiques en environnement dynamique : Premièrement, la précision de l'enregistrement spatiotemporel des données provenant de capteurs hétérogènes est insuffisante. La distorsion de fusion entre le nuage de points laser et la trame d'image est causée par des différences de fréquence d'échantillonnage et de systèmes de coordonnées. En particulier, lorsque le robot se déplace à grande vitesse, la distorsion de mouvement aggrave les erreurs d'appariement de caractéristiques et réduit la fiabilité de la détection d'obstacles. Deuxièmement, la stratégie de fusion traditionnelle s'adapte mal aux changements environnementaux. Les méthodes dominantes reposent sur des paramètres fixes et ne peuvent pas gérer des scénarios tels que des variations soudaines de l'éclairage, des interférences dues à la poussière ou l'apparition d'obstacles imprévus, ce qui entraîne une forte augmentation du taux de détections erronées. Par exemple, lorsque la vision échoue sous un éclairage intense, le système ne parvient pas à basculer automatiquement vers un mode dominé par le laser, ce qui provoque une interruption de la navigation. En outre, les modules de planification de trajectoire et de perception sont séparés. La plupart des systèmes adoptent une architecture en série : après que la couche de perception ait produit le modèle de l'environnement, la couche de planification regénère le trajet. Ce mode présente un retard de réponse important dans les scènes dynamiques. Lorsqu'un obstacle temporaire apparaît, le processus complet de « détection-modélisation-replanification » doit être exécuté, ce qui prend plus de 2 secondes et ne répond pas aux exigences d'évitement d'obstacles en temps réel. Enfin, le système ne dispose pas de capacités d'apprentissage en ligne. Les méthodes existantes reposent majoritairement sur des modèles pré-entraînés, dont le taux de reconnaissance est faible pour les obstacles inconnus ou les états anormaux d'équipement, nécessitant des interventions manuelles fréquentes pour réajuster les paramètres, ce qui entraîne des coûts élevés d'exploitation et de maintenance4,5,6,7. Ces problèmes limitent fortement le déploiement fiable de robots d'inspection dans des scénarios industriels complexes.
Cette étude propose des solutions innovantes systématiques pour les points critiques susmentionnés : premièrement, concevoir une architecture de fusion adaptative en couches (LAFA). Au niveau de la couche des données, un algorithme de compensation de synchronisation spatiotemporelle est proposé, permettant un alignement au niveau microsecondes entre les données LiDAR, visuelles et de l'IMU grâce à une compensation du mouvement par l'IMU et un double filtrage de Kalman. Au niveau de la couche des caractéristiques, un module de sélection de caractéristiques multimodales basé sur un mécanisme d'attention est développé afin d'évaluer dynamiquement la confiance accordée à chaque capteur et d'ajuster les poids de fusion, atténuant ainsi la dégradation de la perception en cas de perturbations environnementales. Deuxièmement, un mécanisme de planification de trajectoire interactif avec l’environnement (EIPPM) est proposé. Les résultats de perception en temps réel sont directement intégrés dans une fonction de coût améliorée afin de construire une carte de risque dynamique ; parallèlement, une interface de couplage en boucle fermée « perception-planification » est conçue. Lorsque le module d'évitement local d'obstacles par la méthode Dynamic Window Approach (DWA) détecte un obstacle soudain, il déclenche immédiatement une optimisation incrémentielle du chemin global, réduisant le délai de replanification à moins d'une seconde, et introduit un modèle de prédiction des coûts de circulation afin d'éviter activement les zones à forte dynamique. Troisièmement, construire un cadre d'apprentissage en ligne léger. Un transfert d'apprentissage est utilisé pour initialiser la bibliothèque de caractéristiques environnementales, des réseaux convolutifs légers (LCNN, Lightweight Convolutional Neural Network) et des réseaux à mémoire à long et court terme (LSTM, Long Short-Term Memory network) sont déployés via des dispositifs de calcul en périphérie, analysant en temps réel les flux de données des capteurs, identifiant automatiquement des motifs anormaux préliminaires, et mettant à jour la base de connaissances environnementales dans des scénarios testés. En outre, un module de réglage fin des stratégies basé sur l'apprentissage par renforcement est développé, permettant au système d'apprendre de manière autonome des stratégies adaptatives par interaction continue. Cette solution permet une optimisation complète de bout en bout, de la perception à la prise de décision et à l'exécution, améliorant considérablement la robustesse et l'autonomie du système dans des scénarios non structurés et dynamiques.
Protocole
Fondements théoriques
Le cadre d'inspection intelligent proposé repose sur des principes établis de la perception robotique, de la fusion d'informations multisensorielles, de l'estimation d'état et de la planification autonome de trajectoire. La fusion multisensorielle combine des informations complémentaires provenant du LiDAR, de la vision, de l'imagerie infrarouge et des mesures inertielles afin d'améliorer la précision de localisation, la perception de l'environnement et la robustesse dans des environnements industriels complexes. L'estimation d'état par filtrage de Kalman permet la synchronisation spatiotemporelle des données hétérogènes des capteurs, tandis que des stratégies de pondération adaptatives renforcent la fiabilité de la fusion dans des conditions environnementales changeantes. De plus, les méthodes de planification dynamique de trajectoire intègrent la perception en temps réel de l'environnement, l'évitement d'obstacles et la prise de décision afin de permettre une navigation robotique sûre et efficace dans des environnements dynamiques. Ces concepts bien établis constituent la base théorique du cadre de perception basé sur LAFA et de la stratégie de planification de trajectoire EIPPM mise en œuvre dans cette étude8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30.
Modèle hiérarchique adaptatif de fusion de capteurs multiples
Pour remédier au décalage spatiotemporel et à la solidification des poids dans les données hétérogènes des capteurs au sein d'un environnement dynamique, cette section propose l'architecture LAFA (architecture de fusion adaptative en couches). Nous calibrons tout d'abord de manière uniforme les horodatages du LiDAR, de la caméra visuelle et de l'IMU, puis adoptons un double filtre de Kalman, combiné à une prédiction de pose du robot basée sur l'IMU, afin de compenser les décalages entre trames successives, permettant ainsi une synchronisation spatiotemporelle au niveau de la microseconde entre les trois capteurs et éliminant la distorsion du nuage de points causée par les mouvements rapides. Cette architecture améliore considérablement la fiabilité de la perception dans des scénarios complexes, réduisant l'erreur de positionnement de 46 % par rapport aux méthodes traditionnelles.
Figure 1. Architecture de prise de décision dynamique du robot d'inspection intelligent. Aperçu du cadre LAFA-EIPPM montrant la perception multimodale, la génération de tâches guidée par le langage, la fusion adaptative des capteurs et la commande robotisée en boucle fermée. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.
Comme le montre la Figure 1, cette architecture intègre un système de perception multimodale en boucle fermée et de prise de décision dynamique : tout d'abord, des instructions en langage naturel sont reçues par le module d'interaction linguistique ROSA (Robot Operating System Assistant), qui intègre l'API GPT-4o afin de générer des demandes de tâches structurées31,32. Ce module utilise des modèles de prompts prédéfinis et des paramètres limitant l'accès à l'API. Il convertit le langage naturel en formats de commandes d'inspection normalisés, et intègre un filtrage par mots-clés pour assurer un contrôle de base de la sécurité pendant l'opération ; l'encodeur dynamique utilise ensuite le modèle MDN-RNN (Mixture Density Network Recurrent Neural Network) pour fusionner des données capteurs multisources telles que celles du LiDAR, de la vision et de l'IMU, afin de produire des caractéristiques d'état caché incluant la sémantique de l'environnement ; cette caractéristique est simultanément transmise au contrôleur adaptatif, qui génère une instruction d'action multiplateforme en combinaison avec le jeu de données prédéfini. Enfin, le robot hétérogène est piloté pour accomplir la tâche d'inspection dynamique via la couche d'exécution environnementale, et l'état de la machine est renvoyé en temps réel à l'encodeur afin de former une optimisation en boucle fermée, permettant ainsi un mécanisme d'adaptation dynamique complet allant de la perception multimodale à la prise de décision autonome.
Ce travail utilise l'API standard GPT-4o avec un format de prompt fixe, atteignant une latence moyenne de réponse inférieure à 200 ms. Le mécanisme de nouvelle tentative réduit le non-déterminisme. Des modules d'interception des défaillances et de vérification de la sécurité du contenu sont déployés pour gérer les requêtes anormales et assurer la sécurité du fonctionnement. LAFA prend en entrée des données brutes provenant de plusieurs capteurs et produit en sortie des caractéristiques fusionnées ainsi que des poids de fusion dynamiques. Les poids d'attention sont calculés en normalisant la valeur de confiance de chaque capteur. La perte d'entropie croisée est utilisée ; le taux d'apprentissage est de 1e-3, la taille du lot de 32, et le nombre total d'époques d'entraînement de 50.
ROSA avec GPT-4o aide uniquement l'interface homme-machine en convertissant le langage naturel en tâches d'inspection ; il n'affecte pas la perception ou la planification, donc sa latence n'est pas un indicateur clé de performance essentiel. Il améliore l'ergonomie sans compromettre le positionnement, la reconnaissance ou la replanification.
Un mécanisme de planification dynamique de trajectoire interactif avec l'environnement
Pour remédier au retard de réponse causé par la séparation des modules de perception et de planification, cette section propose un mécanisme de planification de trajectoire par interaction avec l'environnement (EIPPM). L'innovation principale réside dans la création d'une interface de couplage en boucle fermée entre la perception et la prise de décision. De plus, des réseaux à mémoire à long et à court terme sont introduits afin de prédire les coûts de trafic dans les zones fortement dynamiques et d'orienter le robot vers l'évitement actif des points de congestion. Ce mécanisme réduit le délai de replanification à moins de 0,8 seconde tout en améliorant simultanément la sécurité et l'efficacité du trajet.
L'EIPPM optimise la fonction de coût DWA en fusionnant la distance aux obstacles et la confiance du capteur. La carte de risque dynamique est construite à partir de la position des obstacles et de leur état de mouvement. Une replanification incrémentielle est déclenchée lorsque l'écart de l'obstacle dépasse 0,5 m. Le prédicteur basé sur LSTM calcule le coût de circulation régional. Le planificateur DWA local et le planificateur global A* assurent un couplage étroit, avec un seuil de temps de replanification de 0,8 s afin de garantir des performances en temps réel. Fonction de coût DWA révisée : EQUATION. s'appuie sur la distance aux obstacles ; adopte la confiance du capteur LAFA ; applique des pénalités pour les zones dynamiques prédites par LSTM. Équilibre normalisé entre sécurité, perception, crédibilité et risque de mouvement. La confiance du capteur m-ième est calculée via . Poids de fusion après normalisation. Le module d'attention se met à jour image par image ; les capteurs peu fiables se voient attribuer des poids très faibles afin de réduire la distorsion de fusion en cas d'éclairage difficile ou de poussière.
Figure 2. Flux de travail de la perception sémantique et de la commande adaptative pilotés par LiDAR. Illustration du flux de travail de perception sémantique, de génération de contraintes et de planification adaptative de trajectoire pour une inspection autonome basée sur une prise de conscience environnementale pilotée par LiDAR. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.
Comme illustré dans la Figure 2, l'ensemble du flux opérationnel est piloté par la détection LiDAR. Les données brutes LiDAR sont d'abord importées dans le module de prise de conscience sémantique afin d'extraire les informations sur l'environnement et la cible. Après traitement par l'algorithme de fusion multi-capteurs LAFA proposé, les données sont transmises à l'unité de contrainte de contrôle pour évaluer les règles de fonctionnement et les limites de sécurité. En combinaison avec la stratégie de planification de trajectoire EIPPM, le système émet des commandes de contrôle pour piloter le robot dans l'exécution des tâches d'inspection. Une rétroaction en temps réel sur l'environnement est renvoyée au module de perception en amont, permettant un fonctionnement en boucle fermée. La figure présente intégralement la logique de fonctionnement complète du système de perception, de fusion, de contrôle sous contraintes et d'exécution du robot.
Résultats
Évaluation des performances de la perception
Afin de vérifier l'efficacité de LAFA et de EIPPM dans des scénarios dynamiques, ce chapitre déploie des plateformes de test dans deux environnements d'inspection typiques : des installations industrielles et des postes électriques. Le dispositif expérimental inclut des conditions extrêmes telles que des changements soudains d'éclairement (2 000 → 80 000 lux), des obstacles en déplacement aléatoire (5 à 8 par minute) et des interférences dues à la poussière (visibilité < 5 m). Par rapport aux algorithmes de fusion courants (filtre de Kalman/RNA) et aux méthodes de planification de trajectoire (A* + DWA/RRT), on évalue quantitativement des indicateurs clés tels que la précision de localisation, le taux de reconnaissance des obstacles, le délai de replanification et la consommation d'énergie, et l'on démontre les avantages de performance du schéma proposé au moyen d'une analyse de significativité statistique (p < 0,01). Toutes les données proviennent d'installations industrielles et de postes électriques réels, totalisant 28 000 échantillons répartis en 6 catégories d'obstacles. Tous les échantillons sont annotés manuellement. Le ratio de répartition entre ensemble d'apprentissage et ensemble de test est de 8:2. Un lot supplémentaire de 5 000 échantillons en temps réel est utilisé pour l'apprentissage en ligne. La bibliothèque de caractéristiques environnementales est construite sous forme de vecteurs de caractéristiques multimodales à 12 dimensions. Le modèle d'apprentissage en ligne est mis à jour de manière incrémentielle lorsque des échantillons anormaux s'accumulent sur plus de 10 images consécutives, avec un taux d'apprentissage fixe de 0,001. Les étiquettes d'anomalie sont définies comme des obstacles soudains et des états anormaux des équipements. Afin d'éviter l'oubli catastrophique, un seuil de dérive de 0,15 est appliqué à la distribution des données ; si le décalage de distribution dépasse ce seuil, la mise à jour est temporairement suspendue jusqu'à ce que les données entrantes se stabilisent, ce qui permet de supprimer la dérive du modèle et de préserver ses performances de généralisation. Le module léger d'apprentissage en ligne est testé sur 5 000 échantillons inédits. Après une mise à jour du modèle sur 10 images, la précision de reconnaissance des obstacles inconnus augmente de 7,2 %, confirmant ainsi sa capacité d'optimisation adaptative face à de nouvelles cibles environnementales.
Plateforme robotique : propulsion à roues différentielles, contrôleur STM32 et ordinateur embarqué Jetson Xavier NX. Elle utilise des batteries au lithium permettant 8 heures de fonctionnement continu, avec une vitesse de 0,2 à 1,2 m/s, une charge utile maximale de 8 kg, et des communications double bande Wi-Fi et 4G. Capteurs : RPLIDAR A1M8, 10 Hz, champ de vision (FOV) de 360° ; caméra 1080P, 30 images par seconde, champ de vision de 120° ; imageur infrarouge 320 x 240 ; unité de mesure inertielle MPU6050 (IMU), 200 Hz. Tous les capteurs sont montés à l'avant, étalonnés de manière uniforme et synchronisés au niveau microsecondes. Logiciels : Ubuntu 20.04, ROS Noetic, Python et C++, framework PyTorch, équipé d'un processeur 8 cœurs et d'un GPU de 16 Go destiné au calcul en périphérie.
L'usine (45 m x 30 m, parcours de 120 m) et la sous-station (50 m x 35 m, parcours de 150 m) comprennent des équipements fixes et du personnel en déplacement. Chaque essai est effectué 30 fois avec une distance de sécurité de 0,6 m. L'éclairement varie entre 2 000 et 80 000 lux, avec 5 à 8 obstacles mobiles par minute. La poussière réduit la visibilité à moins de 5 m. Toutes les conditions sont reproductibles.
| Méthode | Erreur de localisation (cm) | Taux de détection d'obstacles (%) | Taux de fausses alarmes (%) | Délai de traitement (ms) | Robustesse (changement d'éclairage) | Robustesse (interférence de poussière) | p-valeur |
| LiDAR uniquement | ±3,2 | 89,6 | 8,7 | 25 | Faible | Moyenne | <0,01 |
| Visuel + IMU | ±5,1 | 78,3 | 15,2 | 40 | Très faible | Faible | <0,01 |
| Fusion Kalman | ±2,8 | 92,1 | 6,3 | 65 | Moyenne | Moyenne | <0,01 |
| Fusion DNN | ±2,5 | 94,8 | 5,1 | 110 | Élevée | Faible | <0,01 |
| RAL 2023 | ±1,9 | 96,4 | 4 | 85 | Élevée | Moyenne | <0,01 |
| LAFA proposé | ±1,5 | 98,7 | 1,8 | 35 | Très élevée | Très élevée | <0,01 |
Tableau 1 : Comparaison des performances de détection multisenseur. La robustesse est évaluée selon une échelle à cinq niveaux en fonction de la baisse de détection d'obstacles en cas de variations d'éclairage et d'interférences dues à la poussière : Très faible, Faible, Moyenne, Élevée et Très élevée.
Tableau 1 compare les performances de différentes méthodes de perception dans un environnement industriel dynamique. Toutes les expériences ont été réalisées avec 30 essais répétés indépendants (n = 30). Une analyse de variance à un facteur (ANOVA) combinée à un test de comparaison multiple de Tukey HSD a été utilisée pour l'analyse statistique, et tous les indicateurs ont montré des différences significatives (p < 0,01). L'erreur de localisation de la méthode LAFA proposée est de ±1,5 cm (écart-type = ±0,25 cm, IC 95 % : [1,42, 1,58] cm), et l'erreur globale de positionnement suit une distribution normale. Son taux de détection d'obstacles atteint 98,7 % (écart-type = ±0,65 %, IC 95 % : [98,4 %, 99,0 %]), et le taux de fausses alarmes est seulement de 1,8 %. La latence de traitement est de seulement 35 ms (68 % plus rapide que la fusion DNN grand public), et la robustesse en présence d'interférences lumineuses intenses et de poussière atteint le niveau « Très élevé », tandis que les méthodes de référence sont classées « Moyen » et « Faible ». Le jeu de données de test contient six types d'obstacles afin d'assurer la reproductibilité des résultats. Cela démontre pleinement les avantages de LAFA dans la fusion adaptative de données hétérogènes et multi-sources grâce à une compensation par synchronisation spatiotemporelle et à un mécanisme dynamique de pondération par attention.
Évaluation des performances de la planification de trajectoire
| Méthode | Temps de replanification | Optimalité du chemin (%) | Taux de collision (%) | Taux de réussite (%) | Score d'évitement dynamique | Consommation d'énergie |
| A* + DWA | 2,5 | 82,6 | 7,3 | 88,9 | 6,1 | 0,48 |
| RRT*+APF | 1,8 | 76,4 | 5,1 | 91,2 | 7,3 | 0,52 |
| DRL Planner | 1,2 | 88,7 | 4 | 93,5 | 8,5 | 0,43 |
| ICRA 2024 | 0,9 | 90,2 | 3,2 | 95,1 | 8,9 | 0,41 |
| Proposed EIPPM | 0,8 | 96,3 | 0,9 | 99,2 | 9,7 | 0,37 |
Tableau 2 : Comparaison des performances de planification de trajectoire dynamique. Le score d'évitement dynamique varie de 0 à 10 points et est calculé en pondérant le taux de collisions, la régularité du trajet, la latence de replanification et le taux de réussite de la tâche sur 30 essais répétés.
Tableau 2 évalue les performances de différentes méthodes de planification de trajectoire dans un scénario de sous-station comportant des obstacles en mouvement aléatoire (5 à 8 obstacles/min) et des interférences dues au rayonnement thermique des équipements. Un total de 12 itinéraires d'inspection fixes sont adoptés, et chaque méthode est testée 30 fois. Chaque essai rencontre en moyenne 20 obstacles, et le nombre total d'échecs de chaque groupe est enregistré simultanément. Le mécanisme EIPPM proposé utilise un couplage en boucle fermée entre la perception et la planification, atteignant un temps de réponse de replanification de 0,8 s, soit 68 % plus rapide que la méthode A*+DWA. Le taux d'optimisation du trajet atteint 96,3 % (une amélioration de 6,1 %), avec un taux de collision de seulement 0,9 % (le plus faible parmi toutes les méthodes comparées) et un score d'évitement d'obstacles dynamiques de 9,7 sur 10. Cela s'explique principalement par les capacités d'évitement proactif de la carte de risque dynamique et la prédiction des coûts de circulation dans les zones à forte activité. Par ailleurs, la consommation énergétique est réduite à 0,37 kWh/km (une économie de 9,8 %). Combinés à une analyse statistique (p < 0,01), ces indicateurs démontrent la supériorité de l'EIPPM pour une prise de décision interactive efficace et sûre dans des scénarios complexes et dynamiques. Toutes les méthodes de référence fonctionnent sur ROS Noetic. La fusion par filtre de Kalman et la fusion DNN utilisent les paramètres par défaut open source. Les méthodes A*+DWA, RRT*+APF et DRL Planner utilisent les réglages classiques de paramètres tirés de la littérature existante. Tous les algorithmes sont ajustés dans des conditions identiques de matériel et de scène.
Données des capteurs et analyse des trajectoires
Figure 3. Analyse des fluctuations des signaux multisenseurs et de la trajectoire du robot. (A) Modèle tridimensionnel de propagation d'onde illustrant la distribution spatiale des amplitudes des signaux fusionnés par les capteurs. (B) Visualisation hybride tridimensionnelle de l'espace des capteurs montrant les trajectoires du robot et les données échantillonnées des capteurs générées à partir de mesures de champ fusionnées par LAFA. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.
Figure 3 visualise les données multisenseurs fusionnées et les trajectoires du robot. Les valeurs d'amplitude comprises entre 0,0 et 10,8 dB sont calculées à partir des données in situ issues du LiDAR, de la caméra et de l'IMU, en utilisant l'algorithme LAFA. Les zones présentant une amplitude supérieure à 8,0 dB correspondent à une forte interférence environnementale. Les pics d'amplitude coïncident avec le trajet d'inspection, et les trajectoires présentent des oscillations nettes lorsque l'amplitude dépasse 5,0 dB. La majorité des points de données se regroupent entre 2,5 et 7,5 dB, indiquant que le système contourne les zones à forte interférence. La large couverture spatiale et les trajectoires régulières (variation de courbure <; 0,6) valident l'adaptabilité du robot ainsi que la supériorité de la méthode de fusion proposée pour l'inspection industrielle dynamique.
Figure 4. Évaluation des performances du système d'inspection intelligente. (A) Distribution du taux de réaction et du rendement du produit obtenus à partir des données d'inspection robotisée. (B) Distribution de densité illustrant la relation entre le taux de réaction et le rendement du produit durant les tâches d'inspection. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.
Figure 4 montre la comparaison des performances lors de tâches d'inspection réelles sur robot. Toutes les métriques sont dérivées des données brutes de patrouille du robot provenant du LiDAR, de la caméra et de l'IMU. Le taux de réaction désigne la vitesse moyenne de réponse du module de fusion LAFA pour la détection d'anomalies sur les équipements, tandis que le rendement du produit correspond à la proportion de sorties de défauts valides sélectionnées par la planification de trajectoire EIPPM. Les courbes quantifient l'efficacité de détection et l'adaptabilité environnementale du cadre, fournissant une preuve empirique de ses avantages pratiques en matière d'inspection.
Figure 5. Analyse en série chronologique des signaux des capteurs pendant l'inspection. (A) Décomposition des signaux temporels des capteurs en composantes de tendance, saisonnière, résiduelle et de bruit. (B) Signal électrique du capteur avec l'intervalle de confiance correspondant pendant une inspection continue par robot. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.
Comme le montre la Figure 5, les courbes de séries temporelles sont dérivées des mesures de portée LiDAR et de l'intensité de la caméra, enregistrées lors d'une patrouille continue de 10 minutes dans le scénario de sous-station. Elles illustrent les réponses de perception en temps réel sous des variations de lumière et des interférences de poussière. La méthode LAFA proposée atténue efficacement les saccades du signal, en maintenant une sortie stable et en soutenant directement la détection d'obstacles et l'évitement de collisions en temps réel lors de missions d'inspection dynamiques.
Figure 6. Analyse de champ physique multidimensionnel. Visualisation des caractéristiques du champ environnemental reconstruites à partir de mesures multisenseurs fusionnées par LAFA, illustrant la distribution spatiale des dynamiques environnementales, des points de données des capteurs et des gradients de champ. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.
Comme le montre la Figure 6, les données de champ physique multidimensionnelles sont traitées à partir des mesures de capteurs embarqués sur le robot à l'aide de l'algorithme LAFA afin d'analyser l'environnement de fonctionnement et la performance du signal. Cette visualisation comprend 10 couches d'analyse présentant des distributions spatiales, des distributions de données et des caractéristiques statistiques distinctes. Les résultats reflètent le schéma spatial des interférences environnementales et confirment la performance stable du système de perception du robot.
Visualisation de caractéristiques en haute dimension
Figure 7. Visualisation multidimensionnelle de la performance du système et de la réponse environnementale. (A) Graphique en barres empilées en trois dimensions montrant les métriques de performance des sous-systèmes au cours des cycles d'inspection. (B) Représentation en surface tridimensionnelle illustrant l'intensité de la réponse environnementale accompagnée des mesures échantillonnées des capteurs. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.
Figure 7 illustre les caractéristiques de fonctionnement multidimensionnelles du système d'inspection. Le graphique à barres empilées 3D de gauche montre les performances des sous-systèmes au cours des cycles d'inspection ; les valeurs de MA, MB et MC au cycle C3 sont respectivement de 12,4, 9,7 et 15,2, indiquant des fluctuations de charge notables. Le graphique de surface de droite montre l'intensité de la réponse environnementale, avec un pic de ±18 et la majorité des données située entre -5 et +5, reflétant des caractéristiques environnementales non linéaires. Les résultats fournissent un soutien factuel à la fusion des capteurs robotiques et à l'optimisation de la planification. MA, MB et MC représentent respectivement les indicateurs de charge des sous-systèmes de perception, de planification de trajectoire et d'exécution.
Figure 8. Caractéristiques tridimensionnelles des signaux capteurs fusionnés dans différentes conditions de fonctionnement. (A) Surface en forme de fonction sinus. (B) Surface en paraboloïde hyperbolique. (C) Surface en fonction de Bessel. (D) Surface en fonction d'onde quantique. Ces modèles de surface représentatifs illustrent les caractéristiques spatiales des signaux capteurs fusionnés par LAFA dans différentes conditions d'inspection. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.
Comme illustré dans la Figure 8, quatre groupes de modèles de surface 3D caractérisent les signaux de fusion multisenseur dans différentes conditions de fonctionnement de l'inspection. La variation spatiale et les règles d'atténuation des signaux sont analysées. Ces caractéristiques démontrent que l'algorithme LAFA conserve des performances de fusion cohérentes dans divers environnements et servent de référence pour l'optimisation ultérieure de la planification de trajectoire. Ces modèles de surface 3D sont interpolés à partir des données capteurs fusionnées par LAFA. La distribution uniforme du signal dans diverses conditions confirme la performance stable de fusion de notre architecture face à des interférences variables.
Figure 9. Trajectoire du robot et distribution de l'échantillonnage des capteurs. (A) Courbe papillon paramétrique représentant les caractéristiques géométriques des trajectoires du robot. (B) Distribution spirale des points d'échantillonnage des capteurs illustrant la répartition spatiale des données d'inspection. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.
Comme le montre la Figure 9, les courbes et les graphiques polaires sont ajustés à partir de la trajectoire du robot et des données de distribution spatiale des capteurs. La courbure et la densité sont calculées à l’aide d’équations paramétriques. Les règles de distribution spatiale résument les caractéristiques de mouvement du robot et la répartition spatiale des points d’échantillonnage des multiples capteurs dans des scénarios d’inspection à grande échelle. Tous les graphiques sont ajustés à partir de trajectoires réelles du robot et de points d’échantillonnage des capteurs. Une distribution d’échantillonnage uniforme et des courbes de trajectoire régulières attestent de la stabilité de la perception et de la fiabilité de l’optimisation du chemin dans le système LAFA-EIPPM proposé.
Figure 10. Visualisation de la performance de la tâche et de la trajectoire d'inspection du robot. (A) Surface tridimensionnelle de performance montrant les valeurs de performance de la tâche et les points d'inspection échantillonnés. (B) Trajectoire d'inspection du robot et couverture spatiale illustrant le chemin suivi pendant l'inspection autonome. Veuillez cliquer ici pour afficher une version agrandie de cette figure.
Comme le montre la Figure 10, le panneau gauche illustre la répartition des performances de la tâche ; le pic est de 15,3, le minimum est de 5,1, et le score du quatrième point de tâche est de 13,2. Les points rouges sont échantillonnés de manière uniforme, et la ligne bleue indique la tendance. Le trajet (Z maximum = 7,8 m) et la couverture (hauteur 4,0 m) sur la figure de droite montrent respectivement la trajectoire réelle et la couverture spatiale. Les deux graphiques capturent de manière complète les fluctuations de la charge de travail et l'uniformité de l'échantillonnage, fournissant des données pour appuyer l'optimisation de la fusion.
Disponibilité des données :
Les jeux de données expérimentaux générés dans cette étude ne sont pas accessibles au public car ils contiennent des informations industrielles spécifiques à un site, soumises à des accords de confidentialité. Les matériaux restreints comprennent les coordonnées d'usine, les scans LiDAR bruts et les paramètres confidentiels des dispositifs. Un accès peut être envisagé par l'auteur correspondant sur demande raisonnable, à condition que les obligations de confidentialité puissent être respectées.
Discussion
Cet article propose le cadre d'optimisation collaborative LAFA–EIPPM afin d'améliorer la fiabilité de la perception et l'efficacité de la prise de décision des robots d'inspection intelligents dans des environnements complexes et dynamiques. LAFA parvient à une fusion robuste de capteurs multiples grâce à une synchronisation spatiotemporelle et à un mécanisme de pondération basé sur l'attention20,22, améliorant considérablement la précision du positionnement et les capacités de reconnaissance des obstacles dans des conditions défavorables telles que la forte luminosité et la poussière. EIPPM établit un couplage en boucle fermée entre la perception et la planification10,16, permettant une replanification rapide du chemin et une navigation tenant compte des risques, tout en optimisant la consommation d'énergie.
Cette recherche ouvre une nouvelle voie technique pour la fusion multisenseur et la prise de décision autonome des robots dans des environnements dynamiques. Le mécanisme de réglage dynamique des poids de LAFA surmonte les limites de la fusion à poids fixe traditionnelle, le paradigme de couplage en boucle fermée d'EIPPM réduit la latence de replanification, et le module d'apprentissage en ligne confère au système une adaptabilité continue face aux obstacles inconnus et aux comportements anormaux. Ces innovations étendent la théorie de l'inspection intelligente à des scénarios fortement dynamiques et non structurés.
Le système actuel présente encore certaines limitations : premièrement, le module d'apprentissage en ligne converge lentement lorsqu'il rencontre des motifs d'anomalie extrêmement rares ; deuxièmement, les expériences n'ont été menées que dans des installations industrielles et des sous-stations, et les performances dans des terrains extérieurs complexes ou des conditions météorologiques extrêmes n'ont pas encore été vérifiées ; troisièmement, cette étude ne réalise que des essais à court terme sur un prototype, et le déploiement industriel prolongé, l'évaluation systématique de la sécurité ainsi que les tests de tolérance aux pannes n'ont pas été effectués ; quatrièmement, les études d'ablation d'algorithme et l'analyse en temps réel complète du journal de fonctionnement n'ont pas été mises en œuvre dans ce travail ; en outre, le système dépend de la puissance de calcul en périphérie, et la stabilité opérationnelle à long terme nécessite des tests supplémentaires.
Cette méthode présente une valeur d'application importante dans les scénarios à haut risque testés, notamment la surveillance d'usines industrielles, de postes électriques, d'installations pétrochimiques et d'inspection de tunnels de transport ferroviaire. Par exemple, dans les postes électriques, elle a permis d'atteindre une précision de positionnement de ±1,5 cm et un taux de collision de 0,9 %, réduisant ainsi significativement les risques liés à l'inspection manuelle ; à l'intérieur des conduites industrielles, elle peut être combinée à une fusion multisenseur afin de permettre une évitement d'obstacles et une identification des défauts de manière autonome. Les scénarios impliquant des robots agricoles, des robots de secours, l'exploration sous-marine8,28 et l'inspection aérienne sont considérés comme des applications étendues prometteuses et feront l'objet d'explorations dans nos recherches ultérieures.
Les travaux futurs comprennent : 1) l'intégration de modèles légers de langage volumineux dans des modules d'interaction homme-machine afin de prendre en charge les commandes en langage naturel et le raisonnement sur les tâches ; 2) le développement d'un cadre d'apprentissage distribué pour une collaboration entre périphériques et nuage, permettant le partage d'expériences entre plusieurs robots ; 3) l'extension à des scénarios d'inspection sous-marins ou aériens afin de résoudre des problèmes de perception et de commande de mouvement transmédia ; 4) l'introduction d'un module d'intelligence artificielle explicative pour améliorer la crédibilité et la traçabilité des décisions prises.
Conclusion :
Pour remédier aux goulots d'étranglement principaux que sont la faible fiabilité de la perception et le retard élevé dans la prise de décision des robots d'inspection intelligents évoluant dans des environnements dynamiques, cette étude propose un schéma d'optimisation collaborative fondé sur LAFA et EIPPM. LAFA permet l'intégration dynamique de capteurs multisources, notamment le LiDAR, la caméra visuelle, l'imagerie infrarouge et l'IMU, grâce à une compensation de synchronisation spatiotemporelle et à un mécanisme de pondération par attention. Lors de tests en prototype sur site, réalisés dans des installations industrielles, le système atteint une erreur de positionnement de ±1,5 cm et un taux de reconnaissance des obstacles de 98,7 %, tout en présentant une robustesse maximale face aux interférences lumineuses intenses et à la poussière. Dans des scénarios complexes de sous-stations, le cadre EIPPM établit un couplage en boucle fermée entre perception et planification. Associé à des cartes dynamiques de risque et à des stratégies de replanification incrémentielle, il réduit le délai de replanification de trajectoire à 0,8 s et abaisse le taux de collisions à 0,9 %. Le prototype permet ainsi d'améliorer de 32 % l'efficacité globale de l'inspection et de réduire de 9,8 % la consommation d'énergie par rapport aux méthodes traditionnelles.
Les résultats des tests démontrent que le prototype proposé atténue les inconvénients courants des méthodes traditionnelles, notamment une registration inexacte des données, une faible adaptabilité environnementale et des temps de réponse lents. Le module d'apprentissage en ligne léger assure une performance adaptative de base face à des obstacles partiellement inconnus et à des schémas anormaux simples dans les scénarios testés. Ce travail fournit un prototype technique à haute autonomie pour des tâches d'inspection dans des environnements à risque élevé du secteur électrique et pétrochimique. Toutefois, cette étude présente des limites : les essais sont limités aux usines et sous-stations, la convergence de l'apprentissage en ligne est lente pour les anomalies rares, la stabilité à long terme et la tolérance aux pannes n'ont pas été testées, et la dépendance au calcul en périphérie nécessite une vérification. Des travaux futurs s'attaqueront à ces points par le biais d'une collaboration multi-robots et d'essais sur le terrain prolongés.
Déclarations de divulgation
Les auteurs n'ont aucun conflit d'intérêts à divulguer.
Matériaux
| Nom | Entreprise | Numéro de catalogue | Commentaires |
|---|---|---|---|
| Caméra 1080P | Personnalisé | N/A | Senseur visuel, 30 images par seconde, champ de vision de 120° |
| Imagerie infrarouge | Générique | 320×240 | Imagerie thermique, résolution 320 x 240 |
| Jetson Xavier NX | NVIDIA | Xavier NX | Ordinateur embarqué, processeur 8 cœurs, GPU 16 Go |
| LiDAR RPLIDAR A1M8 | Slamtec | A1M8 | Balayage à 10 Hz, champ de vision de 360° |
| Batterie au lithium | Personnalisé | 12V/20Ah | Alimentation électrique, fonctionnement continu de 8 h |
| IMU MPU6050 | InvenSense | MPU6050 | Fréquence de 200 Hz, accéléromètre et gyroscope |
| Contrôleur STM32 | STMicroelectronics | STM32F4 | Unité principale de contrôle du mouvement |
Références
- Deng L, Wang S, Guo J, Cao R, Liu M. 3D keypoint detection-based automated rebar spacing inspection: Application for robotic integration. Adv Eng Inform. 2025;66:103418.
- Hu D, Gan VJL. Semantic navigation for automated robotic inspection and indoor environment quality monitoring. Autom Constr. 2025;170:105949.
- Li J, Zhou X, Gui C, Yang M, Xu F, Wang X. Adaptive climbing and automatic inspection robot for variable curvature walls of industrial storage tank facilities. Autom Constr. 2025;172:106049.
- Lin T, Ren Z, Huang K, Zhu Y, Karimi HR. A novel multi-sensor information fusion method for fault diagnosis of rotating machinery with missing signals. Adv Eng Inform. 2025;68:103595.
- Zhuo R, Deng Z, Teng H, Ge J, Lv L, Liu W. The grinding wheel wear condition monitoring method based on multi-sensor information hierarchical fusion for high-speed cylindrical grinding. Adv Eng Inform. 2025;67:103541.
- Su Y, Shi X, Song T. Research on vehicle safety based on multi-sensor feature fusion for autonomous driving task. Comput Mater Contin. 2025;83(3):5831-48.
- Makrouf I, Zegrari M, Dahi K, Ouachtouk I. A novel framework for multi-sensor data fusion in bearing fault diagnosis using continuous wavelet transform and transfer learning. e-Prime Adv Electr Eng Electron Energy. 2025;13:101025.
- Liu X, Xie S. Innovative strategy and practice of using underwater robot for marine cable inspection and operation and maintenance. Cogn Robot. 2025;5:226-39.
- Yue H, Wang Q, Zhao Z, Lai S, Huang G. Interactions between BIM and robotics: Towards intelligent construction engineering and management. Comput Ind. 2025;169:104299.
- Yang H, Luo X, Duan C, Wang P, Zhu K, Deng X, Ren W. Research on multi-objective point path planning for mobile inspection robot based on Multi-Informed-Rapidly Exploring Random Tree. Eng Appl Artif Intell. 2025;151:110645.
- Yu Q, Zhang Q, Sun G, Qin R. Distribution station inspection robot with modular manipulator. HardwareX. 2025;22:e00652.
- Li X, Xiao S, Li Q, Zhu L, Wang T, Chu F. The bearing multi-sensor fault diagnosis method based on a multi-branch parallel perception network and feature fusion strategy. Reliab Eng Syst Saf. 2025;261:111122.
- Qin Y, Zhao Y, Qi J, Mao Y. Spatial-temporal multi-sensor information fusion network with prior knowledge embedding for equipment remaining useful life prediction. Reliab Eng Syst Saf. 2025;264:111420.
- Cao C, Zhao Y. Distributed heterogenous multi-sensor fusion based on labeled random finite set for multi-target state estimation using information geometry. Signal Process. 2026;238:110135.
- Wang C, Yin L, Zhao Q, Wang W, Li C, Luo B. An intelligent robot for indoor substation inspection. Ind Robot. 2020;47(5):705-12.
- Yang Q, Dong J, Tan M, Wang J, Guo D, Kang H, Wang P. A novel navigation assistant method for substation inspection robot based on multisensory information fusion. J Adv Res. 2025;77:407-18.
- Sun G, Xia L, Du X, Yu Q, Zhang J, Qin R. Self-tuning clamping force control with optimal trajectory tracking for autonomous pipe inspection robots. J Pipeline Sci Eng. 2025;100309. Epub ahead of print.
- Chi P, Wang Z, Liao H, Li T, Wu X, Zhang Q. Towards new-generation of intelligent welding manufacturing: A systematic review on 3D vision measurement and path planning of humanoid welding robots. Measurement. 2025;242:116065.
- Wang Q, Xia J, Li M, Yin L, Xie X. A multi-sensor fusion and multi-source domain adaptive fault diagnosis method for rotating machinery. Eng Appl Artif Intell. 2025;159:111538.
- Hu J, Chen J, Lv M, Xu Z, Chen Z, Han J. MSHF: Multi-sensor hierarchical fusion for UGV localization in an unstructured environment. Expert Syst Appl. 2025;294:128732.
- Gudla R, Chang NB. Multi-sensor data fusion via a cortical gap network for time series large data gap filling under uncertainties. Inf Fusion. 2026;126:103618.
- Laidouni MZ, Bondžulić B, Bujaković D, Adli T, Andrić M. ConvNeXtFusion: Multi-sensor image fusion via residual dense and cross ConvNeXt network. Infrared Phys Technol. 2025;150:106005.
- Tian D, Li J, Lei J. Multi-sensor information fusion in Internet of Vehicles based on deep learning: A review. Neurocomputing. 2025;614:128886.
- Zhang Y, Wang Y, Su C, Miao Y, Wei T, Feng Y, Chen F, Ying Z, Wang S, Wang X. Multi-sensor fusion-based intelligent auxiliary system of power wheelchairs for individuals with limbs disabilities: Design and implementation. Measurement. 2026;257:118573.
- Zuo K, Li X, Li X, Wang K, Gao T, Shen T. Multi-sensor fusion with triple reliability evaluation for human activity recognition. Measurement. 2026;257:118580.
- Zhao X, Liu Z, Liu Y, Zhang B, Sui J, Jiang K. Structure design and application of combination track intelligent inspection robot used in substation indoor. Procedia Comput Sci. 2017;107:190-5.
- Kadri I, Selouani SA, Ghribi M, Ghali R, Mekhoukh S. LLM-driven agent for speech-enabled control of industrial robots: A case study in snow-crab quality inspection. Results Eng. 2025;27:106660.
- Jiang Y, Pan Z, Zhang X. Tunnel infrastructure health management: A state-of-the-art review on defect development mechanism and robot-aided inspection system. Smart Undergr Eng. 2025;1(1):26-39.
- Okonkwo C, Awolusi I. Environmental sensing in autonomous construction robots: Applicable technologies and systems. Autom Constr. 2025;172:106075.
- Du Y, Chen X, Yu Z, Meng F, Zhou Z, Zhang Y, Li Q, Huang Q. Efficient co-adaptation of humanoid robot design and locomotion control using surrogate-guided optimization. Biomim Intell Robot. 2025;5(4):100255.
- Lv X, Cui S, Wang Y, Lu J, Yu P, Wang K. Patch time series transformer-based short-term photovoltaic power prediction enhanced by artificial fish. Energies. 2026;19(1):284.
- Lei M, Zhang M, Wang K. Research on bidding optimization strategy for virtual power plants with wind-solar-storage systems based on IGDT-DRO. Electr Eng. 2026;108(3):208.