Este trabajo presenta un marco DWA adaptativo con múltiples sensores (LiDAR, cámara, IR, IMU) y aprendizaje en línea para robots de inspección. Pruebas industriales repetidas demuestran una precisión de posicionamiento de ±1,5 cm, un 98,7 % de reconocimiento de obstáculos, una mejora de eficiencia del 32 % y una reducción energética del 9,8 % en comparación con los métodos convencionales.
Artículo de investigación
Investigación sobre la optimización y la adaptación al entorno dinámico de un sistema de inspección de robots inteligentes basado en la fusión de multisensores
En este artículo
Resumen
Resumen
Este artículo propone un marco de optimización basado en la fusión profunda multisensorial y la toma de decisiones adaptativa para robots inteligentes de inspección, abordando la fiabilidad limitada de la percepción, la baja eficiencia en la planificación de trayectorias y la pobre adaptabilidad al entorno en escenarios dinámicos. La plataforma robótica está equipada con LiDAR, una cámara visual, un termógrafo infrarrojo y una IMU para construir un modelo de percepción robusto destinado al reconocimiento de obstáculos y la estimación de la postura. Diseñamos un algoritmo de fusión dinámica ponderada-DWA para la planificación de trayectorias y un módulo de aprendizaje en línea para actualizar las características del entorno. Se realizaron múltiples pruebas en plantas industriales y subestaciones bajo condiciones variables de iluminación y en presencia de obstáculos móviles. En comparación con métodos básicos, incluyendo el filtro de Kalman, redes neuronales profundas (DNN) y A*+DWA, el sistema alcanza un error de posicionamiento de ±1,5 cm, una tasa de reconocimiento de obstáculos del 98,7 % y un retardo de replanificación inferior a 0,8 s, con una eficiencia de inspección un 32 % mayor y un consumo energético un 9,8 % menor (p < 0,01). El sistema ofrece una mayor robustez bajo las condiciones industriales dinámicas evaluadas.
Introducción
Con el rápido desarrollo de la fabricación inteligente y la construcción de energías inteligentes, los robots de inspección inteligentes, como equipos clave para reemplazar operaciones manuales de alto riesgo, se han utilizado ampliamente en sectores de infraestructura esenciales como la energía eléctrica, la petroquímica y el transporte ferroviario. Los sistemas tradicionales de inspección dependen principalmente de un solo sensor para la percepción del entorno, y su rendimiento en escenas estructuradas y estáticas es aceptable. Sin embargo, en sitios industriales reales, suelen enfrentar factores altamente dinámicos y no estructurados, como cambios en la iluminación, reubicación temporal de equipos, flujo de personal e interferencias por lluvia y niebla, lo que puede provocar fallos en la percepción y errores en la toma de decisiones1,2,3. En los últimos años, los avances en el aprendizaje profundo y por refuerzo han posibilitado nuevos enfoques para el procesamiento colaborativo de datos multifuente, mientras que las mejoras en el hardware de computación de borde han permitido la ejecución en tiempo real de algoritmos complejos. En este contexto, desarrollar un sistema de inspección con fusión de múltiples sensores y una fuerte adaptabilidad al entorno no solo es una necesidad urgente para mejorar el nivel de automatización en las operaciones y el mantenimiento, sino también un soporte técnico fundamental para garantizar el funcionamiento seguro de instalaciones clave.
Aunque la tecnología de fusión multisensor tiene ventajas teóricas, los sistemas inteligentes de inspección existentes aún enfrentan importantes cuellos de botella en aplicaciones prácticas en entornos dinámicos: En primer lugar, la precisión del registro espacio-temporal de los datos de sensores heterogéneos es insuficiente. La distorsión de fusión entre la nube de puntos láser y el fotograma de imagen es causada por diferencias en la frecuencia de muestreo y en los sistemas de coordenadas. Especialmente cuando el robot se mueve a alta velocidad, la distorsión de movimiento agrava los errores de coincidencia de características y reduce la fiabilidad de la detección de obstáculos. En segundo lugar, la estrategia de fusión tradicional presenta poca adaptabilidad a los cambios ambientales. Los métodos predominantes dependen de parámetros fijos y no pueden manejar escenarios como cambios bruscos en la iluminación, interferencias por polvo u obstáculos repentinos, lo que provoca un aumento en las tasas de detección falsa. Por ejemplo, cuando la visión falla bajo luz intensa, el sistema no cambia automáticamente al modo dominado por láser, lo que resulta en interrupciones en la navegación. Además, los módulos de planificación de trayectoria y percepción están separados. La mayoría de los sistemas adoptan una arquitectura en serie: tras la salida del modelo del entorno por la capa de percepción, la capa de planificación regenera la trayectoria. Este modo presenta un retraso significativo en escenas dinámicas. Cuando aparecen obstáculos temporales, debe ejecutarse completamente el proceso de «detección-modelado-replanificación», lo que lleva más de 2 segundos y no cumple con los requisitos de evasión de obstáculos en tiempo real. Finalmente, el sistema carece de capacidades de aprendizaje en línea. Los métodos existentes se basan principalmente en modelos preentrenados, que presentan tasas bajas de reconocimiento ante obstáculos no vistos o estados anómalos de equipos, requieren frecuentes intervenciones manuales para reajustar parámetros e implican altos costos operativos y de mantenimiento4,5,6,7. Estos problemas restringen severamente la implementación confiable de robots de inspección en escenarios industriales complejos.
Este estudio propone soluciones sistemáticas de innovación para los problemas mencionados: primero, diseñar una arquitectura de fusión adaptativa en capas (LAFA, por sus siglas en inglés). En la capa de datos, se propone un algoritmo de compensación de sincronización espacio-temporal que logra una alineación a nivel de microsegundos entre los datos de LiDAR, visión e IMU mediante la compensación del movimiento del IMU y un doble filtrado de Kalman. En la capa de características, se desarrolla un módulo de selección de características multimodales basado en un mecanismo de atención, que evalúa dinámicamente la confianza de cada sensor y ajusta el peso de fusión, mitigando así la degradación de la percepción ante perturbaciones ambientales. En segundo lugar, se propone el mecanismo de planificación de trayectorias con interacción ambiental (EIPPM, por sus siglas en inglés). Los resultados de percepción en tiempo real se integran directamente en la función de costo mejorada para construir un mapa de riesgo dinámico; al mismo tiempo, se diseña una interfaz de acoplamiento en bucle cerrado de «percepción-planificación». Cuando el módulo local de evasión de obstáculos mediante el enfoque de ventana dinámica (DWA, por sus siglas en inglés) detecta un obstáculo repentino, se activa inmediatamente la optimización incremental del camino global, reduciendo el retraso de replanificación a menos de 1 segundo, e introduce un modelo de predicción de costos de tráfico para evitar activamente áreas de alta dinámica. Tercero, se construye un marco ligero de aprendizaje en línea. Se utiliza el aprendizaje por transferencia para inicializar la biblioteca de características ambientales, se implementan redes convolucionales ligeras (LCNN, Lightweight Convolutional Neural Network) y redes de memoria a corto y largo plazo (LSTM, Long Short-Term Memory network) mediante dispositivos de computación en el borde, se analizan en tiempo real los flujos de datos de los sensores, se identifican automáticamente patrones anómalos preliminares y se actualiza la base de conocimientos ambientales en escenarios probados. Además, se desarrolla un módulo de ajuste fino de estrategias basado en aprendizaje por refuerzo, que permite al sistema aprender autónomamente estrategias adaptativas mediante interacciones continuas. Esta solución logra una optimización integral desde la percepción y la toma de decisiones hasta la ejecución, mejorando significativamente la robustez y autonomía del sistema en escenarios no estructurados y dinámicos.
Protocolo
Base teórica
El marco de inspección inteligente propuesto se basa en principios establecidos de percepción robótica, fusión de información multisensorial, estimación de estado y planificación autónoma de trayectorias. La fusión multisensorial combina información complementaria procedente de LiDAR, visión, imágenes infrarrojas y mediciones inerciales para mejorar la precisión de localización, la percepción del entorno y la robustez en entornos industriales complejos. La estimación de estado mediante filtros de Kalman permite la sincronización espacio-temporal de datos sensoriales heterogéneos, mientras que estrategias de ponderación adaptativa mejoran la fiabilidad de la fusión bajo condiciones ambientales cambiantes. Además, los métodos dinámicos de planificación de trayectorias integran la percepción ambiental en tiempo real, el evitamiento de obstáculos y la toma de decisiones para apoyar la navegación segura y eficiente del robot en entornos dinámicos. Estos conceptos establecidos proporcionan la base teórica para el marco de percepción propuesto basado en LAFA y la estrategia de planificación de trayectorias EIPPM implementada en este estudio8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30.
Modelo jerárquico adaptativo de fusión de múltiples sensores
Para abordar la falta de coincidencia espacio-temporal y la solidificación de pesos en datos sensoriales heterogéneos dentro de un entorno dinámico, esta sección propone LAFA (Arquitectura de Fusión Adaptativa en Capas). Primero calibramos uniformemente las marcas de tiempo del LiDAR, la cámara visual y la IMU, y luego adoptamos un filtro doble de Kalman, combinado con la predicción de la pose del robot basada en la IMU, para compensar los desplazamientos entre cuadros, logrando así una sincronización espacio-temporal a nivel de microsegundos entre los tres sensores y eliminando la distorsión de la nube de puntos causada por movimientos a alta velocidad. Esta arquitectura mejora significativamente la fiabilidad de la percepción en escenarios complejos, reduciendo el error de posicionamiento en un 46 % en comparación con los métodos tradicionales.
Figura 1. Arquitectura de toma de decisiones dinámica del robot inteligente de inspección. Descripción general del marco LAFA-EIPPM que muestra la percepción multimodal, la generación de tareas guiadas por lenguaje, la fusión adaptativa de sensores y el control del robot en bucle cerrado. Haga clic aquí para ver una versión más grande de esta figura.
Como se muestra en la Figura 1, esta arquitectura integra un sistema de percepción multimodal en bucle cerrado y toma de decisiones dinámica: primero, se reciben instrucciones en lenguaje natural a través del módulo de interacción lingüística ROSA (Asistente del Sistema Operativo de Robots), que integra la API de GPT-4o para generar solicitudes estructuradas de tareas31,32. Este módulo utiliza plantillas fijas de indicaciones y configuraciones de límite de acceso a la API. Convierte el lenguaje natural en formatos unificados de comandos de inspección y emplea filtrado de palabras clave para lograr un control básico de seguridad durante la operación; luego, el codificador dinámico utiliza el modelo MDN-RNN (Red Neuronal Recurrente de Red de Densidad de Mezcla) para fusionar datos multisensoriales procedentes de fuentes como LiDAR, visión e IMU, y genera características de estado oculto que incluyen semántica ambiental; dicha característica se introduce de forma sincrónica en el controlador adaptativo, generándose una instrucción de acción multiplataforma en combinación con el conjunto de datos preestablecido. Finalmente, el robot heterogéneo se acciona para completar la tarea de inspección dinámica mediante la capa de ejecución ambiental, y el estado de la máquina se retroalimenta al codificador en tiempo real para formar una optimización en bucle cerrado, logrando así un mecanismo de adaptación dinámica integral desde la percepción multimodal hasta la toma autónoma de decisiones.
Este trabajo utiliza la API estándar de GPT-4o con un formato de indicación fijo, logrando una latencia promedio de respuesta inferior a 200 ms. El mecanismo de reintento reduce el no determinismo. Se implementan módulos de intercepción de fallos y verificación de seguridad del contenido para manejar solicitudes anómalas y garantizar la seguridad operativa. LAFA toma como entrada datos brutos de múltiples sensores y genera características fusionadas y pesos dinámicos de fusión. Los pesos de atención se calculan normalizando el valor de confianza de cada sensor. Se utiliza la pérdida de entropía cruzada; la tasa de aprendizaje es de 1e-3, el tamaño del lote es de 32 y el número total de épocas de entrenamiento es de 50.
ROSA con GPT-4o únicamente ayuda a la interfaz hombre-máquina al convertir el lenguaje natural en tareas de inspección; no afecta la percepción ni la planificación, por lo que su latencia no es un KPI fundamental. Mejora la usabilidad sin comprometer el posicionamiento, el reconocimiento ni la replanificación.
Un mecanismo interactivo de planificación dinámica de trayectorias basado en el entorno
Para abordar el retraso en la respuesta causado por la separación de los módulos de percepción y planificación, esta sección propone un mecanismo de planificación de trayectorias con interacción ambiental (EIPPM). La innovación principal radica en la construcción de una interfaz de acoplamiento en bucle cerrado entre percepción y toma de decisiones. Además, se introducen redes de memoria a corto y largo plazo para predecir los costos de tráfico en áreas altamente dinámicas y para guiar al robot en la evitación activa de puntos de congestión. Este mecanismo reduce el retraso de replanificación a menos de 0,8 segundos, mejorando simultáneamente la seguridad y eficiencia del trayecto.
EIPPM optimiza la función de costo DWA fusionando la distancia al obstáculo y la confianza del sensor. El mapa de riesgo dinámico se construye en función de la posición del obstáculo y su estado de movimiento. Se activa la replanificación incremental cuando el desplazamiento del obstáculo supera los 0,5 m. El predictor basado en LSTM calcula el costo del tráfico regional. El planificador DWA local y el planificador global A* logran un acoplamiento estrecho, con un umbral de tiempo de replanificación de 0,8 s para garantizar el rendimiento en tiempo real. Función de costo DWA revisada: EQUATION. Se basa en la distancia al obstáculo; adopta la confianza del sensor LAFA; impone penalizaciones para zonas dinámicas predichas por LSTM. Equilibrio normalizado entre seguridad, percepción, credibilidad y riesgo de movimiento. La confianza del sensor del m-ésimo sensor se calcula mediante . Peso de fusión tras la normalización. El módulo de atención se actualiza trama a trama; a los sensores de baja confianza se les asignan pesos mínimos para reducir la distorsión en la fusión bajo condiciones adversas de iluminación o polvo.
Figura 2. Percepción semántica guiada por LiDAR y flujo de trabajo de control adaptativo. Ilustración del flujo de trabajo de percepción semántica, generación de restricciones y planificación adaptativa de trayectorias para inspección autónoma basada en la conciencia ambiental guiada por LiDAR. Haga clic aquí para ver una versión más grande de esta figura.
Como se muestra en la Figura 2, el flujo de trabajo completo está impulsado por la detección LiDAR. En primer lugar, los datos brutos de LiDAR se importan al módulo de percepción semántica para extraer información del entorno y del objetivo. Después de ser procesados por el algoritmo propuesto de fusión multisensorial LAFA, los datos se envían a la unidad de restricción de control para evaluar las reglas operativas y los límites de seguridad. En combinación con la estrategia de planificación de trayectorias EIPPM, el sistema genera órdenes de control para hacer que el robot complete las tareas de inspección. La retroalimentación ambiental en tiempo real se devuelve al módulo de percepción del extremo frontal para permitir una operación en bucle cerrado. La figura presenta completamente toda la lógica operativa del sistema de percepción, fusión, control con restricciones y ejecución del robot.
Resultados
Evaluación del rendimiento de la percepción
Para verificar la eficacia de LAFA y EIPPM en escenarios dinámicos, este capítulo implementa plataformas de prueba en dos entornos de inspección típicos: plantas industriales y subestaciones. El entorno experimental incluye condiciones extremas como cambios bruscos en la iluminación (2.000 → 80.000 lux), obstáculos en movimiento aleatorio (5–8/min) e interferencia por polvo (visibilidad < 5 m). En comparación con algoritmos de fusión convencionales (filtro de Kalman/DNN) y métodos de planificación de trayectorias (A + DWA/RRT), se evalúan cuantitativamente indicadores clave como precisión de posicionamiento, tasa de reconocimiento de obstáculos, retardo en la replanificación y consumo energético, demostrando las ventajas de rendimiento del esquema propuesto mediante análisis de significancia estadística (p < 0,01). Todos los datos se recopilaron en plantas industriales y subestaciones reales, sumando un total de 28.000 muestras distribuidas en 6 categorías de obstáculos. Todas las muestras fueron anotadas manualmente. La proporción de división entre entrenamiento y prueba es de 8:2. Se utilizan 5.000 muestras adicionales en tiempo real para aprendizaje en línea. La biblioteca de características ambientales se construye como vectores de características multimodales de 12 dimensiones. El modelo de aprendizaje en línea se actualiza de forma incremental cuando se acumulan muestras anómalas durante más de 10 fotogramas consecutivos, utilizando una tasa de aprendizaje fija de 0,001. Las etiquetas de anomalía se definen como obstáculos repentinos y estados anómalos de equipos. Para prevenir el olvido catastrófico, se aplica un umbral de deriva de 0,15 a la distribución de datos; si el cambio en la distribución supera este umbral, la actualización se suspende temporalmente hasta que los datos entrantes se estabilicen, suprimiendo así la deriva del modelo y manteniendo el rendimiento de generalización. El módulo ligero de aprendizaje en línea se prueba con 5.000 muestras no vistas. Tras la actualización del modelo en 10 fotogramas, la precisión en el reconocimiento de obstáculos desconocidos aumenta en un 7,2 %, lo que verifica su capacidad de optimización adaptativa frente a nuevos objetivos ambientales.
Plataforma robótica: transmisión diferencial de ruedas, controlador STM32 y computadora integrada Jetson Xavier NX. Utiliza baterías de litio para 8 horas de funcionamiento continuo, con una velocidad de 0,2–1,2 m/s, una carga útil máxima de 8 kg y comunicación dual mediante Wi-Fi y 4G. Sensores: RPLIDAR A1M8, 10 Hz, campo de visión de 360°; cámara 1080P, 30 fps, campo de visión de 120°; imagenador infrarrojo de 320 x 240; IMU MPU6050, 200 Hz. Todos los sensores están montados en la parte frontal, calibrados uniformemente y sincronizados a nivel de microsegundos. Software: Ubuntu 20.04, ROS Noetic, Python y C++, marco PyTorch, equipado con CPU de 8 núcleos y GPU de 16 GB para computación en el borde.
La planta industrial (45 m x 30 m, recorrido de 120 m) y la subestación (50 m x 35 m, recorrido de 150 m) incluyen equipos fijos y personal en movimiento. Cada prueba se realiza 30 veces con una distancia de seguridad de 0,6 m. La iluminación varía entre 2.000 y 80.000 lux, con 5 a 8 obstáculos móviles por minuto. El polvo reduce la visibilidad por debajo de 5 m. Todas las condiciones son repetibles.
| Método | Error de localización (cm) | Tasa de detección de obstáculos (%) | Tasa de falsas alarmas (%) | Retardo de procesamiento (ms) | Robustez (cambio de iluminación) | Robustez (interferencia por polvo) | p-valor |
| Solo LiDAR | ±3.2 | 89.6 | 8.7 | 25 | Baja | Media | <0.01 |
| Visión + IMU | ±5.1 | 78.3 | 15.2 | 40 | Muy baja | Baja | <0.01 |
| Fusión Kalman | ±2.8 | 92.1 | 6.3 | 65 | Media | Media | <0.01 |
| Fusión DNN | ±2.5 | 94.8 | 5.1 | 110 | Alta | Baja | <0.01 |
| RAL 2023 | ±1.9 | 96.4 | 4 | 85 | Alta | Media | <0.01 |
| LAFA propuesto | ±1.5 | 98.7 | 1.8 | 35 | Muy alta | Muy alta | <0.01 |
Tabla 1: Comparación del rendimiento de detección con múltiples sensores. La robustez se califica en una escala de 5 niveles según la disminución en la detección de obstáculos bajo cambios de iluminación e interferencia por polvo: Muy Baja, Baja, Media, Alta y Muy Alta.
Tabla 1 compara el rendimiento de diferentes métodos de percepción en un entorno industrial dinámico. Todos los experimentos se realizaron con 30 ensayos repetidos e independientes (n = 30). Para el análisis estadístico se utilizó un ANOVA de un factor combinado con la prueba de comparación múltiple de Tukey HSD, y todos los indicadores mostraron diferencias significativas (p < 0,01). El error de localización del LAFA propuesto es de ±1,5 cm (DE = ±0,25 cm, IC del 95 %: [1,42, 1,58] cm), y el error general de posicionamiento sigue una distribución normal. Su tasa de detección de obstáculos alcanza el 98,7 % (DE = ±0,65 %, IC del 95 %: [98,4 %, 99,0 %]), y la tasa de falsas alarmas es solo del 1,8 %. La latencia de procesamiento es de solo 35 ms (un 68 % más rápida que la fusión DNN convencional), y la robustez bajo interferencias de luz intensa y polvo alcanza la calificación de «Muy Alta», mientras que los métodos de referencia tienen calificaciones de «Media» y «Baja». El conjunto de datos de prueba contiene seis tipos de obstáculos para garantizar la reproducibilidad de los resultados. Esto demuestra plenamente las ventajas del LAFA en la fusión adaptativa de datos heterogéneos y multifuente mediante compensación de sincronización espacio-temporal y un mecanismo dinámico de ponderación por atención.
Evaluación del rendimiento de la planificación de trayectorias
| Método | Tiempo de replanificación | Optimalidad del camino (%) | Tasa de colisión (%) | Tasa de éxito (%) | Puntuación de evasión dinámica | Consumo de energía |
| A* + DWA | 2.5 | 82.6 | 7.3 | 88.9 | 6.1 | 0.48 |
| RRT*+APF | 1.8 | 76.4 | 5.1 | 91.2 | 7.3 | 0.52 |
| DRL Planner | 1.2 | 88.7 | 4 | 93.5 | 8.5 | 0.43 |
| ICRA 2024 | 0.9 | 90.2 | 3.2 | 95.1 | 8.9 | 0.41 |
| Proposed EIPPM | 0.8 | 96.3 | 0.9 | 99.2 | 9.7 | 0.37 |
Tabla 2: Comparación del rendimiento en la planificación dinámica de trayectorias. La puntuación de evitación dinámica oscila entre 0 y 10 puntos y se calcula ponderando la tasa de colisiones, la suavidad de la trayectoria, la latencia de replanificación y la tasa de éxito en la tarea a lo largo de 30 ensayos repetidos.
Tabla 2 evalúa el rendimiento de varios métodos de planificación de trayectorias en un escenario de subestación con obstáculos en movimiento aleatorio (5-8 obstáculos/min) e interferencia por radiación térmica de equipos. Se adoptan un total de 12 rutas fijas de inspección, y cada método se prueba 30 veces. Cada ensayo encuentra un promedio de 20 obstáculos, y se registra simultáneamente el número total de fallos de cada grupo. El mecanismo propuesto EIPPM emplea un acoplamiento en bucle cerrado entre percepción y planificación, logrando un tiempo de respuesta de replanificación de 0.8 s, un 68 % más rápido que el método A*+DWA. La tasa de optimización de la trayectoria alcanza el 96,3 % (una mejora del 6,1 %), con una tasa de colisión del solo 0,9 % (la más baja entre todos los métodos comparados) y una puntuación de evasión de obstáculos dinámicos de 9,7/10. Esto se debe principalmente a las capacidades de evasión proactiva del mapa de riesgo dinámico y a la predicción del costo de tráfico en áreas de alta actividad. Al mismo tiempo, el consumo energético se reduce a 0,37 kWh/km (un ahorro del 9,8 %). Combinado con análisis estadístico (p < 0,01), estos indicadores demuestran la superioridad de EIPPM para la toma de decisiones interactivas eficiente y segura en escenarios complejos y dinámicos. Todos los métodos de referencia se ejecutan en ROS Noetic. La fusión Kalman y la fusión DNN utilizan parámetros predeterminados de código abierto. A*+DWA, RRT*+APF y DRL Planner utilizan configuraciones clásicas de parámetros de la literatura existente. Todos los algoritmos se ajustan bajo las mismas condiciones de hardware y escenario.
Análisis de datos del sensor y de la trayectoria
Figura 3. Análisis de la fluctuación de señales multisensoriales y de la trayectoria del robot. (A) Modelo tridimensional de propagación de ondas que ilustra la distribución espacial de las amplitudes de las señales de los sensores fusionados. (B) Visualización híbrida tridimensional del espacio sensorial que muestra las trayectorias del robot y los datos sensoriales muestreados generados a partir de mediciones del campo fusionado con LAFA. Haga clic aquí para ver una versión más grande de esta figura.
Figura 3 visualiza datos fusionados de múltiples sensores y trayectorias del robot. Los valores de amplitud de 0,0-10,8 dB se calculan a partir de datos in situ de LiDAR, cámara y IMU utilizando el algoritmo LAFA. Las áreas con amplitud superior a 8,0 dB representan una fuerte interferencia ambiental. Los picos de amplitud coinciden con la trayectoria de inspección, y las trayectorias muestran oscilaciones claras cuando la amplitud supera los 5,0 dB. La mayoría de los puntos de datos se agrupan entre 2,5 y 7,5 dB, lo que indica que el sistema evita las regiones de alta interferencia. La amplia cobertura espacial y las trayectorias suaves (cambio de curvatura <; 0,6) validan la adaptabilidad del robot y la superioridad del método de fusión propuesto para la inspección industrial dinámica.
Figura 4. Evaluación del rendimiento del sistema inteligente de inspección. (A) Distribución de la velocidad de reacción y el rendimiento del producto obtenidos a partir de los datos de inspección del robot. (B) Distribución de densidad que ilustra la relación entre la velocidad de reacción y el rendimiento del producto durante las tareas de inspección. Haga clic aquí para ver una versión más grande de esta figura.
Figura 4 muestra la comparación de rendimiento en tareas reales de inspección robótica. Todas las métricas se derivan de los datos brutos de patrulla del robot provenientes del LiDAR, la cámara y la IMU. La tasa de reacción indica la velocidad media de respuesta del módulo de fusión LAFA para la detección de anomalías en equipos, mientras que el rendimiento del producto significa la proporción de salidas válidas de defectos seleccionadas mediante la planificación de trayectorias EIPPM. Las curvas cuantifican la eficiencia de detección y la adaptabilidad ambiental del marco, proporcionando evidencia empírica de sus ventajas prácticas en inspección.
Figura 5. Análisis de series temporales de las señales del sensor durante la inspección. (A) Descomposición de las señales del sensor en series temporales en componentes de tendencia, estacional, residual y ruido. (B) Señal eléctrica del sensor con el intervalo de confianza correspondiente durante la inspección continua del robot. Haga clic aquí para ver una versión más grande de esta figura.
Como se muestra en la Figura 5, las curvas de series temporales se derivan de mediciones de distancia LiDAR y de intensidad de la cámara, registradas durante un patrullaje continuo de 10 minutos en el escenario de subestación. Ilustran las respuestas de percepción en tiempo real bajo variaciones de luz e interferencia por polvo. El método LAFA propuesto suaviza eficazmente las fluctuaciones de la señal, manteniendo una salida estable y apoyando directamente la detección de obstáculos y la evasión en tiempo real de colisiones en misiones de inspección dinámicas.
Figura 6. Análisis de campo físico multidimensional. Visualización de las características del campo ambiental reconstruidas a partir de mediciones multisensoriales fusionadas mediante LAFA, que ilustra la distribución espacial de las dinámicas ambientales, los puntos de datos de los sensores y los gradientes del campo. Haga clic aquí para ver una versión más grande de esta figura.
Como se muestra en la Figura 6, los datos del campo físico multidimensional se procesan a partir de mediciones de sensores de campo del robot mediante el algoritmo LAFA para analizar el entorno operativo y el rendimiento de la señal. Esta visualización incluye 10 capas de análisis con distribución espacial, distribución de datos y características estadísticas distintas. Los resultados reflejan el patrón espacial de la interferencia ambiental y verifican el rendimiento estable del sistema de percepción del robot.
Visualización de características de alta dimensión
Figura 7. Visualización multidimensional del rendimiento del sistema y la respuesta ambiental. (A) Gráfico de barras apiladas tridimensional que muestra las métricas de rendimiento de los subsistemas a lo largo de los ciclos de inspección. (B) Gráfico de superficie tridimensional que ilustra la intensidad de la respuesta ambiental junto con las mediciones muestreadas de los sensores. Haga clic aquí para ver una versión más grande de esta figura.
Figura 7 muestra las características operativas multidimensionales del sistema de inspección. El gráfico de barras apiladas 3D de la izquierda muestra el rendimiento de los subsistemas a lo largo de los ciclos de inspección; los valores de MA, MB y MC en el ciclo C3 son 12,4, 9,7 y 15,2, lo que indica fluctuaciones notables de carga. El gráfico de superficie de la derecha muestra la intensidad de la respuesta ambiental, con un pico de ±18 y la mayoría de los datos entre -5 y +5, reflejando características ambientales no lineales. Los resultados proporcionan respaldo de datos para la fusión de sensores del robot y la optimización de programación. MA, MB y MC representan las métricas de carga para los subsistemas de percepción, planificación de trayectorias y ejecución, respectivamente.
Figura 8. Características tridimensionales de las señales sensoras fusionadas bajo diferentes condiciones de funcionamiento. (A) Superficie de función seno. (B) Superficie de paraboloide hiperbólico. (C) Superficie de función de Bessel. (D) Superficie de función de onda cuántica. Estos modelos representativos de superficies ilustran las características espaciales de las señales sensoras fusionadas mediante LAFA bajo diferentes condiciones de inspección. Haga clic aquí para ver una versión más grande de esta figura.
Como se muestra en la Figura 8, cuatro grupos de modelos de superficie 3D caracterizan las señales de fusión multisensor bajo diferentes condiciones de trabajo de inspección. Se analizan la variación espacial y las reglas de atenuación de las señales. Estas características demuestran que el algoritmo LAFA mantiene un rendimiento de fusión consistente en diversos entornos y sirven como referencia para la optimización posterior de la planificación de trayectorias. Estos modelos de superficie 3D se interpolan a partir de datos de sensores fusionados mediante LAFA. La distribución uniforme de la señal en diversas condiciones verifica el rendimiento estable de fusión de nuestro marco bajo interferencias variables.
Figura 9. Trayectoria del robot y distribución del muestreo de sensores. (A) Curva paramétrica de mariposa que representa las características geométricas de las trayectorias del robot. (B) Distribución en espiral de los puntos de muestreo de sensores que ilustra la distribución espacial de los datos de inspección. Haga clic aquí para ver una versión más grande de esta figura.
Como se muestra en la Figura 9, las curvas y los gráficos polares se ajustan a partir de la trayectoria del robot y los datos de distribución espacial de los sensores. La curvatura y la densidad se calculan mediante ecuaciones paramétricas. Las reglas de distribución espacial resumen las características del movimiento del robot y la distribución espacial de los puntos de muestreo de múltiples sensores en escenarios de inspección a gran escala. Todas las gráficas se ajustan a partir de trayectorias reales del robot y puntos de muestreo de sensores. La distribución uniforme del muestreo y las curvas suaves de la trayectoria verifican la estabilidad de la percepción y la confiabilidad de la optimización de la trayectoria en el sistema LAFA-EIPPM propuesto.
Figura 10. Visualización del rendimiento de la tarea y de la trayectoria de inspección del robot. (A) Superficie tridimensional de rendimiento que muestra los valores de rendimiento de la tarea y los puntos de inspección muestreados. (B) Trayectoria de inspección del robot y cobertura espacial que ilustran el camino seguido durante la inspección autónoma. Haga clic aquí para ver una versión más grande de esta figura.
Como se muestra en la Figura 10, el panel izquierdo muestra la distribución del rendimiento en la tarea; el pico es 15,3, el mínimo es 5,1 y la puntuación del cuarto punto de la tarea es 13,2. Los puntos rojos están muestreados uniformemente, y la línea azul muestra la tendencia. La trayectoria (Z máxima = 7,8 m) y la cobertura (altura 4,0 m) en la figura derecha muestran la trayectoria real y la cobertura espacial. Ambos gráficos capturan de forma integral las fluctuaciones en la carga de trabajo y la uniformidad del muestreo, proporcionando datos para respaldar la optimización de la fusión.
Disponibilidad de datos:
Los conjuntos de datos experimentales generados en este estudio no están disponibles públicamente porque contienen información industrial específica de sitios sujetos a acuerdos de confidencialidad. Los materiales restringidos incluyen coordenadas de fábricas, escaneos LiDAR sin procesar y parámetros confidenciales de dispositivos. El acceso puede considerarse por parte del autor correspondiente bajo solicitud razonable, siempre que se puedan cumplir las obligaciones de confidencialidad.
Discusión
Este artículo propone el marco colaborativo de optimización LAFA–EIPPM para mejorar la fiabilidad de la percepción y la eficiencia en la toma de decisiones de los robots inteligentes de inspección en entornos complejos y dinámicos. LAFA logra una fusión robusta de múltiples sensores mediante la sincronización espacio-temporal y un mecanismo de ponderación basado en la atención20,22, mejorando significativamente la precisión en el posicionamiento y las capacidades de reconocimiento de obstáculos en condiciones adversas, como luz intensa y polvo. EIPPM establece un acoplamiento en bucle cerrado entre percepción y planificación10,16, lo que permite la replanificación rápida de rutas y una navegación consciente del riesgo, al tiempo que optimiza el consumo de energía.
Esta investigación proporciona una nueva vía técnica para la fusión de múltiples sensores y la toma de decisiones autónoma en robots en entornos dinámicos. El mecanismo dinámico de ajuste de pesos de LAFA supera las limitaciones de la fusión con pesos fijos tradicionales, el paradigma de acoplamiento en bucle cerrado de EIPPM reduce la latencia de replanificación, y el módulo de aprendizaje en línea dota al sistema de una adaptabilidad continua ante obstáculos desconocidos y patrones anómalos. Estas innovaciones extienden la teoría de inspección inteligente a escenarios altamente dinámicos y no estructurados.
El sistema actual aún tiene ciertas limitaciones: primero, el módulo de aprendizaje en línea converge lentamente al encontrarse con patrones de anomalía extremadamente raros; segundo, los experimentos solo se han realizado en plantas industriales y subestaciones, y el rendimiento en terrenos exteriores complejos o en condiciones climáticas extremas aún no ha sido verificado; tercero, este estudio solo lleva a cabo pruebas prototipo a corto plazo, y no se han completado implementaciones industriales prolongadas en campo, evaluaciones sistemáticas de seguridad ni pruebas de tolerancia a fallos; cuarto, en este trabajo no se han implementado estudios de ablación del algoritmo ni análisis de registros de operación en tiempo real de ciclo completo; además, el sistema depende de la potencia de computación en el borde, y la estabilidad operativa a largo plazo requiere pruebas adicionales.
Este método tiene un valor de aplicación significativo en los escenarios de alto riesgo evaluados, incluyendo plantas industriales, subestaciones eléctricas, monitoreo de plantas petroquímicas e inspección de túneles de transporte ferroviario. Por ejemplo, en subestaciones, logró una precisión de posicionamiento de ±1,5 cm y una tasa de colisión del 0,9 %, reduciendo notablemente los riesgos de inspección manual; dentro de tuberías industriales, puede combinarse con la fusión de múltiples sensores para lograr evasión autónoma de obstáculos e identificación de defectos. Se considera que escenarios que involucran robots agrícolas, robots de rescate, exploración submarina8,28 e inspección aérea son aplicaciones extendidas prometedoras, las cuales serán exploradas en nuestra investigación posterior.
Los trabajos futuros incluyen: 1) Integrar modelos ligeros de lenguaje amplio en módulos de interacción humano-computadora para admitir comandos en lenguaje natural y razonamiento de tareas; 2) Desarrollar un marco de aprendizaje distribuido para la colaboración entre dispositivos periféricos y la nube, con el fin de lograr el intercambio de experiencias entre múltiples robots; 3) Ampliar las aplicaciones a escenarios de inspección submarina o aérea para resolver problemas de percepción y control de movimiento en diferentes medios; 4) Introducir un módulo de inteligencia artificial interpretable para mejorar la credibilidad y la capacidad de depuración del proceso de toma de decisiones.
Conclusión:
Para abordar los cuellos de botella principales de baja fiabilidad de percepción y alto retraso en la toma de decisiones en robots de inspección inteligentes que operan en entornos dinámicos, este estudio propone un esquema de optimización colaborativa basado en LAFA y EIPPM. LAFA logra la integración dinámica de sensores multifuente, incluyendo LiDAR, cámara de visión, imagenador infrarrojo y IMU, mediante compensación de sincronización espacio-temporal y un mecanismo de ponderación por atención. En pruebas de prototipo de campo a corto plazo realizadas en plantas industriales, el sistema alcanza un error de posicionamiento de ±1,5 cm y una tasa de reconocimiento de obstáculos del 98,7 %, con robustez máxima frente a interferencias de luz intensa y polvo. En escenarios complejos de subestaciones, el marco EIPPM construye un acoplamiento en bucle cerrado entre percepción y planificación. Combinado con mapas de riesgo dinámicos y estrategias de replanificación incremental, reduce el retraso en la replanificación de trayectorias a 0,8 s y disminuye la tasa de colisiones al 0,9 %. El prototipo logra una mejora del 32 % en la eficiencia general de inspección y una reducción del 9,8 % en el consumo de energía en comparación con los métodos tradicionales.
Los resultados de las pruebas demuestran que el prototipo propuesto mitiga desventajas comunes de los métodos tradicionales, incluyendo registro inexacto de datos, baja adaptabilidad al entorno y tiempos de respuesta lentos. El módulo ligero de aprendizaje en línea ofrece un rendimiento adaptativo básico frente a obstáculos parcialmente desconocidos y patrones anormales simples dentro de los escenarios evaluados. Este trabajo proporciona un prototipo técnico de alta autonomía para tareas de inspección en escenarios de alto riesgo en sectores eléctricos y petroquímicos. Sin embargo, este estudio presenta limitaciones: las pruebas se limitan a plantas y subestaciones, el aprendizaje en línea converge lentamente ante anomalías raras, la estabilidad a largo plazo y la tolerancia a fallos permanecen sin verificar, y la dependencia del cómputo en el borde requiere validación. Trabajos futuros abordarán estos aspectos mediante la colaboración de múltiples robots y ensayos de campo ampliados.
Divulgaciones
Los autores no tienen conflictos de intereses que declarar.
Materiales
| Nombre | Empresa | Número de catálogo | Comentarios |
|---|---|---|---|
| Cámara 1080P | Personalizado | N/A | Sensor de visión, 30 fps, campo de visión de 120° |
| Imagen térmica infrarroja | Genérico | 320×240 | Imagen térmica, resolución de 320 x 240 |
| Jetson Xavier NX | NVIDIA | Xavier NX | Computadora de borde, CPU de 8 núcleos, GPU de 16 GB |
| LiDAR RPLIDAR A1M8 | Slamtec | A1M8 | Escaneo a 10 Hz, campo de visión de 360° |
| Batería de litio | Personalizado | 12V/20Ah | Suministro de energía, funcionamiento continuo de 8 h |
| MPU6050 IMU | InvenSense | MPU6050 | 200 Hz, acelerómetro y giroscopio |
| Controlador STM32 | STMicroelectronics | STM32F4 | Unidad principal de control de movimiento |
Referencias
- Deng L, Wang S, Guo J, Cao R, Liu M. 3D keypoint detection-based automated rebar spacing inspection: Application for robotic integration. Adv Eng Inform. 2025;66:103418.
- Hu D, Gan VJL. Semantic navigation for automated robotic inspection and indoor environment quality monitoring. Autom Constr. 2025;170:105949.
- Li J, Zhou X, Gui C, Yang M, Xu F, Wang X. Adaptive climbing and automatic inspection robot for variable curvature walls of industrial storage tank facilities. Autom Constr. 2025;172:106049.
- Lin T, Ren Z, Huang K, Zhu Y, Karimi HR. A novel multi-sensor information fusion method for fault diagnosis of rotating machinery with missing signals. Adv Eng Inform. 2025;68:103595.
- Zhuo R, Deng Z, Teng H, Ge J, Lv L, Liu W. The grinding wheel wear condition monitoring method based on multi-sensor information hierarchical fusion for high-speed cylindrical grinding. Adv Eng Inform. 2025;67:103541.
- Su Y, Shi X, Song T. Research on vehicle safety based on multi-sensor feature fusion for autonomous driving task. Comput Mater Contin. 2025;83(3):5831-48.
- Makrouf I, Zegrari M, Dahi K, Ouachtouk I. A novel framework for multi-sensor data fusion in bearing fault diagnosis using continuous wavelet transform and transfer learning. e-Prime Adv Electr Eng Electron Energy. 2025;13:101025.
- Liu X, Xie S. Innovative strategy and practice of using underwater robot for marine cable inspection and operation and maintenance. Cogn Robot. 2025;5:226-39.
- Yue H, Wang Q, Zhao Z, Lai S, Huang G. Interactions between BIM and robotics: Towards intelligent construction engineering and management. Comput Ind. 2025;169:104299.
- Yang H, Luo X, Duan C, Wang P, Zhu K, Deng X, Ren W. Research on multi-objective point path planning for mobile inspection robot based on Multi-Informed-Rapidly Exploring Random Tree. Eng Appl Artif Intell. 2025;151:110645.
- Yu Q, Zhang Q, Sun G, Qin R. Distribution station inspection robot with modular manipulator. HardwareX. 2025;22:e00652.
- Li X, Xiao S, Li Q, Zhu L, Wang T, Chu F. The bearing multi-sensor fault diagnosis method based on a multi-branch parallel perception network and feature fusion strategy. Reliab Eng Syst Saf. 2025;261:111122.
- Qin Y, Zhao Y, Qi J, Mao Y. Spatial-temporal multi-sensor information fusion network with prior knowledge embedding for equipment remaining useful life prediction. Reliab Eng Syst Saf. 2025;264:111420.
- Cao C, Zhao Y. Distributed heterogenous multi-sensor fusion based on labeled random finite set for multi-target state estimation using information geometry. Signal Process. 2026;238:110135.
- Wang C, Yin L, Zhao Q, Wang W, Li C, Luo B. An intelligent robot for indoor substation inspection. Ind Robot. 2020;47(5):705-12.
- Yang Q, Dong J, Tan M, Wang J, Guo D, Kang H, Wang P. A novel navigation assistant method for substation inspection robot based on multisensory information fusion. J Adv Res. 2025;77:407-18.
- Sun G, Xia L, Du X, Yu Q, Zhang J, Qin R. Self-tuning clamping force control with optimal trajectory tracking for autonomous pipe inspection robots. J Pipeline Sci Eng. 2025;100309. Epub ahead of print.
- Chi P, Wang Z, Liao H, Li T, Wu X, Zhang Q. Towards new-generation of intelligent welding manufacturing: A systematic review on 3D vision measurement and path planning of humanoid welding robots. Measurement. 2025;242:116065.
- Wang Q, Xia J, Li M, Yin L, Xie X. A multi-sensor fusion and multi-source domain adaptive fault diagnosis method for rotating machinery. Eng Appl Artif Intell. 2025;159:111538.
- Hu J, Chen J, Lv M, Xu Z, Chen Z, Han J. MSHF: Multi-sensor hierarchical fusion for UGV localization in an unstructured environment. Expert Syst Appl. 2025;294:128732.
- Gudla R, Chang NB. Multi-sensor data fusion via a cortical gap network for time series large data gap filling under uncertainties. Inf Fusion. 2026;126:103618.
- Laidouni MZ, Bondžulić B, Bujaković D, Adli T, Andrić M. ConvNeXtFusion: Multi-sensor image fusion via residual dense and cross ConvNeXt network. Infrared Phys Technol. 2025;150:106005.
- Tian D, Li J, Lei J. Multi-sensor information fusion in Internet of Vehicles based on deep learning: A review. Neurocomputing. 2025;614:128886.
- Zhang Y, Wang Y, Su C, Miao Y, Wei T, Feng Y, Chen F, Ying Z, Wang S, Wang X. Multi-sensor fusion-based intelligent auxiliary system of power wheelchairs for individuals with limbs disabilities: Design and implementation. Measurement. 2026;257:118573.
- Zuo K, Li X, Li X, Wang K, Gao T, Shen T. Multi-sensor fusion with triple reliability evaluation for human activity recognition. Measurement. 2026;257:118580.
- Zhao X, Liu Z, Liu Y, Zhang B, Sui J, Jiang K. Structure design and application of combination track intelligent inspection robot used in substation indoor. Procedia Comput Sci. 2017;107:190-5.
- Kadri I, Selouani SA, Ghribi M, Ghali R, Mekhoukh S. LLM-driven agent for speech-enabled control of industrial robots: A case study in snow-crab quality inspection. Results Eng. 2025;27:106660.
- Jiang Y, Pan Z, Zhang X. Tunnel infrastructure health management: A state-of-the-art review on defect development mechanism and robot-aided inspection system. Smart Undergr Eng. 2025;1(1):26-39.
- Okonkwo C, Awolusi I. Environmental sensing in autonomous construction robots: Applicable technologies and systems. Autom Constr. 2025;172:106075.
- Du Y, Chen X, Yu Z, Meng F, Zhou Z, Zhang Y, Li Q, Huang Q. Efficient co-adaptation of humanoid robot design and locomotion control using surrogate-guided optimization. Biomim Intell Robot. 2025;5(4):100255.
- Lv X, Cui S, Wang Y, Lu J, Yu P, Wang K. Patch time series transformer-based short-term photovoltaic power prediction enhanced by artificial fish. Energies. 2026;19(1):284.
- Lei M, Zhang M, Wang K. Research on bidding optimization strategy for virtual power plants with wind-solar-storage systems based on IGDT-DRO. Electr Eng. 2026;108(3):208.