Este trabalho apresenta uma estrutura DWA adaptativa com múltiplos sensores (LiDAR, câmera, IR, IMU) e aprendizado em tempo real para robôs de inspeção. Testes industriais repetidos demonstraram precisão de posicionamento de ±1,5 cm, reconhecimento de obstáculos de 98,7%, melhoria de eficiência de 32% e redução de energia de 9,8% em comparação com métodos convencionais.
Artigo de investigação
Pesquisa sobre Otimização e Adaptação ao Ambiente Dinâmico de Sistema de Inspeção de Robôs Inteligentes Baseado em Fusão de Multisensores
Neste artigo
Resumo
Resumo
Este artigo propõe um framework de otimização baseado na fusão profunda multissensores e na tomada de decisão adaptativa para robôs inteligentes de inspeção, abordando a confiabilidade limitada da percepção, baixa eficiência no planejamento de trajetória e fraca adaptabilidade ao ambiente em cenários dinâmicos. A plataforma robótica é equipada com LiDAR, câmera de visão, imagemador térmico infravermelho e IMU para construir um modelo de percepção robusto para reconhecimento de obstáculos e estimativa de pose. Desenvolvemos um algoritmo de fusão dinâmica ponderada-DWA para planejamento de trajetória e um módulo de aprendizado online para atualizar características ambientais. Múltiplos testes são realizados em instalações industriais e subestações sob diferentes condições de iluminação e na presença de obstáculos móveis. Em comparação com métodos básicos, incluindo filtro de Kalman, DNN e A*+DWA, o sistema alcança um erro de posicionamento de ±1,5 cm, taxa de reconhecimento de obstáculos de 98,7% e atraso de replanejamento inferior a 0,8 s, com eficiência de inspeção 32% maior e consumo energético 9,8% menor (p < 0,01). O sistema demonstra robustez aprimorada nas condições industriais dinâmicas testadas.
Introdução
Com o rápido desenvolvimento da manufatura inteligente e da construção de energia inteligente, robôs de inspeção inteligentes, como equipamentos essenciais para substituir operações manuais de alto risco, têm sido amplamente utilizados em setores de infraestrutura essenciais, como energia elétrica, petroquímica e transporte ferroviário. Os sistemas tradicionais de inspeção dependem principalmente de um único sensor para percepção ambiental, e seu desempenho em cenários estruturados e estáticos é aceitável. No entanto, em locais industriais reais, frequentemente enfrentam fatores altamente dinâmicos e não estruturados, como mudanças na iluminação, realocação temporária de equipamentos, fluxo de pessoas e interferência de chuva e neblina, o que pode levar a falhas na percepção e erros de tomada de decisão1,2,3. Nos últimos anos, os avanços em aprendizado profundo e por reforço têm viabilizado novas abordagens para o processamento colaborativo de dados multissensoriais, enquanto melhorias em hardware de computação de borda têm permitido a execução em tempo real de algoritmos complexos. Nesse contexto, desenvolver um sistema de inspeção com fusão de múltiplos sensores e forte adaptabilidade ambiental é não apenas uma necessidade urgente para elevar o nível de automação nas operações e manutenções, mas também um suporte técnico essencial para garantir a operação segura de instalações críticas.
Embora a tecnologia de fusão multi-sensor tenha vantagens teóricas, os sistemas inteligentes de inspeção existentes ainda enfrentam gargalos significativos em aplicações práticas em ambientes dinâmicos: Primeiro, a precisão do registro espaciotemporal dos dados de sensores heterogêneos é insuficiente. A distorção de fusão entre a nuvem de pontos a laser e o quadro de imagem é causada por diferenças nas frequências de amostragem e nos sistemas de coordenadas. Especialmente quando o robô se move em alta velocidade, a distorção de movimento agrava os erros de correspondência de características e reduz a confiabilidade da detecção de obstáculos. Em segundo lugar, a estratégia tradicional de fusão apresenta pouca adaptabilidade às mudanças ambientais. Os métodos convencionais dependem de parâmetros fixos e não conseguem lidar com cenários como mudanças súbitas na iluminação, interferência de poeira ou obstáculos repentinos, levando a um aumento acentuado nas taxas de detecção falsa. Por exemplo, quando a visão falha sob luz intensa, o sistema não consegue alternar automaticamente para o modo dominado por laser, resultando em interrupção da navegação. Além disso, os módulos de planejamento de trajetória e percepção estão separados. A maioria dos sistemas adota uma arquitetura serial: após a camada de percepção gerar o modelo do ambiente, a camada de planejamento recalcula a trajetória. Esse modo apresenta um atraso significativo em cenários dinâmicos. Quando obstáculos temporários surgem, o processo de "detecção-modelagem-replanejamento" deve ser executado integralmente, o que leva mais de 2 segundos e não atende aos requisitos de desvio em tempo real. Por fim, o sistema carece de capacidades de aprendizado online. Os métodos existentes baseiam-se principalmente em modelos pré-treinados, que apresentam baixas taxas de reconhecimento para obstáculos não vistos ou estados anormais de equipamentos, exigem intervenção manual frequente para reajustar parâmetros e acarretam altos custos operacionais e de manutenção4,5,6,7. Esses problemas restringem severamente a implantação confiável de robôs de inspeção em cenários industriais complexos.
Este estudo propõe soluções inovadoras sistemáticas para os pontos críticos mencionados: Primeiro, projetar uma arquitetura de fusão adaptativa em camadas (LAFA, Layered Adaptive Fusion Architecture). Na camada de dados, propõe-se um algoritmo de compensação de sincronização espaço-temporal que alcança o alinhamento em nível de microssegundo entre os dados de LiDAR, visão e IMU por meio da compensação de movimento do IMU e de duplo filtro de Kalman. Na camada de características, desenvolve-se um módulo de seleção de características multimodais baseado em mecanismo de atenção para avaliar dinamicamente a confiança de cada sensor e ajustar o peso de fusão, mitigando assim a degradação da percepção sob interferências ambientais. Em segundo lugar, propõe-se o mecanismo de planejamento de trajetória com interação ambiental (EIPPM, Environmental Interactive Path Planning Mechanism). Os resultados de percepção em tempo real são diretamente incorporados à função de custo aprimorada para construir um mapa de risco dinâmico; ao mesmo tempo, projeta-se uma interface de acoplamento em malha fechada de "percepção-planejamento". Quando o módulo local de desvio de obstáculos DWA (Dynamic Window Approach) detecta um obstáculo súbito, ele imediatamente aciona a otimização incremental do caminho global, reduzindo o atraso de replanejamento para menos de 1 segundo, e introduz um modelo de previsão de custo de tráfego para evitar proativamente áreas de alta dinâmica. Terceiro, construir um framework leve de aprendizado online. Utiliza-se transferência de aprendizado para inicializar a biblioteca de características ambientais, implantando redes convolucionais leves (LCNN, Lightweight Convolutional Neural Network) e redes de memória de curto e longo prazo (LSTM, Long Short-Term Memory network) por meio de dispositivos de computação de borda, analisando em tempo real os dados de fluxo dos sensores, identificando automaticamente padrões anômalos preliminares e atualizando a base de conhecimento ambiental em cenários testados. Além disso, desenvolve-se um módulo de ajuste fino de estratégias baseado em aprendizado por reforço, permitindo que o sistema aprenda autonomamente estratégias adaptativas por meio de interação contínua. Essa solução alcança uma otimização completa da pilha, desde a percepção e tomada de decisão até a execução, melhorando significativamente a robustez e autonomia do sistema em cenários não estruturados e dinâmicos.
Protocolo
Base teórica
A estrutura de inspeção inteligente proposta baseia-se em princípios estabelecidos de percepção robótica, fusão de informações multisensoriais, estimativa de estado e planejamento autônomo de trajetórias. A fusão multisensorial combina informações complementares provenientes de LiDAR, visão, imagens infravermelhas e medidas inerciais para melhorar a precisão de localização, a percepção do ambiente e a robustez em ambientes industriais complexos. A estimativa de estado por meio de filtragem de Kalman permite a sincronização espaciotemporal de dados sensoriais heterogêneos, enquanto estratégias adaptativas de ponderação aumentam a confiabilidade da fusão sob condições ambientais variáveis. Além disso, métodos dinâmicos de planejamento de trajetórias integram percepção ambiental em tempo real, evasão de obstáculos e tomada de decisão para apoiar a navegação segura e eficiente do robô em ambientes dinâmicos. Esses conceitos estabelecidos fornecem a base teórica para a estrutura de percepção baseada em LAFA e para a estratégia de planejamento de trajetórias EIPPM implementada neste estudo8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30.
Modelo hierárquico adaptativo de fusão de múltiplos sensores
Para lidar com o descompasso espaço-temporal e a solidificação de pesos em dados sensoriais heterogêneos dentro de um ambiente dinâmico, esta seção propõe a LAFA (Arquitetura em Camadas para Fusão Adaptativa). Primeiramente, calibramos uniformemente os carimbos de tempo do LiDAR, da câmera de visão e da IMU, e em seguida adotamos um filtro duplo de Kalman, combinado com a previsão da pose do robô baseada na IMU, para compensar os deslocamentos entre quadros, alcançando assim sincronização espaço-temporal em nível de microssegundo entre os três sensores e eliminando a distorção da nuvem de pontos causada por movimentos de alta velocidade. Essa arquitetura melhora significativamente a confiabilidade da percepção em cenários complexos, reduzindo o erro de posicionamento em 46% em comparação com métodos tradicionais.
Figura 1. Arquitetura de tomada de decisão dinâmica do robô inteligente de inspeção. Visão geral do framework LAFA-EIPPM mostrando percepção multimodal, geração de tarefas orientada por linguagem, fusão adaptativa de sensores e controle de robô em malha fechada. Clique aqui para visualizar uma versão maior desta figura.
Conforme mostrado na Figura 1, essa arquitetura integra um sistema de percepção multimodal em malha fechada e tomada de decisão dinâmica: primeiro, instruções em linguagem natural são recebidas pelo módulo de interação linguística ROSA (Assistente do Sistema Operacional de Robôs), que integra a API do GPT-4o para gerar solicitações de tarefas estruturadas31,32. Este módulo utiliza modelos de prompt fixos e configurações de limite de acesso à API. Ele converte linguagem natural em formatos padronizados de comandos de inspeção e emprega filtragem de palavras-chave para realizar um controle básico de segurança durante a operação; Em seguida, o codificador dinâmico utiliza o modelo MDN-RNN (Rede Neural Recorrente com Rede de Densidade Mista) para fundir dados multisensoriais, como LiDAR, visão e IMU, gerando características de estado oculto que incluem semântica ambiental; Essa característica é inserida simultaneamente no controlador adaptativo, gerando uma instrução de ação multiplataforma em combinação com o conjunto de dados predefinido. Por fim, o robô heterogêneo é acionado para concluir a tarefa de inspeção dinâmica por meio da camada de execução ambiental, e o estado da máquina é retroalimentado ao codificador em tempo real, formando uma otimização em malha fechada, permitindo assim um mecanismo de adaptação dinâmica completa, desde a percepção multimodal até a tomada de decisão autônoma.
Este trabalho utiliza a API padrão do GPT-4o com um formato de prompt fixo, alcançando uma latência média de resposta inferior a 200 ms. O mecanismo de repetição reduz o não determinismo. São implantados módulos de interceptação de falhas e verificação de segurança do conteúdo para lidar com solicitações anormais e garantir a segurança operacional. O LAFA utiliza dados brutos de múltiplos sensores como entrada e gera características fundidas e pesos dinâmicos de fusão. Os pesos de atenção são calculados normalizando o valor de confiança de cada sensor. É utilizada a perda de entropia cruzada; a taxa de aprendizado é de 1e-3, o tamanho do lote é 32 e o número total de épocas de treinamento é 50.
O ROSA com o GPT-4o auxilia exclusivamente na interface entre o ser humano e a máquina, convertendo linguagem natural em tarefas de inspeção; ele não afeta a percepção nem o planejamento, portanto sua latência não é um KPI fundamental. Ele melhora a usabilidade sem comprometer posicionamento, reconhecimento ou replanejamento.
Um mecanismo interativo de planejamento dinâmico de trajetórias baseado no ambiente
Para lidar com o atraso de resposta causado pela separação dos módulos de percepção e planejamento, esta seção propõe um mecanismo de planejamento de trajetória com interação ambiental (EIPPM). A inovação central reside na construção de uma interface de acoplamento em malha fechada entre percepção e decisão. Além disso, são introducidas redes de memória de longo e curto prazo para prever custos de tráfego em áreas altamente dinâmicas e orientar o robô a evitar ativamente pontos de congestionamento. Esse mecanismo reduz o atraso de replanejamento para menos de 0,8 segundos, ao mesmo tempo em que melhora a segurança e a eficiência do trajeto.
O EIPPM otimiza a função de custo DWA combinando a distância até obstáculos e a confiança do sensor. O mapa de risco dinâmico é construído com base na posição e no estado de movimento dos obstáculos. O replanejamento incremental é acionado quando o deslocamento do obstáculo excede 0,5 m. O preditor baseado em LSTM calcula o custo de tráfego regional. O planejador local DWA e o planejador global A* alcançam acoplamento estreito, com um limiar de tempo de replanejamento de 0,8 s para garantir desempenho em tempo real. Função de custo DWA revisada: EQUATION. baseia-se na distância até obstáculos; adota a confiança do sensor LAFA; impõe penalidades para zonas dinâmicas previstas pelo LSTM. Equilibra de forma normalizada segurança, percepção, credibilidade e risco de movimento. A confiança do sensor do m-ésimo sensor é calculada por meio de . Peso de fusão após normalização. O módulo de atenção é atualizado quadro a quadro; sensores de baixa confiança recebem pesos mínimos para reduzir distorções na fusão sob iluminação adversa ou poeira.
Figura 2. Fluxo de trabalho da percepção semântica e controle adaptativo orientado por LiDAR. Ilustração do fluxo de trabalho de percepção semântica, geração de restrições e planejamento adaptativo de trajetória para inspeção autônoma com base na percepção ambiental orientada por LiDAR. Clique aqui para visualizar uma versão maior desta figura.
Conforme mostrado na Figura 2, o fluxo de trabalho completo é orientado pelo sensoriamento LiDAR. Os dados brutos do LiDAR são primeiro importados para o módulo de percepção semântica para extrair informações sobre o ambiente e o alvo. Após serem processados pelo algoritmo proposto de fusão multissensores LAFA, os dados são enviados à unidade de restrição de controle para avaliar as regras operacionais e os limites de segurança. Em combinação com a estratégia de planejamento de trajetória EIPPM, o sistema emite comandos de controle para acionar o robô a concluir as tarefas de inspeção. O feedback ambiental em tempo real é realimentado ao módulo de percepção frontal para permitir o funcionamento em malha fechada. A figura apresenta integralmente a lógica operacional completa do sistema de percepção, fusão, controle com restrições e execução do robô.
Resultados
Avaliação do desempenho da percepção
Para verificar a eficácia do LAFA e do EIPPM em cenários dinâmicos, este capítulo implanta plataformas de teste em dois ambientes de inspeção típicos: instalações industriais e subestações. O cenário experimental inclui condições extremas, como mudanças bruscas na iluminação (2.000 → 80.000 lux), obstáculos em movimento aleatório (5–8/min) e interferência de poeira (visibilidade < 5 m). Em comparação com algoritmos de fusão convencionais (filtro de Kalman/DNN) e métodos de planejamento de trajetória (A + DWA/RRT), são avaliados quantitativamente indicadores principais, como precisão de posicionamento, taxa de reconhecimento de obstáculos, atraso no replanejamento e consumo de energia, comprovando as vantagens de desempenho do esquema proposto por meio de análise de significância estatística (p < 0,01). Todos os dados são coletados de instalações industriais e subestações reais, totalizando 28.000 amostras distribuídas em 6 categorias de obstáculos. Todas as amostras são anotadas manualmente. A divisão entre treinamento e teste é de 8:2. Um conjunto adicional de 5.000 amostras em tempo real é utilizado para aprendizado online. A biblioteca de características ambientais é construída como vetores de características multimodais de 12 dimensões. O modelo de aprendizado online é atualizado de forma incremental quando amostras anômalas se acumulam por mais de 10 quadros consecutivos, utilizando uma taxa de aprendizado fixa de 0,001. Rótulos de anomalia são definidos como obstáculos súbitos e estados anormais de equipamentos. Para prevenir o esquecimento catastrófico, aplica-se um limiar de deriva de 0,15 à distribuição dos dados; caso a mudança na distribuição exceda esse limiar, a atualização é temporariamente suspensa até que os dados de entrada se estabilizem, suprimindo assim a deriva do modelo e mantendo o desempenho de generalização. O módulo leve de aprendizado online é testado com 5.000 amostras não vistas. Após a atualização do modelo em 10 quadros, a precisão no reconhecimento de obstáculos desconhecidos aumenta em 7,2%, verificando sua capacidade de otimização adaptativa para novos alvos ambientais.
Plataforma robótica: acionamento por rodas diferenciais, controlador STM32 e computador embarcado Jetson Xavier NX. Utiliza baterias de lítio para 8 horas de operação contínua, com velocidade de 0,2–1,2 m/s, carga útil máxima de 8 kg e comunicação dual Wi-Fi e 4G. Sensores: RPLIDAR A1M8, 10 Hz, campo de visão (FOV) de 360°; câmera 1080P, 30 quadros por segundo (fps), FOV de 120°; imagem infravermelha de 320 x 240; IMU MPU6050, 200 Hz. Todos os sensores são montados na frente, calibrados uniformemente e sincronizados em nível de microssegundo. Software: Ubuntu 20.04, ROS Noetic, Python e C++, framework PyTorch, equipado com CPU de 8 núcleos e GPU de 16 GB para computação de borda.
A planta industrial (45 m x 30 m, percurso de 120 m) e a subestação (50 m x 35 m, percurso de 150 m) incluem equipamentos fixos e pessoal em movimento. Cada teste é realizado 30 vezes com uma distância de segurança de 0,6 m. A iluminação varia de 2.000 a 80.000 lux, com 5 a 8 obstáculos móveis por minuto. A poeira reduz a visibilidade para menos de 5 m. Todas as condições são repetíveis.
| Método | Erro de localização (cm) | Taxa de detecção de obstáculos (%) | Taxa de alarme falso (%) | Atraso no processamento (ms) | Robustez (mudança de iluminação) | Robustez (interferência de poeira) | p-valor |
| Apenas LiDAR | ±3,2 | 89,6 | 8,7 | 25 | Baixa | Média | <0,01 |
| Visão + IMU | ±5,1 | 78,3 | 15,2 | 40 | Muito Baixa | Baixa | <0,01 |
| Fusão Kalman | ±2,8 | 92,1 | 6,3 | 65 | Média | Média | <0,01 |
| Fusão DNN | ±2,5 | 94,8 | 5,1 | 110 | Alta | Baixa | <0,01 |
| RAL 2023 | ±1,9 | 96,4 | 4 | 85 | Alta | Média | <0,01 |
| LAFA proposto | ±1,5 | 98,7 | 1,8 | 35 | Muito Alta | Muito Alta | <0,01 |
Tabela 1: Comparação do desempenho de detecção com múltiplos sensores. A robustez é classificada em uma escala de 5 níveis com base na redução na detecção de obstáculos sob mudanças de iluminação e interferência de poeira: Muito Baixa, Baixa, Média, Alta e Muito Alta.
Tabela 1 compara o desempenho de diferentes métodos de percepção em um ambiente industrial dinâmico. Todos os experimentos foram realizados com 30 ensaios repetidos independentes (n = 30). Uma ANOVA unifatorial combinada ao teste de comparação múltipla de Tukey HSD foi utilizada para a análise estatística, e todos os indicadores apresentaram diferenças significativas (p < 0,01). O erro de localização do LAFA proposto é de ±1,5 cm (DP = ±0,25 cm, IC 95%: [1,42, 1,58] cm), e o erro geral de posicionamento segue uma distribuição normal. Sua taxa de detecção de obstáculos alcança 98,7% (DP = ±0,65%, IC 95%: [98,4%, 99,0%]), e a taxa de alarme falso é de apenas 1,8%. A latência de processamento é de apenas 35 ms (68% mais rápida que a fusão DNN convencional), e a robustez sob interferência intensa de luz e poeira atinge a classificação "Muito Alta", enquanto os métodos de referência são classificados como "Média" e "Baixa". O conjunto de dados de teste contém seis tipos de obstáculos para garantir a reprodutibilidade dos resultados. Isso demonstra plenamente as vantagens do LAFA na fusão adaptativa de dados heterogêneos e multissensoriais por meio da compensação de sincronização espaço-temporal e de um mecanismo dinâmico de ponderação por atenção.
Avaliação do desempenho do planejamento de trajetória
| Método | Tempo de replanejamento | Otimalidade do caminho (%) | Taxa de colisão (%) | Taxa de sucesso (%) | Pontuação de evasão dinâmica | Consumo de energia |
| A* + DWA | 2,5 | 82,6 | 7,3 | 88,9 | 6,1 | 0,48 |
| RRT*+APF | 1,8 | 76,4 | 5,1 | 91,2 | 7,3 | 0,52 |
| DRL Planner | 1,2 | 88,7 | 4 | 93,5 | 8,5 | 0,43 |
| ICRA 2024 | 0,9 | 90,2 | 3,2 | 95,1 | 8,9 | 0,41 |
| Proposed EIPPM | 0,8 | 96,3 | 0,9 | 99,2 | 9,7 | 0,37 |
Tabela 2: Comparação de desempenho no planejamento dinâmico de trajetórias. A pontuação de evitamento dinâmico varia de 0 a 10 pontos e é calculada ponderando a taxa de colisão, a suavidade do caminho, a latência de replanejamento e a taxa de sucesso na tarefa ao longo de 30 ensaios repetidos.
Tabela 2 avalia o desempenho de diversos métodos de planejamento de trajetórias em um cenário de subestação com obstáculos em movimento aleatório (5-8 obstáculos/min) e interferência da radiação térmica de equipamentos. Um total de 12 rotas fixas de inspeção é adotado, e cada método é testado 30 vezes. Cada tentativa encontra em média 20 obstáculos, e a contagem total de falhas de cada grupo é registrada simultaneamente. O mecanismo proposto EIPPM emprega um acoplamento em malha fechada entre percepção e planejamento, alcançando um tempo de resposta de replanejamento de 0,8 s, 68% mais rápido que o método A*+DWA. A taxa de otimização de trajetória atinge 96,3% (uma melhoria de 6,1%), com taxa de colisão de apenas 0,9% (a mais baixa entre todos os métodos comparados) e pontuação de desvio de obstáculos dinâmicos de 9,7/10. Isso se deve principalmente às capacidades proativas de desvio do mapa de risco dinâmico e à previsão de custo de tráfego em áreas de alta atividade. Simultaneamente, o consumo de energia é reduzido para 0,37 kWh/km (uma economia de 9,8%). Combinado com análise estatística (p < 0,01), esses indicadores demonstram a superioridade do EIPPM para tomada de decisões interativas eficientes e seguras em cenários complexos e dinâmicos. Todos os métodos de referência são executados no ROS Noetic. A Fusão Kalman e a Fusão DNN utilizam parâmetros padrão de código aberto. A*+DWA, RRT*+APF e Planejador DRL utilizam configurações clássicas de parâmetros da literatura existente. Todos os algoritmos são ajustados sob as mesmas condições de hardware e cenário.
Análise de dados do sensor e trajetória
Figura 3. Análise da flutuação do sinal de múltiplos sensores e da trajetória do robô. (A) Modelo tridimensional de propagação de ondas ilustrando a distribuição espacial das amplitudes dos sinais dos sensores fundidos. (B) Visualização híbrida tridimensional do espaço dos sensores mostrando as trajetórias do robô e os dados amostrais dos sensores gerados a partir das medições do campo fundido pelo LAFA. Clique aqui para visualizar uma versão maior desta figura.
Figura 3 visualiza dados fundidos de múltiplos sensores e trajetórias do robô. Os valores de amplitude entre 0,0 e 10,8 dB são calculados a partir de dados coletados in loco por LiDAR, câmera e IMU, utilizando o algoritmo LAFA. Áreas com amplitude acima de 8,0 dB representam interferência ambiental intensa. Os picos de amplitude coincidem com o percurso de inspeção, e as trajetórias exibem oscilações nítidas quando a amplitude ultrapassa 5,0 dB. A maioria dos pontos de dados se concentra entre 2,5 e 7,5 dB, indicando que o sistema contorna regiões de alta interferência. A ampla cobertura espacial e as trajetórias suaves (mudança de curvatura <; 0,6) validam a adaptabilidade do robô e a superioridade do método de fusão proposto para inspeção industrial dinâmica.
Figura 4. Avaliação de desempenho do sistema inteligente de inspeção. (A) Distribuição da taxa de reação e do rendimento do produto derivados dos dados de inspeção do robô. (B) Distribuição de densidade ilustrando a relação entre taxa de reação e rendimento do produto durante as tarefas de inspeção. Clique aqui para visualizar uma versão maior desta figura.
Figura 4 mostra a comparação de desempenho em tarefas reais de inspeção robótica. Todas as métricas são derivadas dos dados brutos de patrulhamento do robô provenientes do LiDAR, da câmera e do IMU. A taxa de reação indica a velocidade média de resposta do módulo de fusão LAFA para captura de anomalias em equipamentos, enquanto o rendimento do produto significa a proporção de saídas válidas de defeitos selecionadas pelo planejamento de trajetória EIPPM. As curvas quantificam a eficiência de detecção e a adaptabilidade ambiental da estrutura, fornecendo evidências empíricas de suas vantagens práticas na inspeção.
Figura 5. Análise de séries temporais dos sinais dos sensores durante a inspeção. (A) Decomposição dos sinais dos sensores em séries temporais nas componentes de tendência, sazonalidade, resíduo e ruído. (B) Sinal elétrico do sensor com o respectivo intervalo de confiança durante a inspeção contínua por robô. Clique aqui para visualizar uma versão maior desta figura.
Como mostrado na Figura 5, as curvas de séries temporais são derivadas de leituras de alcance LiDAR e intensidade da câmera, registradas durante uma patrulha contínua de 10 minutos no cenário de subestação. Elas ilustram respostas de percepção em tempo real sob variações de iluminação e interferência de poeira. O método LAFA proposto suaviza efetivamente as oscilações do sinal, mantendo uma saída estável e apoiando diretamente a detecção de obstáculos e a prevenção de colisões em tempo real em missões dinâmicas de inspeção.
Figura 6. Análise de campo físico multidimensional. Visualização das características do campo ambiental reconstruídas a partir de medições multisensoriais fundidas pelo LAFA, ilustrando a distribuição espacial das dinâmicas ambientais, pontos de dados dos sensores e gradientes de campo. Clique aqui para visualizar uma versão maior desta figura.
Conforme mostrado na Figura 6, os dados do campo físico multidimensional são processados a partir de medições de sensores de campo do robô utilizando o algoritmo LAFA para analisar o ambiente operacional e o desempenho do sinal. Esta visualização inclui 10 camadas de análise com distribuição espacial, distribuição de dados e características estatísticas distintas. Os resultados refletem o padrão espacial de interferência ambiental e verificam o desempenho estável do sistema de percepção do robô.
Visualização de características de alta dimensão
Figura 7. Visualização multidimensional do desempenho do sistema e da resposta ambiental. (A) Gráfico de barras empilhadas tridimensional mostrando as métricas de desempenho dos subsistemas ao longo dos ciclos de inspeção. (B) Gráfico de superfície tridimensional ilustrando a intensidade da resposta ambiental juntamente com as medições amostradas dos sensores. Clique aqui para visualizar uma versão maior desta figura.
Figura 7 mostra as características operacionais multidimensionais do sistema de inspeção. O gráfico de barras 3D empilhadas à esquerda exibe o desempenho dos subsistemas ao longo dos ciclos de inspeção; os valores de MA, MB e MC no ciclo C3 são 12,4, 9,7 e 15,2, indicando flutuações significativas na carga. O gráfico de superfície à direita mostra a intensidade da resposta ambiental, com um pico de ±18 e a maioria dos dados entre -5 e +5, refletindo características ambientais não lineares. Os resultados fornecem suporte de dados para a fusão de sensores robóticos e a otimização de agendamento. MA, MB e MC representam as métricas de carga dos subsistemas de percepção, planejamento de trajetória e execução, respectivamente.
Figura 8. Características tridimensionais dos sinais sensoriais fundidos sob diferentes condições operacionais. (A) Superfície de função senoidal. (B) Superfície paraboloide hiperbólica. (C) Superfície de função de Bessel. (D) Superfície de função de onda quântica. Esses modelos representativos de superfície ilustram as características espaciais dos sinais sensoriais fundidos pelo LAFA sob diferentes condições de inspeção. Clique aqui para visualizar uma versão ampliada desta figura.
Conforme mostrado na Figura 8, quatro grupos de modelos de superfície 3D caracterizam sinais de fusão multissensores sob diferentes condições de inspeção. São analisadas as variações espaciais e as regras de atenuação dos sinais. Essas características demonstram que o algoritmo LAFA mantém um desempenho de fusão consistente em ambientes variados e servem como referência para a otimização subsequente do planejamento de trajetórias. Esses modelos de superfície 3D são interpolados a partir de dados de sensores fundidos pelo LAFA. A distribuição uniforme do sinal em diversas condições verifica o desempenho estável de fusão do nosso framework sob interferências variadas.
Figura 9. Trajetória do robô e distribuição da amostragem dos sensores. (A) Curva paramétrica em forma de borboleta representando as características geométricas das trajetórias do robô. (B) Distribuição espiral dos pontos de amostragem dos sensores, ilustrando a distribuição espacial dos dados de inspeção. Clique aqui para visualizar uma versão maior desta figura.
Conforme mostrado na Figura 9, as curvas e os gráficos polares são ajustados a partir da trajetória do robô e dos dados de distribuição espacial dos sensores. A curvatura e a densidade são calculadas por meio de equações paramétricas. As regras de distribuição espacial resumem as características de movimento do robô e a distribuição espacial dos pontos de amostragem dos múltiplos sensores em cenários de inspeção em larga escala. Todos os gráficos são ajustados a partir de trajetórias reais do robô e pontos de amostragem dos sensores. A distribuição uniforme da amostragem e as curvas suaves da trajetória verificam a estabilidade da percepção e a confiabilidade da otimização de trajeto no sistema LAFA-EIPPM proposto.
Figura 10. Visualização do desempenho da tarefa e da trajetória de inspeção do robô. (A) Superfície tridimensional de desempenho mostrando os valores de desempenho da tarefa e os pontos de inspeção amostrados. (B) Trajetória de inspeção do robô e cobertura espacial ilustrando o caminho seguido durante a inspeção autônoma. Clique aqui para visualizar uma versão maior desta figura.
Conforme mostrado na Figura 10, o painel esquerdo mostra a distribuição do desempenho da tarefa; o pico é 15,3, o mínimo é 5,1 e a pontuação do quarto ponto da tarefa é 13,2. Os pontos vermelhos são amostrados uniformemente, e a linha azul mostra a tendência. O percurso (Z máximo = 7,8 m) e a cobertura (altura 4,0 m) na figura da direita mostram a trajetória real e a cobertura espacial. Os dois gráficos capturam de forma abrangente as flutuações na carga de trabalho e a uniformidade da amostragem, fornecendo dados para apoiar a otimização da fusão.
Disponibilidade de Dados:
Os conjuntos de dados experimentais gerados neste estudo não estão disponíveis publicamente porque contêm informações industriais específicas de locais sujeitas a acordos de confidencialidade. Os materiais restritos incluem coordenadas de fábricas, varreduras LiDAR não processadas e parâmetros confidenciais de dispositivos. O acesso poderá ser considerado pelo autor correspondente mediante solicitação razoável, desde que as obrigações de confidencialidade possam ser atendidas.
Discussão
Este artigo propõe o framework colaborativo de otimização LAFA–EIPPM para melhorar a confiabilidade da percepção e a eficiência na tomada de decisões de robôs inteligentes de inspeção em ambientes complexos e dinâmicos. O LAFA alcança uma fusão robusta de múltiplos sensores por meio da sincronização espaço-temporal e de um mecanismo de ponderação baseado em atenção20,22, melhorando significativamente a precisão de posicionamento e as capacidades de reconhecimento de obstáculos em condições adversas, como forte luminosidade e poeira. O EIPPM estabelece um acoplamento em malha fechada entre percepção e planejamento10,16, permitindo o replanejamento rápido de trajetórias e a navegação com conscientização de riscos, ao mesmo tempo que otimiza o consumo de energia.
Esta pesquisa fornece um novo caminho técnico para a fusão de múltiplos sensores e tomada de decisão autônoma em robôs em ambientes dinâmicos. O mecanismo dinâmico de ajuste de pesos do LAFA supera as limitações da fusão com pesos fixos tradicionais, o paradigma de acoplamento em malha fechada do EIPPM reduz a latência de replanejamento, e o módulo de aprendizado online confere ao sistema adaptabilidade contínua a obstáculos desconhecidos e padrões anômalos. Essas inovações estendem a teoria de inspeção inteligente a cenários altamente dinâmicos e não estruturados.
O sistema atual ainda apresenta certas limitações: primeiro, o módulo de aprendizado online converge lentamente ao encontrar padrões de anomalia extremamente raros; segundo, os experimentos foram realizados apenas em instalações industriais e subestações, e o desempenho em terrenos externos complexos ou em condições climáticas extremas ainda não foi verificado; terceiro, este estudo realiza apenas testes de protótipo de curta duração, e implantações industriais de campo de longa duração, avaliação sistemática de segurança e testes de tolerância a falhas não foram concluídos; quarto, estudos de ablação de algoritmos e análise de logs de operação em tempo real de ciclo completo não foram implementados neste trabalho; além disso, o sistema depende da capacidade de computação de borda, e a estabilidade operacional de longo prazo requer testes adicionais.
Este método possui valor aplicativo significativo nos cenários de alto risco testados, incluindo usinas industriais, subestações elétricas, monitoramento de plantas petroquímicas e inspeção de túneis de transporte ferroviário. Por exemplo, em subestações, alcançou uma precisão de posicionamento de ±1,5 cm e uma taxa de colisão de 0,9%, reduzindo significativamente os riscos da inspeção manual; no interior de tubulações industriais, pode ser combinado com fusão multisensorial para alcançar desvio autônomo de obstáculos e identificação de defeitos. Cenários envolvendo robôs agrícolas, robôs de resgate, exploração subaquática8,28 e inspeção aérea são considerados aplicações promissoras estendidas e serão explorados em nossa pesquisa subsequente.
Trabalhos futuros incluem: 1) Integrar modelos leves de linguagem de grande porte em módulos de interação humano-computador para suportar comandos em linguagem natural e raciocínio sobre tarefas; 2) Desenvolver uma estrutura de aprendizado distribuído para colaboração entre dispositivos de borda e nuvem, a fim de alcançar compartilhamento de experiências entre múltiplos robôs; 3) Expandir para cenários de inspeção subaquática ou aérea para resolver problemas de percepção e controle de movimento em diferentes meios; 4) Introduzir um módulo de IA explicável para melhorar a credibilidade e a capacidade de depuração do processo de tomada de decisão.
Conclusão:
Para resolver os principais gargalos de baixa confiabilidade de percepção e alto atraso na tomada de decisões em robôs inteligentes de inspeção operando em ambientes dinâmicos, este estudo propõe um esquema de otimização colaborativa baseado em LAFA e EIPPM. O LAFA realiza a integração dinâmica de sensores multissensoriais, incluindo LiDAR, câmera de visão, imagens infravermelhas e IMU, por meio da compensação de sincronização espaço-temporal e de um mecanismo de ponderação por atenção. Em testes de protótipo de campo de curto prazo realizados em instalações industriais, o sistema alcança um erro de posicionamento de ±1,5 cm e uma taxa de reconhecimento de obstáculos de 98,7%, com robustez de alto nível frente a interferências de luz intensa e poeira. Em cenários complexos de subestações, o framework EIPPM constrói um acoplamento em malha fechada entre percepção e planejamento. Combinado com mapas dinâmicos de risco e estratégias de replanejamento incremental, reduz o atraso no replanejamento de trajetória para 0,8 s e diminui a taxa de colisão para 0,9%. O protótipo alcança uma melhoria de 32% na eficiência geral de inspeção e uma redução de 9,8% no consumo de energia em comparação com métodos tradicionais.
Os resultados dos testes demonstram que o protótipo proposto atenua as desvantagens comuns dos métodos tradicionais, incluindo registro impreciso de dados, baixa adaptabilidade ao ambiente e tempos de resposta lentos. O módulo leve de aprendizado online oferece desempenho adaptativo básico para obstáculos parcialmente desconhecidos e padrões anormais simples dentro dos cenários testados. Este trabalho fornece um protótipo técnico de alta autonomia para tarefas de inspeção em cenários de alto risco na área de energia e petroquímica. No entanto, este estudo possui limitações: os testes estão restritos a usinas/subestações, o aprendizado online converge lentamente para anomalias raras, a estabilidade de longo prazo e a tolerância a falhas ainda não foram testadas, e a dependência de computação de borda exige verificação. Trabalhos futuros abordarão essas questões por meio de colaboração entre múltiplos robôs e ensaios de campo ampliados.
Divulgações
Os autores não têm conflitos de interesse a declarar.
Materiais
| Nome | Empresa | Número de catálogo | Comentários |
|---|---|---|---|
| Câmera 1080P | Personalizado | N/A | Sensor de visão, 30 quadros por segundo, campo de visão de 120° |
| Imager de Infravermelho | Genérico | 320×240 | Imagem térmica, resolução de 320 x 240 |
| Jetson Xavier NX | NVIDIA | Xavier NX | Computador de borda, CPU de 8 núcleos, GPU de 16 GB |
| LiDAR RPLIDAR A1M8 | Slamtec | A1M8 | Varredura de 10 Hz, campo de visão de 360° |
| Bateria de Lítio | Personalizado | 12V/20Ah | Fonte de alimentação, operação contínua de 8 h |
| IMU MPU6050 | InvenSense | MPU6050 | 200 Hz, acelerômetro e giroscópio |
| Controlador STM32 | STMicroelectronics | STM32F4 | Unidade principal de controle de movimento |
Referências
- Deng L, Wang S, Guo J, Cao R, Liu M. 3D keypoint detection-based automated rebar spacing inspection: Application for robotic integration. Adv Eng Inform. 2025;66:103418.
- Hu D, Gan VJL. Semantic navigation for automated robotic inspection and indoor environment quality monitoring. Autom Constr. 2025;170:105949.
- Li J, Zhou X, Gui C, Yang M, Xu F, Wang X. Adaptive climbing and automatic inspection robot for variable curvature walls of industrial storage tank facilities. Autom Constr. 2025;172:106049.
- Lin T, Ren Z, Huang K, Zhu Y, Karimi HR. A novel multi-sensor information fusion method for fault diagnosis of rotating machinery with missing signals. Adv Eng Inform. 2025;68:103595.
- Zhuo R, Deng Z, Teng H, Ge J, Lv L, Liu W. The grinding wheel wear condition monitoring method based on multi-sensor information hierarchical fusion for high-speed cylindrical grinding. Adv Eng Inform. 2025;67:103541.
- Su Y, Shi X, Song T. Research on vehicle safety based on multi-sensor feature fusion for autonomous driving task. Comput Mater Contin. 2025;83(3):5831-48.
- Makrouf I, Zegrari M, Dahi K, Ouachtouk I. A novel framework for multi-sensor data fusion in bearing fault diagnosis using continuous wavelet transform and transfer learning. e-Prime Adv Electr Eng Electron Energy. 2025;13:101025.
- Liu X, Xie S. Innovative strategy and practice of using underwater robot for marine cable inspection and operation and maintenance. Cogn Robot. 2025;5:226-39.
- Yue H, Wang Q, Zhao Z, Lai S, Huang G. Interactions between BIM and robotics: Towards intelligent construction engineering and management. Comput Ind. 2025;169:104299.
- Yang H, Luo X, Duan C, Wang P, Zhu K, Deng X, Ren W. Research on multi-objective point path planning for mobile inspection robot based on Multi-Informed-Rapidly Exploring Random Tree. Eng Appl Artif Intell. 2025;151:110645.
- Yu Q, Zhang Q, Sun G, Qin R. Distribution station inspection robot with modular manipulator. HardwareX. 2025;22:e00652.
- Li X, Xiao S, Li Q, Zhu L, Wang T, Chu F. The bearing multi-sensor fault diagnosis method based on a multi-branch parallel perception network and feature fusion strategy. Reliab Eng Syst Saf. 2025;261:111122.
- Qin Y, Zhao Y, Qi J, Mao Y. Spatial-temporal multi-sensor information fusion network with prior knowledge embedding for equipment remaining useful life prediction. Reliab Eng Syst Saf. 2025;264:111420.
- Cao C, Zhao Y. Distributed heterogenous multi-sensor fusion based on labeled random finite set for multi-target state estimation using information geometry. Signal Process. 2026;238:110135.
- Wang C, Yin L, Zhao Q, Wang W, Li C, Luo B. An intelligent robot for indoor substation inspection. Ind Robot. 2020;47(5):705-12.
- Yang Q, Dong J, Tan M, Wang J, Guo D, Kang H, Wang P. A novel navigation assistant method for substation inspection robot based on multisensory information fusion. J Adv Res. 2025;77:407-18.
- Sun G, Xia L, Du X, Yu Q, Zhang J, Qin R. Self-tuning clamping force control with optimal trajectory tracking for autonomous pipe inspection robots. J Pipeline Sci Eng. 2025;100309. Epub ahead of print.
- Chi P, Wang Z, Liao H, Li T, Wu X, Zhang Q. Towards new-generation of intelligent welding manufacturing: A systematic review on 3D vision measurement and path planning of humanoid welding robots. Measurement. 2025;242:116065.
- Wang Q, Xia J, Li M, Yin L, Xie X. A multi-sensor fusion and multi-source domain adaptive fault diagnosis method for rotating machinery. Eng Appl Artif Intell. 2025;159:111538.
- Hu J, Chen J, Lv M, Xu Z, Chen Z, Han J. MSHF: Multi-sensor hierarchical fusion for UGV localization in an unstructured environment. Expert Syst Appl. 2025;294:128732.
- Gudla R, Chang NB. Multi-sensor data fusion via a cortical gap network for time series large data gap filling under uncertainties. Inf Fusion. 2026;126:103618.
- Laidouni MZ, Bondžulić B, Bujaković D, Adli T, Andrić M. ConvNeXtFusion: Multi-sensor image fusion via residual dense and cross ConvNeXt network. Infrared Phys Technol. 2025;150:106005.
- Tian D, Li J, Lei J. Multi-sensor information fusion in Internet of Vehicles based on deep learning: A review. Neurocomputing. 2025;614:128886.
- Zhang Y, Wang Y, Su C, Miao Y, Wei T, Feng Y, Chen F, Ying Z, Wang S, Wang X. Multi-sensor fusion-based intelligent auxiliary system of power wheelchairs for individuals with limbs disabilities: Design and implementation. Measurement. 2026;257:118573.
- Zuo K, Li X, Li X, Wang K, Gao T, Shen T. Multi-sensor fusion with triple reliability evaluation for human activity recognition. Measurement. 2026;257:118580.
- Zhao X, Liu Z, Liu Y, Zhang B, Sui J, Jiang K. Structure design and application of combination track intelligent inspection robot used in substation indoor. Procedia Comput Sci. 2017;107:190-5.
- Kadri I, Selouani SA, Ghribi M, Ghali R, Mekhoukh S. LLM-driven agent for speech-enabled control of industrial robots: A case study in snow-crab quality inspection. Results Eng. 2025;27:106660.
- Jiang Y, Pan Z, Zhang X. Tunnel infrastructure health management: A state-of-the-art review on defect development mechanism and robot-aided inspection system. Smart Undergr Eng. 2025;1(1):26-39.
- Okonkwo C, Awolusi I. Environmental sensing in autonomous construction robots: Applicable technologies and systems. Autom Constr. 2025;172:106075.
- Du Y, Chen X, Yu Z, Meng F, Zhou Z, Zhang Y, Li Q, Huang Q. Efficient co-adaptation of humanoid robot design and locomotion control using surrogate-guided optimization. Biomim Intell Robot. 2025;5(4):100255.
- Lv X, Cui S, Wang Y, Lu J, Yu P, Wang K. Patch time series transformer-based short-term photovoltaic power prediction enhanced by artificial fish. Energies. 2026;19(1):284.
- Lei M, Zhang M, Wang K. Research on bidding optimization strategy for virtual power plants with wind-solar-storage systems based on IGDT-DRO. Electr Eng. 2026;108(3):208.