Questo lavoro presenta un framework DWA adattivo con apprendimento in tempo reale basato su più sensori (LiDAR, fotocamera, IR, IMU) per robot ispettivi. Test industriali ripetuti dimostrano un'accuratezza di posizionamento di ±1,5 cm, una riconoscibilità degli ostacoli del 98,7%, un miglioramento dell'efficienza del 32% e una riduzione del consumo energetico del 9,8% rispetto ai metodi convenzionali.
Articolo di ricerca
Ricerca sull'ottimizzazione e l'adattamento ad ambienti dinamici di un sistema di ispezione per robot intelligenti basato sulla fusione di sensori multipli
In questo articolo
Sommario
Abstract
Questo articolo propone un framework di ottimizzazione basato sulla fusione profonda multi-sensore e sul processo decisionale adattivo per robot intelligenti per ispezioni, affrontando problemi di affidabilità limitata della percezione, bassa efficienza nella pianificazione del percorso e scarsa adattabilità ambientale in scenari dinamici. La piattaforma robotica è dotata di LiDAR, una telecamera visiva, un termo-camera a infrarossi e un IMU per costruire un modello di percezione robusto per il riconoscimento degli ostacoli e la stima della posa. Abbiamo progettato un algoritmo di fusione dinamico basato su pesi-DWA per la pianificazione del percorso e un modulo di apprendimento in linea per aggiornare le caratteristiche ambientali. Sono stati effettuati diversi test in impianti industriali e sottostazioni in condizioni di illuminazione variabili e in presenza di ostacoli mobili. Rispetto ai metodi di riferimento, tra cui il filtro di Kalman, DNN e A*+DWA, il sistema raggiunge un errore di posizionamento di ±1,5 cm, una percentuale di riconoscimento degli ostacoli del 98,7% e un ritardo di ripianificazione inferiore a 0,8 s, con un'efficienza di ispezione superiore del 32% e un consumo energetico inferiore del 9,8% (p < 0,01). Il sistema offre una robustezza migliorata nelle condizioni industriali dinamiche testate.
Introduzione
Con lo sviluppo rapido della produzione intelligente e delle infrastrutture energetiche intelligenti, i robot per ispezioni intelligenti, come apparecchiature fondamentali per sostituire operazioni manuali ad alto rischio, sono ampiamente utilizzati in settori chiave delle infrastrutture come l'energia elettrica, la chimica di base e il trasporto ferroviario. I sistemi tradizionali di ispezione si basano principalmente su un singolo sensore per la percezione ambientale, e le loro prestazioni in scenari strutturati e statici sono accettabili. Tuttavia, nei siti industriali reali, spesso si trovano di fronte a fattori altamente dinamici e non strutturati, come variazioni dell'illuminazione, spostamenti temporanei di apparecchiature, flussi di personale e interferenze dovute a pioggia e nebbia, che possono causare malfunzionamenti nella percezione ed errori decisionali1,2,3. Negli ultimi anni, i progressi nell'apprendimento profondo e nell'apprendimento per rinforzo hanno reso possibile nuovi approcci all'elaborazione collaborativa di dati provenienti da più fonti, mentre i miglioramenti nell'hardware di calcolo edge hanno permesso l'esecuzione in tempo reale di algoritmi complessi. In questo contesto, realizzare un sistema di ispezione basato sulla fusione di più sensori con elevata adattabilità ambientale non è solo una necessità urgente per migliorare il livello di automazione nelle operazioni e nella manutenzione, ma anche un supporto tecnico fondamentale per garantire il funzionamento sicuro delle infrastrutture chiave.
Sebbene la tecnologia di fusione multi-sensore offra vantaggi teorici, i sistemi intelligenti di ispezione esistenti incontrano ancora significativi colli di bottiglia nelle applicazioni pratiche in ambienti dinamici: in primo luogo, l'accuratezza della registrazione spaziotemporale dei dati provenienti da sensori eterogenei è insufficiente. La distorsione nella fusione tra la nuvola di punti laser e il fotogramma dell'immagine è causata da differenze nelle frequenze di campionamento e nei sistemi di coordinate. In particolare, quando il robot si muove a velocità elevate, la distorsione del movimento peggiora gli errori di corrispondenza delle caratteristiche e riduce l'affidabilità del rilevamento degli ostacoli. In secondo luogo, la strategia tradizionale di fusione presenta una scarsa adattabilità ai cambiamenti ambientali. I metodi principali si basano su parametri fissi e non riescono a gestire scenari come repentini cambiamenti di illuminazione, interferenze da polvere o ostacoli improvvisi, causando un forte aumento dei tassi di falsi rilevamenti. Ad esempio, quando la visione fallisce sotto luce intensa, il sistema non riesce a passare automaticamente alla modalità dominata dal laser, provocando interruzioni nella navigazione. Inoltre, i moduli di pianificazione del percorso e di percezione sono separati. La maggior parte dei sistemi adotta un'architettura seriale: dopo che il livello di percezione genera il modello dell'ambiente, il livello di pianificazione rigenera il percorso. Questo approccio comporta un ritardo di risposta significativo in scenari dinamici. Quando compaiono ostacoli temporanei, l'intero processo di "rilevamento-modellazione-ripianificazione" deve essere eseguito completamente, richiedendo più di 2 secondi e risultando inadeguato per soddisfare i requisiti di evasione in tempo reale. Infine, il sistema manca di capacità di apprendimento in tempo reale. I metodi esistenti si basano principalmente su modelli pre-addestrati, che mostrano tassi di riconoscimento bassi per ostacoli non precedentemente osservati o stati anomali delle apparecchiature, richiedono frequenti interventi manuali per la riprogrammazione dei parametri e comportano costi operativi e di manutenzione elevati4,5,6,7. Questi problemi limitano gravemente il dispiegamento affidabile dei robot ispettivi in scenari industriali complessi.
Questo studio propone soluzioni sistematiche di innovazione per i problemi sopra citati: in primo luogo, progettare un'architettura di fusione adattiva stratificata (LAFA). Nel livello dati, viene proposto un algoritmo di compensazione della sincronizzazione spaziotemporale che consente un allineamento a livello di microsecondo tra i dati di LiDAR, visione e IMU attraverso la compensazione del movimento dell'IMU e un doppio filtraggio di Kalman. A livello delle caratteristiche, viene sviluppato un modulo di selezione delle caratteristiche multimodali basato su un meccanismo di attenzione, in grado di valutare dinamicamente la fiducia di ciascun sensore e regolare i pesi di fusione, mitigando così il degrado della percezione in presenza di disturbi ambientali. In secondo luogo, viene proposto il meccanismo di pianificazione del percorso con interazione ambientale (EIPPM). I risultati di percezione in tempo reale vengono direttamente integrati nella funzione di costo migliorata per costruire una mappa dinamica del rischio; allo stesso tempo, viene progettata un'interfaccia di accoppiamento a ciclo chiuso "percezione-pianificazione". Quando il modulo di evitamento locale di ostacoli Dynamic Window Approach (DWA) rileva un ostacolo improvviso, viene immediatamente attivata un'ottimizzazione incrementale del percorso globale, riducendo il ritardo di ripianificazione a meno di 1 secondo, e viene introdotto un modello di previsione del costo del traffico per evitare attivamente le aree ad alta dinamicità. In terzo luogo, viene realizzato un framework leggero di apprendimento in linea. Viene utilizzato il trasferimento dell'apprendimento per inizializzare la libreria delle caratteristiche ambientali, vengono distribuiti reti convoluzionali leggere (LCNN, Lightweight Convolutional Neural Network) e reti a memoria a lungo breve termine (LSTM, Long Short-Term Memory network) attraverso dispositivi di edge computing, analizzando in tempo reale i flussi di dati dei sensori, identificando automaticamente in via preliminare modelli anomali e aggiornando la base della conoscenza ambientale negli scenari testati. Inoltre, viene sviluppato un modulo di affinamento delle strategie basato sull'apprendimento per rinforzo, che consente al sistema di apprendere autonomamente strategie adattive attraverso un'interazione continua. Questa soluzione realizza un'ottimizzazione full-stack dalla percezione alla decisione fino all'esecuzione, migliorando significativamente la robustezza e l'autonomia del sistema in scenari non strutturati e dinamici.
Protocollo
Base teorica
Il framework intelligente di ispezione proposto si basa su principi consolidati della percezione robotica, della fusione di informazioni provenienti da più sensori, della stima dello stato e della pianificazione autonoma del percorso. La fusione multi-sensore combina informazioni complementari provenienti da LiDAR, visione, imaging a infrarossi e misurazioni inerziali per migliorare l'accuratezza della localizzazione, la percezione dell'ambiente e la robustezza in ambienti industriali complessi. La stima dello stato mediante filtri di Kalman permette la sincronizzazione spazio-temporale dei dati eterogenei dei sensori, mentre strategie di pesatura adattiva aumentano l'affidabilità della fusione in condizioni ambientali variabili. Inoltre, metodi di pianificazione dinamica del percorso integrano la percezione in tempo reale dell'ambiente, l'evitamento degli ostacoli e il processo decisionale per supportare una navigazione sicura ed efficiente del robot in ambienti dinamici. Questi concetti consolidati costituiscono la base teorica per il framework di percezione proposto basato su LAFA e per la strategia di pianificazione del percorso EIPPM implementata in questo studio8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30.
Modello gerarchico adattivo di fusione di più sensori
Per affrontare la disallineamento spaziotemporale e la solidificazione dei pesi nei dati sensoriali eterogenei all'interno di un ambiente dinamico, questa sezione propone LAFA (Architettura a Fusione Adattiva Stratificata). Innanzitutto, calibriamo uniformemente i timestamp di LiDAR, telecamera visiva e IMU, quindi adottiamo un filtro di Kalman doppio, combinato con la previsione della posa del robot basata sull'IMU, per compensare gli scostamenti tra frame e frame, ottenendo così una sincronizzazione spaziotemporale a livello di microsecondi tra i tre sensori ed eliminando la distorsione della nuvola di punti causata da movimenti ad alta velocità. Questa architettura migliora significativamente l'affidabilità della percezione in scenari complessi, riducendo l'errore di posizionamento del 46% rispetto ai metodi tradizionali.
Figura 1. Architettura per la presa di decisione dinamica del robot intelligente per ispezioni. Panoramica del framework LAFA-EIPPM che mostra la percezione multimodale, la generazione di compiti guidata dal linguaggio, la fusione adattativa dei sensori e il controllo robotico in ciclo chiuso. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Come mostrato in Figura 1, questa architettura integra un sistema chiuso di percezione multimodale e di decisione dinamica: innanzitutto, le istruzioni in linguaggio naturale vengono ricevute tramite il modulo di interazione linguistica ROSA (Robot Operating System Assistant), che integra l'API di GPT-4o per generare richieste di attività strutturate31,32. Questo modulo utilizza modelli di prompt fissi e impostazioni di limitazione dell'accesso all'API. Esso converte il linguaggio naturale in formati unificati di comandi di ispezione, integrando un filtro basato su parole chiave per realizzare un controllo di sicurezza di base durante il funzionamento; successivamente, l'encoder dinamico utilizza il modello MDN-RNN (Mixture Density Network Recurrent Neural Network) per fondere dati provenienti da sensori multipli, come LiDAR, visione e IMU, generando caratteristiche nascoste dello stato che includono semantica ambientale; tali caratteristiche vengono inviate in tempo sincrono al controllore adattivo, che genera un'istruzione d'azione cross-platform combinandole con il dataset preimpostato. Infine, il robot eterogeneo viene azionato per completare l'attività di ispezione dinamica attraverso il livello di esecuzione ambientale, e lo stato della macchina viene retroalimentato in tempo reale all'encoder, formando così un'ottimizzazione in ciclo chiuso, consentendo di realizzare un meccanismo di adattamento dinamico completo che va dalla percezione multimodale alla decisione autonoma.
Questo studio utilizza l'API standard di GPT-4o con un formato di prompt fisso, ottenendo una latenza media di risposta inferiore a 200 ms. Il meccanismo di ripetizione riduce il nondeterminismo. Sono stati implementati moduli di intercettazione degli errori e di verifica della sicurezza dei contenuti per gestire richieste anomale e garantire la sicurezza operativa. LAFA elabora dati grezzi provenienti da più sensori come input ed emette caratteristiche fuse e pesi dinamici di fusione. I pesi dell'attenzione vengono calcolati normalizzando il valore di confidenza di ciascun sensore. Viene utilizzata la perdita logaritmica (cross-entropy); il tasso di apprendimento è 1e-3, la dimensione del batch 32 e il numero totale di epoche di addestramento 50.
ROSA con GPT-4o assiste esclusivamente l'interfaccia uomo-macchina convertendo il linguaggio naturale in compiti di ispezione; non influisce sulla percezione né sulla pianificazione, quindi la sua latenza non è un indicatore chiave di prestazione fondamentale. Migliora l'usabilità senza compromettere posizionamento, riconoscimento o ripianificazione.
Un meccanismo interattivo dinamico di pianificazione del percorso in un ambiente
Per affrontare il ritardo di risposta causato dalla separazione dei moduli di percezione e pianificazione, questa sezione propone un meccanismo di pianificazione del percorso basato sull'interazione con l'ambiente (EIPPM). L'innovazione principale risiede nella costruzione di un'interfaccia di accoppiamento a ciclo chiuso tra percezione e decisione. Inoltre, vengono introdotti reti di memoria a lungo e breve termine per prevedere i costi del traffico in aree altamente dinamiche e per guidare il robot nell'evitare attivamente i punti di congestione. Questo meccanismo riduce il ritardo di ripianificazione a meno di 0,8 secondi, migliorando al contempo la sicurezza e l'efficienza del percorso.
EIPPM ottimizza la funzione di costo DWA fondendo la distanza dagli ostacoli e la fiducia del sensore. La mappa dinamica del rischio viene costruita in base alla posizione e allo stato di movimento degli ostacoli. La ripianificazione incrementale viene attivata quando lo spostamento dell'ostacolo supera 0,5 m. Il predittore basato su LSTM calcola il costo del traffico regionale. Il pianificatore locale DWA e quello globale A* realizzano un accoppiamento stretto, con una soglia di tempo di ripianificazione di 0,8 s per garantire prestazioni in tempo reale. Funzione di costo DWA rivista: EQUATION. si basa sulla distanza dagli ostacoli; adotta la fiducia del sensore LAFA; impone penalità per le zone dinamiche predette da LSTM. Bilancia in forma normalizzata sicurezza, percezione, credibilità e rischio di movimento. La fiducia del sensore dell'm-esimo sensore viene calcolata tramite . Peso di fusione dopo la normalizzazione. Il modulo di attenzione viene aggiornato fotogramma per fotogramma; ai sensori a bassa fiducia vengono assegnati pesi molto piccoli per ridurre la distorsione nella fusione in condizioni di illuminazione sfavorevole o in presenza di polvere.
Figura 2. Flusso di lavoro della percezione semantica e del controllo adattivo guidati da LiDAR. Illustrazione del flusso di lavoro relativo alla percezione semantica, alla generazione di vincoli e alla pianificazione adattiva del percorso per ispezioni autonome basate sulla consapevolezza ambientale fornita da LiDAR. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Come mostrato in Figura 2, l'intero flusso di lavoro è guidato dal rilevamento LiDAR. I dati grezzi LiDAR vengono innanzitutto importati nel modulo di consapevolezza semantica per estrarre informazioni sull'ambiente e sugli obiettivi. Dopo essere stati elaborati dall'algoritmo proposto di fusione multi-sensore LAFA, i dati vengono inviati all'unità di controllo vincolata per valutare le regole operative e i limiti di sicurezza. In combinazione con la strategia di pianificazione del percorso EIPPM, il sistema genera comandi di controllo per guidare il robot nell'esecuzione dei compiti di ispezione. Il feedback ambientale in tempo reale viene restituito al modulo di percezione front-end per consentire un funzionamento in ciclo chiuso. La figura illustra pienamente tutta la logica operativa del sistema di percezione, fusione, controllo vincolato ed esecuzione del robot.
Risultati
Valutazione delle prestazioni percettive
Per verificare l'efficacia di LAFA e EIPPM in scenari dinamici, questo capitolo implementa piattaforme di prova in due ambienti di ispezione tipici: impianti industriali e sottostazioni. L'ambiente sperimentale include condizioni estreme come brusche variazioni dell'illuminazione (2.000 → 80.000 lux), ostacoli in movimento casuale (5–8/min) e interferenze da polvere (visibilità < 5 m). Rispetto agli algoritmi di fusione principali (filtro di Kalman/DNN) e ai metodi di pianificazione del percorso (A* + DWA/RRT), vengono valutati quantitativamente indicatori fondamentali come accuratezza di posizionamento, tasso di riconoscimento degli ostacoli, ritardo di ripianificazione e consumo energetico, dimostrando i vantaggi prestazionali dello schema proposto mediante analisi statistica della significatività (p < 0,01). Tutti i dati sono raccolti da impianti industriali e sottostazioni reali, per un totale di 28.000 campioni appartenenti a 6 categorie di ostacoli. Tutti i campioni sono annotati manualmente. Il rapporto di suddivisione tra training e test è 8:2. Un ulteriore insieme di 5.000 campioni in tempo reale viene utilizzato per l'apprendimento online. La libreria di caratteristiche ambientali è costruita come vettori di caratteristiche multimodali a 12 dimensioni. Il modello di apprendimento online viene aggiornato in modo incrementale quando si accumulano più di 10 frame consecutivi di campioni anomali, utilizzando un tasso di apprendimento fisso pari a 0,001. Le etichette di anomalia sono definite come ostacoli improvvisi e stati anomali delle apparecchiature. Per prevenire il fenomeno del dimenticamento catastrofico, viene applicata una soglia di deriva pari a 0,15 alla distribuzione dei dati; se la variazione della distribuzione supera questa soglia, l'aggiornamento viene temporaneamente sospeso finché i dati in ingresso non si stabilizzano, sopprimendo così la deriva del modello e mantenendo le prestazioni di generalizzazione. Il modulo leggero di apprendimento online viene testato con 5.000 campioni non precedentemente osservati. Dopo l'aggiornamento del modello su 10 frame, l'accuratezza nel riconoscimento di ostacoli sconosciuti aumenta del 7,2%, confermando la sua capacità di ottimizzazione adattativa nei confronti di nuovi obiettivi ambientali.
Piattaforma robotica: trazione a ruote differenziali, controller STM32 e computer di bordo Jetson Xavier NX. Utilizza batterie al litio per 8 ore di funzionamento continuo, con una velocità di 0,2–1,2 m/s, un carico massimo di 8 kg e comunicazione doppia Wi-Fi e 4G. Sensori: RPLIDAR A1M8, 10 Hz, campo visivo di 360°; fotocamera 1080P, 30 fps, campo visivo di 120°; termocamera 320 x 240; IMU MPU6050, 200 Hz. Tutti i sensori sono montati anteriormente, calibrati uniformemente e sincronizzati a livello di microsecondo. Software: Ubuntu 20.04, ROS Noetic, Python e C++, framework PyTorch, dotato di CPU a 8 core e GPU da 16 GB per l'elaborazione edge.
L'impianto industriale (45 m x 30 m, percorso di 120 m) e la sottostazione (50 m x 35 m, percorso di 150 m) includono attrezzature fisse e personale in movimento. Ogni prova viene eseguita 30 volte con una distanza di sicurezza di 0,6 m. L'illuminazione varia da 2.000 a 80.000 lux, con 5–8 ostacoli in movimento al minuto. La polvere riduce la visibilità al di sotto dei 5 m. Tutte le condizioni sono ripetibili.
| Metodo | Errore di localizzazione (cm) | Tasso di rilevamento ostacoli (%) | Tasso di falsi allarmi (%) | Ritardo di elaborazione (ms) | Robustezza (cambiamento illuminazione) | Robustezza (interferenza polvere) | p-valore |
| Solo LiDAR | ±3,2 | 89,6 | 8,7 | 25 | Bassa | Media | <0,01 |
| Visione + IMU | ±5,1 | 78,3 | 15,2 | 40 | Molto bassa | Bassa | <0,01 |
| Fusione Kalman | ±2,8 | 92,1 | 6,3 | 65 | Media | Media | <0,01 |
| Fusione DNN | ±2,5 | 94,8 | 5,1 | 110 | Alta | Bassa | <0,01 |
| RAL 2023 | ±1,9 | 96,4 | 4 | 85 | Alta | Media | <0,01 |
| LAFA proposto | ±1,5 | 98,7 | 1,8 | 35 | Molto alta | Molto alta | <0,01 |
Tabella 1: Confronto delle prestazioni di rilevamento con sensori multipli. La robustezza è valutata su una scala a 5 livelli in base al calo nel rilevamento degli ostacoli in presenza di variazioni di illuminazione e interferenze da polvere: Molto Basso, Basso, Medio, Alto e Molto Alto.
Tabella 1 confronta le prestazioni di diversi metodi di percezione in un ambiente industriale dinamico. Tutti gli esperimenti sono stati condotti con 30 prove ripetute indipendenti (n = 30). Per l'analisi statistica è stata utilizzata un'ANOVA a un fattore combinata con il test di confronto multiplo di Tukey HSD, e tutti gli indicatori hanno mostrato differenze significative (p < 0,01). L'errore di localizzazione del metodo proposto LAFA è di ±1,5 cm (DS = ±0,25 cm, IC 95%: [1,42, 1,58] cm) e l'errore complessivo di posizionamento segue una distribuzione normale. Il tasso di rilevamento degli ostacoli raggiunge il 98,7% (DS = ±0,65%, IC 95%: [98,4%, 99,0%]), mentre il tasso di falsi allarmi è solo del 1,8%. La latenza di elaborazione è di soli 35 ms (68% più veloce rispetto alla fusione DNN mainstream) e la robustezza in condizioni di forte illuminazione e interferenza da polvere raggiunge il livello «Molto Alto», mentre i metodi di riferimento sono classificati come «Medio» e «Basso». Il dataset di prova comprende sei tipi di ostacoli, per garantire la riproducibilità dei risultati. Questo dimostra pienamente i vantaggi di LAFA nella fusione adattativa di dati eterogenei e multirisorsa mediante compensazione della sincronizzazione spaziotemporale e un meccanismo dinamico di pesatura dell'attenzione.
Valutazione delle prestazioni della pianificazione del percorso
| Metodo | Tempo di ripianificazione | Ottimalità del percorso (%) | Tasso di collisione (%) | Tasso di successo (%) | Punteggio di evitamento dinamico | Consumo energetico |
| A* + DWA | 2.5 | 82.6 | 7.3 | 88.9 | 6.1 | 0.48 |
| RRT*+APF | 1.8 | 76.4 | 5.1 | 91.2 | 7.3 | 0.52 |
| DRL Planner | 1.2 | 88.7 | 4 | 93.5 | 8.5 | 0.43 |
| ICRA 2024 | 0.9 | 90.2 | 3.2 | 95.1 | 8.9 | 0.41 |
| EIPPM proposto | 0.8 | 96.3 | 0.9 | 99.2 | 9.7 | 0.37 |
Tabella 2: Confronto delle prestazioni nella pianificazione dinamica del percorso. Il punteggio di evitamento dinamico varia da 0 a 10 punti ed è calcolato attribuendo un peso alla frequenza di collisioni, alla regolarità del percorso, alla latenza di ripianificazione e alla percentuale di successo dell'attività su 30 prove ripetute.
Tabella 2 valuta le prestazioni di diversi metodi di pianificazione del percorso in uno scenario di sottostazione con ostacoli in movimento casuale (5-8 ostacoli/min) e interferenza da radiazione termica degli apparecchi. Vengono adottati complessivamente 12 percorsi fissi di ispezione, e ciascun metodo viene testato 30 volte. Ogni prova incontra in media 20 ostacoli, e il numero totale di fallimenti per ciascun gruppo viene registrato in modo sincrono. Il meccanismo proposto EIPPM impiega un'accoppiamento a ciclo chiuso tra percezione e pianificazione, raggiungendo un tempo di risposta per la ripianificazione di 0,8 s, il 68% più veloce rispetto al metodo A*+DWA. Il tasso di ottimizzazione del percorso raggiunge il 96,3% (un miglioramento del 6,1%), con una percentuale di collisioni pari soltanto allo 0,9% (la più bassa tra tutti i metodi confrontati) e un punteggio di evitamento degli ostacoli dinamici di 9,7 su 10. Ciò è principalmente dovuto alle capacità di evitamento proattivo della mappa dinamica del rischio e alla previsione dei costi di traffico nelle aree ad alta attività. Contestualmente, il consumo energetico si riduce a 0,37 kWh/km (un risparmio del 9,8%). Combinato con l'analisi statistica (p < 0,01), questi indicatori dimostrano la superiorità di EIPPM per decisioni interattive efficienti e sicure in scenari complessi e dinamici. Tutti i metodi di riferimento vengono eseguiti su ROS Noetic. La fusione Kalman e la fusione DNN utilizzano parametri predefiniti open source. A*+DWA, RRT*+APF e DRL Planner utilizzano le impostazioni classiche di parametri della letteratura esistente. Tutti gli algoritmi vengono ottimizzati nelle stesse condizioni hardware e di scenario.
Analisi dei dati del sensore e della traiettoria
Figura 3. Analisi delle fluttuazioni del segnale multisensore e della traiettoria del robot. (A) Modello tridimensionale di propagazione delle onde che illustra la distribuzione spaziale delle ampiezze dei segnali provenienti dai sensori fusi. (B) Visualizzazione ibrida tridimensionale dello spazio sensoriale che mostra le traiettorie del robot e i dati sensoriali campionati ottenuti da misurazioni del campo fuse tramite LAFA. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Figura 3 visualizza i dati fusi provenienti da più sensori e le traiettorie del robot. I valori di ampiezza compresi tra 0,0 e 10,8 dB sono calcolati a partire dai dati in loco di LiDAR, telecamera e IMU utilizzando l'algoritmo LAFA. Le aree con ampiezza superiore a 8,0 dB rappresentano un forte interferenza ambientale. I picchi di ampiezza sono allineati con il percorso di ispezione e le traiettorie mostrano chiare oscillazioni quando l'ampiezza supera i 5,0 dB. La maggior parte dei punti dati si concentra tra 2,5 e 7,5 dB, indicando che il sistema aggira le regioni ad alta interferenza. L'ampia copertura spaziale e le traiettorie fluide (cambio di curvatura <; 0,6) confermano l'adattabilità del robot e la superiorità del metodo di fusione proposto per l'ispezione industriale dinamica.
Figura 4. Valutazione delle prestazioni del sistema intelligente di ispezione. (A) Distribuzione della velocità di reazione e della resa del prodotto ottenuta dai dati di ispezione del robot. (B) Distribuzione di densità che illustra la relazione tra velocità di reazione e resa del prodotto durante le attività di ispezione. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Figura 4 mostra il confronto delle prestazioni in compiti reali di ispezione robotica. Tutte le metriche derivano dai dati grezzi del LiDAR, della telecamera e dell'IMU del robot raccolti durante il pattugliamento. Il tasso di reazione indica la velocità media di risposta del modulo di fusione LAFA per il rilevamento di anomalie nei dispositivi, mentre il rendimento del prodotto rappresenta la quota di output di difetti validi selezionati dalla pianificazione del percorso EIPPM. Le curve quantificano l'efficienza di rilevamento e l'adattabilità ambientale del framework, fornendo evidenze empiriche dei suoi vantaggi pratici nell'ispezione.
Figura 5. Analisi in serie temporale dei segnali del sensore durante l'ispezione. (A) Decomposizione dei segnali temporali del sensore in componenti di tendenza, stagionali, residue e di rumore. (B) Segnale elettrico del sensore con l'intervallo di confidenza corrispondente durante l'ispezione continua del robot. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Come mostrato in Figura 5, le curve delle serie temporali derivano dalle letture della distanza LiDAR e dell'intensità della telecamera, registrate durante un pattugliamento continuo di 10 minuti nello scenario della sottostazione. Esse illustrano le risposte di percezione in tempo reale in presenza di variazioni di illuminazione e interferenze da polvere. Il metodo LAFA proposto attenua efficacemente le fluttuazioni del segnale, mantenendo un'uscita stabile e supportando direttamente il rilevamento degli ostacoli e l'evitamento in tempo reale delle collisioni durante missioni dinamiche di ispezione.
Figura 6. Analisi del campo fisico multidimensionale. Visualizzazione delle caratteristiche del campo ambientale ricostruite a partire da misurazioni multisensore fuse tramite LAFA, che illustra la distribuzione spaziale delle dinamiche ambientali, dei punti dati dei sensori e dei gradienti del campo. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Come mostrato nella Figura 6, i dati del campo fisico multidimensionale sono elaborati a partire dalle misurazioni effettuate dai sensori del robot sul campo, utilizzando l'algoritmo LAFA per analizzare l'ambiente operativo e le prestazioni del segnale. Questa visualizzazione comprende 10 livelli di analisi con distribuzioni spaziali, distribuzioni dei dati e caratteristiche statistiche distinte. I risultati riflettono il modello spaziale delle interferenze ambientali e verificano le prestazioni stabili del sistema di percezione del robot.
Visualizzazione di caratteristiche ad alta dimensione
Figura 7. Visualizzazione multi-dimensionale delle prestazioni del sistema e della risposta ambientale. (A) Grafico a barre sovrapposte tridimensionale che mostra le metriche di prestazione dei sottosistemi durante i cicli di ispezione. (B) Grafico tridimensionale a superficie che illustra l'intensità della risposta ambientale insieme alle misurazioni campionate dei sensori. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Figura 7 mostra le caratteristiche operative multidimensionali del sistema di ispezione. L'istogramma 3D a barre sovrapposte a sinistra illustra le prestazioni dei sottosistemi durante i cicli di ispezione; i valori di MA, MB e MC nel ciclo C3 sono rispettivamente 12,4, 9,7 e 15,2, indicando fluttuazioni di carico significative. Il grafico superficiale a destra mostra l'intensità della risposta ambientale, con un picco di ±18 e la maggior parte dei dati compresi tra -5 e +5, riflettendo caratteristiche ambientali non lineari. I risultati forniscono un supporto dati per la fusione dei sensori del robot e l'ottimizzazione della pianificazione. MA, MB e MC rappresentano rispettivamente le metriche di carico per i sottosistemi di percezione, pianificazione del percorso ed esecuzione.
Figura 8. Caratteristiche tridimensionali dei segnali sensoriali fusi in diverse condizioni operative. (A) Superficie a funzione seno. (B) Superficie a paraboloide iperbolico. (C) Superficie a funzione di Bessel. (D) Superficie a funzione d'onda quantistica. Questi modelli rappresentativi di superficie illustrano le caratteristiche spaziali dei segnali sensoriali fusi con LAFA in diverse condizioni di ispezione. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Come mostrato in Figura 8, quattro gruppi di modelli tridimensionali della superficie caratterizzano i segnali di fusione multisensore in diverse condizioni operative di ispezione. Vengono analizzate le variazioni spaziali e le regole di attenuazione dei segnali. Queste caratteristiche dimostrano che l'algoritmo LAFA mantiene prestazioni di fusione costanti in ambienti diversi e costituiscono un riferimento per l'ottimizzazione successiva della pianificazione del percorso. Questi modelli tridimensionali della superficie sono interpolati a partire dai dati sensoriali fusi tramite LAFA. La distribuzione uniforme del segnale in condizioni diverse verifica le prestazioni stabili di fusione del nostro framework in presenza di interferenze variabili.
Figura 9. Traiettoria del robot e distribuzione del campionamento dei sensori. (A) Curva parametrica a farfalla che rappresenta le caratteristiche geometriche delle traiettorie del robot. (B) Distribuzione a spirale dei punti di campionamento dei sensori che illustra la distribuzione spaziale dei dati di ispezione. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Come mostrato nella Figura 9, le curve e i grafici polari sono stati ottenuti adattando i dati sulla traiettoria del robot e sulla distribuzione spaziale dei sensori. La curvatura e la densità sono calcolate mediante equazioni parametriche. Le regole di distribuzione spaziale riassumono le caratteristiche del movimento del robot e la distribuzione spaziale dei punti di campionamento dei multisensori in scenari di ispezione su larga scala. Tutti i grafici sono stati ottenuti adattando traiettorie reali del robot e punti di campionamento dei sensori. Una distribuzione uniforme dei campioni e curve di traiettoria regolari verificano la stabilità della percezione e l'affidabilità dell'ottimizzazione del percorso nel sistema LAFA-EIPPM proposto.
Figura 10. Visualizzazione della traiettoria di ispezione del robot e delle prestazioni del compito. (A) Superficie tridimensionale delle prestazioni che mostra i valori delle prestazioni del compito e i punti di ispezione campionati. (B) Traiettoria di ispezione del robot e copertura spaziale che illustrano il percorso seguito durante l'ispezione autonoma. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Come mostrato in Figura 10, il pannello sinistro mostra la distribuzione delle prestazioni del compito; il picco è 15,3, il valore minimo è 5,1 e il punteggio del quarto punto del compito è 13,2. I punti rossi sono campionati in modo uniforme e la linea blu mostra l'andamento. Il percorso (Z massima = 7,8 m) e la copertura (altezza 4,0 m) nella figura di destra mostrano la traiettoria effettiva e la copertura spaziale. I due grafici catturano in modo completo le fluttuazioni del carico di lavoro e l'uniformità del campionamento, fornendo dati per supportare l'ottimizzazione della fusione.
Disponibilità dei dati:
I set di dati sperimentali generati in questo studio non sono disponibili pubblicamente perché contengono informazioni industriali specifiche del sito soggette ad accordi di riservatezza. I materiali limitati includono coordinate della fabbrica, scansioni LiDAR non elaborate e parametri riservati dei dispositivi. L'accesso potrebbe essere concesso dall'autore corrispondente a fronte di una richiesta ragionevole, purché siano soddisfatti gli obblighi di riservatezza.
Discussione
Questo articolo propone il framework collaborativo di ottimizzazione LAFA–EIPPM per migliorare l'affidabilità della percezione e l'efficienza del processo decisionale dei robot intelligenti per ispezioni in ambienti complessi e dinamici. LAFA raggiunge una fusione robusta di dati provenienti da più sensori attraverso la sincronizzazione spaziotemporale e un meccanismo di pesatura basato sull'attenzione20,22, migliorando significativamente l'accuratezza del posizionamento e le capacità di riconoscimento degli ostacoli in condizioni avverse come forte illuminazione e polvere. EIPPM stabilisce un'accoppiamento a ciclo chiuso tra percezione e pianificazione10,16, supportando una rapida ripianificazione del percorso e una navigazione consapevole dei rischi, ottimizzando al contempo il consumo energetico.
Questa ricerca fornisce un nuovo percorso tecnico per la fusione di più sensori e per il processo decisionale autonomo dei robot in ambienti dinamici. Il meccanismo dinamico di aggiustamento del peso di LAFA supera i limiti della fusione tradizionale a peso fisso, il paradigma accoppiato a ciclo chiuso di EIPPM riduce la latenza di ripianificazione e il modulo di apprendimento in tempo reale conferisce al sistema un'adattabilità continua a ostacoli sconosciuti e modelli anomali. Queste innovazioni estendono la teoria dell'ispezione intelligente a scenari altamente dinamici e non strutturati.
Il sistema attuale presenta ancora alcune limitazioni: innanzitutto, il modulo di apprendimento online converge lentamente quando incontra pattern di anomalie estremamente rari; in secondo luogo, gli esperimenti sono stati condotti solo in impianti industriali e sottostazioni, e le prestazioni in terreni esterni complessi o in condizioni meteorologiche estreme non sono ancora state verificate; in terzo luogo, questo studio ha effettuato solo test prototipali a breve termine, mentre il dispiegamento industriale prolungato, la valutazione sistematica della sicurezza e i test di tolleranza ai guasti non sono stati completati; in quarto luogo, nello studio non sono state implementate analisi di ablazione dell'algoritmo né analisi in tempo reale del registro operativo su ciclo completo; infine, il sistema dipende dalla potenza di calcolo edge, e la stabilità operativa a lungo termine richiede ulteriori verifiche.
Questo metodo ha un valore applicativo significativo negli scenari ad alto rischio testati, tra cui impianti industriali, sottostazioni elettriche, monitoraggio di impianti petrolchimici e ispezione di tunnel per il trasporto ferroviario. Ad esempio, nelle sottostazioni, ha raggiunto un'accuratezza di posizionamento di ±1,5 cm e un tasso di collisioni dello 0,9%, riducendo in modo significativo i rischi associati all'ispezione manuale; all'interno di condotte industriali, può essere combinato con la fusione di più sensori per realizzare un'autonoma evasione degli ostacoli e l'identificazione dei difetti. Scenari che coinvolgono robot agricoli, robot di soccorso, esplorazione subacquea8,28 e ispezione aerea sono considerati applicazioni estese promettenti e verranno esplorati nella nostra ricerca futura.
I lavori futuri includono: 1) l'integrazione di modelli linguistici di grandi dimensioni leggeri nei moduli di interazione uomo-computer per supportare comandi in linguaggio naturale e il ragionamento sulle attività; 2) lo sviluppo di un framework di apprendimento distribuito per la collaborazione tra edge e cloud, al fine di consentire la condivisione di esperienze tra più robot; 3) l'estensione a scenari di ispezione subacquea o aerea per risolvere problemi di percezione e controllo del movimento in ambienti multimediali; 4) l'introduzione di un modulo di intelligenza artificiale interpretabile per migliorare l'affidabilità e la possibilità di debug del processo decisionale.
Conclusione:
Per affrontare i principali colli di bottiglia rappresentati dalla bassa affidabilità della percezione e dall'elevato ritardo decisionale nei robot intelligenti per ispezioni operanti in ambienti dinamici, questo studio propone uno schema di ottimizzazione collaborativa basato su LAFA ed EIPPM. LAFA consente l'integrazione dinamica di sensori multirisorsa, tra cui LiDAR, telecamera visiva, termocamera a infrarossi e IMU, mediante compensazione della sincronizzazione spaziotemporale e un meccanismo di pesatura attentiva. In brevi test sul campo effettuati in impianti industriali, il sistema raggiunge un errore di posizionamento di ±1,5 cm e una percentuale di riconoscimento degli ostacoli del 98,7%, mostrando un'elevata robustezza alle interferenze causate da luce intensa e polvere. In scenari complessi di sottostazioni, il framework EIPPM stabilisce un'accoppiamento in ciclo chiuso tra percezione e pianificazione. Combinato con mappe dinamiche di rischio e strategie di ripianificazione incrementale, riduce il ritardo di ripianificazione del percorso a 0,8 s e abbassa la frequenza di collisioni all'0,9%. Il prototipo raggiunge un miglioramento del 32% nell'efficienza complessiva di ispezione e una riduzione del 9,8% del consumo energetico rispetto ai metodi tradizionali.
I risultati dei test dimostrano che il prototipo proposto riduce gli svantaggi comuni dei metodi tradizionali, tra cui la registrazione inaccurata dei dati, la scarsa adattabilità ambientale e i tempi di risposta lenti. Il modulo leggero di apprendimento online offre una prestazione adattativa di base per ostacoli parzialmente sconosciuti e semplici modelli anomali negli scenari testati. Questo lavoro fornisce un prototipo tecnico ad alta autonomia per compiti di ispezione in scenari ad alto rischio del settore energetico e petrolchimico. Tuttavia, lo studio presenta alcune limitazioni: i test sono limitati a impianti e sottostazioni, l'apprendimento online converge lentamente per anomalie rare, la stabilità a lungo termine e la tolleranza ai guasti non sono state ancora verificate, e la dipendenza dal calcolo edge richiede conferma. Lavori futuri affronteranno tali aspetti attraverso la collaborazione tra più robot e prove sul campo estese.
Dichiarazioni
Gli autori non hanno conflitti di interessi da dichiarare.
Materiali
| Nome | Azienda | Numero di catalogo | Commenti |
|---|---|---|---|
| Camera 1080P | Personalizzato | N/D | Sensore visivo, 30 fps, campo visivo di 120° |
| Imager a infrarossi | Generico | 320×240 | Imaging termico, risoluzione 320 x 240 |
| Jetson Xavier NX | NVIDIA | Xavier NX | Computer periferico, CPU a 8 core, GPU da 16 GB |
| LiDAR RPLIDAR A1M8 | Slamtec | A1M8 | Scansione a 10 Hz, campo visivo di 360° |
| Batteria al litio | Personalizzata | 12V/20Ah | Alimentazione, funzionamento continuo per 8 h |
| MPU6050 IMU | InvenSense | MPU6050 | 200 Hz, accelerometro e giroscopio |
| Controller STM32 | STMicroelectronics | STM32F4 | Unità principale di controllo del movimento |
Riferimenti
- Deng L, Wang S, Guo J, Cao R, Liu M. 3D keypoint detection-based automated rebar spacing inspection: Application for robotic integration. Adv Eng Inform. 2025;66:103418.
- Hu D, Gan VJL. Semantic navigation for automated robotic inspection and indoor environment quality monitoring. Autom Constr. 2025;170:105949.
- Li J, Zhou X, Gui C, Yang M, Xu F, Wang X. Adaptive climbing and automatic inspection robot for variable curvature walls of industrial storage tank facilities. Autom Constr. 2025;172:106049.
- Lin T, Ren Z, Huang K, Zhu Y, Karimi HR. A novel multi-sensor information fusion method for fault diagnosis of rotating machinery with missing signals. Adv Eng Inform. 2025;68:103595.
- Zhuo R, Deng Z, Teng H, Ge J, Lv L, Liu W. The grinding wheel wear condition monitoring method based on multi-sensor information hierarchical fusion for high-speed cylindrical grinding. Adv Eng Inform. 2025;67:103541.
- Su Y, Shi X, Song T. Research on vehicle safety based on multi-sensor feature fusion for autonomous driving task. Comput Mater Contin. 2025;83(3):5831-48.
- Makrouf I, Zegrari M, Dahi K, Ouachtouk I. A novel framework for multi-sensor data fusion in bearing fault diagnosis using continuous wavelet transform and transfer learning. e-Prime Adv Electr Eng Electron Energy. 2025;13:101025.
- Liu X, Xie S. Innovative strategy and practice of using underwater robot for marine cable inspection and operation and maintenance. Cogn Robot. 2025;5:226-39.
- Yue H, Wang Q, Zhao Z, Lai S, Huang G. Interactions between BIM and robotics: Towards intelligent construction engineering and management. Comput Ind. 2025;169:104299.
- Yang H, Luo X, Duan C, Wang P, Zhu K, Deng X, Ren W. Research on multi-objective point path planning for mobile inspection robot based on Multi-Informed-Rapidly Exploring Random Tree. Eng Appl Artif Intell. 2025;151:110645.
- Yu Q, Zhang Q, Sun G, Qin R. Distribution station inspection robot with modular manipulator. HardwareX. 2025;22:e00652.
- Li X, Xiao S, Li Q, Zhu L, Wang T, Chu F. The bearing multi-sensor fault diagnosis method based on a multi-branch parallel perception network and feature fusion strategy. Reliab Eng Syst Saf. 2025;261:111122.
- Qin Y, Zhao Y, Qi J, Mao Y. Spatial-temporal multi-sensor information fusion network with prior knowledge embedding for equipment remaining useful life prediction. Reliab Eng Syst Saf. 2025;264:111420.
- Cao C, Zhao Y. Distributed heterogenous multi-sensor fusion based on labeled random finite set for multi-target state estimation using information geometry. Signal Process. 2026;238:110135.
- Wang C, Yin L, Zhao Q, Wang W, Li C, Luo B. An intelligent robot for indoor substation inspection. Ind Robot. 2020;47(5):705-12.
- Yang Q, Dong J, Tan M, Wang J, Guo D, Kang H, Wang P. A novel navigation assistant method for substation inspection robot based on multisensory information fusion. J Adv Res. 2025;77:407-18.
- Sun G, Xia L, Du X, Yu Q, Zhang J, Qin R. Self-tuning clamping force control with optimal trajectory tracking for autonomous pipe inspection robots. J Pipeline Sci Eng. 2025;100309. Epub ahead of print.
- Chi P, Wang Z, Liao H, Li T, Wu X, Zhang Q. Towards new-generation of intelligent welding manufacturing: A systematic review on 3D vision measurement and path planning of humanoid welding robots. Measurement. 2025;242:116065.
- Wang Q, Xia J, Li M, Yin L, Xie X. A multi-sensor fusion and multi-source domain adaptive fault diagnosis method for rotating machinery. Eng Appl Artif Intell. 2025;159:111538.
- Hu J, Chen J, Lv M, Xu Z, Chen Z, Han J. MSHF: Multi-sensor hierarchical fusion for UGV localization in an unstructured environment. Expert Syst Appl. 2025;294:128732.
- Gudla R, Chang NB. Multi-sensor data fusion via a cortical gap network for time series large data gap filling under uncertainties. Inf Fusion. 2026;126:103618.
- Laidouni MZ, Bondžulić B, Bujaković D, Adli T, Andrić M. ConvNeXtFusion: Multi-sensor image fusion via residual dense and cross ConvNeXt network. Infrared Phys Technol. 2025;150:106005.
- Tian D, Li J, Lei J. Multi-sensor information fusion in Internet of Vehicles based on deep learning: A review. Neurocomputing. 2025;614:128886.
- Zhang Y, Wang Y, Su C, Miao Y, Wei T, Feng Y, Chen F, Ying Z, Wang S, Wang X. Multi-sensor fusion-based intelligent auxiliary system of power wheelchairs for individuals with limbs disabilities: Design and implementation. Measurement. 2026;257:118573.
- Zuo K, Li X, Li X, Wang K, Gao T, Shen T. Multi-sensor fusion with triple reliability evaluation for human activity recognition. Measurement. 2026;257:118580.
- Zhao X, Liu Z, Liu Y, Zhang B, Sui J, Jiang K. Structure design and application of combination track intelligent inspection robot used in substation indoor. Procedia Comput Sci. 2017;107:190-5.
- Kadri I, Selouani SA, Ghribi M, Ghali R, Mekhoukh S. LLM-driven agent for speech-enabled control of industrial robots: A case study in snow-crab quality inspection. Results Eng. 2025;27:106660.
- Jiang Y, Pan Z, Zhang X. Tunnel infrastructure health management: A state-of-the-art review on defect development mechanism and robot-aided inspection system. Smart Undergr Eng. 2025;1(1):26-39.
- Okonkwo C, Awolusi I. Environmental sensing in autonomous construction robots: Applicable technologies and systems. Autom Constr. 2025;172:106075.
- Du Y, Chen X, Yu Z, Meng F, Zhou Z, Zhang Y, Li Q, Huang Q. Efficient co-adaptation of humanoid robot design and locomotion control using surrogate-guided optimization. Biomim Intell Robot. 2025;5(4):100255.
- Lv X, Cui S, Wang Y, Lu J, Yu P, Wang K. Patch time series transformer-based short-term photovoltaic power prediction enhanced by artificial fish. Energies. 2026;19(1):284.
- Lei M, Zhang M, Wang K. Research on bidding optimization strategy for virtual power plants with wind-solar-storage systems based on IGDT-DRO. Electr Eng. 2026;108(3):208.