Verso l'IoT Verde: Risparmio dell'energia nella rete IoT principale usando la codifica di rete e Soft Actor Critic

Sommario

Questo studio integra la codifica di rete con il reinforcement learning attore-critico soft per ottenere un routing efficiente dal punto di vista energetico nelle reti IoT centrali, dimostrando una riduzione del 40% nel consumo energetico con un rapporto di consegna dei pacchetti del 97%.

Abstract

La rapida espansione delle reti dell'Internet delle cose (IoT) ha intensificato le sfide di efficienza energetica nelle reti IoT centrali, dove il routing dei dati impone elevate richieste di energia dei nodi. Questo articolo propone un modello ibrido che integra la codifica di rete (NC) con il reinforcement learning attore-critico soft (SAC) per affrontare queste sfide. NC minimizza le trasmissioni ridondanti combinando pacchetti, mentre gli agenti SAC selezionano dinamicamente i percorsi di instradamento consapevoli dell'energia in base allo stato del nodo, alla qualità del collegamento e all'energia residua.

Il sistema è stato implementato utilizzando il simulatore NS-3 con una topologia a griglia 5 × 5 di nodi IoT (pacchetti da 512 byte, runtime da 100s) in condizioni di traffico variabili. I risultati dimostrano che NC + SAC ottiene una riduzione del 40% nel consumo energetico, un rapporto di consegna dei pacchetti del 97%, un miglioramento del 50% nella produttività e una durata di rete estesa rispetto agli approcci tradizionali di routing e standalone.

I contributi chiave includono una nuova integrazione NC-SAC, una validazione completa di NS-3 su più metriche e la dimostrazione di una comunicazione codificata guidata dall'apprendimento per infrastrutture IoT sostenibili. L'approccio ibrido bilancia affidabilità, conservazione energetica e prestazioni, offrendo un quadro scalabile per le reti IoT verdi di nuova generazione.

Introduzione

L'internet delle cose (IoT) è emersa come una delle tecnologie più trasformative del XXI secolo, collegando senza soluzione di continuità miliardi di dispositivi per abilitare case, città, industrie e sistemi sanitari più^{intelligenti 1}. Con questa crescita senza precedenti, tuttavia, arriva una sfida pressante: il problema del consumo energetico. I dispositivi IoT, specialmente quelli impiegati nella rete centrale, sono spesso alimentati a batteria o con risorse limitate. Con l'aumento della densità di dispositivi e traffico dati, l'efficienza energetica diventa un fattore cruciale per garantire la sostenibilità a lungo termine delle infrastrutture IoT. In questo contesto, progettare strategie intelligenti di comunicazione e instradamento che bilancino prestazioni e conservazione energetica è di fondamentale importanza.

I metodi tradizionali di routing nelle reti IoT spesso si concentrano su approcci a percorso più breve o incentrati sull'affidabilità. Sebbene efficaci in scenari di base, questi metodi spesso portano a trasmissioni ridondanti e rapida esaurimento energetico, specialmente in implementazioni dinamiche o su larga^{scala 2,3}. Per affrontare queste carenze, i ricercatori hanno esplorato tecniche come la codifica di rete (NC), che riduce il numero di trasmissioni combinando più pacchetti in un unico pacchetto codificato. NC ha dimostrato di migliorare la produttività, ridurre la latenza e ottimizzare l'uso della larghezza di banda. Tuttavia, sebbene la codifica di rete sia potente nel ridurre il sovraccarico di comunicazione, non tiene in considerazione i livelli di energia dei nodi né si adatta alle condizioni di rete^{fluttuanti 4,5}.

È qui che il processo decisionale guidato dal machine learning gioca un ruolo fondamentale. L'apprendimento per rinforzo (RL) fornisce un quadro particolarmente solido per permettere ai nodi IoT di prendere decisioni adattive interagendo con l'ambiente e imparando dalle ricompense. Tra gli algoritmi RL, il soft actor-critic (SAC) ha guadagnato importanza grazie alla sua capacità di bilanciare esplorazione e sfruttamento tramite regolarizzazione^{dell'entropia 6}. A differenza dei modelli RL convenzionali, il SAC incoraggia una selezione diversificata delle azioni, impedendo al sistema di convergere troppo rapidamente verso strategie subottimali. Per le reti IoT a limitazione energetica, questo si traduce in scelte di routing più intelligenti che si adattano non solo alla qualità del collegamento e al successo della consegna, ma anche ai livelli residui di energia in ogni nodo.

Studi recenti si sono sempre più concentrati sul ruolo dell'apprendimento per rinforzo nell'ottimizzazione della comunicazione IoT e della gestione dell'energia. Ad esempio, Dev et ^al.7 hanno utilizzato Harris Hawks Optimization per la comunicazione IoT a basso consumo energetico, mentre Tuong et ^al.8 hanno esplorato il deep reinforcement learning per il duplexing gerarchico nei sistemi IoT wireless. Lavori più^{recenti 8,9} evidenziano come metodi avanzati di reinforcement learning, come l'ottimizzazione delle politiche prossimali e i framework multi-agente distribuiti, possano ulteriormente migliorare l'adattabilità in ambienti IoT su larga scala.

Questa ricerca presenta un nuovo modello di comunicazione ibrida che combina congiuntamente la codifica di rete (NC) con l'algoritmo attore-critico morbido (SAC) per ottenere un routing intelligente e consapevole dell'energia nelle reti IoT centrali. A differenza degli approcci precedenti che utilizzano NC o apprendimento per rinforzo in modo indipendente o che impiegano modelli deep RL ad azione discreta, questo studio utilizza la formulazione di ENTROPY-regularizzed-action di SAC per ottimizzare dinamicamente le decisioni di routing in base allo stato della rete, inclusi livelli energetici, stabilità del collegamento e stato del buffer del pacchetto. L'integrazione NC consente di ridurre le ritrasmissioni e migliorare l'utilizzo della larghezza di banda, mentre il SAC garantisce una selezione adattativa del percorso per bilanciare il carico della rete e conservare l'energia dei nodi. Questo doppio meccanismo introduce un nuovo paradigma di comunicazione codificata guidata dall'apprendimento, ottenendo guadagni misurabili in efficienza energetica, throughput, rapporto di consegna dei pacchetti e durata della rete rispetto ai metodi esistenti.

Abbiamo implementato e testato il framework proposto utilizzando l'ambiente di simulazione NS-3, implementando una griglia 5×5 di nodi IoT sotto carichi di traffico variabili. I modelli di dimensione, distanza e energia di trasmissione dei pacchetti sono stati accuratamente definiti per riflettere condizioni realistiche dell'IoT. Attraverso queste simulazioni, abbiamo valutato metriche chiave tra cui il rapporto di consegna dei pacchetti (PDR), la produttività, la durata della rete e l'efficienza energetica. I risultati sono i seguenti: rispetto ai modelli tradizionali di routing e standalone, il sistema ibrido NC + SAC ha ridotto il consumo energetico di quasi il 40%, ha migliorato la velocità di produzione del 50% e ha prolungato significativamente la durata della rete, mantenendo comunque un rapporto di consegna dei pacchetti vicino al 97%.

Oltre ai miglioramenti numerici, la vera forza di questo lavoro risiede nella sua scalabilità e adattabilità. Man mano che le reti IoT continuano a crescere in dimensioni e complessità, saranno fondamentali soluzioni che si adattino dinamicamente alle condizioni in evoluzione. Questo framework ibrido non solo affronta la questione immediata del risparmio energetico, ma apre anche il terreno per sistemi IoT autonomi e auto-ottimizzati che possono sostenersi in implementazioni reali. La Tabella 1 contiene i log delle prestazioni per parametri come il consumo energetico, il rapporto di consegna dei pacchetti, la durata della rete e la produttività. La Tabella 2 fornisce un riassunto dei risultati estratti dall'esperimento. Inoltre, l'integrazione del reinforcement learning nelle reti IoT dimostra il potenziale dei protocolli guidati dall'IA nel rimodellare il modo in cui i dispositivi interagiscono in ambienti a risorse limitate.

I recenti progressi nelle strategie di comunicazione intelligente rafforzano ulteriormente la necessità di framework di routing IoT adattivi e^sostenibili 10,11,12. I protocolli tradizionali di instradamento basati su clustering o statici spesso non riescono a gestire sfide dinamiche di rete come la qualità del collegamento fluttuante, livelli energetici variabili dei nodi e interferenze, che possono portare a un rapido degrado delle prestazioni e guasti precoci dei nodi. Gli approcci moderni basati sul reinforcement learning hanno dimostrato un forte potenziale nell'affrontare questi problemi permettendo ai dispositivi IoT di apprendere dinamicamente strategie di trasmissione ottimali attraverso un'interazione continua con^l'ambiente 10,11,12. Allo stesso tempo, la codifica di rete ha dimostrato la sua utilità nel ridurre le trasmissioni ridondanti e nel migliorare l'efficienza spettrale in ambienti di rete^{vincolati 5,13,14}. Tuttavia, la maggior parte degli studi esistenti valuta queste tecniche in modo indipendente piuttosto che in combinazione. Pertanto, integrare NC con un metodo di apprendimento per rinforzo a controllo continuo come Soft Actor-Critic presenta un meccanismo di comunicazione più robusto e intelligente, capace di adattarsi ai cambiamenti in tempo reale risparmiando^{energia 15,16}. Questo paradigma ibrido non solo rafforza la resilienza e l'autonomia delle reti IoT, ma si allinea anche alle tendenze emergenti della ricerca nei sistemi di comunicazione verdi e nelle architetture wireless guidate dal machine learning per implementazioni sostenibili su larga scala.

Protocollo

Flusso di lavoro di trasmissione dati e elaborazione dei pacchetti
Inizializzazione del nodo: Ogni nodo parte con tutte le informazioni topologiche della rete, la sua capacità energetica massima e un agente SAC pre-addestrato pronto per la decisione. Il modulo di codifica di rete attiva e prepara le operazioni di combinazione di pacchetti.

Processo di codifica dei pacchetti: Quando inizia la trasmissione, i nodi sorgente raccolgono più pacchetti di dati dai sensori. Il modulo di codifica di rete combina questi pacchetti in meno pacchetti codificati utilizzando operazioni matematiche efficienti, riducendo significativamente il numero totale di trasmissioni necessarie.

Esecuzione della decisione di instradamento SAC: L'agente SAC analizza lo stato attuale della rete, inclusi livelli energetici dei vicini, qualità del collegamento, condizioni del traffico e distanza di destinazione. Seleziona il vicino ideale del prossimo hop in base alla sua politica appresa, dando priorità all'efficienza energetica e all'affidabilità.

Inoltro di pacchetti multi-hop: i pacchetti codificati viaggiano attraverso il percorso selezionato. I nodi intermedi decidono se combinare ulteriormente i pacchetti o inoltrarli direttamente, in base al loro stato attuale del buffer e ai livelli di energia rimanenti.

Calcolo e memorizzazione della ricompensa: Dopo ogni trasmissione, il sistema calcola un punteggio di ricompensa basato sul successo della consegna, l'energia utilizzata, il ritardo nella trasmissione e i drop dei pacchetti. Queste informazioni sulla ricompensa sono memorizzate affinché l'agente SAC possa imparare.

Aggiornamento sull'apprendimento continuo: L'agente SAC esamina regolarmente le esperienze memorizzate e aggiorna la propria strategia decisionale per migliorare la selezione di percorsi efficienti dal punto di vista energetico, mantenendo al contempo alte prestazioni di consegna.

Architettura di sistema
Un nodo tipico funziona come segue: rileva e raccoglie dati, li codifica usando la codifica di rete e poi inoltra il pacchetto codificato attraverso un percorso di routing selezionato dall'agente SAC. L'agente SAC valuta lo stato del nodo, inclusa energia residua, stato del buffer e qualità del collegamento, per decidere il prossimo salto ottimale. Questo processo è dinamico e si evolve attraverso l'esperienza man mano che cambiano le condizioni della rete. La Figura 1 illustrerà questo flusso di dati e l'interazione tra i componenti.

Equazione di codifica di rete
La codifica di rete viene applicata ai nodi intermedi come segue:

Dove C_i è il pacchetto codificato, α_ij è il coefficiente di codifica (appreso tramite SAC), e P_j sono i pacchetti originali. Questo permette alla rete di ridurre il numero di trasmissioni e migliorare l'affidabilità.

Funzione obiettivo SAC
L'agente SAC ottimizza la policy utilizzando il seguente obiettivo regolarizzato dall'entropia:

Dove r(_{s t}, _{a t}) è la ricompensa, α è un parametro di compromesso per l'esplorazione, e H è il termine di entropia.

Modello di consumo energetico
Per simulare un consumo realistico di energia, viene utilizzato il seguente modello:

Dove: E_elec- è l'energia per bit per far funzionare il trasmettitore/ricevitore, - k è la dimensione dei dati in bit, - è l'energia richiesta dall'amplificatore del trasmettitore, - è la distanza tra i nodi, -d è l'esponente della perdita di percorso.

Metriche di valutazione
Le seguenti metriche di prestazione sono state utilizzate nelle simulazioni di questo studio:

Rapporto di consegna dei pacchetti (PDR):

Capacità produttiva:

Durata della rete: Definita come la durata fino a quando il 50% dei nodi di rete esaurisce la propria energia.

Efficienza energetica:

Pseudocodice
Inizializzazione dei nodi di rete IoT
Questa funzione configura tutti i nodi IoT nella rete prima che il sistema inizi a funzionare. A ogni nodo viene assegnata l'energia massima, un buffer vuoto per memorizzare i pacchetti, uno stato che rappresenta il suo ambiente locale, un agente SAC per apprendere decisioni ottimali e un modulo NC che consente la codifica intelligente dei dati.

Difesa initialize_nodes(rete):
per il nodo nella rete:
nodo.energia = MAX_ENERGY
nodo.buffer = []
nodo.stato = sense_environment(nodo)
node.agent = initialize_sac_agent()
node.nc_module = activate_network_coding()

Generazione di pacchetti e codifica di rete
Questa funzione è responsabile della raccolta dei dati dei sensori dal nodo sorgente, della loro codifica tramite un metodo di codifica lineare o basato su XOR, e della loro preparazione per la trasmissione. Riduce il sovraccarico di comunicazione raggruppando più pacchetti in un unico pacchetto codificato, pronto per essere inoltrato attraverso la rete.

Difesa generate_and_code_packets(source_node):
data_packets = collect_data(source_node)
coded_packet = network_code(data_packets)
queue_transmission(source_node, coded_packet)

Def network_code(pacchetti):
Ritorno linear_combination(pacchetti)

Decisione di routing basata su SAC
Qui, il nodo corrente utilizza il suo agente SAC per analizzare lo stato della rete e selezionare il vicino più efficiente dal punto di vista energetico e affidabile a cui inoltrare il pacchetto. La decisione si basa su politiche appassionate e condizioni ambientali attuali, come la qualità del collegamento o l'energia residua.

Def select_next_hop(current_node):
current_state = observe_network_state(current_node)
Azione = sac_agent_policy(current_node.agente, current_state)
next_hop = map_action_to_neighbor(azione)
Ritorno next_hop

Trasmissione dei pacchetti e anello di feedback
Questa funzione gestisce la trasmissione effettiva di un pacchetto codificato. Dopo aver determinato il miglior salto successivo, il pacchetto viene inviato se il collegamento è valido. Il sistema calcola quindi una ricompensa basata sul successo della trasmissione e sul consumo energetico, che viene utilizzata per aggiornare il modello di apprendimento dell'agente SAC.

Def transmit_packet(current_node, pacchetto):
next_hop = select_next_hop(current_node)
se is_link_valid(current_node, next_hop):
invio (pacchetto, next_hop)
Ricompensa = compute_reward(current_node, pacchetto)
update_sac_agent(current_node, ricompensa)
Altrimenti:
recompute_next_hop(current_node)

Aggiornamento agente SAC (fase di apprendimento)
Una volta trasmesso un pacchetto, questa funzione aggiorna l'agente SAC. Registra il cambiamento di stato, memorizza l'esperienza in memoria e, se viene raccolta abbastanza esperienza, utilizza un lotto campione per migliorare la strategia decisionale dell'agente. Questo aiuta il nodo ad adattarsi ai cambiamenti della rete nel tempo.

Definitivamente update_sac_agent(nodo, ricompensa):
new_state = observe_network_state(nodo)
store_transition(node.agent.memory, node.state, node.action, ricompensa, new_state)
se enough_experience(node.agent.memory):
batch = sample_batch(node.agent.memory)
node.agent = optimize_sac(node.agent, batch)
nodo.stato = new_state

Decodifica al ricevitore
A destinazione, questa funzione prende tutti i pacchetti codificati ricevuti e li decodifica nuovamente nei dati originali utilizzando metodi come l'eliminazione gaussiana. I dati recuperati vengono poi passati al livello applicativo o al processo appropriato.

Def decode_packet(destination_node):
received_packets = destination_node.buffer
original_data = decodifica(received_packets)
deliver_data(original_data)

Decodifica DEF (pacchetti):
ritorno gaussian_elimination(pacchetti)

Monitoraggio energetico e logica del sonno dei nodi
Questa funzione monitora i livelli energetici di ogni nodo e determina se un nodo deve continuare a funzionare o passare in modalità sospensione per risparmiare energia. Se l'energia è sufficiente, il nodo detrae i costi correlati alla trasmissione; altrimenti, si spegne temporaneamente per prolungare la durata complessiva della rete.

Def monitor_energy(nodo):
se node.energy < SOGLIA:
put_node_to_sleep(nodo)
else: nodo.energy -= transmission_cost()

Risultati

Abbiamo condotto simulazioni confrontando quattro approcci diversi: (i) Un modello tradizionale senza ottimizzazione, (ii) Un sistema che impiega solo Network Coding (NC), (iii) Una configurazione che utilizza solo l'algoritmo attore-critico soft (SAC) per l'instradamento, e (iv) Il modello ibrido proposto che combina sia NC che SAC.

Consumo energetico
Il miglioramento più significativo è stato osservato nell'efficienza energetica. Le reti ...

Discussione

Questa ricerca introduce una nuova strategia di comunicazione consapevole dell'energia per le reti IoT core che integra la codifica di rete (NC) con l'algoritmo di apprendimento per rinforzo soft actor-critic (SAC). L'obiettivo di questo approccio ibrido è minimizzare il consumo energetico mantenendo una trasmissione dei dati affidabile ed efficiente. NC riduce le trasmissioni ridondanti codificando pacchetti dati, mentre SAC apprende e seleziona dinamicamente i percorsi di instradamento...

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
6 GB NVIDIA GeForce RTX 3050 (Sistema informatico)	nVIDIA	https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3050/	Per simulazione e addestramento: RAM DELLA CPU: 16 GB, RAM GPU
AMD Ryzen (sistema informatico)	AMD	Ryzen 7	Per simulazione e addestramento: Processore
Hardware Testbed (lavoro opzionale per il futuro)	Raspberry Pi	https://www.raspberrypi.com/products/raspberry-pi-4-model-b/	Nodi Raspberry Pi 4 con moduli wireless per la distribuzione e la validazione di IoT nel mondo reale
Intel Core i7 (Sistema informatico)	Intel Core	Processore i7-7700	Per simulazione e addestramento: Processore
Jupyter Notebook	Jupyter	https://jupyter.org/	Ambiente per sviluppo iterativo, debug e visualizzazione
Matplotlib	Python	https://matplotlib.org/	Librerie di visualizzazione Python per tracciare metriche di performance (Energia, Throughput, PDR, Durata della Rete)
Modulo di Codifica di Rete			Integrazione personalizzata di Python/NS-3 per implementare la codifica di rete lineare e la codifica di pacchetti
NS-3 Simulatore	NS-3	nsnam.org	Simulatore di rete open-source a eventi discreti utilizzato per la simulazione di rete IoT e la valutazione del routing
NumPy	NumPy	numpy.org	Pacchetti Python per gestire log di simulazione, analisi statistiche e dataset strutturati
Pandas		pandas.pydata.org	Pacchetti Python per gestire log di simulazione, analisi statistiche e dataset strutturati
Python 3.10	Python	Versione 3.10.0	Linguaggio di programmazione utilizzato per l'addestramento degli agenti SAC, l'ottimizzazione dei coefficienti di codifica e l'elaborazione dei dati
PyTorch	PyTorch	https://pytorch.org/	Libreria di deep learning per l'implementazione dell'algoritmo Soft Actor-Critic e dei modelli di reinforcement learning
Seaborn	Python	https://seaborn.pydata.org/	Librerie di visualizzazione Python per tracciare metriche di performance (Energia, Throughput, PDR, Durata della Rete)
Ubuntu 20.04 (Sistema informatico)	Ubuntu	Versione 20.04	Per simulazione e addestramento: sistema operativo