Op weg naar groen IoT: Energiebesparing in het kernnetwerk van IoT met behulp van netwerkcodering en soft actor critic

Samenvatting

Deze studie integreert netwerkcodering met soft actor-critic reinforcement learning om energiezuinige routering in kernnetwerken van IoT te bereiken, waarbij een vermindering van 40% in energieverbruik wordt aangetoond met een pakketleveringsratio van 97%.

Samenvatting

De snelle uitbreiding van internet of things (IoT)-netwerken heeft de energie-efficiëntieproblemen in kernnetwerken van IoT versterkt, waar datarouting hoge eisen stelt aan knooppuntenergie. Dit artikel stelt een hybride model voor dat netwerkcodering (NC) integreert met soft actor-critic (SAC) versterkingsleren om deze uitdagingen aan te pakken. NC minimaliseert redundante transmissies door pakketten te combineren, terwijl SAC-agenten dynamisch energiebewuste routeringspaden selecteren op basis van knooppuntstatus, linkkwaliteit en restenergie.

Het systeem werd geïmplementeerd met behulp van de NS-3 simulator met een 5 × 5 grid-topologie van IoT-nodes (512-byte pakketten, 100s runtime) onder wisselende verkeersomstandigheden. De resultaten tonen aan dat NC + SAC een vermindering van 40% in energieverbruik behaalt, een pakketleveringsratio van 97%, 50% verbetering in doorvoer en een verlengde netwerklevensduur ten opzichte van traditionele routerings- en standalone benaderingen.

Belangrijke bijdragen zijn onder meer innovatieve NC-SAC-integratie, uitgebreide NS-3-validatie over meerdere meetpunten en demonstratie van leergedreven gecodeerde communicatie voor duurzame IoT-infrastructuren. De hybride aanpak balanceert betrouwbaarheid, energiebehoud en prestaties, en biedt een schaalbaar kader voor de volgende generatie groene IoT-netwerken.

Inleiding

Het internet der dingen (IoT) is uitgegroeid tot een van de meest transformerende technologieën van de 21e eeuw, die naadloos miljarden apparaten verbindt om slimmer huizen, steden, industrieën en^{zorgsystemen mogelijk} te maken. Met deze ongekende groei komt echter een dringende uitdaging: het vraagstuk van energieverbruik. IoT-apparaten, vooral die in het kernnetwerk zijn ingezet, worden vaak op batterijen aangedreven of hebben beperkte middelen. Naarmate de dichtheid van apparaten en dataverkeer toeneemt, wordt energie-efficiëntie een cruciale factor om de langetermijnduurzaamheid van IoT-infrastructuren te waarborgen. In deze context is het ontwerpen van intelligente communicatie- en routeringsstrategieën die prestaties in balans brengen met energiebesparing van het grootste belang.

Traditionele routeringsmethoden in IoT-netwerken richten zich vaak op kortste-pad of betrouwbaarheidsgerichte benaderingen. Hoewel effectief in basisscenario's, leiden deze methoden vaak tot redundante transmissies en snelle energieuitputting, vooral bij dynamische of grootschalige implementaties ^2,3. Om deze tekortkomingen aan te pakken, hebben onderzoekers technieken onderzocht zoals netwerkcodering (NC), die het aantal transmissies vermindert door meerdere pakketten te combineren tot één gecodeerd pakket. NC heeft bewezen de doorvoersnelheid te verbeteren, de latentie te verminderen en het bandbreedtegebruik te optimaliseren. Hoewel netwerkcodering krachtig is in het verminderen van communicatielast, houdt het niet inherent rekening met energieniveaus van knooppunten en past het zich niet aan schommelende netwerkomstandigheden^{aan 4,5}.

Hier speelt besluitvorming door machine learning een essentiële rol. Reinforcement learning (RL) biedt een bijzonder robuust kader om IoT-nodes in staat te stellen adaptieve beslissingen te nemen door te interageren met de omgeving en te leren van beloningen. Onder de RL-algoritmen heeft de soft actor-critic (SAC) aan belang gewonnen vanwege zijn vermogen om exploratie en exploitatie te balanceren via entropieregularisatie⁶. In tegenstelling tot conventionele RL-modellen moedigt SAC diverse actiekeuzes aan, waardoor het systeem niet te snel convergeert naar suboptimale strategieën. Voor energiebeperkte IoT-netwerken vertaalt dit zich in slimmere routeringskeuzes die zich niet alleen aanpassen aan koppelkwaliteit en leveringssucces, maar ook aan de resterende energieniveaus bij elke knoop.

Recente studies richten zich steeds meer op de rol van reinforcement learning bij het optimaliseren van IoT-communicatie en energiebeheer. Zo gebruikten Dev et ^al.7 Harris Hawks Optimization voor energiezuinige IoT-communicatie, terwijl Tuong et ^al.8 deep reinforcement learning onderzochten voor hiërarchische duplexing in draadloze IoT-systemen. Recente werken ^8,9 benadrukken hoe geavanceerde reinforcement learning-methoden, zoals proximale beleidsoptimalisatie en gedistribueerde multi-agent frameworks, de aanpassingsvermogen in grootschalige IoT-omgevingen verder kunnen verbeteren.

Dit onderzoek presenteert een nieuw hybride communicatiemodel dat gezamenlijk netwerkcodering (NC) combineert met het soft actor-critic (SAC) algoritme om energiebewuste intelligente routing in kernnetwerken van IoT te bereiken. In tegenstelling tot eerdere benaderingen die NC of reinforcement learning onafhankelijk gebruikten of discrete-action deep RL-modellen gebruiken, maakt deze studie gebruik van SAC's entropie-gereguleerde continue-actieformulering om routeringsbeslissingen dynamisch te optimaliseren op basis van netwerkstatus, waaronder energieniveaus, linkstabiliteit en pakketbufferstatus. Het integreren van NC maakt minder hertransmissies en een verbeterde bandbreedtebenutting mogelijk, terwijl SAC zorgt voor adaptieve padkeuze om netwerkbelasting in balans te brengen en node energie te besparen. Dit dubbele mechanisme introduceert een nieuw paradigma van leergedreven gecodeerde communicatie, waarbij meetbare verbeteringen worden behaald in energie-efficiëntie, doorvoer, pakketleveringsverhouding en netwerklevensduur ten opzichte van bestaande methoden.

We hebben het voorgestelde framework geïmplementeerd en getest met behulp van de NS-3 simulatieomgeving, waarbij we een 5×5 grid van IoT-knooppunten onder wisselende verkeersbelastingen uitrolden. Pakketgrootte, afstand en transmissie-energiemodellen werden zorgvuldig gedefinieerd om realistische IoT-omstandigheden weer te geven. Via deze simulaties evalueerden we belangrijke statistieken zoals pakketleveringsratio (PDR), doorvoer, netwerklevensduur en energie-efficiëntie. De resultaten zijn als volgt: vergeleken met traditionele routing- en standalone modellen verlaagde het NC + SAC hybride systeem het energieverbruik met bijna 40%, verbeterde de doorvoersnelheid met 50% en verlengde de netwerklevensduur aanzienlijk, terwijl een pakketleveringsratio dicht bij 97% werd behouden.

Naast de numerieke verbeteringen ligt de echte kracht van dit werk in de schaalbaarheid en aanpassingsvermogen. Naarmate IoT-netwerken blijven groeien in omvang en complexiteit, zullen oplossingen die zich dynamisch aanpassen aan veranderende omstandigheden van vitaal belang zijn. Dit hybride kader pakt niet alleen het directe probleem van energiebesparing aan, maar legt ook de basis voor autonome, zelfoptimaliserende IoT-systemen die zichzelf kunnen onderhouden in implementaties in de echte wereld. Tabel 1 bevat de prestatielogs voor parameters zoals energieverbruik, pakketleveringsverhouding, netwerklevensduur en doorvoer. Tabel 2 geeft een samenvatting van de resultaten uit het experiment. Bovendien toont de integratie van reinforcement learning in IoT-netwerken het potentieel van AI-gedreven protocollen aan om de manier waarop apparaten interageren in omgevingen met beperkte middelen te hervormen.

Recente ontwikkelingen in intelligente communicatiestrategieën versterken verder de noodzaak van adaptieve en duurzame IoT-routeringskaders 10,11,12. Traditionele clustering- of statische routeringsprotocollen falen vaak in het accommoderen van dynamische netwerkuitdagingen zoals fluctuerende linkkwaliteit, variërende node-energieniveaus en interferentie, wat kan leiden tot snelle prestatieverslechtering en vroege node-storingen. Moderne benaderingen op basis van reinforcement learning hebben een groot potentieel getoond om deze problemen aan te pakken door IoT-apparaten in staat te stellen dynamisch optimale transmissiestrategieën te leren via voortdurende interactie met de omgeving 10,11,12. Tegelijkertijd heeft Network Coding zijn nut aangetoond bij het verminderen van redundante transmissies en het verbeteren van spectrale efficiëntie in beperkte netwerkomgevingen ^5,13,14. De meeste bestaande studies evalueren deze technieken echter onafhankelijk in plaats van in combinatie. Daarom biedt het integreren van NC met een continue-control reinforcement learning-methode zoals Soft Actor-Critic een robuuster en intelligenter communicatiemechanisme dat zich kan aanpassen aan realtime veranderingen terwijl energie wordt bespaard^15,16. Dit hybride paradigma versterkt niet alleen de veerkracht en autonomie van IoT-netwerken, maar sluit ook aan bij opkomende onderzoekstrends in groene communicatiesystemen en door machine learning gedreven draadloze architecturen voor duurzame grootschalige implementaties.

Protocol

Workflow voor gegevensoverdracht en pakketverwerking
Knooppuntinitialisatie: Elke knoop begint met volledige netwerktopologie-informatie, zijn maximale energiecapaciteit en een vooraf getrainde SAC-agent die klaar is voor besluitvorming. De netwerkcoderingsmodule activeert en bereidt zich voor pakketcombinatieoperaties.

Pakketcoderingsproces: Wanneer de transmissie begint, verzamelen bronknooppunten meerdere datapakketten van sensoren. De netwerkcoderingsmodule combineert deze pakketten tot minder gecodeerde pakketten met efficiënte wiskundige bewerkingen, waardoor het totale aantal benodigde transmissies aanzienlijk wordt verminderd.

SAC-routeringsbeslissingsuitvoering: De SAC-agent analyseert de huidige netwerkstatus, inclusief energieniveaus van buren, linkkwaliteit, verkeerscondities en bestemmingsafstand. Het selecteert de optimale next-hop buur op basis van het geleerde beleid, met prioriteit aan energie-efficiëntie en betrouwbaarheid.

Multi-hop packet forwarding: Gecodeerde pakketten reizen door het geselecteerde pad. Tussenliggende knooppunten beslissen of ze pakketten verder combineren of direct doorsturen, op basis van hun huidige bufferstatus en resterende energieniveaus.

Belooning en opslag: Na elke transmissie berekent het systeem een beloningsscore op basis van leveringssucces, energieverbruik, transmissievertraging en pakketverlies. Deze beloningsinformatie wordt opgeslagen zodat de SAC-agent ervan kan leren.

Continue leerupdate: De SAC-agent beoordeelt regelmatig opgeslagen ervaringen en werkt zijn besluitvormingsstrategie bij om beter te worden in het kiezen van energiezuinige routes en tegelijkertijd een hoge leveringsprestatie te behouden.

Systeemarchitectuur
Een typische node werkt als volgt: hij detecteert en verzamelt data, codeert deze met netwerkcodering, en stuurt vervolgens het gecodeerde pakket door een routeringspad dat door de SAC-agent is geselecteerd. De SAC-agent evalueert de toestand van de node, inclusief resterende energie, bufferstatus en linkkwaliteit, om de volgende optimale hop te bepalen. Dit proces is dynamisch en ontwikkelt zich door ervaring naarmate de netwerkomstandigheden veranderen. Figuur 1 illustreert deze datastroom en interactie tussen componenten.

Netwerkcoderingsvergelijking
Netwerkcodering wordt toegepast op tussenliggende knooppunten als volgt:

Waarbij C_i het gecodeerde pakket is, α_ij de coderingscoëfficiënt is (geleerd via SAC), en P_j de oorspronkelijke pakketten zijn. Dit stelt het netwerk in staat het aantal transmissies te verminderen en de betrouwbaarheid te verbeteren.

SAC-doelfunctie
De SAC-agent optimaliseert het beleid met het volgende entropie-geregulariseerde doel:

Waarbij r(s_t, a_t) de beloning is, α een afwegparameter voor exploratie, en H de entropieterm is.

Energieverbruiksmodel
Om realistisch energieverbruik te simuleren wordt het volgende model gebruikt:

Waarbij: E_elec- is de energie per bit om de zender/ontvanger te laten draaien, - k is de datagrootte in bits, - is de energie die de zenderversterker nodig heeft, - is de afstand tussen knooppunten, -d is de padverliesexponent.

Evaluatiemetrieken
De volgende prestatie-metrics werden gebruikt in de simulaties in deze studie:

Pakketleveringsratio (PDR):

Doorvoer:

Netwerklevensduur: Gedefinieerd als de duur totdat 50% van de netwerkknooppunten hun energie heeft verbruikt.

Energie-efficiëntie:

Pseudocode
Initialisatie van IoT-netwerkknooppunten
Deze functie zet alle IoT-knooppunten in het netwerk op voordat het systeem begint te werken. Elke node krijgt maximale energie, een lege buffer om pakketten op te slaan, een toestand die zijn lokale omgeving vertegenwoordigt, een SAC-agent voor het leren van optimale beslissingen, en een NC-module die intelligente datacodering mogelijk maakt.

def initialize_nodes(netwerk):
voor knooppunt in netwerk:
node.energy = MAX_ENERGY
node.buffer = []
node.state = sense_environment(node)
node.agent = initialize_sac_agent()
node.nc_module = activate_network_coding()

Pakketgeneratie en netwerkcodering
Deze functie is verantwoordelijk voor het verzamelen van sensorgegevens van de bronknoop, het coderen ervan met een lineaire of XOR-gebaseerde netwerkcoderingsmethode, en het voorbereiden op transmissie. Het vermindert de communicatie-overhead door meerdere pakketten te bundelen in één gecodeerd pakket, klaar om door het netwerk te worden doorgestuurd.

def generate_and_code_packets(source_node):
data_packets = collect_data(source_node)
coded_packet = network_code(data_packets)
queue_transmission(source_node, coded_packet)

def network_code(pakketten):
Retour linear_combination(pakketten)

Op basis van SAC-routeringsbeslissing
Hier gebruikt de huidige node zijn SAC-agent om de netwerkstatus te analyseren en de meest energiezuinige en betrouwbare buur te selecteren om het pakket naartoe te sturen. De beslissing is gebaseerd op geleerde beleidslijnen en actuele milieuomstandigheden, zoals de kwaliteit van de verbinding of restenergie.

def select_next_hop(current_node):
current_state = observe_network_state(current_node)
actie = sac_agent_policy(current_node.agent, current_state)
next_hop = map_action_to_neighbor(actie)
Keer next_hop terug

Pakketoverdracht en terugkoppelingslus
Deze functie beheert de daadwerkelijke verzending van een gecodeerd pakket. Nadat de beste volgende hop is bepaald, wordt het pakket verzonden als de link geldig is. Het systeem berekent vervolgens een beloning op basis van het succes van de transmissie en het energieverbruik, die wordt gebruikt om het leermodel van de SAC-agent bij te werken.

def transmit_packet(current_node, pakket):
next_hop = select_next_hop(current_node)
als is_link_valid(current_node, next_hop):
verzenden(pakket, next_hop)
beloning = compute_reward(current_node, pakket)
update_sac_agent(current_node, beloning)
anders:
recompute_next_hop(current_node)

SAC-agentupdate (leerfase)
Zodra een pakket is verzonden, werkt deze functie de SAC-agent bij. Het registreert de toestandsverandering, slaat de ervaring op in het geheugen, en als er genoeg ervaring is verzameld, gebruikt het een steekproefbatch om de besluitvormingsstrategie van de agent te verbeteren. Dit helpt de node zich aan te passen aan netwerkveranderingen in de loop van de tijd.

def update_sac_agent(node, beloning):
new_state = observe_network_state(node)
store_transition(node.agent.memory, node.state, node.action, reward, new_state)
als enough_experience(node.agent.memory):
batch = sample_batch(node.agent.memory)
node.agent = optimize_sac(node.agent, batch)
node.state = new_state

Decodering bij de ontvanger
Op de bestemming neemt deze functie alle ontvangen gecodeerde pakketten op en decodeert ze terug in de oorspronkelijke data met methoden zoals Gaussian Elimination. De herstelde data wordt vervolgens doorgegeven aan de juiste applicatielaag of proces.

def decode_packet(destination_node):
received_packets = destination_node.buffer
original_data = decoderen(received_packets)
deliver_data(original_data)

def decode(packets):
Retour gaussian_elimination(pakketten)

Energiemonitoring en knoopslaaplogica
Deze functie volgt het energieniveau van elke knoop en bepaalt of een knoop moet blijven werken of in slaapstand moet schakelen om stroom te besparen. Als de energie voldoende is, trekt de knoop transmissiegerelateerde kosten af; Zo niet, dan schakelt hij tijdelijk uit om de totale netwerklevensduur te verlengen.

def monitor_energy(node):
als node.energy < DREMPEL BEREIKT:
put_node_to_sleep(knoop)
anders: node.energy -= transmission_cost()

Resultaten

We voerden simulaties uit waarbij we vier verschillende benaderingen vergeleken: (i) Een traditioneel model zonder optimalisatie, (ii) Een systeem dat alleen Network Coding (NC) gebruikt, (iii) Een opstelling met alleen het soft actor-critic (SAC) algoritme voor routing, en (iv) Het voorgestelde hybride model dat zowel NC als SAC combineert.

Energieverbruik
De meest significante verbetering werd waargenomen in energie-efficiëntie. Tradition...

Discussie

Dit onderzoek introduceert een nieuwe energiebewuste communicatiestrategie voor kernnetwerken van IoT die netwerkcodering (NC) integreert met het soft actor-critic (SAC) reinforcement learning-algoritme. Het doel van deze hybride aanpak is het minimaliseren van het energieverbruik terwijl betrouwbare en efficiënte gegevensoverdracht behouden blijft. NC vermindert redundante transmissies door datapakketten te coderen, terwijl SAC dynamisch energiezuinige routeringspaden leert en selecteer...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
6 GB NVIDIA GeForce RTX 3050 (Computersysteem)	nVIDIA	https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3050/	Voor simulatie en training: CPU RAM: 16 GB, GPU RAM
AMD Ryzen (Computersysteem)	AMD	Ryzen 7	Voor simulatie en training: Processor
Hardware Testbed (optioneel toekomstig werk)	Raspberry Pi	https://www.raspberrypi.com/products/raspberry-pi-4-model-b/	Raspberry Pi 4 knooppunten met draadloze modules voor real-world IoT implementatie en validatie
Intel Core i7 (Computersysteem)	Intel Core	i7-7700 Processor	Voor simulatie en training: Processor
Jupyter Notebook	Jupyter	https://jupyter.org/	Omgeving voor iteratieve ontwikkeling, debugging en visualisatie
Matplotlib	Python	https://matplotlib.org/	Python visualisatiebibliotheken voor het plotten van prestatiemetrieken (Energie, Doorvoer, PDR, Netwerk Levensduur)
Network Coding Module			Aangepaste Python/NS-3 integratie voor het implementeren van lineaire netwerkcodering en pakketcodering
NS-3 Simulator	ns-3	nsnam.org	Open-source discrete-event netwerksimulator gebruikt voor IoT netwerksimulatie en routering evaluatie
NumPy	NumPy	numpy.org	Python pakketten voor het verwerken van simulatielogs, statistische analyse en gestructureerde datasets
Pandas		pandas.pydata.org	Python pakketten voor het verwerken van simulatielogs, statistische analyse en gestructureerde datasets
Python 3.10	Python	Versie 3.10.0	Programmeertaal gebruikt voor SAC agent training, codering coëfficiënt optimalisatie, en gegevensverwerking
PyTorch	PyTorch	https://pytorch.org/	Deep learning bibliotheek voor het implementeren van het Soft Actor-Critic algoritme en versterkte leermodellen
Seaborn	Python	https://seaborn.pydata.org/	Python visualisatiebibliotheken voor het plotten van prestatiemetrieken (Energie, Doorvoer, PDR, Netwerk Levensduur)
Ubuntu 20.04 (Computersysteem)	Ubuntu	Versie 20.04	Voor simulatie en training: besturingssysteem