Auf dem Weg zu grünem IoT: Energieeinsparung im Kern-IoT-Netzwerk mit Netzwerkcodierung und Soft Actor Critic

Zusammenfassung

Diese Studie integriert Netzwerkcodierung mit weichem Akteur-Kritiker-Reinforcement Learning, um energieeffizientes Routing in Kern-IoT-Netzwerken zu erreichen, und zeigt eine Reduktion des Energieverbrauchs um 40 % bei einer Paketabgabequote von 97 %.

Zusammenfassung

Die rasche Ausweitung von Internet-of-Things-(IoT)-Netzwerken hat die Herausforderungen der Energieeffizienz in Kern-IoT-Netzwerken verschärft, wo Datenrouting hohe Anforderungen an die Energie der Knoten stellt. Dieses Papier schlägt ein hybrides Modell vor, das Netzwerkcodierung (NC) mit Soft Actor-Critic (SAC) Reinforcement Learning integriert, um diese Herausforderungen zu bewältigen. NC minimiert redundante Übertragungen durch das Kombinieren der Pakete, während SAC-Agenten dynamisch energiebewusste Routing-Pfade basierend auf Knotenzustand, Linkqualität und Restenergie auswählen.

Das System wurde mit dem NS-3-Simulator mit einer 5 × 5 Gitter-Topologie von IoT-Knoten (512-Byte-Pakete, 100 Sekunden Laufzeit) unter unterschiedlichen Verkehrsbedingungen implementiert. Die Ergebnisse zeigen, dass NC + SAC einen Energieverbrauch um 40 %, eine Paketzustellungsquote von 97 %, eine Verbesserung des Durchsatzes um 50 % und eine längere Netzwerklebensdauer im Vergleich zu traditionellen Routing- und Standalone-Ansätzen erreicht.

Wichtige Beiträge umfassen neuartige NC-SAC-Integration, umfassende NS-3-Validierung über mehrere Kennzahlen hinweg und die Demonstration lerngetriebener codierter Kommunikation für nachhaltige IoT-Infrastrukturen. Der hybride Ansatz balanciert Zuverlässigkeit, Energieeinsparung und Leistung und bietet ein skalierbares Rahmenwerk für grüne IoT-Netzwerke der nächsten Generation.

Einleitung

Das Internet der Dinge (IoT) hat sich als eine der transformativsten Technologien des 21. Jahrhunderts etabliert und verbindet nahtlos Milliarden von Geräten, um intelligentere Häuser, Städte, Industrien und Gesundheitssysteme zu ermöglichen¹. Mit diesem beispiellosen Wachstum geht jedoch eine drängende Herausforderung einher: das Thema Energieverbrauch. IoT-Geräte, insbesondere solche, die im Kernnetzwerk installiert sind, sind oft batteriebetrieben oder ressourcenbegrenzt. Mit steigender Dichte von Geräten und Datenverkehr wird die Energieeffizienz zu einem entscheidenden Faktor für die langfristige Nachhaltigkeit von IoT-Infrastrukturen. In diesem Zusammenhang ist es von größter Bedeutung, intelligente Kommunikations- und Routingstrategien zu entwerfen, die Leistung mit Energieeinsparung in Einklang bringen.

Traditionelle Routing-Methoden in IoT-Netzwerken konzentrieren sich oft auf kürzeste-Pfad- oder Zuverlässigkeitsansätze. Obwohl sie in einfachen Szenarien effektiv sind, führen diese Methoden häufig zu redundanten Übertragungen und schneller Energieverbrauch, insbesondere bei dynamischen oder großflächigen Einsätzen ^2,3. Um diese Schwächen zu beheben, haben Forscher Techniken wie Network Coding (NC) untersucht, die die Anzahl der Übertragungen reduziert, indem mehrere Pakete zu einem einzigen codierten Paket kombiniert werden. NC hat sich erwiesen, den Durchsatz zu verbessern, die Latenz zu reduzieren und die Bandbreitennutzung zu optimieren. Obwohl Netzwerkcodierung leistungsstark ist, um den Kommunikationsaufwand zu reduzieren, berücksichtigt sie nicht automatisch die Energielevel der Knoten und passt sich nicht an schwankende Netzwerkbedingungen^an.

Hier spielt maschinelles Lernen eine entscheidende Rolle. Reinforcement Learning (RL) bietet einen besonders robusten Rahmen, der IoT-Knoten ermöglicht, adaptive Entscheidungen durch Interaktion mit der Umgebung und das Lernen von Belohnungen zu treffen. Unter den RL-Algorithmen hat der Soft Actor-Critic (SAC) aufgrund seiner Fähigkeit, Exploration und Ausbeutung durch Entropieregularisierung⁶ auszubalancieren, an Bedeutung gewonnen. Im Gegensatz zu herkömmlichen RL-Modellen fördert SAC vielfältige Aktionsauswahl und verhindert, dass das System zu schnell zu suboptimalen Strategien übergeht. Für energiebegrenzte IoT-Netzwerke bedeutet dies intelligentere Routing-Entscheidungen, die sich nicht nur an die Verknüpfungsqualität und den Liefererfolg anpassen, sondern auch an die Restenergieniveaus an jedem Knoten.

Jüngste Studien konzentrieren sich zunehmend auf die Rolle von Reinforcement Learning bei der Optimierung der IoT-Kommunikation und des Energiemanagements. So verwendeten beispielsweise Dev et ^al.7 die Harris-Hawks-Optimierung für energieeffiziente IoT-Kommunikation, während Tuong et ^al.8 tiefes Reinforcement Learning für hierarchisches Duplexing in drahtlosen IoT-Systemen untersuchten. Neuere Arbeiten ^8,9 zeigen, wie fortschrittliche Reinforcement-Learning-Methoden wie proximale Policy Optimization und verteilte Multi-Agenten-Frameworks die Anpassungsfähigkeit in großflächigen IoT-Umgebungen weiter verbessern können.

Diese Forschung präsentiert ein neuartiges hybrides Kommunikationsmodell, das gemeinsam Network Coding (NC) mit dem Soft Actor-Critic (SAC)-Algorithmus kombiniert, um energiebewusstes intelligentes Routing in Kern-IoT-Netzwerken zu erreichen. Im Gegensatz zu früheren Ansätzen, die NC oder Reinforcement Learning unabhängig verwenden oder diskrete Deep-Action-RL-Modelle verwenden, nutzt diese Studie SACs entropieregularisierte kontinuierliche Aktionsformulierung, um Routing-Entscheidungen dynamisch basierend auf Netzwerkzustand, einschließlich Energieniveaus, Linkstabilität und Paketpufferstatus, dynamisch zu optimieren. Die Integration von NC ermöglicht reduzierte Wiederholungen und verbesserte Bandbreitennutzung, während SAC eine adaptive Pfadwahl gewährleistet, um die Netzwerklast auszugleichen und Energie der Knoten zu sparen. Dieser doppelte Mechanismus führt ein neues Paradigma der lerngetriebenen codierten Kommunikation ein und erzielt messbare Verbesserungen in Energieeffizienz, Durchsatz, Paketzustellungsquote und Netzwerklebensdauer gegenüber bestehenden Methoden.

Wir implementierten und testeten das vorgeschlagene Framework mit der NS-3-Simulationsumgebung und setzten ein 5×5-Raster von IoT-Knoten unter unterschiedlichen Verkehrsbelastungen ein. Paketgröße, Entfernung und Übertragungsenergiemodelle wurden sorgfältig definiert, um realistische IoT-Bedingungen widerzuspiegeln. Durch diese Simulationen haben wir wichtige Kennzahlen wie Paketzustellungsquote (PDR), Durchsatz, Netzwerklebensdauer und Energieeffizienz bewertet. Die Ergebnisse sind wie folgt: Im Vergleich zu traditionellen Routing- und Standalone-Modellen reduzierte das NC + SAC-Hybridsystem den Energieverbrauch um fast 40 %, verbesserte den Durchsatz um 50 % und verlängerte die Netzlebensdauer erheblich, während ein Paketzustellverhältnis von nahe 97 % beibehalten wurde.

Über die numerischen Verbesserungen hinaus liegt die eigentliche Stärke dieser Arbeit in ihrer Skalierbarkeit und Anpassungsfähigkeit. Da IoT-Netzwerke weiterhin an Größe und Komplexität wachsen, werden Lösungen, die sich dynamisch an veränderte Bedingungen anpassen, entscheidend sein. Dieses hybride Framework adressiert nicht nur das unmittelbare Problem der Energieeinsparung, sondern bereitet auch die Grundlage für autonome, selbstoptimierende IoT-Systeme, die sich in realen Einsätzen selbst unterstützen können. Tabelle 1 enthält die Leistungsprotokolle für Parameter wie Energieverbrauch, Paketzustellungsverhältnis, Netzwerklebensdauer und Durchsatz. Tabelle 2 gibt eine Zusammenfassung der aus dem Experiment gewonnenen Ergebnisse. Darüber hinaus zeigt die Integration von Reinforcement Learning in IoT-Netzwerke das Potenzial von KI-gesteuerten Protokollen, die Art und Weise zu verändern, wie Geräte in ressourcenbegrenzten Umgebungen interagieren.

Jüngste Fortschritte in intelligenten Kommunikationsstrategien unterstreichen zusätzlich die Notwendigkeit adaptiver und nachhaltiger IoT-Routing-Frameworks 10,11,12. Traditionelle clusterbasierte oder statische Routing-Protokolle versäumen es oft, dynamische Netzwerkprobleme wie schwankende Linkqualität, unterschiedliche Energieniveaus der Knoten und Störungen zu berücksichtigen, was zu schnellen Leistungsverschlechterungen und frühen Knotenausfällen führen kann. Moderne Reinforcement-Learning-basierte Ansätze haben großes Potenzial gezeigt, um diese Probleme anzugehen, indem sie IoT-Geräten ermöglichen, durch kontinuierliche Interaktion mit der Umwelt dynamisch optimale Übertragungsstrategien zu erlernen 10,11,12. Gleichzeitig hat Network Coding seine Nützlichkeit zur Reduzierung redundanter Übertragungen und zur Verbesserung der spektralen Effizienz in eingeschränkten Netzwerkumgebungen^{gezeigt 5,13,14}. Die meisten vorhandenen Studien bewerten diese Techniken jedoch unabhängig und nicht in Kombination. Daher stellt die Integration von NC mit einer kontinuierlichen Kontroll-Verstärkungslernmethode wie Soft Actor-Critic einen robusteren und intelligenteren Kommunikationsmechanismus dar, der sich an Echtzeitänderungen anpassen und gleichzeitig Energie sparen^{kann 15,16}. Dieses hybride Paradigma stärkt nicht nur die Widerstandsfähigkeit und Autonomie von IoT-Netzwerken, sondern steht auch im Einklang mit aufkommenden Forschungstrends in grünen Kommunikationssystemen und maschinell-learning-getriebenen drahtlosen Architekturen für nachhaltige großflächige Implementierungen.

Protokoll

Datenübertragungs- und Paketverarbeitungs-Workflow
Knoteninitialisierung: Jeder Knoten beginnt mit vollständigen Netzwerktopologieinformationen, seiner maximalen Energiekapazität und einem vortrainierten SAC-Agenten, der für Entscheidungen bereit ist. Das Netzwerkcodierungsmodul aktiviert und bereitet die Paketkombinationsoperationen vor.

Paketcodierungsprozess: Wenn die Übertragung beginnt, sammeln Quellknoten mehrere Datenpakete von Sensoren. Das Netzwerkcodierungsmodul kombiniert diese Pakete zu weniger codierten Paketen mithilfe effizienter mathematischer Operationen, wodurch die Gesamtzahl der benötigten Übertragungen erheblich reduziert wird.

SAC-Routing-Entscheidungsausführung: Der SAC-Agent analysiert den aktuellen Netzwerkzustand, einschließlich der Energieniveaus der Nachbarn, Verbindungsqualität, Verkehrsbedingungen und Zielentfernung. Es wählt den optimalen Next-Hop-Nachbarn basierend auf seiner erlernten Strategie aus und legt dabei Wert auf Energieeffizienz und Zuverlässigkeit.

Multi-Hop-Paketweiterleitung: Codierte Pakete durchlaufen den ausgewählten Pfad. Zwischenknoten entscheiden, ob sie die Pakete weiter kombinieren oder sie direkt weiterleiten, basierend auf ihrem aktuellen Pufferstatus und verbleibenden Energieniveaus.

Belohnungsberechnung und -speicherung: Nach jeder Übertragung berechnet das System einen Belohnungswert basierend auf Liefererfolg, Energieverbrauch, Übertragungsverzögerung und Paketverlusten. Diese Belohnungsinformationen werden gespeichert, damit der SAC-Agent daraus lernen kann.

Kontinuierliches Lernen: Der SAC-Mitarbeiter überprüft regelmäßig gespeicherte Erfahrungen und aktualisiert seine Entscheidungsstrategie, um energieeffiziente Routen besser auszuwählen und gleichzeitig eine hohe Lieferleistung zu gewährleisten.

Systemarchitektur
Ein typischer Knoten funktioniert wie folgt: Er erkennt und sammelt Daten, kodiert sie mit Netzwerkcodierung und leitet das kodierte Paket dann über einen vom SAC-Agenten ausgewählten Routingpfad weiter. Der SAC-Agent bewertet den Zustand des Knotens, einschließlich verbleibender Energie, Pufferstatus und Linkqualität, um den nächsten optimalen Hop zu bestimmen. Dieser Prozess ist dynamisch und entwickelt sich durch Erfahrung, wenn sich die Netzwerkbedingungen verändern. Abbildung 1 veranschaulicht diesen Datenfluss und die Interaktion zwischen den Komponenten.

Netzwerkcodierungsgleichung
Netzwerkcodierung wird an Zwischenknoten wie folgt angewendet:

Dabei ist C_i das codierte Paket, α_ij der Codierungskoeffizient (über SAC gelernt) und P_j die ursprünglichen Pakete. Dies ermöglicht es dem Netz, die Anzahl der Übertragungen zu reduzieren und die Zuverlässigkeit zu verbessern.

SAC-Zielfunktion
Der SAC-Agent optimiert die Policy anhand des folgenden entropieregularisierten Ziels:

Dabei ist r(s_t, a_t) die Belohnung, α ein Kompromissparameter für die Erkundung, und H ist der Entropieterm.

Energieverbrauchsmodell
Um den realistischen Energieverbrauch zu simulieren, wird folgendes Modell verwendet:

Dabei ist: E_elec- ist die Energie pro Bit, um den Sender/Empfänger zu betreiben, - k ist die Datengröße in Bits, - ist die vom Senderverstärker benötigte Energie, - ist der Abstand zwischen den Knoten, -d ist der Pfadverlust-Exponent.

Bewertungsmetriken
Die folgenden Leistungskennzahlen wurden in den Simulationen dieser Studie verwendet:

Paketzustellungsverhältnis (PDR):

Durchsatz:

Netzwerklebensdauer: Definiert als die Dauer, bis 50 % der Netzwerkknoten ihre Energie erschöpft haben.

Energieeffizienz:

Pseudocode
Initialisierung von IoT-Netzwerkknoten
Diese Funktion richtet alle IoT-Knoten im Netzwerk ein, bevor das System in Betrieb genommen wird. Jedem Knoten wird maximale Energie, ein leerer Puffer zur Speicherung von Paketen, ein Zustand zur Darstellung seiner lokalen Umgebung, ein SAC-Agent zum Lernen optimaler Entscheidungen und ein NC-Modul zugewiesen, das eine intelligente Datenkodierung ermöglicht.

def initialize_nodes(Netzwerk):
Für den Knoten im Netzwerk:
node.energy = MAX_ENERGY
node.buffer = []
node.state = sense_environment(node)
node.agent = initialize_sac_agent()
node.nc_module = activate_network_coding()

Paketgenerierung und Netzwerkcodierung
Diese Funktion ist dafür verantwortlich, Sensordaten vom Quellknoten zu sammeln, diese mit einer linearen oder XOR-basierten Netzwerkcodierungsmethode zu codieren und für die Übertragung vorzubereiten. Es reduziert den Kommunikationsaufwand, indem mehrere Pakete zu einem codierten Paket gebündelt werden, das bereit ist, über das Netzwerk weitergeleitet zu werden.

def generate_and_code_packets(source_node):
data_packets = collect_data(source_node)
coded_packet = network_code(data_packets)
queue_transmission(source_node, coded_packet)

def network_code(Pakete):
Rückgabe linear_combination(Pakete)

SAC-basierte Routing-Entscheidung
Hier verwendet der aktuelle Knoten seinen SAC-Agenten, um den Netzwerkzustand zu analysieren und den energieeffizientesten und zuverlässigsten Nachbarn auszuwählen, an den das Paket weitergeleitet werden soll. Die Entscheidung basiert auf erlernten Richtlinien und aktuellen Umweltbedingungen, wie der Qualität der Verbindung oder der Restenergie.

def select_next_hop(current_node):
current_state = observe_network_state(current_node)
Aktion = sac_agent_policy(current_node.agent, current_state)
next_hop = map_action_to_neighbor(Aktion)
Rückkehr next_hop

Paketübertragung und Rückkopplungsschleife
Diese Funktion verwaltet die tatsächliche Übertragung eines codierten Pakets. Nachdem der beste nächste Hop bestimmt ist, wird das Paket gesendet, wenn der Link gültig ist. Das System berechnet dann eine Belohnung basierend auf dem Erfolg der Übertragung und dem Energieverbrauch, die verwendet wird, um das Lernmodell des SAC-Agenten zu aktualisieren.

def transmit_packet(current_node, Packet):
next_hop = select_next_hop(current_node)
Wenn is_link_valid(current_node, next_hop):
send(packet, next_hop)
Belohnung = compute_reward(current_node, Paket)
update_sac_agent(current_node, Belohnung)
sonst:
recompute_next_hop(current_node)

SAC-Agenten-Update (Lernphase)
Sobald ein Paket übertragen wurde, aktualisiert diese Funktion den SAC-Agenten. Es zeichnet die Zustandsänderung auf, speichert die Erfahrung im Speicher und verwendet eine Stichprobencharge, um die Entscheidungsstrategie des Agenten zu verbessern. Dies hilft dem Knoten, sich im Laufe der Zeit an Netzwerkänderungen anzupassen.

def update_sac_agent(Knoten, Belohnung):
new_state = observe_network_state(Knoten)
store_transition(node.agent.memory, node.state, node.action, reward, new_state)
if enough_experience(node.agent.memory):
batch = sample_batch(node.agent.memory)
node.agent = optimize_sac(node.agent, batch)
node.state = new_state

Dekodierung am Empfänger
Am Ziel nimmt diese Funktion alle empfangenen codierten Pakete auf und dekodiert sie mit Methoden wie Gaußscher Eliminierung wieder in die Originaldaten. Die wiedergewonnenen Daten werden dann an die entsprechende Anwendungsschicht oder den entsprechenden Prozess weitergegeben.

def decode_packet(destination_node):
received_packets = destination_node.buffer
original_data = dekodieren(received_packets)
deliver_data(original_data)

def decode(packets):
Rückgabe gaussian_elimination(Pakete)

Energieüberwachung und Knotenschlaflogik
Diese Funktion verfolgt die Energieniveaus jedes Knotens und bestimmt, ob ein Knoten weiter betrieben oder in den Schlafmodus wechseln soll, um Energie zu sparen. Reicht die Energie aus, zieht der Knoten die übertragungsbedingten Kosten ab; Wenn nicht, wird er vorübergehend abgeschaltet, um die gesamte Netzwerklaufzeit zu verlängern.

def monitor_energy(Knotenpunkt):
wenn node.energy < THRESHOLD:
put_node_to_sleep(Knoten)
sonst: knoten.energie -= transmission_cost()

Ergebnisse

Wir führten Simulationen durch, die vier verschiedene Ansätze verglichen: (i) Ein traditionelles Modell ohne Optimierung, (ii) Ein System, das ausschließlich Network Coding (NC) verwendet, (iii) Ein Setup, das ausschließlich den Soft Actor-Critic (SAC)-Algorithmus für das Routing verwendet, und (iv) Das vorgeschlagene Hybridmodell, das sowohl NC als auch SAC kombiniert.

Energieverbrauch
Die bedeutendste Verbesserung wurde bei der Energieeff...

Diskussion

Diese Forschung führt eine neuartige, energiebewusste Kommunikationsstrategie für Kern-IoT-Netzwerke ein, die Network Coding (NC) mit dem Soft Actor-Critic (SAC) Reinforcement-Learning-Algorithmus integriert. Ziel dieses hybriden Ansatzes ist es, den Energieverbrauch zu minimieren und gleichzeitig eine zuverlässige und effiziente Datenübertragung aufrechtzuerhalten. NC reduziert redundante Übertragungen durch die Codierung von Datenpaketen, während SAC dynamisch energieeffiziente Routing...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
6 GB NVIDIA GeForce RTX 3050 (Computersystem)	nVIDIA	https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3050/	Für Simulation und Training: CPU-RAM: 16 GB, GPU-RAM
AMD Ryzen (Computersystem)	AMD	Ryzen 7	Für Simulation und Training: Prozessor
Hardware Testbed (optionale zukünftige Arbeit)	Himbeer-Pi	https://www.raspberrypi.com/products/raspberry-pi-4-model-b/	Raspberry Pi 4 Knoten mit drahtlosen Modulen für die reale IoT-Bereitstellung und -Validierung
Intel Core i7 (Computersystem)	Intel Core	i7-7700 Prozessor	Für Simulation und Training: Prozessor
Jupyter-Notizbuch	Jupyter	https://jupyter.org/	Umgebung für iterative Entwicklung, Debugging und Visualisierung
Matplotlib	Python	https://matplotlib.org/	Python-Visualisierungsbibliotheken zur Darstellung von Leistungskennzahlen (Energie, Durchsatz, PDR, Netzwerklebensdauer)
Netzwerkcodierungsmodul			Benutzerdefinierte Python/NS-3-Integration zur Implementierung linearer Netzwerkcodierung und Paketcodierung
NS-3-Simulator	NS-3	nsnam.org	Open-Source-Diskret-Ereignis-Netzwerksimulator für IoT-Netzwerksimulation und Routing-Bewertung
NumPy	NumPy	numpy.org	Python-Pakete zur Verarbeitung von Simulationsprotokollen, statistischer Analyse und strukturierten Datensätzen
Pandas		pandas.pydata.org	Python-Pakete zur Verarbeitung von Simulationsprotokollen, statistischer Analyse und strukturierten Datensätzen
Python 3.10	Python	Version 3.10.0	Programmiersprache, die für SAC-Agententraining, Codierungskoeffizientenoptimierung und Datenverarbeitung verwendet wird
PyTorch	PyTorch	https://pytorch.org/	Deep-Learning-Bibliothek zur Implementierung des Soft Actor-Critic-Algorithmus und Reinforcement-Learning-Modelle
Seaborn	Python	https://seaborn.pydata.org/	Python-Visualisierungsbibliotheken zur Darstellung von Leistungskennzahlen (Energie, Durchsatz, PDR, Netzwerklebensdauer)
Ubuntu 20.04 (Computersystem)	Ubuntu	Version 20.04	Für Simulation und Training: Betriebssystem