W kierunku zielonego IoT: Oszczędzanie energii w rdzeniowej sieci IoT z wykorzystaniem kodowania sieciowego i krytyki soft Actor

Podsumowanie

Badanie integruje kodowanie sieciowe z miękkim uczeniem wzmocnionym aktor-krytyk, aby osiągnąć energooszczędne routowanie w podstawowych sieciach IoT, wykazując 40% redukcję zużycia energii przy 97% wskaźniku dostarczania pakietów.

Streszczenie

Szybka ekspansja sieci internetu rzeczy (IoT) zintensyfikowała wyzwania związane z efektywnością energetyczną w podstawowych sieciach IoT, gdzie routing danych stawia duże wymagania dla energii węzłów. Niniejszy artykuł proponuje hybrydowy model integrujący kodowanie sieciowe (NC) z miękkim uczeniem wzmocnionym aktor-krytyk (SAC), aby sprostać tym wyzwaniom. NC minimalizuje redundantne transmisje poprzez łączenie pakietów, podczas gdy agenci SAC dynamicznie wybierają energoośliwne ścieżki routingu na podstawie stanu węzła, jakości łącza i energii resztkowej.

System został zaimplementowany przy użyciu symulatora NS-3 z topologią siatki 5 × 5 węzłów IoT (pakiety 512 bajtów, czas działania 100 sekund) w różnych warunkach ruchu. Wyniki pokazują, że NC + SAC osiąga 40% redukcję zużycia energii, 97% wskaźnik dostarczania pakietów, 50% poprawę przepustowości oraz wydłużony czas życia sieci w porównaniu z tradycyjnym routingiem i podejściami samodzielnymi.

Kluczowe osiągnięcia obejmują nowatorską integrację NC-SAC, kompleksową walidację NS-3 w wielu metrykach oraz demonstrację komunikacji opartej na uczeniu się dla zrównoważonych infrastruktur IoT. Podejście hybrydowe łączy niezawodność, oszczędzanie energii i wydajność, oferując skalowalne ramy dla nowej generacji zielonych sieci IoT.

Wprowadzenie

Internet rzeczy (IoT) stał się jedną z najbardziej transformujących technologii XXI wieku, płynnie łącząc miliardy urządzeń, umożliwiając inteligentniejsze domy, miasta, przemysł i systemy opieki zdrowotnej¹. Wraz z tym bezprecedensowym wzrostem pojawia się jednak pilne wyzwanie: kwestia zużycia energii. Urządzenia IoT, zwłaszcza te wdrożone w sieci rdzeniowej, często są zasilane bateriami lub mają ograniczone zasoby. Wraz ze wzrostem gęstości urządzeń i ruchu danych, efektywność energetyczna staje się kluczowym czynnikiem zapewniającym długoterminową trwałość infrastruktury IoT. W tym kontekście kluczowe jest projektowanie inteligentnych strategii komunikacji i trasowania, które równoważą wydajność z oszczędzaniem energii.

Tradycyjne metody routingu w sieciach IoT często koncentrują się na podejściach opartych na najkrótszej ścieżce lub niezawodności. Choć skuteczne w podstawowych scenariuszach, metody te często prowadzą do redundantnych transmisji i szybkiego wyczerpania energii, zwłaszcza w dynamicznych lub dużych wdrożeniach ^2,3. Aby rozwiązać te niedociągnięcia, badacze badali techniki takie jak kodowanie sieciowe (NC), które zmniejsza liczbę transmisji poprzez łączenie wielu pakietów w jeden kodowany pakiet. NC udowodnił, że poprawia przepustowość, redukuje opóźnienia i optymalizuje wykorzystanie przepustowości. Jednak choć kodowanie sieciowe jest skuteczne w redukcji narzutu komunikacyjnego, nie uwzględnia automatycznie poziomu energii węzłów ani nie dostosowuje się do zmiennych warunków sieciowych ^4,5.

Właśnie tutaj kluczowe znaczenie odgrywa podejmowanie decyzji oparte na uczeniu maszynowym. Uczenie ze wzmocnieniem (RL) zapewnia szczególnie solidne ramy umożliwiające węzłom IoT podejmowanie adaptacyjnych decyzji poprzez interakcję ze środowiskiem i uczenie się na nagrodach. Wśród algorytmów RL miękki aktor-krytyk (SAC) zyskał na znaczeniu dzięki zdolności do równoważenia eksploracji i eksploatacji poprzez regularizację entropii⁶. W przeciwieństwie do konwencjonalnych modeli RL, SAC zachęca do różnorodnego wyboru działań, zapobiegając zbyt szybkiemu zbieganiu systemu do strategii suboptymalnych. W sieciach IoT o ograniczonym energii przekłada się to na mądrzejsze decyzje routingowe, które dostosowują się nie tylko do jakości łącza i skuteczności dostawy, ale także do poziomów energii resztkowej w każdym węźle.

Najnowsze badania coraz częściej koncentrują się na roli uczenia ze wzmocnieniem w optymalizacji komunikacji IoT i zarządzania energią. Na przykład Dev i ^in.7 zastosowali optymalizację Harrisa Hawksa do energooszczędnej komunikacji IoT, podczas gdy Tuong i ^in.8 badali głębokie uczenie ze wzmocnieniem dla hierarchicznego duplexingu w bezprzewodowych systemach IoT. Nowsze prace ^8,9 podkreślają, jak zaawansowane metody uczenia ze wzmocnieniem, takie jak optymalizacja polityki proximalnej i rozproszone ramy wieloagentowe, mogą dodatkowo zwiększyć elastyczność w dużych środowiskach IoT.

Badania przedstawiają nowatorski hybrydowy model komunikacyjny, który łączy kodowanie sieciowe (NC) z algorytmem soft actor-critic (SAC), aby osiągnąć inteligentne routowanie energetyczne w podstawowych sieciach IoT. W przeciwieństwie do wcześniejszych podejść wykorzystujących NC lub uczenie ze wzmocnieniem niezależnie lub stosujących modele głębokiego RL z dyskretnym działaniem, to badanie wykorzystuje formułę regularnego działania ciągłego SAC do dynamicznej optymalizacji decyzji dotyczących routowania na podstawie stanu sieci, w tym poziomu energii, stabilności łącza i statusu bufora pakietów. Integracja NC umożliwia zmniejszenie retransmisji i lepsze wykorzystanie przepustowości, podczas gdy SAC zapewnia adaptacyjny wybór ścieżek, aby zrównoważyć obciążenie sieci i oszczędzać energię węzłów. Ten podwójny mechanizm wprowadza nowy paradygmat komunikacji kodowanej opartej na uczeniu, osiągając mierzalne korzyści w efektywności energetycznej, przepustowości, wskaźniku dostarczania pakietów i żywotności sieci w porównaniu z istniejącymi metodami.

Wdrożyliśmy i przetestowaliśmy proponowany framework przy użyciu środowiska symulacyjnego NS-3, wdrażając sieć 5×5 węzłów IoT przy różnych obciążeniach ruchu. Modele wielkości pakietów, odległości i energii transmisji zostały starannie zdefiniowane, aby odzwierciedlać realistyczne warunki IoT. W ramach tych symulacji oceniliśmy kluczowe wskaźniki, takie jak wskaźnik dostarczania pakietów (PDR), przepustowość, czas życia sieci oraz efektywność energetyczna. Wyniki są następujące: w porównaniu z tradycyjnymi modelami routingu i samodzielnymi, hybrydowy system NC + SAC zmniejszył zużycie energii o prawie 40%, poprawił przepustowość o 50% i znacząco wydłużył żywotność sieci, a wszystko to przy zachowaniu wskaźnika dostarczania pakietów na poziomie bliskim 97%.

Poza poprawą liczbową, prawdziwą siłą tych prac jest ich skalowalność i zdolność adaptacji. W miarę jak sieci IoT nadal rosną pod względem rozmiaru i złożoności, rozwiązania dynamicznie dostosowujące się do zmieniających się warunków będą kluczowe. Ten hybrydowy framework nie tylko rozwiązuje bieżący problem oszczędzania energii, ale także tworzy podstawy dla autonomicznych, samooptymalizujących systemów IoT, które mogą przetrwać w rzeczywistych wdrożeniach. Tabela 1 zawiera dzienniki wydajności dla parametrów takich jak zużycie energii, wskaźnik dostarczania pakietów, czas życia sieci oraz przepustowość. Tabela 2 przedstawia podsumowanie wyników wyciągniętych z eksperymentu. Ponadto integracja uczenia ze wzmocnieniem w sieciach IoT pokazuje potencjał protokołów opartych na AI w przekształcaniu sposobu interakcji urządzeń w środowiskach o ograniczonych zasobach.

Najnowsze osiągnięcia w inteligentnych strategiach komunikacyjnych dodatkowo podkreślają potrzebę adaptacyjnych i zrównoważonych ram routingu IoT 10,11,12. Tradycyjne protokoły routingu oparte na klastrzeniach lub statycznych często nie radzą sobie z dynamicznymi wyzwaniami sieciowymi, takimi jak zmienna jakość łącza, zmienne poziomy energii węzłów oraz zakłócenia, co może prowadzić do szybkiego pogorszenia wydajności i wczesnych awarii węzłów. Nowoczesne podejścia oparte na uczeniu ze wzmocnieniem wykazały duży potencjał w rozwiązywaniu tych problemów, umożliwiając urządzeniom IoT dynamiczne uczenie się optymalnych strategii transmisji poprzez ciągłą interakcję ze środowiskiem 10,11,12. Jednocześnie kodowanie sieciowe wykazało swoją przydatność w redukcji redundantnych transmisji i poprawie efektywności widmowej w ograniczonych środowiskach sieciowych ^5,13,14. Jednak większość istniejących badań ocenia te techniki niezależnie, a nie w kombinacji. Dlatego integracja NC z metodą ciągłego uczenia ze wzmocnionym sterowaniem, taką jak Soft Actor-Critic, stanowi bardziej odporny i inteligentny mechanizm komunikacji zdolny do adaptacji do zmian w czasie rzeczywistym przy jednoczesnym oszczędzaniu energii^15,16. Ten hybrydowy paradygmat nie tylko wzmacnia odporność i autonomię sieci IoT, ale także wpisuje się w nowe trendy badawcze w zakresie zielonych systemów komunikacyjnych oraz bezprzewodowych architektur opartych na uczeniu maszynowym dla trwałych, dużych wdrożeń.

Protokół

Przepływ pracy w transmisji danych i przetwarzaniu pakietów
Inicjalizacja węzła: Każdy węzeł zaczyna z pełną informacją o topologii sieci, maksymalną pojemnością energetyczną oraz wstępnie wytrenowanym agentem SAC gotowym do podejmowania decyzji. Moduł kodowania sieci aktywuje się i przygotowuje do operacji łączenia pakietów.

Proces kodowania pakietów: Gdy transmisja się rozpoczyna, węzły źródłowe zbierają wiele pakietów danych z czujników. Moduł kodowania sieci łączy te pakiety w mniej zakodowanych pakietów, stosując wydajne operacje matematyczne, co znacząco zmniejsza całkowitą liczbę potrzebnych transmisji.

Wykonanie decyzji o trasowaniu SAC: Agent SAC analizuje aktualny stan sieci, w tym poziom energii sąsiada, jakość łącza, warunki ruchu oraz odległość docelową. Wybiera optymalnego sąsiada na następnym skoku na podstawie wyuczonej polityki, priorytetowo traktując efektywność energetyczną i niezawodność.

Wieloskokowe przekazywanie pakietów: Zakodowane pakiety przechodzą przez wybraną ścieżkę. Węzły pośrednie decydują, czy dalej łączyć pakiety, czy przekazywać je bezpośrednio, na podstawie ich aktualnego stanu bufora i pozostałego poziomu energii.

Obliczanie i przechowywanie nagród: Po każdej transmisji system oblicza wynik nagrody na podstawie sukcesu dostawy, zużycia energii, opóźnienia transmisji oraz utraconych pakietów. Informacje te są przechowywane, aby agent SAC mógł się z nich uczyć.

Ciągłe aktualizacje edukacyjne: Agent SAC regularnie przegląda przechowywane doświadczenia i aktualizuje strategię decyzyjną, aby lepiej wybierać energooszczędne trasy, jednocześnie utrzymując wysoką wydajność dostaw.

Architektura systemu
Typowy węzeł działa następująco: wykrywa i zbiera dane, koduje je za pomocą kodowania sieciowego, a następnie przekazuje zakodowany pakiet przez ścieżkę routingową wybraną przez agenta SAC. Agent SAC ocenia stan węzła, w tym pozostałą energię, status bufora i jakość łącza, aby zdecydować o kolejnym optymalnym skoku. Proces ten jest dynamiczny i ewoluuje na podstawie doświadczeń wraz ze zmianą warunków sieciowych. Rysunek 1 zilustruje ten przepływ danych i interakcje między komponentami.

Równanie kodowania sieci
Kodowanie sieciowe jest stosowane w węzłach pośrednich w następujący sposób:

Gdzie C_i to zakodowany pakiet, α_ij to współczynnik kodowania (wyuczony za pomocą SAC), a P_j to oryginalne pakiety. Pozwala to sieci zmniejszyć liczbę transmisji i poprawić niezawodność.

Funkcja celu SAC
Agent SAC optymalizuje politykę, stosując następujący cel uregulowany przez entropię:

Gdzie r(s_t, _{a t}) to nagroda, α jest parametrem kompromisowym dla eksploracji, a H to wyraz entropii.

Model zużycia energii
Aby zasymulować realistyczne zużycie energii, stosuje się następujący model:

Gdzie: E_elec- to energia na bit potrzebna do pracy nadajnika/odbiornika, - k to rozmiar danych w bitach, - to energia potrzebna wzmacniaczowi nadajnika, - to odległość między węzłami, -d to wykładnik strat ścieżki.

Metryki oceny
W symulacjach tego badania wykorzystano następujące metryki wydajności:

Wskaźnik dostarczania pakietów (PDR):

Przepustowość:

Czas życia sieci: Definiowany jako czas do momentu wyczerpania energii przez 50% węzłów sieci.

Efektywność energetyczna:

Pseudokod
Inicjalizacja węzłów sieci IoT
Funkcja ta konfiguruje wszystkie węzły IoT w sieci przed rozpoczęciem działania systemu. Każdemu węzłowi przypisana jest maksymalna energia, pusty bufor do przechowywania pakietów, stan reprezentujący jego lokalne środowisko, agent SAC do uczenia się optymalnych decyzji oraz moduł NC umożliwiający inteligentne kodowanie danych.

Def initialize_nodes(stacja):
dla węzła w sieci:
node.energy = MAX_ENERGY
node.buffer = []
node.state = sense_environment(node)
node.agent = initialize_sac_agent()
node.nc_module = activate_network_coding()

Generowanie pakietów i kodowanie sieciowe
Funkcja ta odpowiada za zbieranie danych sensorowych z węzła źródłowego, kodowanie ich za pomocą liniowej lub metody kodowania sieci opartej na XOR oraz przygotowanie do transmisji. Zmniejsza narzut komunikacyjny poprzez łączenie wielu pakietów w jeden zakodowany pakiet, gotowy do przekazania przez sieć.

Def generate_and_code_packets(source_node):
data_packets = collect_data(source_node)
coded_packet = network_code(data_packets)
queue_transmission(source_node, coded_packet)

def network_code(pakiety):
return linear_combination(pakiety)

Decyzja o trasowaniu oparta na SAC
Obecny węzeł używa swojego agenta SAC do analizy stanu sieci i wyboru najbardziej energooszczędnego i niezawodnego sąsiada do przekazania pakietu. Decyzja opiera się na wyuczonych politykach i aktualnych warunkach środowiskowych, takich jak jakość łącza czy energia resztkowa.

Def select_next_hop(current_node):
current_state = observe_network_state(current_node)
Akcja = sac_agent_policy(current_node.agent, current_state)
next_hop = map_action_to_neighbor(akcja)
Wróć next_hop

Transmisja pakietów i pętla zwrotna
Funkcja ta zarządza faktyczną transmisją zakodowanego pakietu. Po określeniu najlepszego następnego skoku, pakiet jest wysyłany, jeśli łącze jest prawidłowe. System następnie oblicza nagrodę na podstawie sukcesu transmisji i zużycia energii, która służy do aktualizacji modelu uczenia się agenta SAC.

Def transmit_packet(current_node, pakiet):
next_hop = select_next_hop(current_node)
jeśli is_link_valid(current_node, next_hop):
send(packet, next_hop)
nagroda = compute_reward(current_node, pakiet)
update_sac_agent(current_node, nagroda)
Else:
recompute_next_hop(current_node)

Aktualizacja agenta SAC (faza uczenia)
Po przesłaniu pakietu funkcja ta aktualizuje agenta SAC. Rejestruje zmianę stanu, przechowuje doświadczenie w pamięci, a jeśli zgromadzi się wystarczające doświadczenie, wykorzystuje próbkową partię w celu poprawy strategii podejmowania decyzji agenta. Pomaga to węzłowi dostosować się do zmian sieciowych w czasie.

def update_sac_agent(węzeł, nagroda):
new_state = observe_network_state(węzeł)
store_transition(node.agent.memory, node.state, node.action, reward, new_state)
jeśli enough_experience(node.agent.memory):
batch = sample_batch(node.agent.memory)
node.agent = optimize_sac(node.agent, batch)
node.state = new_state

Dekodowanie na odbiorniku
W miejscu docelowym funkcja ta przyjmuje wszystkie odebrane zakodowane pakiety i dekoduje je z powrotem do oryginalnych danych za pomocą metod takich jak eliminacja Gaussa. Odzyskane dane są następnie przekazywane do odpowiedniej warstwy aplikacji lub procesu.

Def decode_packet(destination_node):
received_packets = destination_node.buffer
original_data = decode(received_packets)
deliver_data(original_data)

DEF Decode(pakiety):
return gaussian_elimination(pakiety)

Monitorowanie energii i logika snu węzłów
Funkcja ta śledzi poziomy energii każdego węzła i decyduje, czy węzeł powinien kontynuować pracę, czy przejść do trybu uśpienia, aby oszczędzać energię. Jeśli energia jest wystarczająca, węzeł odejmuje koszty związane z transmisją; jeśli nie, tymczasowo wyłącza się, aby wydłużyć ogólną żywotność sieci.

def monitor_energy(węzeł):
jeśli node.energy < THRESHOLD:
put_node_to_sleep(węzeł)
else: node.energy -= transmission_cost()

Wyniki

Przeprowadziliśmy symulacje porównujące cztery różne podejścia: (i) tradycyjny model bez optymalizacji, (ii) system wykorzystujący wyłącznie kodowanie sieciowe (NC), (iii) konfigurację wykorzystującą wyłącznie miękki algorytm aktor-krytyk (SAC) do trasowania oraz (iv) proponowany model hybrydowy łączący zarówno NC, jak i SAC.

Zużycie energii
Najważniejszą poprawę zaobserwowano w efektywności energetycznej. Tradycyjne sieci IoT zużywają energię szybko ze względu na uzależn...

Dyskusja

Badania te wprowadzają nowatorską strategię komunikacji świadomej energii dla kluczowych sieci IoT, która integruje kodowanie sieciowe (NC) z miękkim algorytmem uczenia wzmacniającego aktor-krytyk (SAC). Celem tego hybrydowego podejścia jest minimalizacja zużycia energii przy jednoczesnym utrzymaniu niezawodnej i efektywnej transmisji danych. NC redukuje redundantne transmisje poprzez kodowanie pakietów danych, podczas gdy SAC dynamicznie uczy się i wybiera energooszczędne ścieżki routingu na podstawie obserwowanych stan...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
6 GB NVIDIA GeForce RTX 3050 (system komputerowy)	nVIDIA	https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3050/	Do symulacji i treningów: pamięć CPU: 16 GB, PAMIĘ GPU
AMD Ryzen (system komputerowy)	AMD	Ryzen 7	Do symulacji i treningu: Procesor
Sprzętowe pole testowe (opcjonalne przyszłe prace)	Raspberry Pi	https://www.raspberrypi.com/products/raspberry-pi-4-model-b/	Węzły Raspberry Pi 4 z modułami bezprzewodowymi do rzeczywistego wdrażania i walidacji IoT
Intel Core i7 (system komputerowy)	Intel Core	Procesor i7-7700	Do symulacji i treningu: Procesor
Jupyter Notebook	Jupyter	https://jupyter.org/	Środowisko do iteracyjnego rozwoju, debugowania i wizualizacji
Matplotlib	Python	https://matplotlib.org/	Biblioteki wizualizacyjne Pythona do wyznaczania metryk wydajności (energia, przepustowość, PDR, czas życia sieci)
Moduł Kodowania Sieciowego			Niestandardowa integracja Python/NS-3 do implementacji liniowego kodowania sieciowego i kodowania pakietów
Symulator NS-3	NS-3	nsnam.org	Otwartoźródłowy symulator sieci dyskretnych zdarzeń wykorzystywany do symulacji sieci IoT i oceny routingu
NumPy	NumPy	numpy.org	Pakiety Pythona do obsługi logów symulacyjnych, analizy statystycznej i zestawów danych strukturalnych
Pandy		pandas.pydata.org	Pakiety Pythona do obsługi logów symulacyjnych, analizy statystycznej i zestawów danych strukturalnych
Python 3.10	Python	Wersja 3.10.0	Język programowania używany do trenowania agentów SAC, optymalizacji współczynników kodowania oraz przetwarzania danych
PyTorch	PyTorch	https://pytorch.org/	Biblioteka głębokiego uczenia do implementacji algorytmu Soft Actor-Critic oraz modeli uczenia ze wzmocnieniem
Seaborn	Python	https://seaborn.pydata.org/	Biblioteki wizualizacyjne Pythona do wyznaczania metryk wydajności (energia, przepustowość, PDR, czas życia sieci)
Ubuntu 20.04 (system komputerowy)	Ubuntu	Wersja 20.04	Do symulacji i treningu: system operacyjny