Rumo à IoT Verde: Conservação de Energia em Rede TIoT Principal Usando Codificação de Rede e Soft Actor Critic

Resumo

Este estudo integra codificação de rede com aprendizado por reforço ator-crítico suave para alcançar roteamento energeticamente eficiente em redes IoT centrais, demonstrando uma redução de 40% no consumo de energia com uma taxa de entrega de pacotes de 97%.

Resumo

A rápida expansão das redes de internet das coisas (IoT) intensificou os desafios de eficiência energética nas redes centrais de IoT, onde o roteamento de dados exige muito energia dos nós. Este artigo propõe um modelo híbrido que integra codificação de rede (NC) com aprendizado por reforço por ator suave (SAC) para enfrentar esses desafios. A NC minimiza transmissões redundantes combinando pacotes, enquanto agentes SAC selecionam dinamicamente caminhos de roteamento conscientes da energia com base no estado do nó, qualidade do link e energia residual.

O sistema foi implementado usando o simulador NS-3 com uma topologia de grade 5 × 5 de nós IoT (pacotes de 512 bytes, runtime de 100s) sob condições de tráfego variadas. Os resultados demonstram que NC + SAC alcança uma redução de 40% no consumo de energia, uma razão de entrega de pacotes de 97%, uma melhoria de 50% na taxa de transferência e uma vida útil estendida da rede em comparação com o roteamento tradicional e abordagens independentes.

Contribuições principais incluem integração inovadora NC-SAC, validação abrangente do NS-3 em múltiplas métricas e demonstração de comunicação codificada orientada por aprendizado para infraestruturas sustentáveis de IoT. A abordagem híbrida equilibra confiabilidade, preservação de energia e desempenho, oferecendo uma estrutura escalável para redes IoT verdes de próxima geração.

Introdução

A internet das coisas (IoT) emergiu como uma das tecnologias mais transformadoras do século XXI, conectando bilhões de dispositivos de forma fluida para possibilitar casas, cidades, indústrias e sistemas de saúde mais^{inteligentes.} Com esse crescimento sem precedentes, porém, surge um desafio urgente: a questão do consumo de energia. Dispositivos IoT, especialmente aqueles implantados na rede central, costumam ser alimentados por bateria ou com recursos limitados. À medida que a densidade de dispositivos e tráfego de dados aumenta, a eficiência energética torna-se um fator crucial para garantir a sustentabilidade de longo prazo das infraestruturas de IoT. Nesse contexto, projetar estratégias inteligentes de comunicação e roteamento que equilibrem desempenho com preservação de energia é de suma importância.

Métodos tradicionais de roteamento em redes IoT frequentemente focam em abordagens de caminho mais curto ou centradas na confiabilidade. Embora eficazes em cenários básicos, esses métodos frequentemente resultam em transmissões redundantes e rápida redução de energia, especialmente em implantações dinâmicas ou em larga^{escala 2,3}. Para corrigir essas limitações, pesquisadores exploraram técnicas como codificação de rede (NC), que reduz o número de transmissões ao combinar múltiplos pacotes em um único pacote codificado. A NC tem se mostrado capaz de melhorar a taxa de transferência, reduzir a latência e otimizar o uso da largura de banda. No entanto, embora a codificação de rede seja poderosa para reduzir a sobrecarga de comunicação, ela não leva em conta os níveis de energia dos nós nem se adapta às condições flutuantes^{da rede 4,5}.

É aí que a tomada de decisão orientada por aprendizado de máquina desempenha um papel vital. O aprendizado por reforço (RL) oferece uma estrutura particularmente robusta para permitir que nós IoT tomem decisões adaptativas ao interagir com o ambiente e aprender com recompensas. Entre os algoritmos RL, o ator suave (SAC) ganhou destaque devido à sua capacidade de equilibrar exploração e exploração por meio da regularização de^{entropia 6}. Ao contrário dos modelos convencionais de RL, o SAC incentiva a seleção diversificada de ações, impedindo que o sistema converga rapidamente para estratégias subótimas. Para redes IoT com limitação de energia, isso se traduz em escolhas de roteamento mais inteligentes que se adaptam não apenas à qualidade do link e ao sucesso da entrega, mas também aos níveis residuais de energia em cada nó.

Estudos recentes têm focado cada vez mais no papel do aprendizado por reforço na otimização da comunicação IoT e na gestão de energia. Por exemplo, Dev et ^al.7 empregaram a Harris Hawks Optimization para comunicação IoT energeticamente eficiente, enquanto Tuong et ^al.8 exploraram aprendizado profundo por reforço para dupplexação hierárquica em sistemas IoT sem fio. Trabalhos mais^{recentes 8,9} destacam como métodos avançados de aprendizado por reforço, como otimização de políticas próximas e frameworks distribuídos multi-agentes, podem aumentar ainda mais a adaptabilidade em ambientes IoT em grande escala.

Esta pesquisa apresenta um modelo híbrido inovador de comunicação que combina codificação de rede (NC) com o algoritmo ator suave (SAC) para alcançar roteamento inteligente e consciente de energia em redes IoT centrais. Diferentemente de abordagens anteriores que usam NC ou aprendizado por reforço de forma independente ou que empregam modelos profundos de RL de ação discreta, este estudo utiliza a formulação de ação contínua regularizada por entropia do SAC para otimizar dinamicamente decisões de roteamento com base no estado da rede, incluindo níveis de energia, estabilidade do link e status do buffer de pacotes. A integração do NC permite reduzir retransmissões e melhorar a utilização da largura de banda, enquanto o SAC garante a seleção de caminhos adaptativa para equilibrar a carga da rede e conservar energia dos nós. Esse mecanismo duplo introduz um novo paradigma de comunicação codificada orientada pelo aprendizado, alcançando ganhos mensuráveis em eficiência energética, throughput, razão de entrega de pacotes e vida útil da rede em relação aos métodos existentes.

Implementamos e testamos a estrutura proposta usando o ambiente de simulação NS-3, implantando uma grade 5×5 de nós IoT sob cargas de tráfego variadas. Tamanho, distância e modelos de energia de transmissão dos pacotes foram cuidadosamente definidos para refletir condições realistas de IoT. Por meio dessas simulações, avaliamos métricas-chave incluindo a razão de entrega de pacotes (PDR), throughput, vida útil da rede e eficiência energética. Os resultados são os seguintes: comparado aos modelos tradicionais de roteamento e independentes, o sistema híbrido NC + SAC reduziu o consumo de energia em quase 40%, melhorou o throughput em 50% e estendeu significativamente a vida útil da rede, tudo isso mantendo uma razão de entrega de pacotes próxima a 97%.

Além das melhorias numéricas, a verdadeira força desse trabalho está em sua escalabilidade e adaptabilidade. À medida que as redes IoT continuam a crescer em tamanho e complexidade, soluções que se adaptem dinamicamente às condições em mudança serão vitais. Essa estrutura híbrida não apenas aborda a questão imediata da conservação de energia, mas também prepara o terreno para sistemas autônomos e auto-otimizados de IoT que podem se sustentar em implantações reais. A Tabela 1 contém os registros de desempenho para parâmetros como consumo de energia, razão de entrega de pacotes, vida útil da rede e throughput. A Tabela 2 apresenta um resumo dos resultados obtidos do experimento. Além disso, a integração do aprendizado por reforço nas redes IoT demonstra o potencial dos protocolos baseados em IA para remodelar a forma como os dispositivos interagem em ambientes com recursos limitados.

Avanços recentes em estratégias de comunicação inteligente reforçam ainda mais a necessidade de frameworks de roteamento IoT adaptativos e^{sustentáveis 10, 11, 12}. Protocolos tradicionais baseados em clustering ou roteamento estático frequentemente não conseguem acomodar desafios dinâmicos da rede, como qualidade do link variável, níveis de energia variáveis dos nós e interferências, o que pode levar a uma rápida degradação do desempenho e falhas precoces dos nós. Abordagens modernas baseadas em aprendizado por reforço demonstraram grande potencial para enfrentar essas questões, permitindo que dispositivos IoT aprendam dinamicamente estratégias de transmissão ótimas por meio da interação contínua com o^ambiente 10,11,12. Ao mesmo tempo, a codificação de redes demonstrou sua utilidade na redução de transmissões redundantes e na melhoria da eficiência espectral em ambientes de rede restritos ^5,13,14. No entanto, a maioria dos estudos existentes avalia essas técnicas de forma independente, e não em combinação. Portanto, integrar o NC com um método de aprendizado por reforço de controle contínuo como o Soft Actor-Critic apresenta um mecanismo de comunicação mais robusto e inteligente, capaz de se adaptar a mudanças em tempo real enquanto conserva energia^15,16. Esse paradigma híbrido não apenas fortalece a resiliência e autonomia das redes IoT, mas também está alinhado com as tendências emergentes de pesquisa em sistemas de comunicação verde e arquiteturas sem fio baseadas em aprendizado de máquina para implantações sustentáveis em larga escala.

Protocolo

Fluxo de trabalho de transmissão de dados e processamento de pacotes
Inicialização do nó: Cada nó começa com informações completas sobre a topologia da rede, sua capacidade máxima de energia e um agente SAC pré-treinado pronto para tomada de decisão. O módulo de codificação de rede ativa e prepara operações de combinação de pacotes.

Processo de codificação de pacotes: Quando a transmissão começa, os nós de origem coletam múltiplos pacotes de dados dos sensores. O módulo de codificação de rede combina esses pacotes em menos pacotes codificados usando operações matemáticas eficientes, reduzindo significativamente o número total de transmissões necessárias.

Execução da decisão de roteamento do SAC: O agente SAC analisa o estado atual da rede, incluindo níveis de energia dos vizinhos, qualidade do link, condições de tráfego e distância de destino. Ela seleciona o vizinho ideal do próximo salto com base em sua política apropriada, priorizando eficiência energética e confiabilidade.

Encaminhamento de pacotes multi-hop: Pacotes codificados viajam pelo caminho selecionado. Nós intermediários decidem se combinam pacotes ou os encaminham diretamente, com base no status atual do buffer e nos níveis de energia remanescentes.

Cálculo e armazenamento de recompensas: Após cada transmissão, o sistema calcula uma pontuação de recompensa baseada no sucesso da entrega, energia utilizada, atraso na transmissão e quedas de pacotes. Essas informações de recompensa são armazenadas para que o agente do SAC aprenda.

Atualização de aprendizado contínuo: O agente do SAC revisa regularmente as experiências armazenadas e atualiza sua estratégia de tomada de decisão para melhorar a escolha de rotas energeticamente eficientes, mantendo um alto desempenho de entrega.

Arquitetura do sistema
Um nó típico opera da seguinte forma: ele detecta e coleta dados, codifica-os usando codificação de rede e então encaminha o pacote codificado por um caminho de roteamento selecionado pelo agente SAC. O agente SAC avalia o estado do nó, incluindo energia remanescente, status do buffer e qualidade do link, para decidir o próximo salto ótimo. Esse processo é dinâmico e evolui com a experiência conforme as condições da rede mudam. A Figura 1 ilustrará esse fluxo de dados e a interação entre os componentes.

Equação de codificação de rede
A codificação de rede é aplicada nos nós intermediários da seguinte forma:

Onde C_i é o pacote codificado, α_ij é o coeficiente de codificação (aprendido via SAC), e P_j são os pacotes originais. Isso permite que a rede reduza o número de transmissões e melhore a confiabilidade.

Função objetivo SAC
O agente SAC otimiza a política usando o seguinte objetivo regularizado por entropia:

Onde r(_{s t}, _{a t}) é a recompensa, α é um parâmetro de troca para a exploração, e H é o termo de entropia.

Modelo de consumo de energia
Para simular o uso realista de energia, é utilizado o seguinte modelo:

Onde: _{E elec}- é a energia por bit para operar o transmissor/receptor, - k é o tamanho dos dados em bits, - é a energia necessária pelo amplificador do transmissor, - é a distância entre nós, -d é o expoente de perda de caminho.

Métricas de avaliação
As seguintes métricas de desempenho foram usadas nas simulações deste estudo:

Razão de entrega de pacotes (PDR):

Rendimento:

Vida útil da rede: Definido como a duração até que 50% dos nós da rede esgotem sua energia.

Eficiência energética:

Pseudocódigo
Inicialização de nós de rede IoT
Essa função configura todos os nós IoT na rede antes que o sistema comece a operar. Cada nó recebe energia máxima, um buffer vazio para armazenar pacotes, um estado representando seu ambiente local, um agente SAC para aprender decisões ótimas e um módulo NC que permite a codificação inteligente de dados.

def initialize_nodes(rede):
Para nó na rede:
node.energia = MAX_ENERGY
node.buffer = []
nó.estado = sense_environment(nó)
node.agent = initialize_sac_agent()
node.nc_module = activate_network_coding()

Geração de pacotes e codificação de rede
Essa função é responsável por coletar dados do sensor do nó de origem, codifica-los usando um método linear ou baseado em XOR, e prepará-los para transmissão. Ele reduz a sobrecarga de comunicação ao agrupar múltiplos pacotes em um pacote codificado, pronto para ser encaminhado pela rede.

Def generate_and_code_packets(source_node):
data_packets = collect_data(source_node)
coded_packet = network_code(data_packets)
queue_transmission(source_node, coded_packet)

Def network_code(pacotes):
retorno linear_combination(pacotes)

Decisão de roteamento baseada em SAC
Aqui, o nó atual usa seu agente SAC para analisar o estado da rede e selecionar o vizinho mais eficiente em energia e confiável para encaminhar o pacote. A decisão baseia-se em políticas acadêmicas e nas condições ambientais atuais, como qualidade do link ou energia residual.

Definitivamente select_next_hop(current_node):
current_state = observe_network_state(current_node)
Ação = sac_agent_policy(current_node.agente, current_state)
next_hop = map_action_to_neighbor(ação)
retorno next_hop

Transmissão de pacotes e loop de realimentação
Essa função gerencia a transmissão real de um pacote codificado. Após determinar o melhor próximo salto, o pacote é enviado se o link for válido. O sistema então calcula uma recompensa baseada no sucesso da transmissão e no uso de energia, que é usada para atualizar o modelo de aprendizado do agente SAC.

Def transmit_packet(current_node, pacote):
next_hop = select_next_hop(current_node)
se is_link_valid(current_node, next_hop):
enviar (pacote, next_hop)
recompensa = compute_reward(current_node, pacote)
update_sac_agent(current_node, recompensa)
Caso contrário:
recompute_next_hop(current_node)

Atualização do agente SAC (fase de aprendizado)
Uma vez que um pacote é transmitido, essa função atualiza o agente SAC. Ele registra a mudança de estado, armazena a experiência na memória e, se experiência suficiente for coletada, utiliza um lote de amostra para melhorar a estratégia de tomada de decisão do agente. Isso ajuda o nó a se adaptar às mudanças da rede ao longo do tempo.

Def update_sac_agent(Nó, Recompensa):
new_state = observe_network_state(nó)
store_transition(node.agent.memory, node.state, node.action, reward, new_state)
se enough_experience(node.agent.memory):
batch = sample_batch(node.agent.memory)
node.agent = optimize_sac(node.agent, batch)
nó.estado = new_state

Decodificação no receptor
No destino, essa função recebe todos os pacotes codificados recebidos e os decodifica de volta para os dados originais usando métodos como a Eliminação Gaussana. Os dados recuperados são então passados para a camada ou processo de aplicação apropriado.

Def decode_packet(destination_node):
received_packets = destination_node.buffer
original_data = decodificar(received_packets)
deliver_data(original_data)

Decodificação DEF (pacotes):
retorno gaussian_elimination(pacotes)

Monitoramento de energia e lógica do sono de nós
Essa função acompanha os níveis de energia de cada nó e determina se um nó deve continuar operando ou mudar para o modo de suspensão para conservar energia. Se a energia for suficiente, o nó deduz os custos relacionados à transmissão; se não, ele desliga temporariamente para estender a vida útil da rede.

Def monitor_energy(node):
se node.energy < THRESHOLD:
put_node_to_sleep(nó)
Else: node.energy -= transmission_cost()

Resultados

Realizamos simulações comparando quatro abordagens diferentes: (i) Um modelo tradicional sem otimização, (ii) Um sistema que emprega apenas Network Coding (NC), (iii) Uma configuração usando apenas o algoritmo soft actor-critic (SAC) para roteamento, e (iv) O modelo híbrido proposto combinando NC e SAC.

Consumo de energia
A melhora mais significativa foi observada na eficiência energética. Redes IoT tradicionais consomem energia rapidamente...

Discussão

Esta pesquisa apresenta uma nova estratégia de comunicação consciente de energia para redes IoT centrais que integra codificação de rede (NC) com o algoritmo de aprendizado por reforço ator suave (SAC). O objetivo dessa abordagem híbrida é minimizar o consumo de energia enquanto mantém a transmissão de dados confiável e eficiente. A NC reduz transmissões redundantes ao codificar pacotes de dados, enquanto o SAC aprende e seleciona dinamicamente caminhos de roteamento energeticamente efic...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
6 GB NVIDIA GeForce RTX 3050 (Sistema de computador)	nVIDIA	https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3050/	Para simulação e treinamento: RAM DA CPU: 16 GB, RAM DA GPU
AMD Ryzen (Sistema de computador)	AMD	Ryzen 7	Para simulação e treinamento: Processador
Hardware Testbed (trabalho opcional futuro)	Raspberry Pi	https://www.raspberrypi.com/products/raspberry-pi-4-model-b/	Raspberry Pi 4 com módulos sem fio para implantação e validação de IoT no mundo real
Intel Core i7 (Sistema de computador)	Intel Core	Processador i7-7700	Para simulação e treinamento: Processador
Caderno Jupyter	Júpiter	https://jupyter.org/	Ambiente para desenvolvimento iterativo, depuração e visualização
Matplotlib	Python	https://matplotlib.org/	Bibliotecas de visualização em Python para plotar métricas de desempenho (Energia, Throughput, PDR, Vida útil da rede)
Módulo de Codificação de Rede			Integração personalizada com Python/NS-3 para implementar codificação linear de rede e codificação de pacotes
Simulador NS-3	NS-3	nsnam.org	Simulador de rede de eventos discretos de código aberto usado para simulação de redes IoT e avaliação de roteamento
NumPy	NumPy	numpy.org	Pacotes em Python para lidar com logs de simulação, análise estatística e conjuntos de dados estruturados
Pandas		pandas.pydata.org	Pacotes em Python para lidar com logs de simulação, análise estatística e conjuntos de dados estruturados
Python 3.10	Python	Versão 3.10.0	Linguagem de programação usada para treinamento de agentes SAC, otimização de coeficientes de codificação e processamento de dados
PyTorch	PyTorch	https://pytorch.org/	Biblioteca de deep learning para implementar o algoritmo Soft Actor-Critic e modelos de aprendizado por reforço
Seaborn	Python	https://seaborn.pydata.org/	Bibliotecas de visualização em Python para plotar métricas de desempenho (Energia, Throughput, PDR, Vida útil da rede)
Ubuntu 20.04 (Sistema de computador)	Ubuntu	Versão 20.04	Para simulação e treinamento: sistema operacional