Hacia el IoT Verde: Conservación de Energía en Red IoT Núcleo Usando Codificación de Red y Soft Actor Critic

Resumen

Este estudio integra la codificación de red con aprendizaje por refuerzo actor suave y crítico para lograr enrutamientos eficientes energéticamente en redes IoT centrales, demostrando una reducción del 40% en el consumo energético con una relación de entrega de paquetes del 97%.

Resumen

La rápida expansión de las redes del Internet de las Cosas (IoT) ha intensificado los desafíos de eficiencia energética en las redes IoT principales, donde el enrutamiento de datos exige una gran carga de energía de nodos. Este artículo propone un modelo híbrido que integra la codificación de red (NC) con el aprendizaje por refuerzo actor blando (SAC) para abordar estos desafíos. NC minimiza las transmisiones redundantes combinando paquetes, mientras que los agentes SAC seleccionan dinámicamente rutas de enrutamiento conscientes de la energía basándose en el estado del nodo, la calidad del enlace y la energía residual.

El sistema se implementó utilizando el simulador NS-3 con una topología de cuadrícula de nodos IoT de 5 × 5 (paquetes de 512 bytes, runtime de 100 segundos) bajo condiciones de tráfico variables. Los resultados demuestran que NC + SAC logra una reducción del 40% en el consumo energético, una relación de entrega de paquetes del 97%, una mejora del 50% en el rendimiento y una vida útil de red extendida en comparación con los enfoques tradicionales de enrutamiento y independientes.

Las contribuciones clave incluyen una novedosa integración NC-SAC, validación integral de NS-3 a través de múltiples métricas y demostración de comunicación codificada impulsada por aprendizaje para infraestructuras IoT sostenibles. El enfoque híbrido equilibra fiabilidad, preservación energética y rendimiento, ofreciendo un marco escalable para redes IoT verdes de próxima generación.

Introducción

El internet de las cosas (IoT) ha surgido como una de las tecnologías más transformadoras del siglo XXI, conectando de forma fluida miles de millones de dispositivos para permitir hogares, ciudades, industrias y sistemas sanitarios más^{inteligentes.} Sin embargo, con este crecimiento sin precedentes surge un desafío urgente: el tema del consumo energético. Los dispositivos IoT, especialmente los desplegados en la red central, suelen estar alimentados por batería o con recursos limitados. A medida que aumenta la densidad de dispositivos y tráfico de datos, la eficiencia energética se convierte en un factor crucial para garantizar la sostenibilidad a largo plazo de las infraestructuras IoT. En este contexto, diseñar estrategias inteligentes de comunicación y enrutamiento que equilibren el rendimiento con la preservación de la energía es de suma importancia.

Los métodos tradicionales de enrutamiento en redes IoT suelen centrarse en enfoques de ruta más corta o centrados en la fiabilidad. Aunque son efectivos en escenarios básicos, estos métodos suelen provocar transmisiones redundantes y un rápido agotamiento de energía, especialmente en despliegues dinámicos o a gran^{escala 2,3}. Para abordar estas deficiencias, los investigadores han explorado técnicas como la codificación de red (NC), que reduce el número de transmisiones al combinar múltiples paquetes en un solo paquete codificado. NC ha demostrado mejorar el rendimiento, reducir la latencia y optimizar el uso del ancho de banda. Sin embargo, aunque la codificación de red es poderosa para reducir la sobrecarga de comunicación, no tiene en cuenta inherentemente los niveles de energía de los nodos ni se adapta a condiciones fluctuantes de la red ^4,5.

Aquí es donde la toma de decisiones impulsada por aprendizaje automático juega un papel vital. El aprendizaje por refuerzo (RL) proporciona un marco especialmente robusto para permitir que los nodos IoT tomen decisiones adaptativas interactuando con el entorno y aprendiendo de las recompensas. Entre los algoritmos RL, el crítico blando actor-crítico (SAC) ha ganado protagonismo debido a su capacidad para equilibrar exploración y explotación mediante regularización de^{entropía 6}. A diferencia de los modelos RL convencionales, el SAC fomenta una selección diversa de acciones, evitando que el sistema converja demasiado rápido hacia estrategias subóptimas. Para redes IoT con limitación energética, esto se traduce en elecciones de enrutamiento más inteligentes que se adaptan no solo a la calidad del enlace y el éxito de la entrega, sino también a los niveles residuales de energía en cada nodo.

Estudios recientes se han centrado cada vez más en el papel del aprendizaje por refuerzo en la optimización de la comunicación IoT y la gestión energética. Por ejemplo, Dev et ^al.7 emplearon la optimización Harris Hawks para la comunicación IoT energéticamente eficiente, mientras que Tuong et ^al.8 exploraron el aprendizaje por refuerzo profundo para el duplexing jerárquico en sistemas IoT inalámbricos. Trabajos más^{recientes 8,9} destacan cómo los métodos avanzados de aprendizaje por refuerzo, como la optimización de políticas próximas y los marcos distribuidos multiagente, pueden mejorar aún más la adaptabilidad en entornos IoT a gran escala.

Esta investigación presenta un novedoso modelo híbrido de comunicación que combina conjuntamente la codificación de red (NC) con el algoritmo actor suave-crítico (SAC) para lograr un enrutamiento inteligente y consciente de la energía en redes IoT centrales. A diferencia de enfoques anteriores que usan NC o aprendizaje por refuerzo de forma independiente o que emplean modelos de RL profundo de acción discreta, este estudio utiliza la formulación de acción continua regularizada por entropía de SAC para optimizar dinámicamente las decisiones de enrutamiento basadas en el estado de la red, incluyendo niveles de energía, estabilidad del enlace y estado del búfer de paquetes. La integración de NC permite reducir las retransmisiones y mejorar la utilización del ancho de banda, mientras que el SAC garantiza la selección adaptativa de rutas para equilibrar la carga de la red y conservar energía en los nodos. Este mecanismo dual introduce un nuevo paradigma de comunicación codificada impulsada por el aprendizaje, logrando mejoras medibles en eficiencia energética, rendimiento, relación de entrega de paquetes y vida útil de la red respecto a los métodos existentes.

Implementamos y probamos el marco propuesto utilizando el entorno de simulación NS-3, desplegando una cuadrícula de 5×5 nodos IoT bajo cargas de tráfico variables. Los modelos de tamaño, distancia y energía de transmisión de los paquetes se definieron cuidadosamente para reflejar condiciones realistas de IoT. A través de estas simulaciones, evaluamos métricas clave como la relación de entrega de paquetes (PDR), el rendimiento, la vida útil de la red y la eficiencia energética. Los resultados son los siguientes: en comparación con los modelos tradicionales de enrutamiento y independientes, el sistema híbrido NC + SAC redujo el consumo energético en casi un 40%, mejoró el rendimiento en un 50% y amplió significativamente la vida útil de la red, todo ello manteniendo una relación de entrega de paquetes cercana al 97%.

Más allá de las mejoras numéricas, la verdadera fortaleza de este trabajo reside en su escalabilidad y adaptabilidad. A medida que las redes IoT continúan creciendo en tamaño y complejidad, serán vitales soluciones que se adapten dinámicamente a las condiciones cambiantes. Este marco híbrido no solo aborda el problema inmediato de la conservación de energía, sino que también prepara las bases para sistemas IoT autónomos y autooptimizados que pueden sostenerse por sí mismos en despliegues reales. La Tabla 1 contiene los registros de rendimiento para parámetros como el consumo energético, la relación de entrega de paquetes, la vida útil de la red y el rendimiento. La Tabla 2 ofrece un resumen de los resultados obtenidos del experimento. Además, la integración del aprendizaje por refuerzo en las redes IoT demuestra el potencial de los protocolos impulsados por IA para transformar la forma en que los dispositivos interactúan en entornos con recursos limitados.

Los avances recientes en estrategias de comunicación inteligente refuerzan aún más la necesidad de marcos de enrutamiento IoT adaptativos y^{sostenibles 10, 11, 12}. Los protocolos tradicionales de enrutamiento basados en clústeres o estáticos a menudo no logran acomodar desafíos dinámicos de red como la calidad fluctuante del enlace, niveles de energía variables en los nodos e interferencias, lo que puede provocar una rápida degradación del rendimiento y fallos tempranos de nodos. Los enfoques modernos basados en aprendizaje por refuerzo han demostrado un gran potencial para abordar estos problemas al permitir que los dispositivos IoT aprendan dinámicamente estrategias óptimas de transmisión mediante la interacción continua con el^entorno 10,11,12. Al mismo tiempo, la codificación de redes ha demostrado su utilidad para reducir transmisiones redundantes y mejorar la eficiencia espectral en entornos de red^{restringidos 5,13,14}. Sin embargo, la mayoría de los estudios existentes evalúan estas técnicas de forma independiente y no en combinación. Por lo tanto, integrar NC con un método de aprendizaje por refuerzo de control continuo como Soft Actor-Critic presenta un mecanismo de comunicación más robusto e inteligente capaz de adaptarse a cambios en tiempo real mientras conserva energía ^15,16. Este paradigma híbrido no solo fortalece la resiliencia y autonomía de las redes IoT, sino que también se alinea con las tendencias emergentes de investigación en sistemas de comunicación verdes y arquitecturas inalámbricas impulsadas por aprendizaje automático para despliegues sostenibles a gran escala.

Protocolo

Flujo de trabajo de transmisión de datos y procesamiento de paquetes
Inicialización de nodo: Cada nodo comienza con la información completa de topología de la red, su capacidad máxima energética y un agente SAC preentrenado listo para la toma de decisiones. El módulo de codificación de red activa y prepara operaciones de combinación de paquetes.

Proceso de codificación de paquetes: Cuando comienza la transmisión, los nodos fuente recogen múltiples paquetes de datos de los sensores. El módulo de codificación de red combina estos paquetes en menos paquetes codificados mediante operaciones matemáticas eficientes, reduciendo significativamente el número total de transmisiones necesarias.

Ejecución de la decisión de enrutamiento SAC: El agente SAC analiza el estado actual de la red, incluyendo los niveles de energía de los vecinos, la calidad del enlace, las condiciones del tráfico y la distancia de destino. Selecciona el vecino óptimo del siguiente salto en función de su política aprendida, priorizando la eficiencia energética y la fiabilidad.

Reenvío de paquetes multi-hop: Los paquetes codificados viajan por la ruta seleccionada. Los nodos intermedios deciden si combinan paquetes o los reenvían directamente, en función de su estado actual del búfer y los niveles de energía restantes.

Cálculo y almacenamiento de recompensas: Tras cada transmisión, el sistema calcula una puntuación de recompensa basada en el éxito de la entrega, la energía utilizada, el retraso en la transmisión y las caídas de paquetes. Esta información de recompensa se almacena para que el agente del SAC pueda aprender de ella.

Actualización de aprendizaje continuo: El agente del SAC revisa regularmente las experiencias almacenadas y actualiza su estrategia de toma de decisiones para mejorar la selección de rutas energéticamente eficientes, manteniendo un alto rendimiento de entrega.

Arquitectura del sistema
Un nodo típico funciona de la siguiente manera: detecta y recopila datos, los codifica usando codificación de red y luego reenvía el paquete codificado a través de una ruta de enrutamiento seleccionada por el agente SAC. El agente SAC evalúa el estado del nodo, incluyendo la energía restante, el estado del búfer y la calidad del enlace, para decidir el siguiente salto óptimo. Este proceso es dinámico y evoluciona a través de la experiencia a medida que cambian las condiciones de la red. La Figura 1 ilustrará este flujo de datos e interacción entre componentes.

Ecuación de codificación de red
La codificación de red se aplica en nodos intermedios de la siguiente manera:

Donde C_i es el paquete codificado, α_ij es el coeficiente de codificación (aprendido mediante SAC), y P_j son los paquetes originales. Esto permite a la red reducir el número de transmisiones y mejorar la fiabilidad.

Función objetivo del SAC
El agente SAC optimiza la política utilizando el siguiente objetivo regularizado por entropía:

Donde r(_{s t}, _{a t}) es la recompensa, α es un parámetro de intercambio para la exploración, y H es el término de entropía.

Modelo de consumo energético
Para simular un uso realista de energía, se utiliza el siguiente modelo:

Donde: E_elec- es la energía por bit para hacer funcionar el transmisor/receptor, - k es el tamaño de los datos en bits, - es la energía requerida por el amplificador transmisor, - es la distancia entre nodos, -d es el exponente de pérdida de camino.

Métricas de evaluación
Las siguientes métricas de rendimiento se utilizaron en las simulaciones de este estudio:

Ratio de entrega de paquetes (PDR):

Rendimiento:

Vida útil de la red: Definida como la duración hasta que el 50% de los nodos de la red agotan su energía.

Eficiencia energética:

Pseudocódigo
Inicialización de nodos de red IoT
Esta función configura todos los nodos IoT en la red antes de que el sistema comience a operar. A cada nodo se le asigna la máxima energía, un búfer vacío para almacenar paquetes, un estado que representa su entorno local, un agente SAC para aprender decisiones óptimas y un módulo NC que permite la codificación inteligente de datos.

Def initialize_nodes(red):
Para el nodo en la red:
nodo.energía = MAX_ENERGY
nodo.búfer = []
nodo.estado = sense_environment(nodo)
node.agent = initialize_sac_agent()
node.nc_module = activate_network_coding()

Generación de paquetes y codificación de red
Esta función es responsable de recopilar datos de sensores del nodo fuente, codificarlos usando un método de codificación de red lineal o basado en XOR, y prepararlos para la transmisión. Reduce la sobrecarga de comunicación agrupando varios paquetes en un solo paquete codificado, listo para ser reenviado a través de la red.

Def generate_and_code_packets(source_node):
data_packets = collect_data(source_node)
coded_packet = network_code(data_packets)
queue_transmission(source_node, coded_packet)

Def network_code(paquetes):
Retorno linear_combination(paquetes)

Decisión de enrutamiento basada en SAC
Aquí, el nodo actual utiliza su agente SAC para analizar el estado de la red y seleccionar el vecino más eficiente energéticamente y fiable al que reenviar el paquete. La decisión se basa en políticas eruditas y condiciones ambientales actuales, como la calidad de los enlaces o la energía residual.

Def select_next_hop(current_node):
current_state = observe_network_state(current_node)
acción = sac_agent_policy(current_node.agente, current_state)
next_hop = map_action_to_neighbor(acción)
Regreso next_hop

Transmisión de paquetes y bucle de retroalimentación
Esta función gestiona la transmisión real de un paquete codificado. Tras determinar el mejor siguiente salto, el paquete se envía si el enlace es válido. El sistema calcula entonces una recompensa basada en el éxito de la transmisión y el consumo de energía, que se utiliza para actualizar el modelo de aprendizaje del agente SAC.

Def transmit_packet(current_node, paquete):
next_hop = select_next_hop(current_node)
si is_link_valid(current_node, next_hop):
enviar (paquete, next_hop)
recompensa = compute_reward(current_node, paquete)
update_sac_agent(current_node, recompensa)
De lo contrario:
recompute_next_hop(current_node)

Actualización del agente SAC (fase de aprendizaje)
Una vez que se transmite un paquete, esta función actualiza el agente SAC. Registra el cambio de estado, almacena la experiencia en memoria y, si se recopila suficiente experiencia, utiliza un lote de muestra para mejorar la estrategia de toma de decisiones del agente. Esto ayuda al nodo a adaptarse a los cambios de la red con el tiempo.

Def update_sac_agent(nodo, recompensa):
new_state = observe_network_state(nodo)
store_transition(node.agent.memory, node.state, node.action, reward, new_state)
si enough_experience(node.agent.memory):
batch = sample_batch(node.agent.memory)
node.agent = optimize_sac(node.agent, batch)
nodo.estado = new_state

Decodificación en el receptor
En el destino, esta función recibe todos los paquetes codificados recibidos y los decodifica de nuevo en los datos originales usando métodos como la eliminación gaussiana. Los datos recuperados se pasan entonces a la capa o proceso de aplicación correspondiente.

Def decode_packet(destination_node):
received_packets = destination_node.búfer
original_data = decodificar(received_packets)
deliver_data(original_data)

Decodificación DEF (paquetes):
Return gaussian_elimination(paquetes)

Monitorización energética y lógica de sueño de nodos
Esta función rastrea los niveles de energía de cada nodo y determina si debe seguir funcionando o cambiar a modo de suspensión para conservar energía. Si la energía es suficiente, el nodo deduce los costes relacionados con la transmisión; Si no, se apaga temporalmente para alargar la vida útil total de la red.

Def monitor_energy(nodo):
si node.energy < UMBRAL:
put_node_to_sleep(nodo)
si no: nodo.energía -= transmission_cost()

Resultados

Realizamos simulaciones comparando cuatro enfoques diferentes: (i) Un modelo tradicional sin optimización, (ii) Un sistema que emplea únicamente Network Coding (NC), (iii) Una configuración que utiliza únicamente el algoritmo actor blando (SAC) para el enrutamiento, y (iv) El modelo híbrido propuesto que combina tanto NC como SAC.

Consumo energético
La mejora más significativa se observó en la eficiencia energética. Las redes IoT tradiciona...

Discusión

Esta investigación introduce una novedosa estrategia de comunicación consciente de la energía para redes IoT centrales que integra la codificación de red (NC) con el algoritmo de aprendizaje por refuerzo actor suave (SAC). El objetivo de este enfoque híbrido es minimizar el consumo energético manteniendo una transmisión de datos fiable y eficiente. NC reduce las transmisiones redundantes codificando paquetes de datos, mientras que SAC aprende y selecciona dinámicamente rutas de enrutamie...

Materiales

Lista de materiales utilizados en este artículo

Nombre	Empresa	Número de catálogo	Comentarios
6 GB NVIDIA GeForce RTX 3050 (Sistema informático)	nVIDIA	https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3050/	Para simulación y entrenamiento: RAM DE LA CPU: 16 GB, RAM DE LA GPU
AMD Ryzen (sistema informático)	AMD	Ryzen 7	Para simulación y entrenamiento: Processor
Hardware Testbed (trabajos futuros opcionales)	Raspberry Pi	https://www.raspberrypi.com/products/raspberry-pi-4-model-b/	Nodos Raspberry Pi 4 con módulos inalámbricos para el despliegue y validación real de IoT
Intel Core i7 (Sistema informático)	Intel Core	Procesador i7-7700	Para simulación y entrenamiento: Processor
Cuaderno Jupyter	Jupyter	https://jupyter.org/	Entorno para desarrollo iterativo, depuración y visualización
Matplotlib	Python	https://matplotlib.org/	Bibliotecas de visualización en Python para graficar métricas de rendimiento (Energía, Rendimiento, PDR, Vida útil de la red)
Módulo de Codificación de Redes			Integración personalizada de Python/NS-3 para implementar codificación lineal de red y codificación de paquetes
Simulador NS-3	NS-3	nsnam.org	Simulador de red de eventos discretos de código abierto utilizado para simulación de redes IoT y evaluación de enrutamientos
NumPy	NumPy	numpy.org	Paquetes de Python para gestionar registros de simulación, análisis estadístico y conjuntos de datos estructurados
Pandas		pandas.pydata.org	Paquetes de Python para gestionar registros de simulación, análisis estadístico y conjuntos de datos estructurados
Python 3.10	Python	Versión 3.10.0	Lenguaje de programación utilizado para el entrenamiento de agentes SAC, optimización de coeficientes de codificación y procesamiento de datos
PyTorch	PyTorch	https://pytorch.org/	Biblioteca de aprendizaje profundo para implementar el algoritmo Soft Actor-Critic y modelos de aprendizaje por refuerzo
Seaborn	Python	https://seaborn.pydata.org/	Bibliotecas de visualización en Python para graficar métricas de rendimiento (Energía, Rendimiento, PDR, Vida útil de la red)
Ubuntu 20.04 (Sistema informático)	Ubuntu	Versión 20.04	Para simulación y entrenamiento: sistema operativo