Vers l’IoT vert : économie d’énergie dans un réseau IoT central utilisant le codage réseau et Soft Actor Critic

Résumé

Cette étude intègre le codage réseau avec l’apprentissage par renforcement acteur-critique souple pour obtenir un routage économe en énergie dans les réseaux IoT principaux, démontrant une réduction de 40 % de la consommation d’énergie avec un ratio de livraison de paquets de 97 %.

Résumé

L’expansion rapide des réseaux Internet des objets (IoT) a intensifié les défis d’efficacité énergétique dans les réseaux IoT principaux, où le routage des données impose une forte demande d’énergie des nœuds. Cet article propose un modèle hybride intégrant le codage réseau (NC) avec l’apprentissage par renforcement par acteur doux (SAC) pour relever ces défis. NC minimise les transmissions redondantes en combinant les paquets, tandis que les agents SAC sélectionnent dynamiquement des chemins de routage sensibles à l’énergie en fonction de l’état du nœud, de la qualité du lien et de l’énergie résiduelle.

Le système a été mis en œuvre à l’aide du simulateur NS-3 avec une topologie de grille 5 × 5 des nœuds IoT (paquets de 512 octets, runtime de 100 secondes) sous des conditions de trafic variables. Les résultats démontrent que NC + SAC permet une réduction de 40 % de la consommation d’énergie, un ratio de livraison de paquets de 97 %, une amélioration de 50 % du débit et une durée de vie réseau étendue par rapport aux méthodes traditionnelles de routage et autonomes.

Les contributions clés incluent une intégration novatrice NC-SAC, une validation complète de NS-3 sur plusieurs métriques, et la démonstration de communications codées axées sur l’apprentissage pour des infrastructures IoT durables. Cette approche hybride équilibre fiabilité, préservation de l’énergie et performance, offrant un cadre évolutif pour les réseaux IoT verts de nouvelle génération.

Introduction

L’internet des objets (IoT) s’est imposé comme l’une des technologies les plus transformatrices du XXIe siècle, connectant de manière transparente des milliards d’appareils pour permettre des foyers, des villes, des industries et des systèmes de santé plus^{intelligents 1}. Cette croissance sans précédent s’accompagne cependant d’un défi pressant : la question de la consommation d’énergie. Les appareils IoT, en particulier ceux déployés dans le réseau central, sont souvent alimentés par batterie ou limités en ressources. À mesure que la densité des appareils et du trafic de données augmente, l’efficacité énergétique devient un facteur crucial pour assurer la durabilité à long terme des infrastructures IoT. Dans ce contexte, concevoir des stratégies intelligentes de communication et de routage équilibrant performance et préservation de l’énergie est d’une importance capitale.

Les méthodes de routage traditionnelles dans les réseaux IoT se concentrent souvent sur des approches de chemin le plus court ou centrées sur la fiabilité. Bien qu’efficaces dans des scénarios basiques, ces méthodes entraînent fréquemment des transmissions redondantes et une décharge rapide d’énergie, notamment lors de déploiements dynamiques ou à grande^{échelle 2,3}. Pour remédier à ces lacunes, les chercheurs ont exploré des techniques telles que le codage réseau (NC), qui réduit le nombre de transmissions en combinant plusieurs paquets en un seul paquet codé. NC a prouvé qu’il améliore le débit, réduit la latence et optimise l’utilisation de la bande passante. Cependant, bien que le codage réseau soit puissant pour réduire la surcharge de communication, il ne prend pas intrinsèquement en compte les niveaux d’énergie des nœuds ni ne s’adapte aux fluctuations des conditions^{réseau 4,5}.

C’est là que la prise de décision pilotée par l’apprentissage automatique joue un rôle vital. L’apprentissage par renforcement (RL) offre un cadre particulièrement robuste permettant aux nœuds IoT de prendre des décisions adaptatives en interagissant avec l’environnement et en apprenant des récompenses. Parmi les algorithmes RL, l’acteur-critique doux (SAC) a gagné en importance grâce à sa capacité à équilibrer exploration et exploitation par régularisation par^{entropie 6}. Contrairement aux modèles RL conventionnels, le SAC encourage une sélection d’actions diversifiée, empêchant le système de converger trop rapidement vers des stratégies sous-optimales. Pour les réseaux IoT à faible consommation d’énergie, cela se traduit par des choix de routage plus intelligents qui s’adaptent non seulement à la qualité des liens et au succès de la livraison, mais aussi aux niveaux d’énergie résiduels à chaque nœud.

Les études récentes se sont de plus en plus concentrées sur le rôle de l’apprentissage par renforcement dans l’optimisation de la communication IoT et de la gestion énergétique. Par exemple, Dev et ^al.7 ont utilisé Harris Hawks Optimization pour une communication IoT économe en énergie, tandis que Tuong et ^al.8 ont exploré l’apprentissage par renforcement profond pour le duplex hiérarchique dans les systèmes IoT sans fil. Des travaux plus^{récents 8,9} mettent en lumière comment des méthodes avancées d’apprentissage par renforcement, telles que l’optimisation des politiques proximales et les cadres multi-agents distribués, peuvent encore améliorer l’adaptabilité dans des environnements IoT à grande échelle.

Cette recherche présente un modèle hybride de communication novateur qui combine conjointement le codage réseau (NC) avec l’algorithme acteur-critique doux (SAC) pour obtenir un routage intelligent et sensible à l’énergie dans les réseaux IoT centraux. Contrairement aux approches précédentes qui utilisaient indépendamment le NC ou l’apprentissage par renforcement ou qui employaient des modèles RL profonds à action discrète, cette étude utilise la formulation d’action continue régularisée par entropie de SAC pour optimiser dynamiquement les décisions de routage en fonction de l’état du réseau, y compris les niveaux d’énergie, la stabilité du lien et l’état du tampon des paquets. L’intégration de la NC permet de réduire les retransmissions et d’améliorer l’utilisation de la bande passante, tandis que le SAC assure une sélection de chemins adaptative pour équilibrer la charge du réseau et économiser l’énergie des nœuds. Ce double mécanisme introduit un nouveau paradigme de communication codée pilotée par l’apprentissage, obtenant des gains mesurables en efficacité énergétique, débit, ratio de livraison des paquets et durée de vie réseau par rapport aux méthodes existantes.

Nous avons mis en œuvre et testé le cadre proposé en utilisant l’environnement de simulation NS-3, déployant une grille de 5×5 nœuds IoT sous des charges de trafic variables. Les modèles de taille, de distance et d’énergie de transmission des paquets ont été soigneusement définis pour refléter des conditions IoT réalistes. Grâce à ces simulations, nous avons évalué des indicateurs clés tels que le ratio de livraison des paquets (PDR), le débit, la durée de vie du réseau et l’efficacité énergétique. Les résultats sont les suivants : comparé aux modèles traditionnels de routage et autonomes, le système hybride NC + SAC a réduit la consommation d’énergie de près de 40 %, a amélioré le débit de 50 % et prolongé significativement la durée de vie du réseau, tout en maintenant un ratio de livraison de paquets proche de 97 %.

Au-delà des améliorations numériques, la véritable force de ce travail réside dans sa scalabilité et son adaptabilité. À mesure que les réseaux IoT continuent de croître en taille et en complexité, des solutions adaptées dynamiquement aux conditions changeantes seront essentielles. Ce cadre hybride répond non seulement à la question immédiate de la conservation de l’énergie, mais prépare également le terrain pour des systèmes IoT autonomes et auto-optimisés, capables de se maintenir dans des déploiements réels. Le tableau 1 contient les journaux de performance pour des paramètres tels que la consommation d’énergie, le ratio de livraison des paquets, la durée de vie du réseau et le débit. Le tableau 2 présente un résumé des résultats tirés de l’expérience. De plus, l’intégration de l’apprentissage par renforcement dans les réseaux IoT démontre le potentiel des protocoles pilotés par l’IA pour remodeler la manière dont les appareils interagissent dans des environnements à ressources limitées.

Les avancées récentes dans les stratégies de communication intelligente renforcent encore la nécessité de cadres de routage IoT adaptatifs et^{durables 10, 11, 12}. Les protocoles traditionnels basés sur le clustering ou le routage statique ne tiennent souvent pas compte des défis dynamiques du réseau tels que la qualité fluctuante des liaisons, les niveaux d’énergie des nœuds variables et les interférences, ce qui peut entraîner une dégradation rapide des performances et des défaillances précoces des nœuds. Les approches modernes basées sur l’apprentissage par renforcement ont montré un fort potentiel pour résoudre ces problèmes en permettant aux dispositifs IoT d’apprendre dynamiquement des stratégies de transmission optimales grâce à une interaction continue avec l’environnement 10,11,12. Parallèlement, le codage réseau a démontré son utilité pour réduire les transmissions redondantes et améliorer l’efficacité spectrale dans des environnements réseau^{contraints 5,13,14}. Cependant, la plupart des études existantes évaluent ces techniques de manière indépendante plutôt qu’en combinaison. Ainsi, l’intégration de NC avec une méthode d’apprentissage par renforcement à contrôle continu comme Soft Actor-Critic présente un mécanisme de communication plus robuste et intelligent, capable de s’adapter aux changements en temps réel tout en économisant de^{l’énergie 15,16}. Ce paradigme hybride renforce non seulement la résilience et l’autonomie des réseaux IoT, mais s’aligne également sur les tendances émergentes de la recherche dans les systèmes de communication verts et les architectures sans fil pilotées par l’apprentissage automatique pour des déploiements durables à grande échelle.

Protocole

Flux de travail de transmission de données et traitement des paquets
Initialisation du nœud : Chaque nœud commence avec des informations complètes sur la topologie du réseau, sa capacité énergétique maximale et un agent SAC pré-entraîné prêt à prendre des décisions. Le module de codage réseau active et prépare les opérations de combinaison de paquets.

Processus d’encodage de paquets : Lorsque la transmission commence, les nœuds sources collectent plusieurs paquets de données provenant des capteurs. Le module de codage réseau combine ces paquets en moins de paquets codés grâce à des opérations mathématiques efficaces, réduisant significativement le nombre total de transmissions nécessaires.

Exécution de la décision de routage SAC : L’agent SAC analyse l’état actuel du réseau, y compris les niveaux d’énergie des voisins, la qualité du lien, les conditions de trafic et la distance de destination. Il sélectionne le voisin optimal du prochain saut en fonction de sa politique apprise, en privilégiant l’efficacité énergétique et la fiabilité.

Transfert de paquets multi-sauts : Les paquets codés parcourent le chemin sélectionné. Les nœuds intermédiaires décident s’ils doivent combiner davantage les paquets ou les transmettre directement, en fonction de leur statut actuel de tampon et de leurs niveaux d’énergie restants.

Calcul et stockage de la récompense : Après chaque transmission, le système calcule un score de récompense basé sur le succès de la livraison, l’énergie utilisée, le délai de transmission et les chutes de paquets. Ces informations sur la récompense sont stockées pour que l’agent SAC puisse en apprendre.

Mise à jour de l’apprentissage continu : L’agent SAC examine régulièrement les expériences stockées et met à jour sa stratégie décisionnelle afin de mieux choisir des itinéraires économes en énergie tout en maintenant une performance de livraison élevée.

Architecture système
Un nœud typique fonctionne comme suit : il détecte et collecte des données, les encode en codage réseau, puis transmet le paquet encodé via un chemin de routage sélectionné par l’agent SAC. L’agent SAC évalue l’état du nœud, y compris l’énergie restante, l’état du tampon et la qualité du lien, afin de décider du prochain saut optimal. Ce processus est dynamique et évolue au fil de l’expérience à mesure que les conditions du réseau évoluent. La figure 1 illustrera ce flux de données et l’interaction entre les composants.

Équation de codage de réseau
Le codage réseau est appliqué aux nœuds intermédiaires comme suit :

Où C_i est le paquet encodé, α_ij est le coefficient de codage (appris via SAC), et P_j sont les paquets originaux. Cela permet au réseau de réduire le nombre de transmissions et d’améliorer la fiabilité.

Fonction objectif SAC
L’agent SAC optimise la politique en utilisant l’objectif régulier entropie suivant :

Où r(_{s t}, _{a t}) est la récompense, α est un paramètre de compromis pour l’exploration, et H est le terme d’entropie.

Modèle de consommation d’énergie
Pour simuler une consommation d’énergie réaliste, le modèle suivant est utilisé :

Où : E_elec- est l’énergie par bit pour faire fonctionner l’émetteur/récepteur, - k est la taille des données en bits, - est l’énergie requise par l’amplificateur émetteur, - est la distance entre les nœuds, -d est l’exposant de perte de chemin.

Indicateurs d’évaluation
Les indicateurs de performance suivants ont été utilisés dans les simulations de cette étude :

Ratio de livraison des paquets (PDR) :

Débit :

Durée de vie du réseau : Définie comme la durée jusqu’à ce que 50 % des nœuds réseau épuisent leur énergie.

Efficacité énergétique :

Pseudocode
Initialisation des nœuds réseau IoT
Cette fonction configure tous les nœuds IoT du réseau avant que le système ne commence à fonctionner. Chaque nœud se voit attribuer une énergie maximale, un tampon vide pour stocker les paquets, un état représentant son environnement local, un agent SAC pour apprendre les décisions optimales, et un module NC permettant un codage intelligent des données.

Défense initialize_nodes (réseau) :
pour le nœud dans le réseau :
nœud.énergie = MAX_ENERGY
nœud.tampon = []
nœud.état = sense_environment(nœud)
node.agent = initialize_sac_agent()
node.nc_module = activate_network_coding()

Génération de paquets et codage réseau
Cette fonction est responsable de la collecte des données des capteurs depuis le nœud source, de leur encodage à l’aide d’une méthode de codage réseau linéaire ou basée sur XOR, et de leur préparation pour la transmission. Il réduit la surcharge de communication en regroupant plusieurs paquets en un seul paquet codé, prêt à être transmis via le réseau.

Def generate_and_code_packets(source_node) :
data_packets = collect_data(source_node)
coded_packet = network_code(data_packets)
queue_transmission(source_node, coded_packet)

Définitivement network_code(paquets) :
retour linear_combination(paquets)

Décision de routage basée sur le SAC
Ici, le nœud courant utilise son agent SAC pour analyser l’état du réseau et sélectionner le voisin le plus économe en énergie et fiable vers lequel transférer le paquet. La décision repose sur des politiques avérées et des conditions environnementales actuelles, comme la qualité des liens ou l’énergie résiduelle.

définitivement select_next_hop(current_node) :
current_state = observe_network_state(current_node)
action = sac_agent_policy(current_node.agent, current_state)
next_hop = map_action_to_neighbor(action)
retour next_hop

Transmission de paquets et boucle de rétroaction
Cette fonction gère la transmission effective d’un paquet codé. Après avoir déterminé le meilleur saut suivant, le paquet est envoyé si le lien est valide. Le système calcule ensuite une récompense basée sur le succès de la transmission et la consommation d’énergie, qui sert à mettre à jour le modèle d’apprentissage de l’agent SAC.

Définitivement transmit_packet(current_node, paquet) :
next_hop = select_next_hop(current_node)
Si is_link_valid(current_node, next_hop) :
envoyer (paquet, next_hop)
récompense = compute_reward(current_node, paquet)
update_sac_agent(current_node, récompense)
Sinon :
recompute_next_hop(current_node)

Mise à jour de l’agent SAC (phase d’apprentissage)
Une fois qu’un paquet est transmis, cette fonction met à jour l’agent SAC. Il enregistre le changement d’état, stocke l’expérience en mémoire, et si suffisamment d’expérience est accumulée, il utilise un lot d’échantillons pour améliorer la stratégie décisionnelle de l’agent. Cela aide le nœud à s’adapter aux changements du réseau au fil du temps.

Définitivement update_sac_agent(nœud, récompense) :
new_state = observe_network_state(nœud)
store_transition(node.agent.memory, node.state, node.action, récompense, new_state)
if enough_experience(node.agent.memory) :
batch = sample_batch(node.agent.memory)
node.agent = optimize_sac(node.agent, batch)
node.state = new_state

Décodage au récepteur
À destination, cette fonction reçoit tous les paquets codés reçus et les décode dans les données originales en utilisant des méthodes comme l’élimination gaussienne. Les données récupérées sont ensuite transmises à la couche ou au processus applicatif approprié.

Définitivement decode_packet(destination_node) :
received_packets = destination_node.tampon
original_data = décoder (received_packets)
deliver_data(original_data)

Décodage DEF (paquets) :
retour gaussian_elimination(paquets)

Surveillance de l’énergie et logique du sommeil des nœuds
Cette fonction suit les niveaux d’énergie de chaque nœud et détermine si un nœud doit continuer à fonctionner ou passer en mode veille pour économiser de l’énergie. Si l’énergie est suffisante, le nœud déduit les coûts liés à la transmission ; Sinon, il s’arrête temporairement pour prolonger la durée de vie globale du réseau.

Def monitor_energy(nœud) :
si node.energy < SEUIL :
put_node_to_sleep(nœud)
sinon : node.energy -= transmission_cost()

Résultats

Nous avons mené des simulations comparant quatre approches différentes : (i) Un modèle traditionnel sans optimisation, (ii) Un système utilisant uniquement le Network Coding (NC), (iii) Une configuration utilisant uniquement l’algorithme acteur-critique doux (SAC) pour le routage, et (iv) Le modèle hybride proposé combinant à la fois NC et SAC.

Consommation d’énergie
L’amélioration la plus significative a été observée dans l’efficacité éner...

Discussion

Cette recherche introduit une nouvelle stratégie de communication sensible à l’énergie pour les réseaux IoT de base qui intègre le codage réseau (NC) avec l’algorithme d’apprentissage par renforcement acteur-critique doux (SAC). L’objectif de cette approche hybride est de minimiser la consommation d’énergie tout en maintenant une transmission de données fiable et efficace. NC réduit les transmissions redondantes en encodant les paquets de données, tandis que le SAC apprend dynamiquement ...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
6 Go NVIDIA GeForce RTX 3050 (Système informatique)	nVIDIA	https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3050/	Pour la simulation et l’entraînement : RAM CPU : 16 GO, RAM GPU
AMD Ryzen (système informatique)	AMD	Ryzen 7	Pour la simulation et l’entraînement : Processeur
Matériel Testbed (travaux futurs optionnels)	Raspberry Pi  ;	https://www.raspberrypi.com/products/raspberry-pi-4-model-b/	Nœuds Raspberry Pi 4 avec modules sans fil pour le déploiement et la validation de l’IoT dans le monde réel
Intel Core i7 (système informatique)	Intel Core	Processeur i7-7700	Pour la simulation et l’entraînement : Processeur
Cahier Jupyter	Jupyter	https://jupyter.org/	Environnement pour le développement itératif, le débogage et la visualisation
Matplotlib	Python	https://matplotlib.org/	Bibliothèques de visualisation Python pour tracer des métriques de performance (Énergie, Débit, PDR, Durée de vie réseau)
Module de codage réseau			Intégration personnalisée Python/NS-3 pour implémenter le codage réseau linéaire et l’encodage de paquets
Simulateur NS-3	NS-3	nsnam.org	Simulateur de réseau à événements discrets open source utilisé pour la simulation de réseau IoT et l’évaluation du routage
NumPy  ;	NumPy	numpy.org	Des packages Python pour gérer les journaux de simulation, l’analyse statistique et les ensembles de données structurés
Pandas		pandas.pydata.org	Des packages Python pour gérer les journaux de simulation, l’analyse statistique et les ensembles de données structurés
Python 3.10	Python	Version 3.10.0	Langage de programmation utilisé pour l’entraînement des agents SAC, l’optimisation des coefficients de codage et le traitement des données
PyTorch	PyTorch	https://pytorch.org/	Bibliothèque d’apprentissage profond pour implémenter l’algorithme Soft Actor-Critic et les modèles d’apprentissage par renforcement
Seaborn	Python	https://seaborn.pydata.org/	Bibliothèques de visualisation Python pour tracer des métriques de performance (Énergie, Débit, PDR, Durée de vie réseau)
Ubuntu 20.04 (Système informatique)	Ubuntu	Version 20.04	Pour la simulation et l’entraînement : système d’exploitation