Orchestration dynamique de l'acceptation des départs basée sur l'apprentissage par renforcement multi-agents utilisant le jeu de données FeederBW et un réseau de distribution basse tension à 236 jeux de barres

Résumé

Cette étude présente une stratégie d'orchestration dynamique pour l'acceptation des alimentations basse tension utilisant un apprentissage par renforcement multi-agents collaboratif. Des agents intelligents coordonnent l'exploitation des alimentations, la gestion des congestions, la stabilité de tension et l'intégration des énergies renouvelables dans des conditions incertaines. L'approche a été évaluée par des simulations utilisant les jeux de données FeederBW et 236-bus.

Résumé

L'intégration étendue des sources d'énergie renouvelables distribuées et l'expansion rapide des alimentations en basse tension (BT) ont créé des défis opérationnels liés à l'acceptation des alimentations et à la coordination de la congestion. Les approches existantes de contrôle de tension et de gestion des alimentations peuvent présenter une évolutivité et une adaptabilité limitées en cas de production renouvelable intermittente et d'évolutions des conditions du réseau. Pour pallier ces limitations, cette étude propose un cadre d'orchestration dynamique pour l'acceptation des alimentations en basse tension, fondé sur une collaboration d'agents intelligents dans le cadre d'une approche d'apprentissage par renforcement multi-agents. Contrairement aux stratégies de contrôle de tension axées principalement sur la stabilisation de la tension, le cadre proposé permet une acceptation dynamique des alimentations grâce à l'opération coordonnée d'agents chargés de la surveillance des alimentations, de la gestion de la congestion et de la priorisation basée sur la sensibilité à la tension. Les agents observaient indépendamment les états des alimentations, évaluaient la congestion et les sensibilités en tension, et collaboraient à la prise de décisions concernant l'acceptation des alimentations. Le cadre a été évalué par des simulations utilisant le jeu de données FeederBW et le jeu de données de réseau de distribution en basse tension à 236 nœuds, sous différents niveaux d'intégration des énergies renouvelables et diverses conditions de charge. Le cadre proposé a atteint un taux d'acceptation des alimentations de 97 %, un indice de conformité en tension de 98 %, une latence d'orchestration de 98 ms mesurée comme le temps d'exécution réel de l'algorithme d'orchestration sur le matériel indiqué, et une vitesse de convergence de 98,5 %, surpassant les méthodes de coordination centralisées évaluées. Les résultats ont également montré une meilleure adaptabilité, une résilience opérationnelle accrue et une efficacité améliorée de la prise de décision décentralisée dans les conditions simulées de réseau de distribution en basse tension.

Introduction

Les systèmes électriques modernes font face à des défis opérationnels importants en raison de la demande croissante en électricité et de l'utilisation accrue de la production décentralisée. Les déséquilibres entre l'offre et la demande d'électricité, ou les augmentations rapides de la production décentralisée, peuvent imposer une pression financière sur les fournisseurs et les utilisateurs finaux et compromettre la stabilité du réseau. L'infrastructure électrique conventionnelle, centralisée et basée sur les combustibles fossiles, évolue donc vers une conception décentralisée axée sur les énergies renouvelables. Cette transition a amélioré l'accès à des sources d'énergie plus abordables et plus durables sur le plan environnemental. Toutefois, le caractère intermittent et imprévisible de la production photovoltaïque (PV) soulève des préoccupations quant à la fiabilité du réseau^1,2.

La transition énergétique mondiale accélère le déploiement du photovoltaïque en raison de ses avantages environnementaux, de sa scalabilité et de son coût en baisse. Selon l'Agence internationale pour les énergies renouvelables, la capacité photovoltaïque devrait représenter plus de 22 % de l'approvisionnement mondial en électricité d'ici 2050, et le solaire photovoltaïque devrait devenir un contributeur majeur à l'approvisionnement mondial en électricité d'ici 2030³. Cette intégration généralisée pose des défis importants pour les systèmes électriques conventionnels, notamment en ce qui concerne la stabilité et la fiabilité du fonctionnement. La fluctuation de tension est une préoccupation critique, car la production photovoltaïque est intermittente et non pilotable, et ses effets deviennent plus marqués à mesure que la pénétration augmente dans les réseaux de distribution et de transport⁴.

Les variations de l'irradiance solaire affectent directement la production des panneaux photovoltaïques (PV) et peuvent provoquer des changements rapides de tension. Le déplacement des nuages, les variations brutales de l'irradiance et les transitoires de charge peuvent induire des fluctuations de tension que les architectures de réseau actuelles ne parviennent pas à gérer adéquatement⁵. Bien que les technologies conventionnelles se soient révélées efficaces dans des configurations de réseau centralisées et relativement stables, elles conviennent moins aux réseaux de plus en plus distribués. Des variations rapides de tension dans les deux sens peuvent dépasser les capacités des systèmes électriques conventionnels, notamment en cas d'une forte pénétration du photovoltaïque⁶. Des fluctuations non contrôlées peuvent enfreindre les limites de tension, perturber les charges sensibles et compromettre la sécurité du réseau.

L'intégration de charges intelligentes et de ressources distribuées dans les réseaux de distribution a donc motivé le développement de stratégies de contrôle plus avancées. Des systèmes de contrôle intelligents capables de surveiller et de coordonner en continu les équipements distribués peuvent contribuer à atténuer les défis rencontrés dans les réseaux basse tension (BT) comportant une forte génération distribuée⁷. L'intégration à grande échelle du photovoltaïque (PV) crée également des difficultés opérationnelles pour la production thermique, notamment lorsque la production photovoltaïque diminue et que les unités thermiques doivent réagir rapidement, dépassant parfois les limites de taux de montée en puissance⁸. Parallèlement, les programmes de gestion de la demande (DR) doivent concilier durabilité à long terme et faisabilité économique⁹.

Les programmes de réduction de la demande (DR) peuvent soutenir l'intégration de la production décentralisée tout en aidant à équilibrer l'offre et la demande d'électricité. Ces programmes sont classés en deux catégories : la réduction de la demande basée sur les prix ou la réduction de la demande incitative (IBDR). La réduction de la demande basée sur les prix incite les consommateurs à modifier leur consommation d'électricité en réponse à des tarifs variables selon l'heure, tandis que l'IBDR offre des incitations financières fixes ou variables pour réduire la consommation lorsqu'elle est demandée¹⁰. Toutefois, la réduction de la demande basée sur les prix expose les consommateurs à des prix de gros fluctuants et offre une flexibilité opérationnelle limitée du point de vue des fournisseurs, ce qui peut dissuader les participants attentifs au risque^11,12.

Plusieurs études ont examiné la DRiB dans les systèmes de distribution riches en PV. Une étude a évalué les défis et avantages de combiner la DRiB à une forte pénétration de PV, mais s'est concentrée sur l'utilisation agrégée de l'énergie plutôt que sur des systèmes de gestion énergétique domestique au niveau du foyer¹³. Une autre a proposé une méthode de gestion de tension basée sur des incitations, dans laquelle des signaux tarifaires contrôlaient indirectement le fonctionnement des batteries afin de maintenir les limites de tension, bien que la demande domestique n'ait pas été modélisée explicitement¹⁴. Une méthode fondée sur la logique floue pour déterminer les paiements incitatifs a pris en compte la satisfaction des consommateurs et les coûts d'intégration des énergies renouvelables, mais n'incluait pas d'analyse au niveau du circuit¹⁵. La planification à long terme de la production intégrant à la fois la DR basée sur les prix et la DR incitative a également été étudiée, y compris la production thermique et renouvelable, mais sans tenir compte du confort des utilisateurs ni de la demande au niveau du foyer¹⁶.

L'apprentissage par renforcement profond (RL) a également été appliqué à la gestion de la demande résidentielle (DR). Des méthodes d'apprentissage par renforcement profond pour le contrôle de charge agrégée dans le cadre de tarifs différenciés selon les heures de pointe ont été proposées, bien que leur généralisabilité ait été limitée par de petites populations d'utilisateurs et l'absence de planification au niveau des appareils¹⁷. Un cadre d'apprentissage par renforcement multi-agents combinant DR et contrôle de tension utilisait des réseaux de mémoire à long et court terme pour la prévision de charge, mais n'a pas résolu l'insatisfaction des clients résultant de la restriction de charge¹⁸. D'autres travaux se sont concentrés sur la coordination de DR pour les systèmes de climatisation dans les bâtiments commerciaux en utilisant un processus de décision markovien, sans tenir compte des autres charges résidentielles¹⁹. Les études existantes sur le contrôle de tension par apprentissage par renforcement profond n'ont généralement pas intégré à la fois DR et l'intégration des panneaux photovoltaïques (PV)^20,21.

Les onduleurs intelligents peuvent réagir rapidement à des changements brusques et irréguliers de la production photovoltaïque²². En cas de violations de tension, les onduleurs photovoltaïques peuvent intervenir en quelques millisecondes, alors que les dispositifs conventionnels peuvent nécessiter plusieurs secondes²³. Certaines études ont proposé des modifications des procédures standard de commande des dispositifs, notamment des approches multi-agents pour coordonner les régulateurs de tension et modifier les actions des contrôleurs de tension conventionnels²⁴. Toutefois, la production photovoltaïque autonome sans stockage co-localisé peut aggraver les écarts de tension et ne permet pas d'atténuer les pics du soir, même si elle réduit les importations nettes diurnes^24,25. Les batteries domestiques peuvent également être épuisées pendant les périodes de surplus photovoltaïque diurne et devenir indisponibles pour la recharge nocturne des véhicules électriques si leur gestion n'est pas coordonnée avec la demande et la production locales^26,27. Les effets combinés de la demande stochastique, de la génération intermittente et des comportements variés de stockage rendent la gestion de la capacité, la durabilité des équipements et la résilience particulièrement critiques pour les gestionnaires de réseaux de distribution²⁸. Les systèmes de gestion énergétique domestique offrent une solution potentielle pour mettre en œuvre un contrôle automatisé au niveau du consommateur. Le renforcement par apprentissage (RL) convient bien à ces applications, car les agents peuvent apprendre des stratégies de commande par interaction avec l'environnement tout en gérant l'incertitude et en prenant des décisions à faible latence.

Les progrès réalisés dans le routage des véhicules électriques illustrent également comment le RL profond peut gérer des contraintes énergétiques dynamiques. Le problème de routage de flotte hétérogène de véhicules électriques avec capacité intègre la dynamique de conduite, les caractéristiques des routes, la résistance cinétique et l'efficacité de recharge, tout en minimisant la consommation d'énergie maximale au sein d'une flotte diversifiée²⁹. Une méthode d'apprentissage par renforcement profond prenant en compte la dynamique formule ce problème comme un processus de décision markovien personnalisé et utilise une architecture encodeur-metteur à jour-décodeur. Dans cette conception, l'encodeur élabore des représentations spécifiques aux rôles pour les sommets et les véhicules, le metteur à jour affine les jetons véhicules lorsque l'information contextuelle change, et le décodeur sépare la sélection du véhicule de la sélection des sommets propres à chaque véhicule afin de permettre une prise de décision adaptative. De manière similaire, un problème de routage écoénergétique de véhicules électriques avec collecte-livraison et fenêtres temporelles utilise un modèle de consommation d'énergie à haute résolution incluant le comportement de recharge, la dynamique de conduite dépendante du temps et des informations détaillées sur l'itinéraire³⁰. Un cadre d'apprentissage par renforcement profond hétérogène basé sur l'attention représente la tâche de routage comme un processus de décision markovien, avec un encodeur capturant les interactions spécifiques aux rôles entre dépôts, clients et stations de recharge, et un décodeur suivant les transitions d'état et la faisabilité temporelle.

Malgré ces avancées, la plupart des études sur la gestion de la distribution en basse tension mettent l'accent sur la stabilisation de la tension et l'optimisation de la puissance réactive, plutôt que sur l'orchestration dynamique de l'admission aux alimentations sous incertitude des énergies renouvelables. Les méthodes de contrôle distribué de la tension, basées sur des onduleurs intelligents et l'apprentissage automatique, se concentrent généralement sur la compensation de la tension et l'optimisation de la puissance réactive, sans aborder le contrôle adaptatif de l'admission aux alimentations ou l'orchestration fondée sur la congestion dans les réseaux complexes de basse tension. De même, les approches d'apprentissage par renforcement multi-agents soumises à des contraintes de tension pour la gestion de la demande n'abordent pas directement la gestion collaborative de l'admission aux alimentations, l'orchestration décentralisée tenant compte de la congestion ou le contrôle d'admission au niveau des nœuds dans les systèmes interconnectés de distribution en basse tension. Les méthodes coopératives de régulation de la tension fondées sur la coordination multi-agents minimisent généralement les écarts de tension et les opérations de prises à l'aide d'onduleurs photovoltaïques, mais ne prennent pas en compte l'admission adaptative aux alimentations, l'instabilité liée à l'acceptation des énergies renouvelables ou l'orchestration décentralisée dans des conditions réseau dynamiques.

Les méthodes actuelles de coordination des ressources distribuées et multi-agents font également face à des limites en matière de prise en compte de la congestion, d'adaptabilité temporelle et d'évolutivité. La plupart mettent l'accent sur l'analyse de surcharge, les interactions entre ressources énergétiques distribuées ou la gestion énergétique basée sur les tarifs, plutôt que sur l'acceptation adaptative au niveau des alimentateurs et l'orchestration tenant compte de la tension. Leur dépendance à une centralisation partielle et à des priorités fixes peut encore limiter la prise de décision décentralisée, la réponse rapide à la propagation de la congestion et l'adaptation à la variabilité des énergies renouvelables. Un cadre entièrement décentralisé, fondé sur l'apprentissage par renforcement et combinant une coordination coopérative des agents avec une analyse sensible à la tension et à la congestion, est donc nécessaire pour une gestion adaptative de l'acceptation au niveau des alimentateurs, en utilisant des ensembles de données à grande échelle tels que FeederBW et le réseau de distribution BT à 236 nœuds.

Dans cette étude, l'acceptation d'un circuit de distribution désigne le processus opérationnel adaptatif permettant de déterminer si un circuit de distribution à basse tension peut intégrer des ressources énergétiques distribuées supplémentaires ou des charges électriques tout en maintenant la sécurité du réseau, la conformité de la tension, les limites de charge thermique et la fiabilité opérationnelle. La limite opérationnelle pour l'acceptation d'un circuit comprend l'évaluation de la capacité du circuit, de la sensibilité en tension, des conditions de congestion et de la variabilité des énergies renouvelables avant d'accepter ou de prioriser de nouvelles connexions au circuit. Contrairement au contrôle classique de tension, qui régule les profils de tension, à la coordination des ressources énergétiques distribuées, qui gère le fonctionnement des ressources, ou à la gestion de la congestion, qui atténue les surcharges du réseau, l'acceptation du circuit intègre ces fonctions dans un cadre d'apprentissage par renforcement multi-agents collaboratif afin de permettre une orchestration dynamique, décentralisée et adaptative dans des conditions riches en énergies renouvelables.

L'objectif de cette étude est de développer une stratégie dynamique d'orchestration collaborative basée sur des agents intelligents pour l'acceptation des alimentations basse tension dans des conditions de fonctionnement variables et en présence d'incertitudes liées aux énergies renouvelables. Le cadre proposé effectue une orchestration décentralisée de l'acceptation des alimentations en évaluant dynamiquement l'état des alimentations, la sensibilité en tension, la sensibilité à la congestion et la capacité d'acceptation, permettant ainsi une priorisation adaptative et une prise de décision allant au-delà des méthodes de contrôle statique de la tension. À l'aide du jeu de données FeederBW et du jeu de données de réseau de distribution BT à 236 nœuds, l'étude développe également une architecture d'apprentissage par renforcement multi-agents évolutible pour les grands systèmes BT. Grâce à un apprentissage piloté par renforcement et à une optimisation collaborative à faible latence effectuée à chaque intervalle de fonctionnement simulé, le cadre vise à réduire la propagation de la congestion, à améliorer la conformité en tension, à diminuer la latence d'orchestration et à accroître l'efficacité de la coordination décentralisée.

Le cadre propose une approche dynamique d'orchestration de l'acceptation des alimentations BT qui remplace les stratégies de gestion des alimentations basées sur des contrôles de tension statiques ; une architecture décentralisée d'apprentissage par renforcement multi-agents pour faire face à l'incertitude des énergies renouvelables et aux conditions de charge variables ; une gestion décentralisée des admissions fondée sur des conditions de faible latence et une priorisation dynamique des alimentations ; des indices conjoints de sensibilité à la tension et à la congestion permettant d'identifier les alimentations critiques et de hiérarchiser les décisions d'acceptation ; une communication collaborative entre agents voisins ; une optimisation continue des politiques fondée sur l'apprentissage par renforcement afin d'améliorer la stabilité des alimentations, la mitigation de la congestion, la conformité en tension et la convergence ; ainsi qu'une validation à grande échelle par simulation utilisant les jeux de données FeederBW et 236-bus LV. Les résultats comparatifs montrent une amélioration de l'acceptation des alimentations, de la mitigation de la congestion, du délai d'orchestration, de la vitesse de convergence et de la conformité en tension par rapport aux méthodes traditionnelles de coordination centralisée.

Protocole

Des sujets humains, des animaux vertébrés, des tissus humains ou des tissus animaux n'ont pas été utilisés dans cette étude. Seuls des ensembles de données accessibles au public (l'ensemble de données FeederBW et l'ensemble de données de réseau de distribution basse tension à 236 nœuds) ainsi que des simulations informatiques ont été utilisés dans cette recherche. Par conséquent, cette étude n'a pas nécessité l'approbation d'un comité d'éthique (IRB), ni d'autorisation éthique ou de consentement éclairé.

La stratégie d'orchestration dynamique pour l'acceptation des alimentations basse tension basée sur la collaboration d'agents a été développée à l'aide de l'apprentissage par renforcement multi-agents (MARL) dans des conditions de fonctionnement riches en énergies renouvelables. Les jeux de données FeederBW et 236-bus basse tension ont été prétraités, normalisés et synchronisés temporellement afin de construire un modèle de réseau dynamique représentant les états des alimentations, les ressources énergétiques distribuées, les zones sensibles à la tension et les conditions de congestion. Des agents intelligents ont été attribués aux sections des alimentations et aux jonctions du réseau afin de surveiller localement la tension, la congestion, l'incertitude liée à la production renouvelable et la capacité d'acceptation des alimentations, d'échanger des informations avec les agents voisins et de mettre à jour les politiques d'orchestration par apprentissage par renforcement décentralisé. La fonction de récompense a été conçue pour améliorer l'acceptation des alimentations tout en limitant la congestion, l'instabilité de tension et les retards de coordination. Les contraintes de tension, de charge des alimentations, de charge des transformateurs et de congestion ont été prises en compte, tandis que le fonctionnement déséquilibré triphasé, la commande avancée des onduleurs photovoltaïques et la compensation de puissance réactive n'ont pas été modélisés explicitement. Le cadre global est présenté dans Figure 1. Les outils de recherche utilisés dans cette étude sont répertoriés dans le Tableau des matériaux.

Figure 1 : Architecture du cadre proposé. Schéma du cadre d'orchestration dynamique intégrant des agents intelligents, l'apprentissage par renforcement, l'analyse de congestion et une coordination adaptative des alimentateurs. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

1. Acquisition des données

Les données ont été acquises à partir du jeu de données FeederBW³¹ et du jeu de données de distribution BT à 236 nœuds³². Ces jeux de données ont été sélectionnés car ils contenaient des informations sur la topologie des alimentations, les conditions de tension, le comportement de la génération renouvelable, la demande de charge, les congestions et les profils de fonctionnement dynamiques nécessaires à l'orchestration décentralisée et à l'apprentissage des agents basé sur le renforcement.

L'ensemble de données FeederBW a été principalement utilisé pour modéliser le fonctionnement des alimentateurs, l'intermittence de l'énergie renouvelable, les écarts de tension et la propagation de la congestion dans les réseaux BT. Il comprenait des données de fonctionnement des alimentateurs, le comportement des générateurs distribués, des mesures de tension aux nœuds et des fluctuations de charge, soutenant ainsi l'analyse d'une orchestration adaptative. L'ensemble de données BT à 236 nœuds a été utilisé pour évaluer l'évolutivité et la coordination décentralisée. Il contenait des informations sur les connexions des nœuds, les conditions de charge des alimentateurs, les caractéristiques de tension aux nœuds, la pénétration des énergies renouvelables distribuées et des cas de fonctionnement sensibles à la congestion. Ensemble, ces deux ensembles de données ont permis des analyses à l'échelle des alimentateurs et à grande échelle dans des conditions de forte pénétration d'énergie renouvelable. Les caractéristiques des ensembles de données et leurs objectifs dans le cadre sont résumés dans Tableau 1.

Nom du jeu de données	Type de jeu de données	Nombre de nœuds/points de livraison	Attributs des données	Objectif dans le travail proposé
Jeu de données FeederBW	Jeu de données opérationnels de départements basse tension	Multiples nœuds de départ	Profils de tension, production renouvelable, demande de charge, états de congestion, comportement opérationnel des départements	Orchestration rapide des départements, analyse de congestion, priorisation adaptative des acceptations
Jeu de données LV 236-bus	Jeu de données de distribution basse tension à grande échelle	236 points de livraison	Topologie des points de livraison, charge des départements, sensibilité de tension, pénétration des énergies renouvelables, dynamique de congestion	Validation de l'évolutivité, évaluation de la coordination décentralisée, analyse d'orchestration à grande échelle

Tableau 1 : Caractéristiques des ensembles de données. Description des ensembles de données, des attributs opérationnels et de leurs objectifs dans le cadre proposé d'orchestration à basse tension.

2. Prétraitement des données

Les jeux de données acquis ont été prétraités afin d'améliorer la cohérence, l'alignement temporel et la stabilité de l'apprentissage par renforcement. Les entrées manquantes, les mesures erronées, les enregistrements en double et les données incohérentes des alimentateurs ont été filtrées à l'aide de procédures statistiques de prétraitement. Cette étape a permis de maintenir la cohérence entre les données de fonctionnement des alimentateurs, les profils de production renouvelable, les mesures de tension et les données d'état de congestion. Toutes les variables opérationnelles ont été normalisées selon la méthode min-max afin que les caractéristiques d'entrée soient transformées à une échelle commune adaptée à l'apprentissage de l'agent. Les variables normalisées comprenaient la tension de l'alimentateur, la demande de puissance active, la production renouvelable, l'état de congestion et la capacité d'acceptation de l'alimentateur. La formulation mathématique de la procédure de prétraitement est fournie dans le Fichier supplémentaire 1 (Section 1).

3. Modélisation dynamique de réseaux basse tension

Après l'acquisition des données et le prétraitement, un modèle dynamique de réseau MT a été construit pour simuler le comportement d'un système de distribution avec une forte proportion de production renouvelable dans des conditions de charge et de production variables. Le modèle suivait dynamiquement la topologie des alimentateurs, le comportement des ressources énergétiques distribuées, les zones sensibles à la tension et la propagation des congestions.

Contrairement à une représentation statique du réseau, le modèle met à jour le comportement des alimentateurs en fonction de l'intermittence des énergies renouvelables, de la demande des consommateurs et des conditions de congestion. Les jeux de données FeederBW et 236-bus LV ont été utilisés pour construire des alimentateurs interconnectés dans lesquels les jeux de barres, les transformateurs, les sources renouvelables distribuées et les charges étaient représentés comme des nœuds du réseau. Chaque nœud d’alimentateur fournissait des informations mises à jour sur l'amplitude de la tension, la demande de puissance active, la génération d'énergie renouvelable, l'état de charge de l’alimentateur et l’état de congestion. Ces variables étaient utilisées par les agents intelligents pour surveiller le comportement des alimentateurs et prendre des décisions d'orchestration décentralisées. Le modèle de réseau permettait également d'identifier les régions sensibles et de hiérarchiser l'acceptation des alimentateurs grâce à une analyse de sensibilité continue.

Le réseau de distribution BT a été représenté comme un réseau basé sur un graphe contenant des postes électriques, des lignes d’alimentation, des transformateurs, des sources renouvelables et des nœuds de charge consommateurs. Des dérivations mathématiques détaillées du modèle de réseau sont fournies dans le fichier supplémentaire 1 (section 2). L’état dynamique du réseau et l’indice de congestion ont été surveillés en continu. L’indice de congestion a été normalisé dans la plage [0,1], et une orchestration collaborative d’acceptation des alimentateurs a été lancée lorsque l’indice de congestion dépassait 0,80.

4. Initialisation de l'environnement multi-agents

Une fois le modèle dynamique du réseau BT construit, l’environnement multi-agents a été initialisé afin de permettre une acceptation décentralisée des alimentations. Des agents intelligents ont été attribués aux tronçons d’alimentation, aux points de raccordement des ressources énergétiques distribuées, aux emplacements des transformateurs et aux nœuds sujets à des congestions au sein du réseau BT.

Chaque agent fonctionnait comme une entité indépendante prenant des décisions, surveillant le fonctionnement du jeu de barres local, échangeant des informations avec les agents voisins et exécutant des actions d'orchestration adaptatives. Les agents ont été attribués à des nœuds clés du jeu de barres en fonction de la sensibilité en tension, du taux d'intégration des énergies renouvelables, du niveau de congestion et de l'importance du jeu de barres. Le réseau BT a été configuré comme un environnement basé sur des agents, dans lequel les agents surveillaient en continu la tension du jeu de barres, la demande de puissance active, les variations de production renouvelable, l'état de congestion et la capacité d'acceptation du jeu de barres. La formulation mathématique de l'environnement multi-agents est fournie dans le Fichier supplémentaire 1 (Section 3).

5. Apprentissage de l'agent guidé par renforcement

Après l'initialisation de l'environnement multi-agents, un apprentissage guidé par renforcement a été mis en œuvre afin de permettre aux agents d'apprendre des politiques d'orchestration des alimentations par interaction avec des conditions de fonctionnement variables du réseau basse tension. Lors de chaque interaction, un agent observait l'état actuel de l'alimentation, sélectionnait une action d'orchestration et recevait une récompense ou une pénalité. Le processus d'apprentissage décentralisé a permis aux agents de s'adapter à l'incertitude liée à la production renouvelable, aux conditions de congestion changeantes, aux variations de tension et aux modifications de la capacité d'acceptation de l'alimentation. Chaque agent sélectionnait une action d'orchestration conformément à sa politique apprise. Les dérivations mathématiques associées sont fournies dans le Fichier supplémentaire 1 (section 4).

Un total de 64 agents intelligents a été déployé. En fonction de la topologie de l’alimentateur, du niveau de pénétration des énergies renouvelables, de la sensibilité en tension et de la gravité des congestions, chaque agent a été attribué à un tronçon d’alimentateur, un site de transformateur, un point de raccordement d’une ressource énergétique distribuée ou un nœud du réseau sensible à la congestion. Tout en préservant une complexité computationnelle raisonnable, le déploiement décentralisé a permis une surveillance coopérative et une acceptation adaptative des alimentateurs sur l’ensemble du réseau de distribution basse tension composé de 236 nœuds. Chaque agent observait un vecteur d’état à cinq dimensions comprenant l’amplitude de la tension, la demande de charge de l’alimentateur, la génération d’énergie renouvelable, l’état de congestion et la capacité d’acceptation de l’alimentateur. L’espace des actions comprenait cinq actions d’orchestration : la priorisation de l’acceptation des alimentateurs, l’atténuation des congestions, la coordination des sources renouvelables, l’équilibrage de charge et la régulation de tension. La prise de décision coopérative était facilitée par une topologie de communication décentralisée entre voisins, dans laquelle chaque agent échangeait uniquement des indices de sensibilité et des informations locales de fonctionnement avec les agents des alimentateurs voisins.

Une méthode d'apprentissage par renforcement multi-agents (MARL) basée sur le Q-learning a été mise en œuvre à l'aide d'un réseau de neurones entièrement connecté comportant deux couches cachées de 128 et 64 neurones respectivement. Une fonction d'activation de type unité linéaire rectifiée a été appliquée aux couches cachées. Les paramètres du réseau ont été optimisés à l'aide de l'optimiseur Adam avec un taux d'apprentissage de 0,001 et un facteur d'actualisation de 0,99. Une taille de mini-lot de 64 a été utilisée, et la mémoire tampon de relecture d'expérience avait une capacité de 100 000 transitions. L'entraînement était considéré comme convergé lorsque la moyenne mobile de la récompense cumulée sur les 20 épisodes précédents variait de moins de 0,1 % pendant 10 fenêtres d'évaluation consécutives. Si ce critère n'était pas satisfait, l'entraînement se poursuivait jusqu'à un maximum de 500 épisodes. Le flux de travail d'apprentissage par renforcement est illustré dans la Figure 2.

Figure 2 : Organigramme du processus d'apprentissage de l'agent piloté par renforcement. Organigramme illustrant le processus d'apprentissage de l'agent fondé sur le renforcement, destiné à l'orchestration décentralisée des alimentateurs et à l'optimisation des décisions. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Le processus d'apprentissage a commencé par l'initialisation de l'environnement de distribution BT, des états des agents et des paramètres d'apprentissage. Des agents intelligents ont été placés dans les zones d'alimentation, les emplacements des ressources énergétiques distribuées et les jeux de barres sujets à des congestions. L'espace d'observation, le taux d'apprentissage, la stratégie d'exploration, les facteurs de récompense et les fonctions de politique ont ensuite été définis. À chaque étape d'interaction, chaque agent observait l'état courant de sa zone d'alimentation attribuée. Cet état comprenait l'amplitude de la tension au nœud, la demande de charge de l'alimentateur, les caractéristiques de génération renouvelable, le niveau de congestion et la capacité d'acceptation de l'alimentateur. Ces observations formaient l'état environnemental utilisé pour la prise de décision d'orchestration. Chaque agent choisissait une action conformément à sa politique d'apprentissage par renforcement. Les actions disponibles incluaient la priorisation de l'acceptation par l'alimentateur, la gestion des congestions, la coordination de l'énergie renouvelable, l'équilibrage de charge et la gestion de la tension. L'action sélectionnée était appliquée à l'environnement BT dynamique, après quoi l'état de l'alimentateur était mis à jour.

Une récompense était calculée après chaque action. Une récompense positive était attribuée lorsque l'action sélectionnée améliorait l'acceptation du départ, empêchait la propagation de la congestion, maintenait la conformité de la tension ou améliorait la stabilité du réseau. Une pénalité était appliquée lorsque l'action entraînait ou n'empêchait pas une surcharge du départ, des violations de tension ou des retards d'orchestration. La récompense calculée était utilisée pour mettre à jour la fonction de valeur et la politique de décision de l'agent par optimisation par renforcement. La séquence observation, sélection de l'action, transition de l'environnement, calcul de la récompense et mise à jour de la politique était répétée jusqu'à ce que le critère d'arrêt soit satisfait.

6. Évaluation de la sensibilité à la tension et à la congestion

Après un apprentissage guidé par le renforcement, les sensibilités aux tensions et aux congestions ont été évaluées afin d'identifier les zones fragiles des alimentations électriques et de soutenir les décisions dynamiques d'acceptation des alimentations en cas d'incertitude liée à l'énergie renouvelable.

À chaque intervalle de fonctionnement, les effets des variations de la puissance d'alimentation, de la génération renouvelable et de la demande de charge sur la tension au niveau des nœuds et la congestion du réseau ont été déterminés. Les indices de sensibilité à la tension et à la congestion ont été recalculés à chaque intervalle de fonctionnement simulé, plutôt que d'être dérivés uniquement de conditions statiques du réseau. Les indices de sensibilité pour chaque nœud de l'alimentateur ont été mis à jour en fonction des conditions actuelles du réseau, des variations de la génération renouvelable et de l'état de charge de l'alimentateur. Les valeurs obtenues ont été utilisées pour classer les nœuds de l'alimentateur en vue d'actions d'acceptation de l'alimentateur, de gestion de la congestion et de contrôle de la tension.

L'indice de sensibilité à la tension quantifiait la variation de la tension au nœud résultant d'un changement du flux de puissance active. Une fois les indices de sensibilité à la tension et de sensibilité à la congestion calculés, ils étaient combinés en un score composite de sensibilité pour une priorisation adaptative de l'acceptation des dérivations. La méthode de notation composite est décrite dans le Fichier supplémentaire 1 (Section 5). Les nœuds de dérivation présentant des scores de sensibilité plus élevés se voyaient attribuer des priorités d'orchestration plus élevées lors des opérations de soulagement de congestion, de correction de l'acceptation des dérivations et de régulation de la tension. Les scores de sensibilité étaient recalculés à chaque intervalle de fonctionnement et partagés avec les agents voisins via l'environnement de communication collaborative.

7. Orchestration collaborative de l'acceptation et optimisation adaptative des décisions à chaque intervalle de fonctionnement simulé

Après une évaluation de la sensibilité, une orchestration collaborative de l'acceptation a été effectuée afin de permettre à des agents décentralisés de prendre des décisions coordonnées concernant l'acceptation des alimentations en présence d'incertitudes liées aux énergies renouvelables et de conditions dynamiques de congestion. Les agents ont échangé des états locaux des alimentations, des indices de sensibilité, des alertes de congestion et des priorités de fonctionnement. Chaque agent a évalué indépendamment l'état de son alimentation locale tout en coordonnant ses actions avec les agents voisins afin de soutenir la stabilité globale du réseau.

L'acceptation des départs a été priorisée en fonction de la sensibilité à la tension, de la gravité de la congestion, de la variabilité de la génération renouvelable et de la capacité disponible des départs. Les observations locales tenant compte de la sensibilité ont été agrégées entre les agents, et des actions coordonnées d'acceptation des départs ont été générées. La formulation mathématique du processus d'orchestration collaborative est fournie dans le Fichier supplémentaire 1 (section 6). L'environnement dynamique du réseau BT a été mis en œuvre avec des agents collaboratifs positionnés dans les zones de départ, les points d'intégration de l'énergie renouvelable et les jeux de barres sujets à la congestion, comme décrit dans le Fichier supplémentaire 1 (algorithme 1). À chaque intervalle de fonctionnement, chaque agent observait les paramètres locaux du départ, notamment l'amplitude de la tension, la variation de la génération renouvelable, la charge du départ, le niveau de congestion et la capacité d'acceptation du départ.

Les indices de sensibilité à la tension et de sensibilité à la congestion ont ensuite été calculés afin d'identifier les zones d'alimentation vulnérables à l'instabilité de tension ou à la propagation de la congestion. Ces indices ont été combinés en un score global de sensibilité des alimentations, déterminant la priorité d'acceptation et d'orchestration des alimentations. Des informations locales sur l'état du réseau, les niveaux de congestion, les indicateurs d'instabilité de tension et les priorités d'acceptation ont été échangées entre agents voisins. Sur la base des observations locales et des informations partagées, chaque agent a sélectionné et mis en œuvre une action d'orchestration adaptative. Après chaque action, un rétrosignalement par renforcement a été obtenu à partir de l'environnement dynamique du réseau BT, selon la stabilité des alimentations, la réduction de la congestion, la conformité en tension et l'efficacité d'acceptation des alimentations. Ce rétrosignalement a été utilisé pour mettre à jour la politique de chaque agent par une optimisation fondée sur le renforcement. La fonction objective globale d'orchestration a simultanément fourni un rétrosignalement coordonné pour l'optimisation adaptative au sein de l'ensemble des agents. Les mises à jour des politiques se sont poursuivies jusqu'à ce que les politiques des agents convergent vers une stratégie d'orchestration décentralisée optimale.

8. Validation à grande échelle

La stratégie d'orchestration dynamique a été validée à l'aide du jeu de données FeederBW et du jeu de données du réseau de distribution BT à 236 nœuds, dans des scénarios de fonctionnement caractérisés par une forte pénétration d'énergies renouvelables. La validation a évalué la capacité du cadre d'orchestration décentralisé à gérer l'acceptation dynamique des alimentateurs, l'intermittence des sources renouvelables, la propagation des congestions et l'instabilité de tension dans les systèmes de distribution BT interconnectés. Les scénarios de fonctionnement évalués comprenaient une forte pénétration des énergies renouvelables, des variations de la demande en charge, une propagation dynamique des congestions, des conditions sensibles à la tension et une capacité d'acceptation variable des alimentateurs.

Les performances du cadre ont été évaluées à l'aide du taux d'acceptation des alimentateurs, de l'indice de conformité de tension, du taux de réduction de la congestion, de la latence d'orchestration, de la vitesse de convergence, de l'efficacité de la coordination décentralisée et de la capacité d'intégration des énergies renouvelables. Ces mesures ont été utilisées pour évaluer l'évolutivité, la robustesse, l'adaptabilité et les performances de coordination. Le cadre proposé a été comparé aux approches traditionnelles centralisées d'orchestration des alimentateurs dans des configurations de réseau identiques. Des ensembles de données équivalents, des scénarios de fonctionnement, des conditions d'évaluation et des mesures de performance ont été appliqués aux méthodes comparées.

Tableau 2 résume les ensembles de données, les conditions de fonctionnement, les environnements d'orchestration et les variables de performance utilisés pour la validation expérimentale. L'ensemble de données FeederBW a été utilisé pour évaluer la dynamique de fonctionnement des alimentateurs, l'intermittence des énergies renouvelables, le développement de la congestion, la variation de la charge résidentielle et les fluctuations de tension dans des conditions de réseau basse tension. L'ensemble de données à 236 nœuds basse tension a été utilisé pour évaluer l'orchestration décentralisée dans un réseau interconnecté plus vaste. L'architecture a été validée dans des conditions variables de production d'énergie renouvelable, de demande de charge, de tension et de congestion. La coordination décentralisée et l'optimisation des politiques fondée sur l'apprentissage par renforcement ont été évaluées conjointement à travers les agents intelligents.

Le taux d'acceptation des alimentations, l'indice de conformité de tension, le taux de réduction de la congestion, la vitesse de convergence et la latence d'orchestration ont été utilisés pour quantifier les performances dans des conditions de fonctionnement dynamiques des systèmes d'énergie renouvelable.

Paramètre expérimental	Jeu de données FeederBW	Jeu de données 236-bus BT	Objectif de validation
Type de réseau	Réseau d’alimentation basse tension	Réseau de distribution BT à grande échelle	Évaluation de l’orchestration dynamique
Nombre de nœuds/postes	Multiples nœuds d’alimentation	236 postes	Analyse de la scalabilité
Intégration des énergies renouvelables	Sources photovoltaïques et renouvelables distribuées	Postes à forte pénétration renouvelable	Validation de l’incertitude liée aux renouvelables
Comportement de la demande en charge	Profils dynamiques de charge résidentielle	Variations de charge importantes sur l’alimentation	Orchestration adaptative de la charge
Scénarios de congestion	États de surcharge et de congestion de l’alimentation	Propagation de la congestion sur plusieurs postes	Analyse de la mitigation de la congestion
Conditions de tension	Profils de fluctuation de tension	Conditions sensibles à la tension sur les postes	Évaluation de la conformité en tension
Agents intelligents	Agents d’alimentation distribués	Agents collaboratifs à grande échelle	Analyse de coordination décentralisée
Environnement d’apprentissage	Orchestration pilotée par renforcement	Apprentissage adaptatif multi-agents	Validation de l’optimisation des politiques
Conditions de simulation	Variabilité dynamique des renouvelables	Fonctionnement dynamique à grande échelle	Test d’orchestration à faible latence
Indicateurs de performance	Taux d’acceptation, réduction de la congestion	Conformité en tension, vitesse de convergence	Performance globale de l’orchestration

Tableau 2 : Validation expérimentale à grande échelle. Paramètres expérimentaux utilisés pour évaluer l'évolutivité, l'incertitude liée aux énergies renouvelables et la coordination décentralisée.

Résultats

Toutes les expériences ont été réalisées cinq fois en utilisant différentes graines aléatoires afin de réduire l'influence de l'apprentissage stochastique. Les valeurs moyennes ont été calculées à partir des cinq exécutions. Les mêmes ensembles de données, paramètres de simulation, hyperparamètres, critères d'arrêt et procédures d'évaluation ont été utilisés pour toutes les méthodes. Le contrôle centralisé de la tension (CVC)³³, le contrôle conventionnel multi-agents (CMAC)²¹, la régulation de tension basée sur l'apprentissage par renforcement (RLVR)²⁰, la coordination des ressources énergétiques distribuées (DERC)²⁶ et la gestion de la congestion basée sur la sensibilité (SBCM)³⁴ ont été utilisés comme méthodes de comparaison.

Des comparaisons statistiques entre le cadre proposé et les techniques de référence (CVC, CMAC, RLVR, DERC et SBCM) ont été effectuées indépendamment pour chaque métrique d'évaluation à l'aide d'une analyse de variance à un facteur (ANOVA). Le test a posteriori de Tukey (HSD, honestly significant difference) a été utilisé pour les comparaisons par paires lorsque l'ANOVA révélait des différences statistiquement significatives. Le seuil de significativité statistique a été fixé à p < 0,001. Toutes les analyses statistiques ont été réalisées à l'aide d'une analyse de variance à un facteur, suivie, le cas échéant, d'un test a posteriori de différence significative. L'ANOVA à un facteur a été réalisée à l'aide du module statsmodels.stats.anova. Les valeurs de performance finales convergées provenant de cinq simulations distinctes pour chaque approche ont été utilisées pour les tests de significativité statistique. L'objectif des épisodes intermédiaires d'apprentissage était de visualiser le processus d'apprentissage ; ils n'ont pas été soumis à un test de significativité statistique.

Acquisition des données

Les jeux de données FeederBW et 236-bus de distribution basse tension (BT) ont permis d'évaluer le cadre proposé dans des conditions de fonctionnement complémentaires. Le jeu de données FeederBW fournissait des informations temporelles sur les alimentations, notamment la tension, la génération décentralisée d'énergie renouvelable, la demande en charge, les conditions de congestion et le comportement d'acceptation des alimentations. Il a été utilisé pour évaluer le fonctionnement dynamique des alimentations, l'intermittence des sources renouvelables, les variations de charge résidentielle, la propagation de la congestion et les fluctuations de tension.

Le jeu de données de distribution BT à 236 bus comprenait 236 bus interconnectés et incluait des topologies de dérivation, des régions sensibles à la tension, des conditions de pénétration des énergies renouvelables, des états de flux de puissance et des scénarios de propagation de congestion. Il a été utilisé pour évaluer la coordination décentralisée, l'orchestration adaptative et la scalabilité dans un réseau de distribution interconnecté plus vaste. Tableau 3 et Tableau 4 résument les conditions de validation expérimentale et l'environnement de simulation.

Paramètre de validation	Description
Jeux de données utilisés	Jeu de données FeederBW et jeu de données basse tension à 236 nœuds
Environnement du réseau	Système de distribution dynamique basse tension riche en énergies renouvelables
Sources renouvelables	Générateurs photovoltaïques (PV) et renouvelables distribués
Cadre d'apprentissage	Apprentissage par renforcement multi-agents (MARL)
Stratégie de coordination	Orchestration décentralisée collaborative
Scénarios de fonctionnement	Intermittence des sources renouvelables, fluctuations de la charge, propagation des congestions
Nombre d'agents intelligents	64 agents collaboratifs distribués au niveau des alimentateurs
Objectif de validation	Optimisation adaptative de l'acceptation par alimentateur
Processus d'évaluation	Orchestration en temps réel et coordination tenant compte des sensibilités
Analyse comparative	Comparaison avec les méthodes conventionnelles de coordination centralisée

Tableau 3 : Paramètres de validation environnementaux. Paramètres de validation utilisés pour évaluer l'orchestration adaptative dans des conditions de fonctionnement dynamiques à basse tension.

Composant de la simulation	Configuration
Environnement processeur	Système de traitement multi-cœur haute performance
Cadre de programmation	Python 3.11.9
Cadre d'apprentissage	Apprentissage par renforcement multi-agents (MARL)
Algorithme d'apprentissage	Apprentissage par renforcement multi-agents basé sur Q-learning
Architecture du réseau neuronal	Réseau neuronal entièrement connecté avec deux couches cachées (128 et 64 neurones, activation ReLU)
Optimiseur	Optimiseur Adam
Taux d'apprentissage (α)	0,001
Facteur d'actualisation (γ)	0,99
Mécanisme de relecture	Mémoire tampon de relecture d'expérience (capacité : 100 000 transitions)
Taille du mini-lot	64
Politique d'exploration	Exploration ε-gloutonne (ε décroît de 1,0 à 0,01)
Épisodes d'entraînement	500
Critère d'arrêt	Nombre maximal d'épisodes d'entraînement atteint ou convergence de la récompense cumulative
Modélisation du réseau	Simulation dynamique d'un réseau d'alimentation BT
Simulation des renouvelables	Profils variables de production renouvelable
Coordination des agents	Communication collaborative distribuée
Traitement des données	Traitement en temps réel synchronisé des états des alimentations
Méthode d'optimisation	Apprentissage adaptatif de politique basé sur le renforcement
Plateforme expérimentale	Simulation à grande échelle utilisant le jeu de données FeederBW et le jeu de données du réseau de distribution BT à 236 nœuds
Surveillance des performances	Taux d'acceptation des alimentations (FAR), Indice de conformité de tension (VCI), Taux de réduction de la congestion (CRR), Latence d'orchestration (OL), Vitesse de convergence (CS) et Efficacité de coordination décentralisée (DCE)
Poids de la récompense (β)	0,3
Poids de la récompense (δ)	0,25
Poids objectif (ω₁)	0,30 (Acceptation des alimentations)
Poids objectif (ω₂)	0,25 (Réduction de la congestion)
Poids objectif (ω₃)	0,25 (Conformité de tension)
Poids objectif (ω₄)	0,20 (Latence d'orchestration)
Taux d'apprentissage de la politique (η)	0,001
Paramètre de régularisation / équilibrage (λ)	0,1

Tableau 4 : Environnement de simulation. Paramètres de simulation utilisés pour les expériences d'orchestration des alimenteurs basées sur le renforcement.

Prétraitement des données

Les données synchronisées et normalisées ont permis une comparaison cohérente entre le cadre proposé et les méthodes de référence. Les mêmes états prétraités des alimentateurs, profils de production renouvelable, conditions de demande de charge, conditions de tension et scénarios de congestion ont été utilisés dans toutes les évaluations. Cette structure d'entrée commune a réduit les différences dues à la préparation des jeux de données et a permis d'attribuer les différences de performance observées aux méthodes d'orchestration évaluées.

Modélisation dynamique de réseaux basse tension

Le modèle dynamique du réseau BT représentait les variations de la production renouvelable, de la demande des consommateurs, des conditions de tension, de la charge des alimentateurs et de la propagation des congestions. Dans ces conditions, le cadre proposé a maintenu l'acceptation des alimentateurs tout en réagissant à des états de fonctionnement sensibles à la tension et à la congestion. Le modèle a permis l'évaluation dans des scénarios de production renouvelable fluctuante, de charges consommateurs variables et de conditions de réseau sujettes à la congestion. Dans l'ensemble de ces conditions, les agents collaboratifs ont réalisé la priorisation des alimentateurs, une coordination dépendante de la tension, l'atténuation des congestions et l'intégration des énergies renouvelables, sans contrôle centralisé.

Initialisation de l'environnement multi-agents

L'agencement décentralisé des agents a permis une observation locale et une prise de décision coordonnée entre les zones d'alimentation et les jonctions du réseau. Les agents ont échangé des informations sur l'état des alimentations et des mesures de sensibilité avec les agents voisins tout en sélectionnant indépendamment des actions d'orchestration. Le comportement coordonné observé a montré que l'agencement distribué permettait la priorisation des alimentations, la coordination des charges, la gestion de la tension et la réponse aux congestions. La configuration décentralisée a également réduit la dépendance à un contrôleur central unique et a soutenu un fonctionnement coordonné sur l'ensemble du réseau de 236 nœuds.

Apprentissage de l'agent guidé par renforcement

La politique pilotée par le renforcement s'est améliorée au cours de la période d'apprentissage en matière d'acceptation des alimentations, de conformité en tension, de réduction de la congestion, de latence d'orchestration et de vitesse de convergence. Figure 3 compare le taux d'acceptation des alimentations (FAR) du cadre proposé avec les méthodes CVC, CMAC, RLVR, DERC et SBCM. La méthode CVC a produit le FAR le plus faible, passant de 62 % à 70 %. CMAC et DERC ont atteint des valeurs maximales de FAR de 75 % et 78 %, respectivement. RLVR et SBCM ont atteint 83 % et 81 %, respectivement. Le cadre proposé a augmenté le FAR de 72 % au stade initial de l'apprentissage à 97 % au stade ultérieur. Ce résultat montre que le processus d'apprentissage par renforcement collaboratif permet une acceptation adaptative des alimentations face à l'incertitude liée aux énergies renouvelables et aux conditions variables de fonctionnement du réseau basse tension.

Figure 3: Taux d'acceptation des alimentateurs (FAR). Comparaison du FAR entre le cadre proposé et les méthodes de coordination de base des alimentateurs. Les valeurs sont exprimées en moyenne ± écart-type en comparant le cadre proposé à chaque méthode de référence sur cinq simulations indépendantes. La significativité statistique a été évaluée à p < 0,001, avec des intervalles de confiance à 95 %. Abréviations : FAR, Taux d'acceptation des alimentateurs ; CVC, Contrôle centralisé de la tension ; CMAC, Contrôle conventionnel multi-agents ; RLVR, Régulation de tension basée sur l'apprentissage par renforcement ; DERC, Coordination des ressources énergétiques distribuées ; SBCM, Gestion de la congestion basée sur la sensibilité. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 4 présente l'indice de conformité de tension (VCI). Le CVC a augmenté de 70 % à 77 %, tandis que le CMAC et le DERC ont atteint environ 81 % et 84 %, respectivement. Le RLVR et le SBCM ont atteint 88 % et 86 %, respectivement. Le cadre proposé est passé de 78 % au début de l'apprentissage à environ 98 % à la convergence. Le VCI plus élevé indique que l'approche proposée maintient la conformité de tension plus efficacement que les méthodes comparatives en présence de génération renouvelable intermittente et de demande de charge variable.

Figure 4 : Indice de conformité de tension (VCI). Analyse comparative du VCI dans des conditions dynamiques de fonctionnement à basse tension. Les valeurs sont exprimées en moyenne ± écart-type en comparant le cadre proposé à chaque méthode de référence sur cinq simulations indépendantes, avec des intervalles de confiance à 95 % et une évaluation de la significativité statistique à p < 0,001. Abbréviations : VCI, Indice de conformité de tension ; CVC, Contrôle centralisé de la tension ; CMAC, Contrôle multi-agents conventionnel ; RLVR, Régulation de tension basée sur l'apprentissage par renforcement ; DERC, Coordination des ressources énergétiques distribuées ; SBCM, Gestion de la congestion basée sur la sensibilité. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

La carte thermique VCI de la Figure 5 a montré l'évolution de la conformité de tension au cours des épisodes d'apprentissage. Le cadre proposé a atteint des valeurs comprises entre 95 % et 98 % lors des itérations ultérieures. La CVC est restée comprise entre 70 % et 77 %, tandis que la RLVR et la SBCM ont atteint environ 88 % et 86 %, respectivement. La carte thermique a donc montré que le cadre proposé maintenait la performance de conformité de tension la plus élevée durant les dernières phases de l'apprentissage.

Figure 5: Carte thermique de l'indice de conformité de tension (ICV). Carte thermique illustrant la performance de l'ICV au cours des itérations d'apprentissage et selon différentes méthodes de coordination des alimentations. L'échelle de couleurs représente l'ampleur de l'indice de conformité de tension, les couleurs plus claires indiquant des valeurs d'ICV plus faibles et les couleurs plus foncées des valeurs d'ICV plus élevées. Abréviations : ICV, indice de conformité de tension ; CVC, commande centralisée de tension ; CMAC, commande conventionnelle multi-agents ; RLVR, régulation de tension basée sur l'apprentissage par renforcement ; DERC, coordination des ressources énergétiques distribuées ; SBCM, gestion de la congestion basée sur la sensibilité. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Tableau 5 présente le taux de réduction de la congestion (CRR). Le CVC est passé de 48 % à 63 %. Le CMAC et le DERC ont atteint environ 73 % et 75 %, respectivement, tandis que le RLVR a atteint 80 % et le SBCM 82 %. Le cadre proposé est passé de 64 % au début de l'apprentissage à environ 96 % après convergence. Par rapport aux valeurs finales des méthodes comparatives, le cadre proposé a amélioré le CRR d'environ 33 % par rapport au CVC, de 23 % par rapport au CMAC, de 16 % par rapport au RLVR, de 21 % par rapport au DERC et de 14 % par rapport au SBCM. Ces observations montrent que la politique d'orchestration collaborative réduit la propagation de la congestion plus efficacement que les méthodes comparatives centralisées, multi-agents conventionnelles, de régulation de tension, de ressources distribuées et basées sur la sensibilité. Figure 6 compare la latence d'orchestration (OL). La latence d'orchestration indiquée correspond au temps d'exécution effectif mesuré requis par l'algorithme d'orchestration proposé lors de la simulation sur la plateforme matérielle indiquée. Elle ne doit pas être interprétée comme le temps de fonctionnement physique d'un réseau de distribution déployé. Le cadre proposé a réduit la latence OL de 220 ms à 98 ms. À la convergence, le CVC, le CMAC, le RLVR, le DERC et le SBCM ont produit des latences de 283 ms, 253 ms, 215 ms, 242 ms et 205 ms, respectivement. Le cadre proposé a donc réduit la latence d'environ 65 %, 61 %, 54 %, 59 % et 52 % par rapport au CVC, au CMAC, au RLVR, au DERC et au SBCM, respectivement. Une latence plus faible indique qu'une collaboration décentralisée permet des décisions plus rapides en matière d'orchestration des alimentations.

Itération d'entraînement	CVC (%)(Moyenne ± ÉT)	CMAC (%)(Moyenne ± ÉT)	RLVR (%)(Moyenne ± ÉT)	DERC (%)(Moyenne ± ÉT)	SBCM (%)(Moyenne ± ÉT)	Méthode proposée (%)(Moyenne ± ÉT)
1	48,0 ± 0,5	52,0 ± 0,5	56,0 ± 0,4	54,0 ± 0,5	58,0 ± 0,4	64,0 ± 0,3
2	50,0 ± 0,5	54,0 ± 0,5	59,0 ± 0,4	56,0 ± 0,5	61,0 ± 0,4	68,0 ± 0,3
3	52,0 ± 0,5	57,0 ± 0,4	62,0 ± 0,4	59,0 ± 0,5	64,0 ± 0,4	72,0 ± 0,3
4	54,0 ± 0,4	60,0 ± 0,4	65,0 ± 0,4	62,0 ± 0,4	67,0 ± 0,4	76,0 ± 0,2
5	56,0 ± 0,4	62,0 ± 0,4	68,0 ± 0,3	64,0 ± 0,4	70,0 ± 0,3	80,0 ± 0,2
6	58,0 ± 0,4	65,0 ± 0,4	71,0 ± 0,3	67,0 ± 0,4	73,0 ± 0,3	84,0 ± 0,2
7	60,0 ± 0,4	67,0 ± 0,4	74,0 ± 0,3	69,0 ± 0,3	76,0 ± 0,3	87,0 ± 0,2
8	61,0 ± 0,4	69,0 ± 0,3	76,0 ± 0,3	71,0 ± 0,3	78,0 ± 0,3	90,0 ± 0,2
9	62,0 ± 0,4	71,0 ± 0,3	78,0 ± 0,3	73,0 ± 0,3	80,0 ± 0,3	93,0 ± 0,2
10	63,0 ± 0,4	73,0 ± 0,3	80,0 ± 0,3	75,0 ± 0,3	82,0 ± 0,3	96,0 ± 0,2

Tableau 5 : Taux de réduction de la congestion (CRR) : Moyenne ± ÉT du taux de réduction de la congestion (CRR) obtenue à partir de cinq simulations indépendantes comparant le cadre proposé aux méthodes de base d'orchestration par alimentation. Abréviations : CRR, taux de réduction de la congestion ; CVC, commande centralisée de tension ; CMAC, commande conventionnelle multi-agents ; RLVR, régulation de tension basée sur l'apprentissage par renforcement ; DERC, coordination des ressources énergétiques distribuées ; SBCM, gestion de la congestion basée sur la sensibilité.

Figure 6: Latence d'orchestration (OL). Analyse comparative de la latence d'orchestration lors d'une coordination décentralisée adaptative des alimentateurs. Les valeurs sont présentées sous forme de moyenne ± écart-type en comparant le cadre proposé à chaque méthode de référence à partir de cinq simulations indépendantes, avec des intervalles de confiance à 95 % et une évaluation de la significativité statistique à p < 0,001. Abréviations : OL, Latence d'orchestration ; CVC, Contrôle centralisé de la tension ; CMAC, Contrôle conventionnel multi-agents ; RLVR, Régulation de la tension basée sur l'apprentissage par renforcement ; DERC, Coordination des ressources énergétiques distribuées ; SBCM, Gestion de la congestion basée sur la sensibilité. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 7 présente la vitesse de convergence (CS). Le CVC est passé de 42 % à 67 % après 20 épisodes d'apprentissage. Le CMAC et le DERC ont atteint environ 74 % et 79 %, respectivement. Le RLVR a atteint 87 %, et le SBCM environ 90 %. Le cadre proposé est passé de 58 % au premier épisode à 98,5 % à la convergence, dépassant 93 % dès le dixième épisode. Le cadre proposé a amélioré les performances finales de convergence de 31,5 % par rapport au CVC, de 24,5 % par rapport au CMAC, de 11,5 % par rapport au RLVR, de 19,5 % par rapport au DERC et de 8,5 % par rapport au SBCM. Ces résultats montrent que la politique proposée atteint des performances stables d'orchestration plus rapidement que les méthodes comparatives.

Figure 7 : Vitesse de convergence (CS). Courbes de convergence illustrant l'efficacité de l'apprentissage adaptatif et la rapidité de convergence de l'orchestration selon les méthodes évaluées. Abréviations : CS, Vitesse de convergence ; CVC, Contrôle centralisé de la tension ; CMAC, Contrôle multi-agents conventionnel ; RLVR, Régulation de tension basée sur l'apprentissage par renforcement ; DERC, Coordination des ressources énergétiques distribuées ; SBCM, Gestion de la congestion basée sur la sensibilité. Veuillez cliquer ici pour afficher une version agrandie de cette figure.

Orchestration collaborative de l'acceptation et optimisation adaptative à faible latence des décisions

Figure 8 présente l'efficacité de coordination décentralisée (DCE). La CVC a produit la DCE la plus faible, à 68 %. La CMAC a atteint 75 %, la DERC 79 %, la RLVR 84 % et la SBCM 88 %. Le cadre proposé a atteint une DCE de 97 %. Le cadre proposé dépasse la CVC de 29 points de pourcentage, la CMAC de 22 points de pourcentage, la RLVR de 13 points de pourcentage, la DERC de 18 points de pourcentage et la SBCM de 9 points de pourcentage. Ce résultat montre que l'échange d'informations locales, la coordination entre agents voisins et l'optimisation de politique décentralisée permettent une coordination plus efficace que les méthodes comparatives.

Figure 8: Efficacité de la coordination décentralisée (DCE). Analyse comparative de la DCE lors de la collaboration entre agents intelligents. Les valeurs sont exprimées en moyenne ± écart-type en comparant le cadre proposé à chaque méthode de référence sur cinq simulations indépendantes, avec des intervalles de confiance à 95 % et une signification statistique évaluée à p < 0,001. Abréviations : DCE, Efficacité de la coordination décentralisée ; CVC, Contrôle centralisé de la tension ; CMAC, Contrôle conventionnel multi-agents ; RLVR, Régulation de tension basée sur l'apprentissage par renforcement ; DERC, Coordination des ressources énergétiques distribuées ; SBCM, Gestion de la congestion basée sur la sensibilité. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 9 et Tableau 6 présentent la capacité d'accommodation des énergies renouvelables (RAC). La CVC est passée de 52 % à 63 %. La CMAC et la DERC ont atteint environ 72 % et 76 %, respectivement. La RLVR a atteint environ 83 %, et la SBCM a atteint 86 %. Le cadre proposé est passé de 70 % au début de l'apprentissage à 97 % à la convergence. Le cadre proposé dépasse la CVC de 34 points de pourcentage, la CMAC de 25 points de pourcentage, la RLVR de 14 points de pourcentage, la DERC de 21 points de pourcentage et la SBCM de 11 points de pourcentage. Ces résultats montrent que l'approche d'orchestration proposée permet d'accommoder une proportion plus élevée de production renouvelable tout en maintenant le fonctionnement du circuit, la performance de la tension et la prise en compte des congestions.

Figure 9: Capacité d'accommodation des énergies renouvelables (RAC). Analyse comparative de la RAC dans des systèmes d'alimentation riches en énergies renouvelables. Les valeurs sont exprimées en moyenne ± écart-type, en comparant le cadre proposé à chaque méthode de référence sur cinq simulations indépendantes, avec des intervalles de confiance à 95 % et une signification statistique évaluée à p < 0,001. Abréviations : RAC, Capacité d'accommodation des énergies renouvelables ; CVC, Contrôle centralisé de la tension ; CMAC, Contrôle multi-agents conventionnel ; RLVR, Régulation de la tension basée sur l'apprentissage par renforcement ; DERC, Coordination des ressources énergétiques distribuées ; SBCM, Gestion de la congestion basée sur la sensibilité. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Itération d'entraînement	CVC (%) (Moyenne ± ÉT)	CMAC (%) (Moyenne ± ÉT)	RLVR (%) (Moyenne ± ÉT)	DERC (%) (Moyenne ± ÉT)	SBCM (%) (Moyenne ± ÉT)	Méthode proposée (%) (Moyenne ± ÉT)
1	52,0 ± 0,5	58,0 ± 0,5	64,0 ± 0,4	60,0 ± 0,5	66,0 ± 0,4	70,0 ± 0,3
2	54,0 ± 0,5	60,0 ± 0,5	67,0 ± 0,4	62,0 ± 0,5	69,0 ± 0,4	74,0 ± 0,3
3	55,0 ± 0,4	62,0 ± 0,4	70,0 ± 0,4	64,0 ± 0,4	72,0 ± 0,4	78,0 ± 0,3
4	57,0 ± 0,4	64,0 ± 0,4	73,0 ± 0,3	66,0 ± 0,4	75,0 ± 0,3	82,0 ± 0,2
5	58,0 ± 0,4	66,0 ± 0,4	75,0 ± 0,3	68,0 ± 0,4	77,0 ± 0,3	86,0 ± 0,2
6	59,0 ± 0,4	67,0 ± 0,4	77,0 ± 0,3	70,0 ± 0,3	79,0 ± 0,3	89,0 ± 0,2
7	60,0 ± 0,4	68,0 ± 0,3	79,0 ± 0,3	72,0 ± 0,3	81,0 ± 0,3	91,0 ± 0,2
8	61,0 ± 0,4	69,0 ± 0,3	80,0 ± 0,3	73,0 ± 0,3	83,0 ± 0,3	93,0 ± 0,2
9	62,0 ± 0,4	70,0 ± 0,3	81,0 ± 0,3	74,0 ± 0,3	84,0 ± 0,3	95,0 ± 0,2
10	63,0 ± 0,4	72,0 ± 0,3	83,0 ± 0,3	76,0 ± 0,3	86,0 ± 0,3	97,0 ± 0,2

Tableau 6 : Capacité d'hébergement des énergies renouvelables (RAC) : Moyenne ± ÉT de la capacité d'hébergement des énergies renouvelables (RAC) issue de cinq simulations indépendantes comparant le cadre proposé aux méthodes de pilotage de départements de base. Abréviations : RAC, capacité d'hébergement des énergies renouvelables ; CVC, commande centralisée de tension ; CMAC, commande conventionnelle multi-agents ; RLVR, régulation de tension basée sur l'apprentissage par renforcement ; DERC, coordination des ressources énergétiques distribuées ; SBCM, gestion de la congestion basée sur la sensibilité.

Évaluation de la sensibilité à la tension et à la congestion

Figure 10 présente la stabilité de la sensibilité en tension (VSS). La CVC a augmenté de 60 % à 69 %. La CMAC et la DERC ont atteint environ 76 % et 78 %, respectivement, tandis que la RLVR a atteint 84 %. Le cadre proposé est passé de 74 % au début de l'apprentissage à 98 % après convergence. Le cadre proposé a dépassé la CVC de 29 points de pourcentage, la CMAC de 22 points de pourcentage, la RLVR de 14 points de pourcentage, la DERC de 20 points de pourcentage et la SBCM de 12 points de pourcentage. Ces résultats ont montré que le cadre tenant compte de la sensibilité maintenait des performances plus robustes en ce qui concerne les alimentations sensibles à la tension, en présence d'intermittence des énergies renouvelables, de demandes de charge variables et de congestion dynamique.

Figure 10 : Stabilité de la Sensibilité à la Tension (VSS). Analyse comparative de la stabilité de la sensibilité à la tension durant l'orchestration adaptative prenant en compte la tension. Les valeurs sont présentées sous forme de moyenne ± écart-type en comparant le cadre proposé à chaque méthode de référence sur cinq simulations indépendantes, avec des intervalles de confiance à 95 % et une évaluation de la significativité statistique à p < 0,001. Abréviations : VSS, Stabilité de la Sensibilité à la Tension ; CVC, Contrôle Centralisé de la Tension ; CMAC, Contrôle Conventionnel Multi-Agents ; RLVR, Régulation de la Tension Basée sur l'Apprentissage par Renforcement ; DERC, Coordination des Ressources Énergétiques Distribuées ; SBCM, Gestion de la Congestion Basée sur la Sensibilité. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 11 présente l'indice de sensibilité à la congestion (Congestion Sensitivity Index, CSI). La CVC est passée de 52 % à 63 %. La CMAC et la DERC ont atteint respectivement 72 % et 76 %. La RLVR a atteint environ 83 %, et la SBCM environ 86 %. Le cadre proposé est passé de 72 % au début de l'apprentissage à environ 98 % à la fin de l'apprentissage. Le cadre proposé a dépassé la CVC d'environ 35 points de pourcentage, la CMAC de 26 points de pourcentage, la RLVR de 15 points de pourcentage, la DERC de 22 points de pourcentage et la SBCM de 12 points de pourcentage. La carte thermique a montré que l'approche proposée maintenait la performance la plus élevée en termes de sensibilité à la congestion durant les derniers épisodes d'apprentissage.

Figure 11 : Carte thermique de l'indice de sensibilité à la congestion (CSI). Carte thermique illustrant la performance en termes de sensibilité à la congestion selon les étapes d'apprentissage et les méthodes de coordination des alimentations. L'échelle de couleurs représente l'ampleur de l'indice de sensibilité à la congestion, les couleurs plus claires indiquant des valeurs de CSI plus faibles et les couleurs plus foncées des valeurs de CSI plus élevées. Abréviations : CSI, indice de sensibilité à la congestion ; CVC, commande centralisée de tension ; CMAC, commande conventionnelle multi-agents ; RLVR, régulation de tension basée sur l'apprentissage par renforcement ; DERC, coordination des ressources énergétiques distribuées ; SBCM, gestion de la congestion basée sur la sensibilité. Veuillez cliquer ici pour afficher une version agrandie de cette figure.

Validation à grande échelle

Figure 12 et Tableau 7 présentent l'indice de stabilité des alimentations (FSI). La méthode CVC a produit un FSI moyen de 64,7 %, tandis que les méthodes CMAC et DERC ont produit des moyennes de 72,5 % et 76,0 %, respectivement. La méthode RLVR a produit un FSI moyen de 81,5 %. Le cadre proposé a atteint 97 % de stabilité de tension, 96 % de contrôle de congestion, 95 % de capacité d'intégration des énergies renouvelables, 94 % d'efficacité d'équilibrage de charge, 98 % d'efficacité de coordination et 97 % de rapidité de réponse. Ces valeurs composantes ont produit un FSI moyen d'environ 96,2 %. Le cadre proposé a amélioré le FSI moyen d'environ 31,5 points de pourcentage par rapport à CVC, de 23,7 points de pourcentage par rapport à CMAC, de 14,7 points de pourcentage par rapport à RLVR, de 20,2 points de pourcentage par rapport à DERC, et de 11,7 points de pourcentage par rapport à SBCM. Les valeurs équilibrées des composants ont montré que le cadre maintenait des performances dans les domaines de la stabilité de tension, de la gestion de la congestion, de l'intégration des énergies renouvelables, de l'équilibrage de charge, de l'efficacité de coordination et de la rapidité de réponse. Pour chaque simulation, la moyenne arithmétique des six composantes de performance — stabilité de tension, contrôle de congestion, intégration des énergies renouvelables, équilibrage de charge, efficacité de coordination et rapidité de réponse — a été utilisée pour déterminer le FSI global. Les cinq simulations distinctes ont été utilisées pour calculer la moyenne et l'écart-type indiqués.

Figure 12: Indice de stabilité des alimentations (FSI). Comparaison sous forme de graphique radar de l'indice de stabilité des alimentations pour le cadre proposé et les méthodes de référence, selon six composantes de performance : stabilité de la tension, contrôle de la congestion, intégration des énergies renouvelables, équilibrage de charge, efficacité de la coordination et rapidité de réponse. Des valeurs plus élevées indiquent une meilleure performance pour chaque composante. Abréviations : FSI, indice de stabilité des alimentations ; CVC, contrôle centralisé de la tension ; CMAC, contrôle conventionnel multi-agents ; RLVR, régulation de la tension basée sur l'apprentissage par renforcement ; DERC, coordination des ressources énergétiques distribuées ; SBCM, gestion de la congestion basée sur la sensibilité. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Paramètre d'évaluation	CVC (%) (Moyenne ± ÉT)	CMAC (%) (Moyenne ± ÉT)	RLVR (%) (Moyenne ± ÉT)	DERC (%) (Moyenne ± ÉT)	SBCM (%) (Moyenne ± ÉT)	Méthode proposée (%) (Moyenne ± ÉT)
Stabilité de tension	68,0 ± 0,6	74,0 ± 0,5	82,0 ± 0,4	77,0 ± 0,5	86,0 ± 0,3	97,0 ± 0,2
Contrôle de la congestion	64,0 ± 0,6	71,0 ± 0,5	79,0 ± 0,4	74,0 ± 0,5	84,0 ± 0,3	96,0 ± 0,2
Intégration des énergies renouvelables	62,0 ± 0,5	70,0 ± 0,5	81,0 ± 0,4	76,0 ± 0,4	83,0 ± 0,3	95,0 ± 0,2
Équilibrage de charge	66,0 ± 0,5	73,0 ± 0,4	80,0 ± 0,4	75,0 ± 0,4	82,0 ± 0,3	94,0 ± 0,2
Efficacité de coordination	65,0 ± 0,5	75,0 ± 0,4	83,0 ± 0,3	78,0 ± 0,4	87,0 ± 0,3	98,0 ± 0,2
Vitesse de réponse	63,0 ± 0,5	72,0 ± 0,4	84,0 ± 0,3	76,0 ± 0,4	85,0 ± 0,3	97,0 ± 0,2
Score moyen FSI	64,7 ± 0,5	72,5 ± 0,5	81,5 ± 0,4	76,0 ± 0,4	84,5 ± 0,3	96,2 ± 0,2

Tableau 7 : Indice de stabilité du réseau (FSI) : Moyenne ± ÉT de l'indice de stabilité du réseau (FSI) obtenue à partir de cinq simulations indépendantes basées sur la stabilité de tension, la gestion de la congestion, l'intégration des énergies renouvelables, l'équilibrage de charge, l'efficacité de la coordination et la rapidité de réponse. Abréviations : FSI, indice de stabilité du réseau ; CVC, commande centralisée de tension ; CMAC, commande multi-agents conventionnelle ; RLVR, régulation de tension basée sur l'apprentissage par renforcement ; DERC, coordination des ressources énergétiques distribuées ; SBCM, gestion de la congestion basée sur la sensibilité.

Figure 13 présente l'efficacité de l'équilibrage de charge (LBE). Le CVC a atteint une efficacité globale de l'équilibrage de charge d'environ 68 %, composée de 42 % de répartition équilibrée de la charge, 18 % de stabilité modérée de la charge et 8 % d'équilibrage adaptatif dynamique. Le CMAC et le DERC ont obtenu des valeurs globales d'environ 80 % et 86 %, respectivement. Le RLVR a atteint environ 92 %, et le SBCM environ 96 %. Le cadre proposé a atteint une efficacité globale de l'équilibrage de charge d'environ 98 %, composée de 72 % de répartition équilibrée de la charge, 20 % de stabilité modérée de la charge et 6 % d'équilibrage adaptatif dynamique. Ce résultat montre que l'approche proposée maintient la performance d'équilibrage de charge globale la plus élevée parmi les méthodes évaluées.

Figure 13: Efficacité de l'équilibrage de charge (LBE). Comparaison sous forme de diagramme en barres empilées de l'efficacité de l'équilibrage de charge pour le cadre proposé et les méthodes de référence. Chaque barre empilée comprend trois composantes de performance : Répartition équilibrée de la charge, Stabilité sous charge modérée, et Équilibrage dynamique adaptatif, dont les valeurs combinées représentent l'EBT global pour chaque méthode. Des valeurs totales plus élevées indiquent une meilleure performance d'équilibrage de charge. Abréviations : LBE, efficacité de l'équilibrage de charge ; CVC, commande centralisée de tension ; CMAC, commande conventionnelle multi-agents ; RLVR, régulation de tension basée sur l'apprentissage par renforcement ; DERC, coordination des ressources énergétiques distribuées ; SBCM, gestion de la congestion basée sur la sensibilité. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 14 présente l'efficacité de l'utilisation des énergies renouvelables (RUE). Le CVC a augmenté de 50 % à 61 %. Le CMAC et le DERC ont atteint respectivement 70 % et 75 %. Le RLVR a atteint 82 %, et le SBCM 86 %. Le cadre proposé est passé de 72 % au début de l'apprentissage à environ 98 % à la convergence. Le cadre proposé dépasse le CVC d'environ 37 points de pourcentage, le CMAC de 28 points de pourcentage, le RLVR de 16 points de pourcentage, le DERC de 23 points de pourcentage et le SBCM de 12 points de pourcentage. La RUE plus élevée indique que la politique d'orchestration proposée utilise une proportion plus importante de la production renouvelable disponible sous des conditions variables de charge et de congestion.

Figure 14 : Efficacité d'utilisation des énergies renouvelables (RUE). Analyse comparative de la RUE lors de l'orchestration de circuits basse tension. Les valeurs sont présentées sous forme de moyenne ± écart-type en comparant le cadre proposé à chaque méthode de référence sur cinq simulations indépendantes, avec des intervalles de confiance à 95 % et une évaluation de la significativité statistique à p < 0,001. Abréviations : RUE, Efficacité d'utilisation des énergies renouvelables ; CVC, Contrôle centralisé de la tension ; CMAC, Contrôle conventionnel multi-agents ; RLVR, Régulation de tension basée sur l'apprentissage par renforcement ; DERC, Coordination des ressources énergétiques distribuées ; SBCM, Gestion de la congestion basée sur la sensibilité. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Figure 15 et Tableau 8 présentent la précision décisionnelle adaptative (ADA). Le cadre proposé est passé de 78 % à 99 %. CVC, CMAC, RLVR, DERC et SBCM ont convergé respectivement vers 68 %, 76 %, 86 %, 79 % et 88 %. Le cadre proposé dépasse CVC d'environ 31 points de pourcentage, CMAC de 23 points de pourcentage, RLVR de 13 points de pourcentage, DERC de 20 points de pourcentage et SBCM de 11 points de pourcentage. La valeur plus élevée d'ADA indique que les agents collaboratifs ont sélectionné des décisions d'orchestration plus précises dans des conditions de fonctionnement LV riches en énergies renouvelables.

Figure 15: Précision décisionnelle adaptative (ADA). Analyse comparative de l'ADA pour le cadre d'orchestration proposé et les méthodes de référence. Les valeurs sont présentées sous forme de moyenne ± écart-type en comparant le cadre proposé à chaque méthode de référence sur cinq simulations indépendantes, avec des intervalles de confiance à 95 % et une évaluation de la signification statistique à p < 0,001. Abréviations : ADA, Précision décisionnelle adaptative ; CVC, Contrôle centralisé de la tension ; CMAC, Contrôle multi-agents conventionnel ; RLVR, Régulation de tension basée sur l'apprentissage par renforcement ; DERC, Coordination des ressources énergétiques distribuées ; SBCM, Gestion de la congestion basée sur la sensibilité. Veuillez cliquer ici pour visualiser une version agrandie de cette figure.

Époque d'entraînement	CVC (%) (Moyenne ± ÉT)	CMAC (%) (Moyenne ± ÉT)	RLVR (%) (Moyenne ± ÉT)	DERC (%) (Moyenne ± ÉT)	SBCM (%) (Moyenne ± ÉT)	Méthode proposée (%) (Moyenne ± ÉT)
1	58,0 ± 0,5	64,0 ± 0,5	70,0 ± 0,4	66,0 ± 0,5	72,0 ± 0,4	78,0 ± 0,3
2	60,0 ± 0,5	66,0 ± 0,5	73,0 ± 0,4	68,0 ± 0,5	75,0 ± 0,4	82,0 ± 0,3
3	61,0 ± 0,4	68,0 ± 0,4	76,0 ± 0,4	70,0 ± 0,4	78,0 ± 0,4	86,0 ± 0,2
4	62,0 ± 0,4	70,0 ± 0,4	78,0 ± 0,3	72,0 ± 0,4	80,0 ± 0,3	89,0 ± 0,2
5	63,0 ± 0,4	71,0 ± 0,4	80,0 ± 0,3	74,0 ± 0,4	82,0 ± 0,3	91,0 ± 0,2
6	64,0 ± 0,4	72,0 ± 0,4	82,0 ± 0,3	75,0 ± 0,3	84,0 ± 0,3	93,0 ± 0,2
7	65,0 ± 0,4	73,0 ± 0,3	83,0 ± 0,3	76,0 ± 0,3	85,0 ± 0,3	95,0 ± 0,2
8	66,0 ± 0,4	74,0 ± 0,3	84,0 ± 0,3	77,0 ± 0,3	86,0 ± 0,3	96,0 ± 0,2
9	67,0 ± 0,4	75,0 ± 0,3	85,0 ± 0,3	78,0 ± 0,3	87,0 ± 0,3	97,0 ± 0,2
10	68,0 ± 0,4	76,0 ± 0,3	86,0 ± 0,3	79,0 ± 0,3	88,0 ± 0,3	99,0 ± 0,2

Tableau 8 : Précision des décisions adaptatives (ADA) : Moyenne ± ÉT de la précision des décisions adaptatives (ADA) issue de cinq exécutions indépendantes de simulation comparant le cadre proposé d'orchestration intelligente des alimentateurs aux méthodes de référence. Abréviations : ADA, précision des décisions adaptatives ; CVC, commande centralisée de tension ; CMAC, commande conventionnelle multi-agents ; RLVR, régulation de tension basée sur l'apprentissage par renforcement ; DERC, coordination des ressources énergétiques distribuées ; SBCM, gestion de la congestion basée sur la sensibilité.

Tableau 9 présente l'amélioration de la fiabilité du système (SRI). Le CVC est passé de 60 % à 69 %. Le CMAC a atteint environ 78 %, le DERC environ 81 %, le RLVR environ 86 % et le SBCM environ 88 %. Le cadre proposé est passé de 80 % en début d'apprentissage à environ 99 % à la convergence. Le cadre proposé dépasse le CVC d'environ 30 points de pourcentage, le CMAC de 21 points de pourcentage, le RLVR de 13 points de pourcentage, le DERC de 18 points de pourcentage et le SBCM de 11 points de pourcentage. La SRI plus élevée indique que le cadre proposé maintient la continuité de l'alimentation, la stabilité de la tension, la gestion de la congestion et l'intégration adaptative des énergies renouvelables de manière plus efficace que les méthodes comparatives.

Itération d'entraînement	CVC (%) (Moyenne ± ÉT)	CMAC (%) (Moyenne ± ÉT)	RLVR (%) (Moyenne ± ÉT)	DERC (%) (Moyenne ± ÉT)	SBCM (%) (Moyenne ± ÉT)	Méthode proposée (%) (Moyenne ± ÉT)
1	60,0 ± 0,5	66,0 ± 0,5	72,0 ± 0,4	68,0 ± 0,5	75,0 ± 0,4	80,0 ± 0,3
2	61,0 ± 0,5	68,0 ± 0,5	74,0 ± 0,4	70,0 ± 0,5	77,0 ± 0,4	84,0 ± 0,3
3	62,0 ± 0,4	70,0 ± 0,4	76,0 ± 0,4	72,0 ± 0,4	79,0 ± 0,4	87,0 ± 0,2
4	63,0 ± 0,4	72,0 ± 0,4	78,0 ± 0,3	74,0 ± 0,4	81,0 ± 0,3	90,0 ± 0,2
5	64,0 ± 0,4	73,0 ± 0,4	80,0 ± 0,3	76,0 ± 0,4	83,0 ± 0,3	92,0 ± 0,2
6	65,0 ± 0,4	74,0 ± 0,4	82,0 ± 0,3	77,0 ± 0,3	84,0 ± 0,3	94,0 ± 0,2
7	66,0 ± 0,4	75,0 ± 0,3	83,0 ± 0,3	78,0 ± 0,3	85,0 ± 0,3	95,0 ± 0,2
8	67,0 ± 0,4	76,0 ± 0,3	84,0 ± 0,3	79,0 ± 0,3	86,0 ± 0,3	96,0 ± 0,2
9	68,0 ± 0,4	77,0 ± 0,3	85,0 ± 0,3	80,0 ± 0,3	87,0 ± 0,3	97,0 ± 0,2
10	69,0 ± 0,4	78,0 ± 0,3	86,0 ± 0,3	81,0 ± 0,3	88,0 ± 0,3	99,0 ± 0,2

Tableau 9 : Amélioration de la fiabilité du système (SRI) : Moyenne ± ÉT de l'amélioration de la fiabilité du système (SRI) issue de cinq simulations indépendantes dans des conditions de distribution basse tension riches en énergies renouvelables. Abréviations : SRI, Amélioration de la fiabilité du système ; CVC, Commande centralisée de tension ; CMAC, Commande multi-agents conventionnelle ; RLVR, Régulation de tension basée sur l'apprentissage par renforcement ; DERC, Coordination des ressources énergétiques distribuées ; SBCM, Gestion de la congestion basée sur la sensibilité.

Le cadre proposé a été évalué dans diverses conditions de production renouvelable, de demande de charge, de tension et de congestion, en utilisant les jeux de données FeederBW et 236-bus LV. L'acceptation des alimentateurs, la conformité de la tension, la réduction de la congestion, la latence d'orchestration, la vitesse de convergence, la coordination décentralisée, l'intégration des énergies renouvelables, la sensibilité à la tension, la sensibilité à la congestion, la stabilité des alimentateurs, l'équilibrage de charge, l'utilisation des énergies renouvelables, la précision des décisions et la fiabilité du système ont été évaluées.

Pour l'ensemble de ces mesures, le cadre proposé a produit les valeurs finales les plus élevées pour FAR, VCI, CRR, CS, DCE, RAC, VSS, CSI, FSI, LBE, RUE, ADA et SRI, ainsi que la valeur la plus faible pour OL. Étant donné que les méthodes de référence ont été évaluées sur les mêmes jeux de données, scénarios d'exploitation, environnement de simulation, critères d'arrêt et métriques d'évaluation, ces comparaisons appuient l'hypothèse selon laquelle l'apprentissage par renforcement multi-agents collaboratif, combiné à une évaluation sensible à la tension et à la congestion, améliore l'acceptation adaptative des alimentations par rapport aux méthodes comparatives centralisées et distribuées évaluées.

Les résultats ont montré que la stratégie d'orchestration dynamique améliorait l'acceptation par les alimentateurs, la conformité de la tension, la réduction de la congestion, l'intégration des énergies renouvelables, l'équilibrage de charge, la coordination décentralisée, la précision des décisions et la fiabilité du système, tout en réduisant la latence d'orchestration. Le cadre a également convergé plus rapidement que les méthodes de comparaison. Dans les conditions de simulation évaluées, ces résultats appuyaient l'hypothèse proposée selon laquelle un apprentissage par renforcement collaboratif, sensible aux variations et décentralisé, pourrait améliorer l'orchestration des alimentateurs basse tension en présence d'incertitudes liées à la production renouvelable ainsi que des conditions variables de charge et de congestion.

DISPONIBILITÉ DES DONNÉES :

L'ensemble de données FeederBW est disponible publiquement à l'adresse https://doi.org/10.5281/zenodo.17831177, et l'ensemble de données du réseau de distribution basse tension à 236 nœuds est disponible publiquement à l'adresse https://doi.org/10.5281/zenodo.8274780. L'implémentation en Python développée pour cette étude, ainsi que le cadre de simulation, les modules de prétraitement, l'environnement d'apprentissage par renforcement multi-agents, les scripts d'entraînement et d'évaluation des modèles, les fichiers de configuration et les formats de données d'entrée nécessaires pour reproduire la méthodologie proposée, ont été déposés sur Zenodo et sont disponibles publiquement à l'adresse https://doi.org/10.5281/zenodo.21423239. Le dépôt garantit la reproductibilité de la méthodologie et des expériences rapportées dans cette étude.

Fichier supplémentaire 1. Dérivations mathématiques, algorithme et détails de mise en œuvre de la stratégie de coordination dynamique proposée. Ce fichier supplémentaire présente les formulations mathématiques soutenant chaque étape du cadre proposé, y compris le prétraitement des données, la modélisation dynamique des réseaux basse tension, l'initialisation de l'environnement multi-agents, l'apprentissage des agents piloté par renforcement, l'évaluation de la sensibilité à la tension et à la congestion, l'orchestration collaborative de l'acceptation des départs, ainsi que les métriques d'évaluation des performances. Il inclut également l'algorithme 1, qui décrit la procédure d'orchestration collaborative de l'acceptation des départs, accompagnée des définitions mathématiques des métriques d'évaluation utilisées dans cette étude.Veuillez cliquer ici pour télécharger ce fichier.

Discussion

Les résultats expérimentaux ont montré que la stratégie de coordination dynamique proposée améliore la coordination décentralisée des alimentateurs, l'intégration des énergies renouvelables, la stabilité de tension, la gestion des congestions et l'orchestration à faible latence par rapport au contrôle centralisé de tension (CVC)³³, au contrôle conventionnel multi-agents (CMAC)²¹, à la régulation de tension basée sur l'apprentissage par renforcement (RLVR)²⁰, à la coordination des ressources énergétiques distribuées (DERC)²⁶ et à la gestion des congestions basée sur la sensibilité (SBCM)³⁴. Sur l'ensemble des indicateurs évalués — taux d'acceptation des alimentateurs (FAR), indice de conformité de tension (VCI), taux de réduction des congestions (CRR), efficacité de coordination décentralisée (DCE), efficacité d'utilisation des renouvelables (RUE), précision des décisions adaptatives (ADA) et amélioration de la fiabilité du système (SRI) — le cadre proposé a atteint des performances supérieures dans les conditions testées. Les résultats obtenus à partir des jeux de données FeederBW et 236-bus en basse tension (LV) ont indiqué qu'une combinaison d'apprentissage par renforcement multi-agents collaboratif et d'évaluation de la sensibilité à la tension et aux congestions améliore l'efficacité et la rapidité de l'orchestration adaptative des alimentateurs.

L'analyse comparative a également montré que les méthodes de coordination centralisées et basées sur des règles présentaient des réponses d'orchestration plus lentes, une capacité d'intégration des énergies renouvelables plus faible, une efficacité de coordination adaptative réduite et une évolutivité plus limitée dans des conditions changeantes de raccordement^33,34. Bien que RLVR et SBCM aient donné de meilleurs résultats que les autres méthodes comparées grâce à leurs composants de gestion des congestions sensibles aux sensibilités et à l'apprentissage par renforcement, elles ne proposaient pas de mécanisme d'orchestration collaboratif et décentralisé d'acceptation des raccordements. En revanche, le cadre proposé combine des agents intelligents collaboratifs, une hiérarchisation des raccordements sensible aux sensibilités, une optimisation adaptative de l'orchestration et un apprentissage décentralisé des politiques. Ses indicateurs de convergence plus rapide et de stabilité plus élevée suggèrent que cette structure combinée soutient le fonctionnement des raccordements dans des conditions variables de production d'énergie renouvelable, de charge, de tension et de congestion.

L'architecture décentralisée d'apprentissage par renforcement multi-agents répartit la prise de décision entre des agents de niveau alimentateur, plutôt que de s'appuyer sur un contrôleur central unique. À mesure que le réseau de distribution augmentait en taille, chaque agent effectuait des calculs locaux et échangeait uniquement les informations de coordination nécessaires aux agents voisins. Cette organisation réduisait les goulots d'étranglement computationnels centralisés et la surcharge de communication, favorisant ainsi l'évolutivité³⁵. Le cadre pourrait donc s'appliquer à des réseaux plus vastes, avec une pénétration plus élevée des énergies renouvelables, des segments d'alimentation supplémentaires et une complexité opérationnelle accrue. Toutefois, un déploiement à très grande échelle nécessiterait une optimisation supplémentaire des ressources de calcul distribué et des protocoles de communication.

L'étude a également proposé une approche décentralisée fondée sur l'apprentissage pour la gestion des alimentations basse tension. Contrairement aux méthodes conventionnelles de contrôle de tension et de gestion des congestions, basées principalement sur des règles de fonctionnement statiques ou sur une optimisation centralisée³³, la stratégie proposée intègre une évaluation de la sensibilité à la tension, une orchestration tenant compte des congestions, une optimisation des politiques par renforcement, un classement dynamique d'acceptation des alimentations et une communication entre agents collaboratifs. Cette intégration étend l'utilisation de l'apprentissage par renforcement multi-agents, de la régulation de tension et de la coordination des ressources à l'orchestration adaptative de l'acceptation des alimentations dans les réseaux de distribution BT riches en énergies renouvelables.

La méthode proposée pourrait soutenir la gestion de l'acceptation des alimentations pour les services publics, les gestionnaires de réseaux intelligents et les systèmes de gestion de l'énergie renouvelable. Toutefois, plusieurs défis doivent être résolus avant une mise en œuvre pratique. Les retards de communication peuvent affecter la rapidité de l'échange d'informations et la coordination entre agents distribués, en particulier dans les réseaux à grande échelle. Des communications sécurisées et des mesures de cybersécurité seront également nécessaires pour protéger les interactions entre agents et les données opérationnelles contre tout accès non autorisé et les cyberattaques. L'intégration avec les systèmes de gestion de distribution existants exigera uneinteropérabilité avec les protocoles de communication des services publics, les architectures de contrôle de supervision et les procédures opérationnelles. La mise en œuvre pratique dépendra donc de structures de communication à faible latence, de la transmission sécurisée des données, d'interfaces normalisées et d'une validation sur le terrain^36,37.

L'étude était limitée par sa dépendance aux jeux de données FeederBW et 236-bus LV, ainsi que par une validation basée sur des simulations effectuées dans des conditions de fonctionnement et de communication prédéfinies. Ces paramètres peuvent ne pas représenter pleinement la topologie, les perturbations, les défaillances de communication ou les événements cyber-physiques rencontrés dans les réseaux réels des services publics. La complexité computationnelle pourrait également devenir plus importante dans des conditions de fonctionnement à très grande échelle ou fortement renouvelables. Les travaux futurs devraient donc évaluer le cadre proposé en utilisant des jeux de données supplémentaires à l'échelle des services publics, des réseaux de distribution réels, des plateformes matérielles en boucle et des installations pilotes à l'échelle réelle. L'accent sera mis sur la validation du cadre proposé à l'aide de plateformes matérielles en boucle, de réseaux réels des services publics et de systèmes de distribution plus étendus. En outre, des études futures examineront des architectures avancées d'apprentissage par renforcement et des stratégies améliorées de coordination distribuée afin d'améliorer davantage l'évolutivité et la robustesse opérationnelle. Dans l'ensemble, les résultats de simulation ont montré que l'apprentissage par renforcement multi-agents collaboratif combiné à une évaluation de la sensibilité en tension et en congestion pouvait améliorer l'acceptation des alimentations, la conformité en tension, l'atténuation des congestions, l'intégration des énergies renouvelables, la coordination décentralisée, la convergence, la latence et la prise de décision adaptative. Des tests supplémentaires avec des données réelles des services publics, des retards de communication réalistes, des perturbations cyber-physiques et des conditions de tests matériels en boucle ou sur site sont nécessaires pour confirmer l'évolutivité pratique et la fiabilité opérationnelle.

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Jeu de données de réseau de distribution basse tension 236-Bus	Canizes et al.	DOI : 10.5281/zenodo.8274780	Jeu de données de référence public utilisé pour l'analyse de la scalabilité et la validation à grande échelle du cadre proposé
Unité centrale de traitement (CPU)	Intel Corporation	Intel Core i9-12900K (16 cœurs)	Utilisée pour la gestion des simulations et l'exécution de l'environnement
Module d'analyse de sensibilité à la congestion	Module développé sur mesure	Zenodo DOI : 10.5281/zenodo.21423239	Effectue le calcul en temps réel de la sensibilité à la congestion et la priorisation des alimentations
CUDA Toolkit	NVIDIA Corporation	CUDA 12.1	Plateforme de calcul GPU utilisée pour l'entraînement accéléré des modèles PyTorch
Bibliothèque cuDNN	NVIDIA Corporation	cuDNN 9.3.0	Bibliothèque d'accélération de réseaux neuronaux profonds utilisée avec CUDA
Simulateur dynamique personnalisé de réseau basse tension	Module développé sur mesure	Version 1.0	Plateforme de simulation développée par l'auteur, implémentée en Python et PyTorch, pour des expériences d'orchestration dynamique des alimentations. Les détails de l'implémentation sont fournis dans les sections Méthodes et Disponibilité des données.
Bibliothèque de traitement des données	Équipe de développement de pandas	pandas 2.2.2	Utilisée pour le prétraitement, l'extraction de caractéristiques, la normalisation et la gestion des données de séries temporelles
Cadre d'apprentissage profond	PyTorch Foundation	PyTorch 2.3.1	Utilisé pour l'implémentation du modèle d'apprentissage par renforcement multi-agents (MARL), l'entraînement des réseaux neuronaux et l'optimisation des politiques
Module de communication distribuée entre agents	Cadre développé sur mesure	Zenodo DOI : 10.5281/zenodo.21423239	Permet une communication décentralisée et un échange collaboratif de politiques entre agents intelligents
Jeu de données FeederBW	Treutlein et al.	DOI : 10.5281/zenodo.17831177	Jeu de données public contenant des mesures réelles d'alimentations basse tension, de production renouvelable et de profils de fonctionnement
Unité de traitement graphique (GPU)	NVIDIA Corporation	GeForce RTX 3090, 24 Go GDDR6X	Accélérateur matériel utilisé pour l'entraînement des réseaux neuronaux et le calcul parallèle
Environnement d'apprentissage par renforcement multi-agents	Farama Foundation	Gym 0.26.2	Environnement d'apprentissage par renforcement personnalisé pour l'interaction et l'entraînement collaboratifs des agents intelligents
Bibliothèque de calcul numérique	Développeurs de NumPy	NumPy 1.26.4	Utilisée pour les calculs numériques, la manipulation de tenseurs et les opérations matricielles
Système d'exploitation	Canonical Ltd.	Ubuntu 22.04.5 LTS (64 bits)	Système d'exploitation utilisé pour toutes les simulations et expériences d'apprentissage par renforcement
Langage de programmation Python	Python Software Foundation	Python 3.11.9	Langage de programmation principal utilisé pour l'implémentation des algorithmes, les simulations et le développement des modèles
Mémoire système	Lenovo	64 Go de RAM DDR5	Mémoire système installée utilisée pour les simulations MARL à grande échelle et le traitement des données.
Module de surveillance de la stabilité de tension	Module développé sur mesure	Zenodo DOI : 10.5281/zenodo.21423239	Évalue en continu la stabilité et la conformité de la tension pendant l'orchestration des alimentations