Questo studio presenta una Strategia di Orchestrazione Dinamica per l'accettazione di alimentatori a bassa tensione mediante apprendimento per rinforzo collaborativo multi-agente. Agenti intelligenti coordinano il funzionamento dell'alimentatore, la gestione delle congestioni, la stabilità della tensione e l'integrazione delle energie rinnovabili in condizioni di incertezza. L'approccio è stato valutato mediante simulazioni utilizzando i dataset FeederBW e 236-bus.
È richiesta un abbonamento a JoVE per visualizzare questo contenuto. Accedi o inizia la tua prova gratuita.
Articolo di ricerca
Orchestrazione dinamica dell'accettazione dei feeder basata su RL multi-agente utilizzando il dataset FeederBW e una rete di distribuzione a bassa tensione a 236 nodi
In questo articolo
Sommario
Abstract
L'integrazione estesa di fonti energetiche rinnovabili distribuite e l'espansione rapida degli alimentatori a bassa tensione (LV) hanno creato sfide operative relative all'accettazione degli alimentatori e alla gestione della congestione. Gli attuali approcci per il controllo della tensione e la gestione degli alimentatori potrebbero avere una scalabilità e un'adattabilità limitate in presenza di generazione intermittente da fonti rinnovabili e condizioni di rete variabili. Per affrontare tali limitazioni, questo studio propone un Framework di Orchestrazione Dinamica per l'Accettazione degli Alimentatori a Bassa Tensione basato sulla collaborazione tra agenti intelligenti all'interno di un approccio di apprendimento per rinforzo multi-agente. A differenza delle strategie di controllo della tensione incentrate principalmente sulla stabilizzazione della tensione, il framework proposto supporta l'accettazione dinamica degli alimentatori attraverso l'operazione coordinata di agenti responsabili del monitoraggio degli alimentatori, della gestione della congestione e della priorizzazione basata sulla sensibilità alla tensione. Gli agenti hanno osservato autonomamente gli stati degli alimentatori, valutato la congestione e le sensibilità alla tensione e collaborato nelle decisioni relative all'accettazione degli alimentatori. Il framework è stato valutato mediante simulazioni utilizzando il dataset FeederBW e il dataset della rete di distribuzione a bassa tensione con 236 nodi, in condizioni variabili di integrazione delle fonti rinnovabili e di carico. Il framework proposto ha raggiunto un tasso di accettazione degli alimentatori del 97%, un indice di conformità alla tensione del 98%, una latenza di orchestrazione di 98 ms misurata come tempo di esecuzione effettivo dell'algoritmo di orchestrazione sull'hardware riportato e una velocità di convergenza del 98,5%, superando i metodi di coordinamento centralizzati valutati. I risultati hanno inoltre indicato un miglioramento dell'adattabilità, della resilienza operativa e dell'efficienza del processo decisionale decentralizzato nelle condizioni simulate di rete di distribuzione a bassa tensione.
Introduzione
I moderni sistemi elettrici affrontano significative sfide operative a causa dell'aumento della domanda di elettricità e del crescente utilizzo della generazione distribuita. Gli squilibri tra offerta e domanda di energia elettrica, o gli incrementi rapidi della generazione distribuita, possono causare tensioni finanziarie per le aziende di fornitura e per gli utenti finali, mettendo a rischio la stabilità della rete. L'infrastruttura elettrica tradizionale, basata su fonti fossili e controllata centralmente, sta quindi passando a un modello distribuito, guidato da fonti rinnovabili. Questa transizione ha migliorato l'accesso a fonti energetiche più convenienti e sostenibili dal punto di vista ambientale. Tuttavia, la natura intermittente e imprevedibile della generazione fotovoltaica (PV) solleva preoccupazioni riguardo all'affidabilità della rete1,2.
La transizione energetica globale sta accelerando il dispiegamento del fotovoltaico grazie ai suoi benefici ambientali, alla scalabilità e al costo in costante diminuzione. Secondo l'Agenzia Internazionale per le Energie Rinnovabili, si prevede che la capacità fotovoltaica rappresenti oltre il 22% dell'approvvigionamento elettrico globale entro il 2050 e che il fotovoltaico solare diventi un contributore principale all'approvvigionamento elettrico globale entro il 20303. Questa ampia integrazione pone sfide significative per i sistemi elettrici convenzionali, in particolare per quanto riguarda la stabilità e l'affidabilità operativa. La fluttuazione di tensione è una preoccupazione fondamentale poiché la generazione fotovoltaica è intermittente e non programmabile, e i suoi effetti diventano più evidenti con l'aumento della penetrazione nelle reti di distribuzione e trasmissione4.
Le variazioni nell'irradianza solare influiscono direttamente sul rendimento dei pannelli fotovoltaici e possono provocare rapide variazioni di tensione. Il movimento delle nuvole, le brusche variazioni dell'irradianza e i transitori di carico possono causare fluttuazioni di tensione che le attuali architetture di rete non sono in grado di gestire adeguatamente5. Sebbene le tecnologie convenzionali si siano dimostrate efficaci in reti centralizzate e relativamente stabili, risultano meno adatte per reti sempre più distribuite. Variazioni rapide di tensione in entrambe le direzioni possono superare le capacità dei sistemi elettrici convenzionali, in particolare in presenza di un'elevata penetrazione di energia fotovoltaica6. Fluttuazioni non controllate potrebbero violare i limiti di tensione, influire su carichi sensibili e compromettere la sicurezza della rete.
L'integrazione di carichi intelligenti e risorse distribuite nelle reti di distribuzione ha quindi motivato lo sviluppo di strategie di controllo più avanzate. Sistemi di controllo intelligenti in grado di monitorare e coordinare continuamente apparecchiature distribuite possono contribuire a mitigare le sfide presenti nelle reti a bassa tensione (BT) con elevata generazione distribuita7. L'integrazione su larga scala del fotovoltaico crea inoltre difficoltà operative per la generazione termica, in particolare quando la produzione fotovoltaica diminuisce e le unità termiche devono rispondere rapidamente, a volte superando i limiti di variazione di potenza8. Allo stesso tempo, i programmi di gestione della domanda (DR) devono bilanciare la sostenibilità a lungo termine con la fattibilità economica9.
I programmi di risposta alla domanda (DR) possono supportare l'integrazione della generazione distribuita contribuendo al bilanciamento tra offerta e domanda di elettricità. Questi programmi sono classificati come DR basati sui prezzi o DR basati su incentivi (IBDR). La DR basata sui prezzi incoraggia i consumatori a modificare il proprio consumo di elettricità in risposta a tariffe variabili nel tempo, mentre la IBDR prevede incentivi finanziari fissi o variabili per ridurre il consumo su richiesta10. Tuttavia, la DR basata sui prezzi espone i consumatori a fluttuazioni dei prezzi all'ingrosso e offre una flessibilità operativa limitata dal punto di vista del gestore del servizio, il che potrebbe scoraggiare i partecipanti avversi al rischio11,12.
Diversi studi hanno esaminato la IBDR nei sistemi di distribuzione ricchi di fotovoltaico. Uno studio ha valutato le sfide e i benefici della combinazione tra IBDR e alta penetrazione del fotovoltaico, ma si è concentrato sul consumo aggregato di energia piuttosto che sui sistemi di gestione energetica domestica a livello familiare13. Un altro ha proposto un metodo basato sugli incentivi per la gestione della tensione, in cui segnali di prezzo controllavano indirettamente il funzionamento delle batterie per mantenere i limiti di tensione, sebbene la domanda domestica non fosse modellata esplicitamente14. Un metodo basato sulla logica fuzzy per determinare i pagamenti incentivanti ha preso in considerazione la soddisfazione dei consumatori e i costi di integrazione delle fonti rinnovabili, ma non includeva un'analisi a livello di linea di distribuzione15. È stato inoltre studiato un piano di generazione a lungo termine che incorpora sia la domanda gestita basata sui prezzi che quella basata sugli incentivi, comprendente generazione termica e rinnovabile, ma senza tenere conto del comfort degli utenti o della domanda a livello domestico16.
L'apprendimento per rinforzo profondo (RL) è stato applicato anche alla gestione della domanda residenziale (DR). Sono stati proposti metodi di RL profondo per il controllo aggregato del carico in base a tariffe temporali, sebbene la loro generalizzabilità fosse limitata da popolazioni utente ridotte e dall'assenza di pianificazione a livello di elettrodomestici17. Un framework di apprendimento per rinforzo multi-agente che combina DR e controllo della tensione ha utilizzato reti neurali a memoria a lungo breve termine per la previsione del carico, ma non ha risolto l'insoddisfazione dei clienti derivante dalla restrizione del carico18. Altri studi si sono concentrati sulla coordinazione della DR per sistemi di condizionamento dell'aria in edifici commerciali mediante un processo decisionale markoviano, senza considerare altri carichi residenziali19. Gli attuali studi sul controllo della tensione mediante RL profondo in generale non hanno integrato contemporaneamente DR e immissione da fotovoltaico (PV)20,21.
Gli inverter intelligenti possono reagire rapidamente a cambiamenti bruschi e irregolari nell'output del fotovoltaico22. Quando si verificano violazioni della tensione, gli inverter fotovoltaici possono intervenire in pochi millisecondi, mentre i dispositivi convenzionali possono richiedere diversi secondi23. Alcuni studi hanno proposto modifiche alle procedure standard di controllo dei dispositivi, inclusi approcci basati su più agenti per coordinare i regolatori di tensione e modificare le azioni dei controller di tensione convenzionali24. Tuttavia, la generazione fotovoltaica autonoma senza accumulo co-locato può peggiorare le escursioni di tensione e non attenua i picchi serali, anche quando riduce le importazioni nette diurne24,25. Le batterie domestiche potrebbero inoltre esaurirsi durante i periodi di surplus fotovoltaico diurno e rendersi indisponibili per la ricarica notturna dei veicoli elettrici se il loro utilizzo non è coordinato con la domanda e la generazione locali26,27. Gli effetti combinati della domanda stocastica, della generazione intermittente e del comportamento eterogeneo degli accumuli rendono la gestione della capacità, la longevità delle apparecchiature e la resilienza aspetti critici per gli operatori dei sistemi di distribuzione28. I sistemi di gestione dell'energia domestica (Home Energy Management Systems) offrono un possibile mezzo per implementare un controllo automatizzato a livello del cliente. Il Reinforcement Learning (RL) si adatta bene a tali applicazioni poiché gli agenti possono apprendere strategie di controllo interagendo con l'ambiente, gestendo al contempo l'incertezza e prendendo decisioni a bassa latenza.
I progressi nel routing dei veicoli elettrici illustrano anche come il deep RL possa gestire vincoli energetici dinamici. Il problema del routing capacitato di veicoli elettrici basato su flotte eterogenee incorpora la dinamica di guida, le caratteristiche stradali, la resistenza cinetica e l'efficienza di ricarica, minimizzando al contempo il consumo energetico massimo su una flotta diversificata29. Un metodo di apprendimento per rinforzo profondo consapevole della dinamica formula questo problema come un processo decisionale di Markov personalizzato e utilizza un'architettura composta da codificatore, aggiornatore e decodificatore. In questa struttura, il codificatore sviluppa rappresentazioni specifiche per ruolo dei vertici e dei veicoli, l'aggiornatore perfeziona i token dei veicoli man mano che cambiano le informazioni contestuali e il decodificatore separa la selezione del veicolo dalla selezione dei vertici specifici per ciascun veicolo, supportando così un processo decisionale adattivo. Analogamente, un problema di routing di veicoli elettrici ottimizzato per il consumo energetico con consegne, ritiri e finestre temporali utilizza un modello ad alta risoluzione del consumo energetico che include il comportamento di ricarica, la dinamica di guida dipendente dal tempo e informazioni dettagliate sul percorso30. Un framework eterogeneo di apprendimento per rinforzo profondo basato sull'attenzione rappresenta il compito di routing come un processo decisionale di Markov, con un codificatore che cattura le interazioni specifiche per ruolo tra depositi, clienti e stazioni di ricarica e un decodificatore che traccia le transizioni di stato e la fattibilità temporale.
Nonostante questi sviluppi, la maggior parte degli studi sulla gestione della distribuzione in bassa tensione pone l'accento sulla stabilizzazione della tensione e sull'ottimizzazione della potenza reattiva piuttosto che sull'orchestrazione dinamica dell'accettazione degli alimentatori in condizioni di incertezza rinnovabile. I metodi di controllo distribuito della tensione basati su inverter intelligenti e apprendimento automatico si concentrano generalmente sulla compensazione della tensione e sull'ottimizzazione della potenza reattiva, senza affrontare il controllo adattivo dell'accettazione degli alimentatori o l'orchestrazione basata sulla congestione in reti complesse in bassa tensione. Analogamente, gli approcci di apprendimento per rinforzo multi-agente vincolati alla tensione per la gestione della domanda non affrontano direttamente la gestione collaborativa dell'accettazione degli alimentatori, l'orchestrazione decentrata consapevole della congestione o il controllo di ammissione a livello di nodo nei sistemi di distribuzione interconnessi in bassa tensione. I metodi cooperativi di regolazione della tensione basati sulla coordinazione multi-agente tipicamente riducono al minimo le deviazioni di tensione e le operazioni dei prelievi utilizzando inverter fotovoltaici, ma non considerano l'ammissione adattiva degli alimentatori, l'instabilità dell'accettazione legata alle fonti rinnovabili o l'orchestrazione decentrata in condizioni di rete dinamiche.
I metodi attuali di coordinamento delle risorse distribuite e multi-agente presentano anche limitazioni per quanto riguarda la consapevolezza del congestionamento, l'adattabilità temporale e la scalabilità. La maggior parte si concentra sull'analisi del sovraccarico, sulle interazioni tra le risorse energetiche distribuite o sulla gestione energetica basata sulle tariffe, piuttosto che sull'accettazione adattativa a livello di alimentatore e sull'orchestrazione consapevole della tensione. La loro dipendenza da una centralizzazione parziale e da priorità statiche può ulteriormente limitare il processo decisionale decentralizzato, la risposta rapida alla propagazione del congestionamento e l'adattamento alla variabilità delle fonti rinnovabili. È quindi necessario un quadro completamente decentralizzato, basato sull'apprendimento per rinforzo, che combini il coordinamento cooperativo degli agenti con l'analisi della sensibilità alla tensione e al congestionamento, per una gestione adattativa dell'accettazione negli alimentatori, utilizzando set di dati su larga scala come FeederBW e la rete di distribuzione in bassa tensione con 236 nodi.
In questo studio, l'accettazione di un alimentatore si riferisce al processo operativo adattivo per determinare se un alimentatore in bassa tensione può ospitare ulteriori risorse energetiche distribuite o carichi elettrici mantenendo la sicurezza della rete, la conformità della tensione, i limiti di carico termico e l'affidabilità operativa. Il limite operativo per l'accettazione dell'alimentatore comprende la valutazione della capacità dell'alimentatore, della sensibilità alla tensione, delle condizioni di congestione e della variabilità delle energie rinnovabili prima che nuovi collegamenti all'alimentatore vengano accettati o prioritizzati. A differenza del controllo convenzionale della tensione, che regola i profili di tensione, della coordinazione delle risorse energetiche distribuite, che gestisce il funzionamento delle risorse, o della gestione della congestione, che attenua i sovraccarichi di rete, l'accettazione dell'alimentatore integra queste funzioni all'interno di un framework collaborativo di apprendimento per rinforzo multi-agente per supportare un'orchestrazione dinamica, decentralizzata e adattativa in condizioni ricche di energie rinnovabili.
L'obiettivo di questo studio è sviluppare una strategia dinamica di orchestrazione basata su agenti intelligenti collaborativi per l'accettazione dei circuiti a bassa tensione in condizioni operative variabili e in presenza di incertezza delle fonti rinnovabili. Il framework proposto esegue un'orchestrazione decentralizzata dell'accettazione dei circuiti valutando dinamicamente lo stato dei circuiti, la sensibilità alla tensione, la sensibilità al congestionamento e la capacità di accettazione, consentendo così una priorizzazione adattiva e processi decisionali più avanzati rispetto ai metodi statici di controllo della tensione. Utilizzando il dataset FeederBW e il dataset della rete di distribuzione in bassa tensione con 236 nodi, lo studio sviluppa anche un'architettura scalabile di apprendimento per rinforzo multi-agente per sistemi in bassa tensione di grandi dimensioni. Grazie a un apprendimento guidato da rinforzo e a un'ottimizzazione collaborativa a bassa latenza eseguita a ogni intervallo operativo simulato, il framework è progettato per ridurre la propagazione del congestionamento, migliorare la conformità alla tensione, abbassare la latenza di orchestrazione e aumentare l'efficienza della coordinazione decentralizzata.
Il framework propone un approccio dinamico di orchestrazione dell'accettazione degli alimentatori in bassa tensione che sostituisce le strategie statiche di gestione degli alimentatori basate sul controllo della tensione; un'architettura decentralizzata basata sull'apprendimento per rinforzo multi-agente per affrontare l'incertezza delle fonti rinnovabili e le condizioni di carico variabili; una gestione decentralizzata dell'ammissione basata su condizioni di bassa latenza e su una priorità dinamica degli alimentatori; indici congiunti di sensibilità alla tensione e alla congestione per identificare gli alimentatori critici e stabilire priorità nelle decisioni di accettazione; una comunicazione collaborativa tra agenti adiacenti; un'ottimizzazione continua delle politiche basata sull'apprendimento per rinforzo per migliorare la stabilità degli alimentatori, la mitigazione della congestione, la conformità alla tensione e la velocità di convergenza; e una validazione su larga scala basata su simulazioni effettuate mediante i dataset FeederBW e 236-bus LV. I risultati comparativi indicano un miglioramento nell'accettazione degli alimentatori, nella mitigazione della congestione, nel ritardo di orchestrazione, nella velocità di convergenza e nella conformità alla tensione rispetto ai tradizionali metodi di coordinamento centralizzati.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Protocollo
Nell'indagine non sono stati utilizzati soggetti umani, animali vertebrati, tessuti umani o tessuti animali. Nello studio sono stati utilizzati esclusivamente set di dati pubblicamente accessibili (il FeederBW dataset e il 236-bus Low-Voltage Distribution Network dataset) e simulazioni basate su computer. Pertanto, questo studio non ha richiesto l'approvazione del comitato etico (IRB), né consenso informato o valutazione etica.
La strategia di orchestrazione dinamica per l'accettazione di alimentatori a bassa tensione basata sulla collaborazione tra agenti è stata sviluppata utilizzando l'apprendimento per rinforzo multi-agente (MARL) in condizioni operative ricche di fonti rinnovabili. I dataset FeederBW e quello a 236 nodi a bassa tensione sono stati preelaborati, normalizzati e sincronizzati temporalmente per costruire un modello di rete dinamico rappresentante gli stati degli alimentatori, le risorse energetiche distribuite, le aree sensibili alla tensione e le condizioni di congestione. Agenti intelligenti sono stati assegnati a sezioni degli alimentatori e ai nodi della rete per monitorare la tensione locale, la congestione, l'incertezza nella generazione da fonti rinnovabili e la capacità di accettazione dell'alimentatore, scambiare informazioni con agenti vicini e aggiornare le politiche di orchestrazione attraverso un apprendimento per rinforzo decentralizzato. La funzione di ricompensa è stata progettata per migliorare l'accettazione dell'alimentatore limitando al contempo la congestione, l'instabilità della tensione e i ritardi di coordinamento. Sono stati considerati vincoli relativi alla tensione, al carico dell'alimentatore, al carico del trasformatore e alla congestione, mentre non sono stati modellati esplicitamente il funzionamento squilibrato trifase, il controllo avanzato dell'inverter fotovoltaico e la compensazione della potenza reattiva. Il quadro generale è mostrato in Figura 1. Gli strumenti di ricerca utilizzati in questo studio sono elencati nella Tabella dei Materiali.
Figura 1: Architettura del framework proposto. Schema del Framework di Orchestrazione Dinamica che incorpora agenti intelligenti, apprendimento per rinforzo, analisi della congestione e coordinamento adattivo degli alimentatori. Cliccare qui per visualizzare una versione ingrandita di questa figura.
1. Acquisizione dei dati
I dati sono stati acquisiti dal set di dati FeederBW31 e dal set di dati di distribuzione in bassa tensione a 236 nodi32. Questi set di dati sono stati selezionati perché contenevano informazioni sulla topologia dell'alimentatore, sulle condizioni di tensione, sul comportamento della generazione da fonti rinnovabili, sulla domanda di carico, sui fenomeni di congestione e sui profili operativi dinamici necessari per l'orchestrazione decentralizzata e l'apprendimento di agenti basato su rinforzo.
Il dataset FeederBW è stato utilizzato principalmente per modellare il funzionamento degli alimentatori, l'intermittenza dell'energia rinnovabile, la deviazione della tensione e la propagazione della congestione nelle reti in bassa tensione. Conteneva dati sul funzionamento degli alimentatori, il comportamento della generazione distribuita, misurazioni della tensione nei nodi e fluttuazioni del carico, che supportavano l'analisi dell'orchestrazione adattiva. Il dataset in bassa tensione con 236 nodi è stato utilizzato per valutare la scalabilità e la coordinazione decentralizzata. Conteneva informazioni sulle connessioni dei nodi, le condizioni di carico degli alimentatori, le caratteristiche della tensione nei nodi, la penetrazione delle fonti rinnovabili distribuite e casi operativi sensibili alla congestione. Insieme, i due dataset hanno supportato analisi a livello di alimentatore e su larga scala in condizioni di elevata penetrazione di energia rinnovabile. Le caratteristiche dei dataset e i loro scopi all'interno del framework sono riassunti nella Tabella 1.
| Nome del Dataset | Tipo di Dataset | Numero di Nodi/Bus | Attributi dei Dati | Scopo nel Lavoro Proposto |
| FeederBW Dataset | Dataset Operativo per Alimentatori a Bassa Tensione | Nodi di alimentatori multipli | Profili di tensione, generazione da fonti rinnovabili, domanda di carico, stati di congestione, comportamento operativo dell'alimentatore | orchestrazione a bassa latenza degli alimentatori, analisi della congestione, priorizzazione adattiva dell'accettazione |
| 236-bus LV Dataset | Dataset di Distribuzione a Bassa Tensione su Grande Scala | 236 bus | Topologia del bus, carico dell'alimentatore, sensibilità alla tensione, penetrazione delle rinnovabili, dinamiche di congestione | Validazione della scalabilità, valutazione della coordinazione decentralizzata, analisi dell'orchestrazione su larga scala |
Tabella 1: Caratteristiche del dataset. Descrizione dei dataset, degli attributi operativi e dei loro scopi all'interno del framework proposto per l'orchestrazione a bassa tensione.
2. Preparazione dei dati
I set di dati acquisiti sono stati preelaborati per migliorare la coerenza, l'allineamento temporale e la stabilità dell'apprendimento per rinforzo. Le voci mancanti, le misurazioni errate, i record duplicati e i dati incoerenti dei feeder sono stati filtrati mediante procedure statistiche di preelaborazione. Questo passaggio è stato adottato per mantenere la coerenza tra i dati di funzionamento dei feeder, i profili di generazione da fonti rinnovabili, le misurazioni di tensione e i dati sullo stato di congestione. Tutte le variabili operative sono state normalizzate con il metodo min–max in modo da trasformare le caratteristiche di ingresso in una scala comune adatta all'apprendimento dell'agente. Le variabili normalizzate includevano la tensione del feeder, la domanda di potenza attiva, la generazione da fonti rinnovabili, lo stato di congestione e la capacità di accettazione del feeder. La formulazione matematica della procedura di preelaborazione è riportata nel File Supplementare 1 (Sezione 1).
3. Modellizzazione dinamica di reti a bassa tensione
Dopo l'acquisizione dei dati e il preelaborazione, è stato costruito un modello dinamico della rete in bassa tensione per simulare il comportamento di un sistema di distribuzione con una elevata percentuale di generazione da fonti rinnovabili in condizioni variabili di carico e generazione. Il modello ha tracciato dinamicamente la topologia dei circuiti, il comportamento delle risorse energetiche distribuite, le aree sensibili alla tensione e la propagazione delle congestioni.
A differenza di una rappresentazione statica della rete, il modello aggiorna il comportamento dell'alimentatore in base all'intermittenza delle fonti rinnovabili, alla domanda dei consumatori e alle condizioni di congestione. I dataset FeederBW e 236-bus LV sono stati utilizzati per costruire alimentatori interconnessi in cui nodi, trasformatori, fonti rinnovabili distribuite e carichi sono stati rappresentati come nodi della rete. Ogni nodo dell'alimentatore forniva informazioni aggiornate sull'ampiezza della tensione, sulla richiesta di potenza attiva, sulla generazione da fonti rinnovabili, sullo stato di carico dell'alimentatore e sullo stato di congestione. Queste variabili sono state utilizzate dagli agenti intelligenti per monitorare il comportamento dell'alimentatore e prendere decisioni di orchestrazione decentralizzate. Il modello della rete ha inoltre supportato l'identificazione delle regioni sensibili e la priorizzazione dell'accettazione degli alimentatori mediante un'analisi continua della sensibilità.
La rete di distribuzione in bassa tensione è stata rappresentata come una rete basata su grafi, contenente stazioni di collegamento, linee di alimentazione, trasformatori, fonti rinnovabili e nodi di carico per i consumatori. Le derivazioni matematiche dettagliate del modello della rete sono fornite nel File Supplementare 1 (Sezione 2). Lo stato dinamico della rete e l'indice di congestione sono stati monitorati continuamente. L'indice di congestione è stato normalizzato all'intervallo [0,1] ed è stata avviata un'orchestrazione collaborativa di accettazione degli alimentatori quando l'indice di congestione ha superato 0,80.
4. Inizializzazione dell'Ambiente Multi-Agente
Dopo aver costruito il modello dinamico della rete LV, è stato inizializzato l'ambiente multi-agente per supportare l'accettazione decentrata degli alimentatori. Agenti intelligenti sono stati assegnati ai tratti degli alimentatori, ai punti di connessione delle risorse energetiche distribuite, alle posizioni dei trasformatori e ai nodi soggetti a congestione all'interno della rete LV.
Ogni agente fungeva da entità indipendente per il processo decisionale, che monitorava il funzionamento del proprio alimentatore locale, scambiava informazioni con gli agenti adiacenti ed eseguiva azioni di orchestrazione adattive. Gli agenti sono stati assegnati ai nodi principali degli alimentatori in base alla sensibilità della tensione, al livello di penetrazione delle fonti rinnovabili, al grado di congestione e all'importanza dell'alimentatore. La rete in bassa tensione è stata configurata come un ambiente basato su agenti, all'interno del quale gli agenti monitoravano continuamente la tensione dell'alimentatore, la richiesta di potenza attiva, le variazioni della generazione da fonti rinnovabili, lo stato di congestione e la capacità di accettazione dell'alimentatore. La formulazione matematica dell'ambiente multi-agente è riportata nel Supplementary File 1(Section 3).
5. Apprendimento dell'agente guidato dal rinforzo
Dopo l'inizializzazione dell'ambiente multi-agente, è stato implementato un apprendimento guidato dal rinforzo per consentire agli agenti di apprendere politiche di orchestrazione dei feeder attraverso l'interazione con le condizioni operative variabili della rete di bassa tensione. Durante ogni interazione, un agente osservava lo stato attuale del feeder, selezionava un'azione di orchestrazione e riceveva una ricompensa o una penalità. Il processo di apprendimento decentralizzato ha permesso agli agenti di adattarsi all'incertezza della generazione da fonti rinnovabili, alle variazioni delle condizioni di congestione, alle fluttuazioni di tensione e ai cambiamenti nella capacità di accettazione del feeder. Ogni agente selezionava un'azione di orchestrazione in base alla propria politica appresa. Le relative derivazioni matematiche sono fornite nel File Supplementare 1(Sezione 4).
È stato distribuito un totale di 64 agenti intelligenti. Sulla base della topologia dell'alimentatore, del livello di penetrazione delle energie rinnovabili, della sensibilità alla tensione e della gravità della congestione, ciascun agente è stato assegnato a un tratto dell'alimentatore, a un sito del trasformatore, a un punto di connessione della risorsa energetica distribuita o a un nodo della rete sensibile alla congestione. Mantenendo una complessità computazionale ragionevole, la distribuzione decentralizzata ha permesso un monitoraggio cooperativo e un'accettazione adattiva dell'alimentatore in tutta la rete di distribuzione a bassa tensione da 236 nodi. Ciascun agente osservava un vettore di stato a cinque dimensioni composto da magnitudine della tensione, domanda di carico dell'alimentatore, generazione da fonti rinnovabili, stato di congestione e capacità di accettazione dell'alimentatore. Lo spazio delle azioni comprendeva cinque azioni di orchestrazione: priorizzazione dell'accettazione dell'alimentatore, mitigazione della congestione, coordinamento delle rinnovabili, bilanciamento del carico e controllo della tensione. Il processo decisionale cooperativo è stato supportato da una topologia di comunicazione decentralizzata tra vicini, in cui ciascun agente scambiava indici di sensibilità e informazioni operative locali esclusivamente con gli agenti degli alimentatori adiacenti.
È stato implementato un metodo MARL basato sul Q-learning utilizzando una rete neurale completamente connessa con due strati nascosti contenenti rispettivamente 128 e 64 neuroni. È stata applicata l'attivazione con unità lineare rettificata negli strati nascosti. I parametri della rete sono stati ottimizzati utilizzando l'ottimizzatore Adam con un tasso di apprendimento di 0,001 e un fattore di sconto di 0,99. È stata utilizzata una dimensione del mini-batch pari a 64 e il buffer di esperienza riprodotta aveva una capacità di 100.000 transizioni. L'addestramento è stato considerato convergente quando la media mobile della ricompensa cumulativa negli ultimi 20 episodi è variata di meno dello 0,1% per 10 finestre di valutazione consecutive. Se questo criterio non veniva soddisfatto, l'addestramento proseguiva fino a un massimo di 500 episodi. Il flusso di lavoro dell'apprendimento per rinforzo è mostrato in Figura 2.
Figura 2: Diagramma di flusso dell'apprendimento dell'agente guidato dal rinforzo. Diagramma di flusso che illustra il processo di apprendimento dell'agente basato sul rinforzo per l'orchestrazione decentralizzata degli alimentatori e l'ottimizzazione delle decisioni. Cliccare qui per visualizzare una versione ingrandita di questa figura.
Il processo di apprendimento è iniziato con l'inizializzazione dell'ambiente di distribuzione in bassa tensione, degli stati degli agenti e dei parametri di apprendimento. Gli agenti intelligenti sono stati posizionati nelle zone di alimentazione, nelle località delle risorse energetiche distribuite e nei nodi soggetti a congestione. Successivamente sono stati definiti lo spazio delle osservazioni, la velocità di apprendimento, la strategia di esplorazione, i fattori di ricompensa e le funzioni di politica. A ogni passo di interazione, ciascun agente osservava lo stato attuale della propria zona di alimentazione assegnata. Lo stato era costituito dall'ampiezza della tensione ai nodi, dalla domanda di carico dell'alimentatore, dalle caratteristiche della generazione da fonti rinnovabili, dal livello di congestione e dalla capacità di accettazione dell'alimentatore. Queste osservazioni formavano lo stato ambientale utilizzato per prendere decisioni di orchestrazione. Ciascun agente sceglieva un'azione in base alla propria politica di apprendimento per rinforzo. Le azioni disponibili includevano la priorità di accettazione dell'alimentatore, la gestione della congestione, la coordinazione dell'energia rinnovabile, il bilanciamento del carico e la regolazione della tensione. L'azione selezionata veniva applicata all'ambiente dinamico in bassa tensione, dopo di che lo stato dell'alimentatore veniva aggiornato.
Una ricompensa è stata calcolata dopo ogni azione. È stata assegnata una ricompensa positiva quando l'azione selezionata ha migliorato l'accettazione dell'alimentatore, prevenuto la propagazione della congestione, mantenuto la conformità della tensione o migliorato la stabilità della rete. È stata applicata una penalità quando l'azione ha causato, o non è riuscita a prevenire, un sovraccarico dell'alimentatore, violazioni della tensione o ritardi nell'orchestrazione. La ricompensa calcolata è stata utilizzata per aggiornare la funzione di valore e la politica decisionale dell'agente attraverso l'ottimizzazione per rinforzo. La sequenza composta da osservazione, selezione dell'azione, transizione dell'ambiente, calcolo della ricompensa e aggiornamento della politica è stata ripetuta fino al raggiungimento del criterio di arresto.
6. Valutazione della sensibilità alla tensione e alla congestione
Dopo l'apprendimento guidato dal rinforzo, sono state valutate le sensibilità alla tensione e alla congestione al fine di identificare le aree vulnerabili dei tronchisti e supportare decisioni dinamiche di accettazione dei tronchisti in condizioni di incertezza legata all'energia rinnovabile.
A ogni intervallo di funzionamento, sono stati determinati gli effetti delle variazioni della potenza in ingresso, della generazione da fonti rinnovabili e della domanda di carico sulla tensione dei nodi e sul congestionamento della rete. Gli indici di sensibilità alla tensione e al congestionamento sono stati ricalcolati a ogni intervallo di funzionamento simulato, piuttosto che essere derivati esclusivamente da condizioni statiche della rete. Gli indici di sensibilità per ciascun nodo dell'alimentatore sono stati aggiornati in base alle condizioni attuali della rete, alle variazioni della generazione da fonti rinnovabili e allo stato di carico dell'alimentatore. I valori ottenuti sono stati utilizzati per classificare i nodi dell'alimentatore in relazione all'accettazione degli alimentatori, alla gestione del congestionamento e alle azioni di controllo della tensione.
L'indice di sensibilità alla tensione ha quantificato la variazione della tensione del nodo risultante da un cambiamento nel flusso di potenza attiva. Dopo aver calcolato gli indici di sensibilità alla tensione e alla congestione, questi sono stati combinati in un punteggio di sensibilità composito per la priorizzazione adattativa dell'accettazione del derivatore. Il metodo di punteggio composito è descritto nel File Supplementare 1(Sezione 5). Ai nodi del derivatore con punteggi di sensibilità più elevati sono state assegnate priorità più alte nell'orchestrazione durante le operazioni di alleviamento della congestione, correzione dell'accettazione del derivatore e regolazione della tensione. I punteggi di sensibilità sono stati ricalcolati a ogni intervallo operativo e condivisi con gli agenti vicini attraverso l'ambiente collaborativo di comunicazione.
7. Orchestrazione collaborativa dell'accettazione e ottimizzazione adattiva delle decisioni a ogni intervallo operativo simulato
Dopo una valutazione della sensibilità, è stata eseguita un'orchestrazione collaborativa dell'accettazione per consentire ad agenti decentralizzati di prendere decisioni coordinate sull'accettazione degli alimentatori in condizioni di incertezza rinnovabile e congestione dinamica. Gli agenti hanno scambiato stati locali degli alimentatori, indici di sensibilità, avvisi di congestione e priorità operative. Ciascun agente ha valutato autonomamente le condizioni del proprio alimentatore locale coordinandosi con gli agenti vicini per supportare la stabilità complessiva della rete.
L'accettazione degli alimentatori è stata prioritizzata in base alla sensibilità alla tensione, alla gravità della congestione, alla variabilità della generazione da fonti rinnovabili e alla capacità disponibile degli alimentatori. Le osservazioni locali consapevoli della sensibilità sono state aggregate tra gli agenti, e sono state generate azioni coordinate di accettazione degli alimentatori. La formulazione matematica del processo collaborativo di orchestrazione è fornita nel Supplementary File 1 (Section 6). L'ambiente dinamico della rete BT è stato implementato con agenti collaborativi posizionati nelle zone degli alimentatori, nei punti di integrazione dell'energia rinnovabile e nei bus soggetti a congestione, come descritto nel Supplementary File 1 (Algorithm 1). A ogni intervallo operativo, ciascun agente ha osservato i parametri locali dell'alimentatore, inclusi l'ampiezza della tensione, la variazione della generazione da fonti rinnovabili, il carico dell'alimentatore, il livello di congestione e la capacità di accettazione dell'alimentatore.
Gli indici di sensibilità alla tensione e di sensibilità alla congestione sono stati quindi calcolati per identificare le aree alimentate suscettibili di instabilità della tensione o di propagazione della congestione. Questi indici sono stati combinati in un punteggio complessivo di sensibilità dell’alimentatore, che ha determinato la priorità di accettazione e di orchestrazione degli alimentatori. Informazioni sullo stato locale, livelli di congestione, indicatori di instabilità della tensione e priorità di accettazione sono state scambiate tra agenti adiacenti. Sulla base delle osservazioni locali e delle informazioni condivise, ciascun agente ha selezionato e attuato un'azione di orchestrazione adattativa. Dopo ogni azione, un feedback di rinforzo è stato ottenuto dall'ambiente dinamico della rete in bassa tensione in base alla stabilità dell’alimentatore, alla riduzione della congestione, alla conformità della tensione e all’efficienza di accettazione dell’alimentatore. Questo feedback è stato utilizzato per aggiornare la politica di ciascun agente mediante un’ottimizzazione basata sul rinforzo. La funzione obiettivo globale di orchestrazione ha fornito contemporaneamente un feedback coordinato per l’ottimizzazione adattativa su tutta la popolazione di agenti. Gli aggiornamenti delle politiche sono proseguiti finché le politiche degli agenti non sono converse verso una strategia di orchestrazione decentralizzata ottimale.
8. Validazione su larga scala
La strategia di orchestrazione dinamica è stata convalidata utilizzando il dataset FeederBW e il dataset della rete di distribuzione in bassa tensione con 236 nodi, in scenari operativi caratterizzati da un'elevata penetrazione di energia rinnovabile. La convalida ha valutato la capacità del framework di orchestrazione decentralizzato di gestire l'accettazione dinamica degli alimentatori, l'intermittenza delle fonti rinnovabili, la propagazione delle congestioni e l'instabilità della tensione nei sistemi di distribuzione in bassa tensione interconnessi. Gli scenari operativi valutati includevano un'elevata penetrazione di energia rinnovabile, variazioni della domanda di carico, propagazione dinamica delle congestioni, condizioni sensibili alla tensione e capacità variabile di accettazione degli alimentatori.
Le prestazioni del framework sono state valutate utilizzando il tasso di accettazione degli alimentatori, l'indice di conformità della tensione, il tasso di riduzione della congestione, la latenza di orchestrazione, la velocità di convergenza, l'efficienza della coordinazione decentralizzata e la capacità di integrazione delle fonti rinnovabili. Queste misure sono state utilizzate per valutare scalabilità, robustezza, adattabilità e prestazioni di coordinamento. Il framework proposto è stato confrontato con approcci tradizionali di orchestrazione centralizzata degli alimentatori nelle stesse configurazioni di rete. Ai metodi di confronto sono stati applicati dataset equivalenti, scenari operativi, condizioni di valutazione e misure di prestazione.
Tabella 2 riassume i set di dati, le condizioni operative, gli ambienti di orchestrazione e le variabili di prestazione utilizzati per la validazione sperimentale. Il set di dati FeederBW è stato utilizzato per valutare la dinamica operativa degli alimentatori, l'intermittenza delle fonti rinnovabili, lo sviluppo di congestione, la variazione del carico residenziale e le fluttuazioni di tensione in condizioni di alimentatori in bassa tensione. Il set di dati a 236 nodi in bassa tensione è stato utilizzato per valutare l'orchestrazione decentralizzata in una rete interconnessa più ampia. L'architettura è stata validata in condizioni variabili di generazione da fonti rinnovabili, domanda di carico, tensione e congestione. La coordinazione decentralizzata e l'ottimizzazione delle politiche basata su apprendimento per rinforzo sono state valutate congiuntamente tra gli agenti intelligenti.
Il tasso di accettazione degli alimentatori, l'indice di conformità della tensione, il tasso di riduzione della congestione, la velocità di convergenza e la latenza di orchestrazione sono stati utilizzati per quantificare le prestazioni in condizioni operative dinamiche nei sistemi di energia rinnovabile.
| Parametro Sperimentale | Dataset FeederBW | Dataset LV 236-bus | Scopo della Validazione |
| Tipo di Rete | Rete Alimentatrice a Bassa Tensione | Rete di Distribuzione LV su Grande Scala | Valutazione dell'orchestrazione dinamica |
| Numero di Nodi/Bus | Nodi alimentatori multipli | 236 bus | Analisi della scalabilità |
| Integrazione di Fonti Rinnovabili | Fonti fotovoltaiche e rinnovabili distribuite | Bus con elevata penetrazione di rinnovabili | Validazione dell'incertezza delle rinnovabili |
| Comportamento del Carico | Profili dinamici di carico residenziale | Variazioni di carico su larga scala nei feeder | Orchestrazione adattativa del carico |
| Scenari di Congestione | Stati di sovraccarico e congestione del feeder | Propagazione della congestione su più bus | Analisi della mitigazione della congestione |
| Condizioni di Tensione | Profili di fluttuazione della tensione | Condizioni di bus sensibili alla tensione | Valutazione della conformità alla tensione |
| Agenti Intelligenti | Agenti distribuiti per il feeder | Agenti collaborativi su larga scala | Analisi della coordinazione decentralizzata |
| Ambiente di Apprendimento | Orchestrazione basata su rinforzo | Apprendimento adattativo multi-agente | Validazione dell'ottimizzazione delle politiche |
| Condizioni di Simulazione | Variabilità dinamica delle fonti rinnovabili | Funzionamento dinamico su larga scala | Test di orchestrazione a bassa latenza |
| Metriche di Prestazione | Tasso di accettazione, riduzione della congestione | Conformità alla tensione, velocità di convergenza | Prestazioni complessive dell'orchestrazione |
Tabella 2: Validazione sperimentale su larga scala. Impostazioni sperimentali utilizzate per valutare la scalabilità, l'incertezza dell'energia rinnovabile e la coordinazione decentralizzata.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Risultati
Tutti gli esperimenti sono stati condotti cinque volte utilizzando diversi semi casuali per ridurre l'influenza dell'apprendimento stocastico. I valori medi sono stati calcolati sulla base delle cinque esecuzioni. Sono stati utilizzati gli stessi set di dati, parametri di simulazione, iperparametri, criteri di arresto e procedure di valutazione per tutti i metodi. Il Controllo Centralizzato della Tensione (CVC)33, il Controllo Convenzionale Multi-Agente (CMAC)21, la Regolaz...
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Discussione
I risultati sperimentali hanno mostrato che la strategia di orchestrazione dinamica proposta ha migliorato la coordinazione decentralizzata degli alimentatori, l'integrazione delle energie rinnovabili, la stabilità della tensione, la gestione delle congestioni e l'orchestrazione a bassa latenza rispetto al Controllo Centralizzato della Tensione (CVC)33, al Controllo Convenzionale Basato su Agenti Multipli (CMAC)21, alla Regolazione della Tensione Basata su Apprendimento per...
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Dichiarazioni
Gli autori dichiarano di non avere interessi concorrenti.
Ringraziamenti
Questa ricerca è stata sostenuta dal Guangzhou Power Supply Bureau della Guangdong Power Grid Company attraverso il progetto „Ricerca sulla tecnologia di accettazione automatizzata delle apparecchiature di misurazione a bassa tensione basata sull'automazione dei processi” (Codice progetto: 030100KC24120100).
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Materiali
| Nome | Azienda | Numero di catalogo | Commenti |
|---|---|---|---|
| Insieme di dati della rete di distribuzione a bassa tensione con 236 nodi | Canizes et al. | DOI: 10.5281/zenodo.8274780 | Insieme di dati pubblico utilizzato per l'analisi della scalabilità e la validazione su larga scala del framework proposto |
| Unità centrale di elaborazione (CPU) | Intel Corporation | Intel Core i9-12900K (16 core) | Utilizzata per la gestione delle simulazioni e l'esecuzione dell'ambiente |
| Modulo di analisi della sensibilità alla congestione | Modulo sviluppato su misura | Zenodo DOI: 10.5281/zenodo.21423239 | Esegue il calcolo in tempo reale della sensibilità alla congestione e la priorizzazione degli alimentatori |
| Toolkit CUDA | NVIDIA Corporation | CUDA 12.1 | Piattaforma di calcolo GPU utilizzata per l'addestramento accelerato del modello PyTorch |
| Libreria cuDNN | NVIDIA Corporation | cuDNN 9.3.0 | Libreria per l'accelerazione delle reti neurali profonde utilizzata con CUDA |
| Simulatore dinamico personalizzato per reti in bassa tensione | Modulo sviluppato su misura | Versione 1.0 | Piattaforma di simulazione sviluppata dall'autore, implementata in Python e PyTorch per esperimenti di orchestrazione dinamica degli alimentatori. I dettagli dell'implementazione sono forniti nelle sezioni Metodi e Disponibilità dei dati. |
| Libreria per l'elaborazione dei dati | Team di sviluppo di pandas | pandas 2.2.2 | Utilizzata per la pre-elaborazione, l'estrazione delle caratteristiche, la normalizzazione e la gestione dei dati in serie temporali |
| Framework di apprendimento profondo | PyTorch Foundation | PyTorch 2.3.1 | Utilizzato per l'implementazione del modello di apprendimento per rinforzo multi-agente (MARL), l'addestramento delle reti neurali e l'ottimizzazione delle politiche |
| Modulo di comunicazione distribuita tra agenti | Framework sviluppato su misura | Zenodo DOI: 10.5281/zenodo.21423239 | Consente la comunicazione decentralizzata e lo scambio collaborativo delle politiche tra agenti intelligenti |
| Insieme di dati FeederBW | Treutlein et al. | DOI: 10.5281/zenodo.17831177 | Insieme di dati pubblico contenente misurazioni reali di alimentatori in bassa tensione, generazione da fonti rinnovabili e profili operativi |
| Unità di elaborazione grafica (GPU) | NVIDIA Corporation | GeForce RTX 3090, 24 GB GDDR6X | Acceleratore hardware utilizzato per l'addestramento delle reti neurali e il calcolo parallelo |
| Ambiente di apprendimento per rinforzo multi-agente | Farama Foundation | Gym 0.26.2 | Ambiente personalizzato di apprendimento per rinforzo per l'interazione e l'addestramento collaborativo di agenti intelligenti |
| Libreria per il calcolo numerico | Sviluppatori di NumPy | NumPy 1.26.4 | Utilizzata per calcoli numerici, manipolazione di tensori e operazioni matriciali |
| Sistema operativo | Canonical Ltd. | Ubuntu 22.04.5 LTS (64 bit) | Sistema operativo utilizzato per tutte le simulazioni e gli esperimenti di apprendimento per rinforzo |
| Linguaggio di programmazione Python | Python Software Foundation | Python 3.11.9 | Linguaggio di programmazione principale utilizzato per l'implementazione degli algoritmi, le simulazioni e lo sviluppo dei modelli |
| Memoria di sistema | Lenovo | 64 GB di RAM DDR5 | Memoria di sistema installata utilizzata per simulazioni su larga scala MARL ed elaborazione dei dati. |
| Modulo di monitoraggio della stabilità della tensione | Modulo sviluppato su misura | Zenodo DOI: 10.5281/zenodo.21423239 | Valuta continuamente la stabilità e la conformità della tensione durante l'orchestrazione degli alimentatori |
Riferimenti
- Ahmed F, et al. A multi-agent reinforcement learning framework for voltage-constrained incentive demand response in PV-rich low-voltage distribution systems. IEEE Access. 2026;14:45410–22.
- Lamsal D, Sreeram V, Mishra Y, Kumar DS. Smoothing control strategy of wind and photovoltaic output power fluctuation by considering the state of health of battery energy storage system. IET Renew Power Gener. 2019;13:578–86.
- Allahmoradi S, et al. Data-driven Volt/VAR optimization for modern distribution networks: A review. IEEE Access. 2024;12:71184–204.
- O'Connell N, Pinson P, Madsen H, O'Malley M. Benefits and challenges of electrical demand response: A critical review. Renew Sustain Energy Rev. 2014;39:686–99.
- Hossain MS, Madlool NA, Al-Fatlawi AW, El Haj Assad M. High penetration of solar photovoltaic structure on the grid system disruption: An overview of technology advancement. Sustainability. 2023;15:1174. https://doi.org/10.3390/su15021174
- Rahmouni A. Impact of static reactive power compensator (SVC) on the power grid. WSEAS Trans Electron. 2020;11:96–104.
- Chandran CV, et al. Application of demand response to improve voltage regulation with high DG penetration. Electr Power Syst Res. 2020;189:106722. https://doi.org/10.1016/j.epsr.2020.106722
- Wang Q, et al. A demand response strategy in high photovoltaic penetration power systems considering the thermal ramp rate limitation. IEEE Access. 2019;7:163814–22.
- Wang Z, et al. How to effectively implement an incentive-based residential electricity demand response policy? Experience from large-scale trials and matching questionnaires. Energy Policy. 2020;141:111450. https://doi.org/10.1016/j.enpol.2020.111450
- van Tilburg J, Siebert LC, Cremer JL. MARL-iDR: Multi-agent reinforcement learning for incentive-based residential demand response. arXiv. 2023. https://arxiv.org/abs/2304.04086
- Bahrami S, Chen YC, Wong VWS. Deep reinforcement learning for demand response in distribution networks. IEEE Trans Smart Grid. 2021;12:1496–506.
- Li J, et al. Model-free reinforcement learning economic dispatch algorithms for price-based residential demand response management system. IEEE Trans Ind Cyber-Phys Syst. 2023;1:123–35.
- Zheng S, et al. Incentive-based integrated demand response for multiple energy carriers under complex uncertainties and double coupling effects. Appl Energy. 2021;283:116254. https://doi.org/10.1016/j.apenergy.2020.116254
- Nainar K, Pillai JR, Bak-Jensen B. Incentive price-based demand response in active distribution grids. Appl Sci. 2020;11:1–17.
- Nguyen Duc T, et al. Impact of renewable energy integration on a novel method for pricing incentive payments of incentive-based demand response program. IET Gener Transm Distrib. 2022;16:1648–67.
- Pourramezan A, Samadi M. A novel approach for incorporating incentive-based and price-based demand response programs in long-term generation investment planning. Int J Electr Power Energy Syst. 2022;142:108315. https://doi.org/10.1016/j.ijepes.2022.108315
- Mathew A, Roy A, Mathew J. Intelligent residential energy management system using deep reinforcement learning. IEEE Syst J. 2020;14:5362–72.
- Khan DA, Arshad A, Lehtonen M, Mahmoud K. Combined DR pricing and voltage control using reinforcement learning based multi-agents and load forecasting. IEEE Access. 2022;10:130839-49.
- Zhang X, et al. An edge-cloud integrated solution for buildings demand response using reinforcement learning. IEEE Trans Smart Grid. 2021;12:420–31.
- Duan J, et al. Deep-reinforcement-learning-based autonomous voltage control for power grid operations. IEEE Trans Power Syst. 2020;35:814–7.
- Wang S, et al. A data-driven multi-agent autonomous voltage control framework using deep reinforcement learning. IEEE Trans Power Syst. 2020;35:4644–54.
- Turitsyn K, Sulc P, Backhaus S, Chertkov M. Options for control of reactive power by distributed photovoltaic generators. Proc IEEE. 2011;99:1063–73.
- Bedawy A, et al. Optimal voltage control strategy for voltage regulators in active unbalanced distribution systems using multi-agents. IEEE Trans Power Syst. 2020;35:1023–35.
- Bedawy A, Yorino N, Mahmoud K. Management of voltage regulators in unbalanced distribution networks using voltage/tap sensitivity analysis. Presented at: International Conference on Innovative Trends in Computer Engineering (ITCE); Aswan, Egypt; 2018. https://doi.org/10.1109/itce.2018.8316651
- Smith O, et al. The effect of renewable energy incorporation on power grid stability and resilience. Sci Adv. 2022;8:eabj6734. https://doi.org/10.1126/sciadv.abj6734
- Charbonnier F, Morstyn T, McCulloch MD. Scalable multi-agent reinforcement learning for distributed control of residential energy flexibility. Applied Energy. 2022;314:118825. doi:10.1016/j.apenergy.2022.118825
- Dugan J, Mohagheghi S, Kroposki B. Application of mobile energy storage for enhancing power grid resilience: A review. Energies. 2021;14:6476. https://doi.org/10.3390/en14206476
- Panossian N, et al. Challenges and opportunities of integrating electric vehicles in electricity distribution systems. Curr Sustain Renew Energy Rep. 2022;9:27–40.
- Guan Q, et al. Dynamic-aware deep reinforcement learning for heterogeneous fleet-based capacitated electric vehicle routing problems. Applied Energy. 2026;413:127757. https://doi.org/10.1016/j.apenergy.2026.127757
- Guan Q, et al. Heterogeneous attention-driven deep reinforcement learning for solving EVRPs with pickup-delivery and time windows. Applied Energy. 2026;407:127355. https://doi.org/10.1016/j.apenergy.2026.127355
- Treutlein M, et al. Real-world energy data of 200 feeders from low-voltage grids with metadata in Germany over two years (Version v1.0) [Data set]. Zenodo; 2025. https://doi.org/10.5281/zenodo.17831177
- Canizes B, Castro F, Silveira V, Vale Z. 236-Bus Low Voltage Distribution Network Data [Data set]. Zenodo; 2023. https://doi.org/10.5281/zenodo.8274780
- Xi, Haikuo & Chen, Can & Bai, Xuesong & Ma, Yuan & Ding, Jiachao & Chen, Qifang. (2024). Centralized and decentralized combined voltage control for distribution network with high penetration PV connected. Journal of Physics: Conference Series. 2771. 012040. 10.1088/1742-6596/2771/1/012040.
- Singh AK, Parida SK. Congestion management with distributed generation and its impact on electricity market. International Journal of Electrical Power & Energy Systems. 2013;48:39–47. doi:10.1016/j.ijepes.2012.11.025.
- Gooi HB, Wang T, Tang Y. Edge intelligence for smart grid: A survey on application potentials. CSEE Journal of Power and Energy Systems. 2023;9(5):1623–1640. https://doi.org/10.17775/CSEEJPES.2022.02210
- Molokomme DN, Onumanyi AJ, Abu-Mahfouz AM. Edge intelligence in smart grids: A survey on architectures, offloading models, cyber security measures, and challenges. Journal of Sensor and Actuator Networks. 2022;11(3):47. https://doi.org/10.3390/jsan11030047
- Chang Z, Liu S, Xiong X, Cai Z, Tu G. A survey of recent advances in edge-computing-powered artificial intelligence of things. IEEE Internet of Things Journal. 2021;8(18):13849–13875.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.