Orchestrazione dinamica dell'accettazione dei feeder basata su RL multi-agente utilizzando il dataset FeederBW e una rete di distribuzione a bassa tensione a 236 nodi

Sommario

Questo studio presenta una Strategia di Orchestrazione Dinamica per l'accettazione di alimentatori a bassa tensione mediante apprendimento per rinforzo collaborativo multi-agente. Agenti intelligenti coordinano il funzionamento dell'alimentatore, la gestione delle congestioni, la stabilità della tensione e l'integrazione delle energie rinnovabili in condizioni di incertezza. L'approccio è stato valutato mediante simulazioni utilizzando i dataset FeederBW e 236-bus.

Abstract

L'integrazione estesa di fonti energetiche rinnovabili distribuite e l'espansione rapida degli alimentatori a bassa tensione (LV) hanno creato sfide operative relative all'accettazione degli alimentatori e alla gestione della congestione. Gli attuali approcci per il controllo della tensione e la gestione degli alimentatori potrebbero avere una scalabilità e un'adattabilità limitate in presenza di generazione intermittente da fonti rinnovabili e condizioni di rete variabili. Per affrontare tali limitazioni, questo studio propone un Framework di Orchestrazione Dinamica per l'Accettazione degli Alimentatori a Bassa Tensione basato sulla collaborazione tra agenti intelligenti all'interno di un approccio di apprendimento per rinforzo multi-agente. A differenza delle strategie di controllo della tensione incentrate principalmente sulla stabilizzazione della tensione, il framework proposto supporta l'accettazione dinamica degli alimentatori attraverso l'operazione coordinata di agenti responsabili del monitoraggio degli alimentatori, della gestione della congestione e della priorizzazione basata sulla sensibilità alla tensione. Gli agenti hanno osservato autonomamente gli stati degli alimentatori, valutato la congestione e le sensibilità alla tensione e collaborato nelle decisioni relative all'accettazione degli alimentatori. Il framework è stato valutato mediante simulazioni utilizzando il dataset FeederBW e il dataset della rete di distribuzione a bassa tensione con 236 nodi, in condizioni variabili di integrazione delle fonti rinnovabili e di carico. Il framework proposto ha raggiunto un tasso di accettazione degli alimentatori del 97%, un indice di conformità alla tensione del 98%, una latenza di orchestrazione di 98 ms misurata come tempo di esecuzione effettivo dell'algoritmo di orchestrazione sull'hardware riportato e una velocità di convergenza del 98,5%, superando i metodi di coordinamento centralizzati valutati. I risultati hanno inoltre indicato un miglioramento dell'adattabilità, della resilienza operativa e dell'efficienza del processo decisionale decentralizzato nelle condizioni simulate di rete di distribuzione a bassa tensione.

Introduzione

I moderni sistemi elettrici affrontano significative sfide operative a causa dell'aumento della domanda di elettricità e del crescente utilizzo della generazione distribuita. Gli squilibri tra offerta e domanda di energia elettrica, o gli incrementi rapidi della generazione distribuita, possono causare tensioni finanziarie per le aziende di fornitura e per gli utenti finali, mettendo a rischio la stabilità della rete. L'infrastruttura elettrica tradizionale, basata su fonti fossili e controllata centralmente, sta quindi passando a un modello distribuito, guidato da fonti rinnovabili. Questa transizione ha migliorato l'accesso a fonti energetiche più convenienti e sostenibili dal punto di vista ambientale. Tuttavia, la natura intermittente e imprevedibile della generazione fotovoltaica (PV) solleva preoccupazioni riguardo all'affidabilità della rete^1,2.

La transizione energetica globale sta accelerando il dispiegamento del fotovoltaico grazie ai suoi benefici ambientali, alla scalabilità e al costo in costante diminuzione. Secondo l'Agenzia Internazionale per le Energie Rinnovabili, si prevede che la capacità fotovoltaica rappresenti oltre il 22% dell'approvvigionamento elettrico globale entro il 2050 e che il fotovoltaico solare diventi un contributore principale all'approvvigionamento elettrico globale entro il 2030³. Questa ampia integrazione pone sfide significative per i sistemi elettrici convenzionali, in particolare per quanto riguarda la stabilità e l'affidabilità operativa. La fluttuazione di tensione è una preoccupazione fondamentale poiché la generazione fotovoltaica è intermittente e non programmabile, e i suoi effetti diventano più evidenti con l'aumento della penetrazione nelle reti di distribuzione e trasmissione⁴.

Le variazioni nell'irradianza solare influiscono direttamente sul rendimento dei pannelli fotovoltaici e possono provocare rapide variazioni di tensione. Il movimento delle nuvole, le brusche variazioni dell'irradianza e i transitori di carico possono causare fluttuazioni di tensione che le attuali architetture di rete non sono in grado di gestire adeguatamente⁵. Sebbene le tecnologie convenzionali si siano dimostrate efficaci in reti centralizzate e relativamente stabili, risultano meno adatte per reti sempre più distribuite. Variazioni rapide di tensione in entrambe le direzioni possono superare le capacità dei sistemi elettrici convenzionali, in particolare in presenza di un'elevata penetrazione di energia fotovoltaica⁶. Fluttuazioni non controllate potrebbero violare i limiti di tensione, influire su carichi sensibili e compromettere la sicurezza della rete.

L'integrazione di carichi intelligenti e risorse distribuite nelle reti di distribuzione ha quindi motivato lo sviluppo di strategie di controllo più avanzate. Sistemi di controllo intelligenti in grado di monitorare e coordinare continuamente apparecchiature distribuite possono contribuire a mitigare le sfide presenti nelle reti a bassa tensione (BT) con elevata generazione distribuita⁷. L'integrazione su larga scala del fotovoltaico crea inoltre difficoltà operative per la generazione termica, in particolare quando la produzione fotovoltaica diminuisce e le unità termiche devono rispondere rapidamente, a volte superando i limiti di variazione di potenza⁸. Allo stesso tempo, i programmi di gestione della domanda (DR) devono bilanciare la sostenibilità a lungo termine con la fattibilità economica⁹.

I programmi di risposta alla domanda (DR) possono supportare l'integrazione della generazione distribuita contribuendo al bilanciamento tra offerta e domanda di elettricità. Questi programmi sono classificati come DR basati sui prezzi o DR basati su incentivi (IBDR). La DR basata sui prezzi incoraggia i consumatori a modificare il proprio consumo di elettricità in risposta a tariffe variabili nel tempo, mentre la IBDR prevede incentivi finanziari fissi o variabili per ridurre il consumo su richiesta¹⁰. Tuttavia, la DR basata sui prezzi espone i consumatori a fluttuazioni dei prezzi all'ingrosso e offre una flessibilità operativa limitata dal punto di vista del gestore del servizio, il che potrebbe scoraggiare i partecipanti avversi al rischio^11,12.

Diversi studi hanno esaminato la IBDR nei sistemi di distribuzione ricchi di fotovoltaico. Uno studio ha valutato le sfide e i benefici della combinazione tra IBDR e alta penetrazione del fotovoltaico, ma si è concentrato sul consumo aggregato di energia piuttosto che sui sistemi di gestione energetica domestica a livello familiare¹³. Un altro ha proposto un metodo basato sugli incentivi per la gestione della tensione, in cui segnali di prezzo controllavano indirettamente il funzionamento delle batterie per mantenere i limiti di tensione, sebbene la domanda domestica non fosse modellata esplicitamente¹⁴. Un metodo basato sulla logica fuzzy per determinare i pagamenti incentivanti ha preso in considerazione la soddisfazione dei consumatori e i costi di integrazione delle fonti rinnovabili, ma non includeva un'analisi a livello di linea di distribuzione¹⁵. È stato inoltre studiato un piano di generazione a lungo termine che incorpora sia la domanda gestita basata sui prezzi che quella basata sugli incentivi, comprendente generazione termica e rinnovabile, ma senza tenere conto del comfort degli utenti o della domanda a livello domestico¹⁶.

L'apprendimento per rinforzo profondo (RL) è stato applicato anche alla gestione della domanda residenziale (DR). Sono stati proposti metodi di RL profondo per il controllo aggregato del carico in base a tariffe temporali, sebbene la loro generalizzabilità fosse limitata da popolazioni utente ridotte e dall'assenza di pianificazione a livello di elettrodomestici¹⁷. Un framework di apprendimento per rinforzo multi-agente che combina DR e controllo della tensione ha utilizzato reti neurali a memoria a lungo breve termine per la previsione del carico, ma non ha risolto l'insoddisfazione dei clienti derivante dalla restrizione del carico¹⁸. Altri studi si sono concentrati sulla coordinazione della DR per sistemi di condizionamento dell'aria in edifici commerciali mediante un processo decisionale markoviano, senza considerare altri carichi residenziali¹⁹. Gli attuali studi sul controllo della tensione mediante RL profondo in generale non hanno integrato contemporaneamente DR e immissione da fotovoltaico (PV)^20,21.

Gli inverter intelligenti possono reagire rapidamente a cambiamenti bruschi e irregolari nell'output del fotovoltaico²². Quando si verificano violazioni della tensione, gli inverter fotovoltaici possono intervenire in pochi millisecondi, mentre i dispositivi convenzionali possono richiedere diversi secondi²³. Alcuni studi hanno proposto modifiche alle procedure standard di controllo dei dispositivi, inclusi approcci basati su più agenti per coordinare i regolatori di tensione e modificare le azioni dei controller di tensione convenzionali²⁴. Tuttavia, la generazione fotovoltaica autonoma senza accumulo co-locato può peggiorare le escursioni di tensione e non attenua i picchi serali, anche quando riduce le importazioni nette diurne^24,25. Le batterie domestiche potrebbero inoltre esaurirsi durante i periodi di surplus fotovoltaico diurno e rendersi indisponibili per la ricarica notturna dei veicoli elettrici se il loro utilizzo non è coordinato con la domanda e la generazione locali^26,27. Gli effetti combinati della domanda stocastica, della generazione intermittente e del comportamento eterogeneo degli accumuli rendono la gestione della capacità, la longevità delle apparecchiature e la resilienza aspetti critici per gli operatori dei sistemi di distribuzione²⁸. I sistemi di gestione dell'energia domestica (Home Energy Management Systems) offrono un possibile mezzo per implementare un controllo automatizzato a livello del cliente. Il Reinforcement Learning (RL) si adatta bene a tali applicazioni poiché gli agenti possono apprendere strategie di controllo interagendo con l'ambiente, gestendo al contempo l'incertezza e prendendo decisioni a bassa latenza.

I progressi nel routing dei veicoli elettrici illustrano anche come il deep RL possa gestire vincoli energetici dinamici. Il problema del routing capacitato di veicoli elettrici basato su flotte eterogenee incorpora la dinamica di guida, le caratteristiche stradali, la resistenza cinetica e l'efficienza di ricarica, minimizzando al contempo il consumo energetico massimo su una flotta diversificata²⁹. Un metodo di apprendimento per rinforzo profondo consapevole della dinamica formula questo problema come un processo decisionale di Markov personalizzato e utilizza un'architettura composta da codificatore, aggiornatore e decodificatore. In questa struttura, il codificatore sviluppa rappresentazioni specifiche per ruolo dei vertici e dei veicoli, l'aggiornatore perfeziona i token dei veicoli man mano che cambiano le informazioni contestuali e il decodificatore separa la selezione del veicolo dalla selezione dei vertici specifici per ciascun veicolo, supportando così un processo decisionale adattivo. Analogamente, un problema di routing di veicoli elettrici ottimizzato per il consumo energetico con consegne, ritiri e finestre temporali utilizza un modello ad alta risoluzione del consumo energetico che include il comportamento di ricarica, la dinamica di guida dipendente dal tempo e informazioni dettagliate sul percorso³⁰. Un framework eterogeneo di apprendimento per rinforzo profondo basato sull'attenzione rappresenta il compito di routing come un processo decisionale di Markov, con un codificatore che cattura le interazioni specifiche per ruolo tra depositi, clienti e stazioni di ricarica e un decodificatore che traccia le transizioni di stato e la fattibilità temporale.

Nonostante questi sviluppi, la maggior parte degli studi sulla gestione della distribuzione in bassa tensione pone l'accento sulla stabilizzazione della tensione e sull'ottimizzazione della potenza reattiva piuttosto che sull'orchestrazione dinamica dell'accettazione degli alimentatori in condizioni di incertezza rinnovabile. I metodi di controllo distribuito della tensione basati su inverter intelligenti e apprendimento automatico si concentrano generalmente sulla compensazione della tensione e sull'ottimizzazione della potenza reattiva, senza affrontare il controllo adattivo dell'accettazione degli alimentatori o l'orchestrazione basata sulla congestione in reti complesse in bassa tensione. Analogamente, gli approcci di apprendimento per rinforzo multi-agente vincolati alla tensione per la gestione della domanda non affrontano direttamente la gestione collaborativa dell'accettazione degli alimentatori, l'orchestrazione decentrata consapevole della congestione o il controllo di ammissione a livello di nodo nei sistemi di distribuzione interconnessi in bassa tensione. I metodi cooperativi di regolazione della tensione basati sulla coordinazione multi-agente tipicamente riducono al minimo le deviazioni di tensione e le operazioni dei prelievi utilizzando inverter fotovoltaici, ma non considerano l'ammissione adattiva degli alimentatori, l'instabilità dell'accettazione legata alle fonti rinnovabili o l'orchestrazione decentrata in condizioni di rete dinamiche.

I metodi attuali di coordinamento delle risorse distribuite e multi-agente presentano anche limitazioni per quanto riguarda la consapevolezza del congestionamento, l'adattabilità temporale e la scalabilità. La maggior parte si concentra sull'analisi del sovraccarico, sulle interazioni tra le risorse energetiche distribuite o sulla gestione energetica basata sulle tariffe, piuttosto che sull'accettazione adattativa a livello di alimentatore e sull'orchestrazione consapevole della tensione. La loro dipendenza da una centralizzazione parziale e da priorità statiche può ulteriormente limitare il processo decisionale decentralizzato, la risposta rapida alla propagazione del congestionamento e l'adattamento alla variabilità delle fonti rinnovabili. È quindi necessario un quadro completamente decentralizzato, basato sull'apprendimento per rinforzo, che combini il coordinamento cooperativo degli agenti con l'analisi della sensibilità alla tensione e al congestionamento, per una gestione adattativa dell'accettazione negli alimentatori, utilizzando set di dati su larga scala come FeederBW e la rete di distribuzione in bassa tensione con 236 nodi.

In questo studio, l'accettazione di un alimentatore si riferisce al processo operativo adattivo per determinare se un alimentatore in bassa tensione può ospitare ulteriori risorse energetiche distribuite o carichi elettrici mantenendo la sicurezza della rete, la conformità della tensione, i limiti di carico termico e l'affidabilità operativa. Il limite operativo per l'accettazione dell'alimentatore comprende la valutazione della capacità dell'alimentatore, della sensibilità alla tensione, delle condizioni di congestione e della variabilità delle energie rinnovabili prima che nuovi collegamenti all'alimentatore vengano accettati o prioritizzati. A differenza del controllo convenzionale della tensione, che regola i profili di tensione, della coordinazione delle risorse energetiche distribuite, che gestisce il funzionamento delle risorse, o della gestione della congestione, che attenua i sovraccarichi di rete, l'accettazione dell'alimentatore integra queste funzioni all'interno di un framework collaborativo di apprendimento per rinforzo multi-agente per supportare un'orchestrazione dinamica, decentralizzata e adattativa in condizioni ricche di energie rinnovabili.

L'obiettivo di questo studio è sviluppare una strategia dinamica di orchestrazione basata su agenti intelligenti collaborativi per l'accettazione dei circuiti a bassa tensione in condizioni operative variabili e in presenza di incertezza delle fonti rinnovabili. Il framework proposto esegue un'orchestrazione decentralizzata dell'accettazione dei circuiti valutando dinamicamente lo stato dei circuiti, la sensibilità alla tensione, la sensibilità al congestionamento e la capacità di accettazione, consentendo così una priorizzazione adattiva e processi decisionali più avanzati rispetto ai metodi statici di controllo della tensione. Utilizzando il dataset FeederBW e il dataset della rete di distribuzione in bassa tensione con 236 nodi, lo studio sviluppa anche un'architettura scalabile di apprendimento per rinforzo multi-agente per sistemi in bassa tensione di grandi dimensioni. Grazie a un apprendimento guidato da rinforzo e a un'ottimizzazione collaborativa a bassa latenza eseguita a ogni intervallo operativo simulato, il framework è progettato per ridurre la propagazione del congestionamento, migliorare la conformità alla tensione, abbassare la latenza di orchestrazione e aumentare l'efficienza della coordinazione decentralizzata.

Il framework propone un approccio dinamico di orchestrazione dell'accettazione degli alimentatori in bassa tensione che sostituisce le strategie statiche di gestione degli alimentatori basate sul controllo della tensione; un'architettura decentralizzata basata sull'apprendimento per rinforzo multi-agente per affrontare l'incertezza delle fonti rinnovabili e le condizioni di carico variabili; una gestione decentralizzata dell'ammissione basata su condizioni di bassa latenza e su una priorità dinamica degli alimentatori; indici congiunti di sensibilità alla tensione e alla congestione per identificare gli alimentatori critici e stabilire priorità nelle decisioni di accettazione; una comunicazione collaborativa tra agenti adiacenti; un'ottimizzazione continua delle politiche basata sull'apprendimento per rinforzo per migliorare la stabilità degli alimentatori, la mitigazione della congestione, la conformità alla tensione e la velocità di convergenza; e una validazione su larga scala basata su simulazioni effettuate mediante i dataset FeederBW e 236-bus LV. I risultati comparativi indicano un miglioramento nell'accettazione degli alimentatori, nella mitigazione della congestione, nel ritardo di orchestrazione, nella velocità di convergenza e nella conformità alla tensione rispetto ai tradizionali metodi di coordinamento centralizzati.

Protocollo

Nell'indagine non sono stati utilizzati soggetti umani, animali vertebrati, tessuti umani o tessuti animali. Nello studio sono stati utilizzati esclusivamente set di dati pubblicamente accessibili (il FeederBW dataset e il 236-bus Low-Voltage Distribution Network dataset) e simulazioni basate su computer. Pertanto, questo studio non ha richiesto l'approvazione del comitato etico (IRB), né consenso informato o valutazione etica.

La strategia di orchestrazione dinamica per l'accettazione di alimentatori a bassa tensione basata sulla collaborazione tra agenti è stata sviluppata utilizzando l'apprendimento per rinforzo multi-agente (MARL) in condizioni operative ricche di fonti rinnovabili. I dataset FeederBW e quello a 236 nodi a bassa tensione sono stati preelaborati, normalizzati e sincronizzati temporalmente per costruire un modello di rete dinamico rappresentante gli stati degli alimentatori, le risorse energetiche distribuite, le aree sensibili alla tensione e le condizioni di congestione. Agenti intelligenti sono stati assegnati a sezioni degli alimentatori e ai nodi della rete per monitorare la tensione locale, la congestione, l'incertezza nella generazione da fonti rinnovabili e la capacità di accettazione dell'alimentatore, scambiare informazioni con agenti vicini e aggiornare le politiche di orchestrazione attraverso un apprendimento per rinforzo decentralizzato. La funzione di ricompensa è stata progettata per migliorare l'accettazione dell'alimentatore limitando al contempo la congestione, l'instabilità della tensione e i ritardi di coordinamento. Sono stati considerati vincoli relativi alla tensione, al carico dell'alimentatore, al carico del trasformatore e alla congestione, mentre non sono stati modellati esplicitamente il funzionamento squilibrato trifase, il controllo avanzato dell'inverter fotovoltaico e la compensazione della potenza reattiva. Il quadro generale è mostrato in Figura 1. Gli strumenti di ricerca utilizzati in questo studio sono elencati nella Tabella dei Materiali.

Figura 1: Architettura del framework proposto. Schema del Framework di Orchestrazione Dinamica che incorpora agenti intelligenti, apprendimento per rinforzo, analisi della congestione e coordinamento adattivo degli alimentatori. Cliccare qui per visualizzare una versione ingrandita di questa figura.

1. Acquisizione dei dati

I dati sono stati acquisiti dal set di dati FeederBW³¹ e dal set di dati di distribuzione in bassa tensione a 236 nodi³². Questi set di dati sono stati selezionati perché contenevano informazioni sulla topologia dell'alimentatore, sulle condizioni di tensione, sul comportamento della generazione da fonti rinnovabili, sulla domanda di carico, sui fenomeni di congestione e sui profili operativi dinamici necessari per l'orchestrazione decentralizzata e l'apprendimento di agenti basato su rinforzo.

Il dataset FeederBW è stato utilizzato principalmente per modellare il funzionamento degli alimentatori, l'intermittenza dell'energia rinnovabile, la deviazione della tensione e la propagazione della congestione nelle reti in bassa tensione. Conteneva dati sul funzionamento degli alimentatori, il comportamento della generazione distribuita, misurazioni della tensione nei nodi e fluttuazioni del carico, che supportavano l'analisi dell'orchestrazione adattiva. Il dataset in bassa tensione con 236 nodi è stato utilizzato per valutare la scalabilità e la coordinazione decentralizzata. Conteneva informazioni sulle connessioni dei nodi, le condizioni di carico degli alimentatori, le caratteristiche della tensione nei nodi, la penetrazione delle fonti rinnovabili distribuite e casi operativi sensibili alla congestione. Insieme, i due dataset hanno supportato analisi a livello di alimentatore e su larga scala in condizioni di elevata penetrazione di energia rinnovabile. Le caratteristiche dei dataset e i loro scopi all'interno del framework sono riassunti nella Tabella 1.

Nome del Dataset	Tipo di Dataset	Numero di Nodi/Bus	Attributi dei Dati	Scopo nel Lavoro Proposto
FeederBW Dataset	Dataset Operativo per Alimentatori a Bassa Tensione	Nodi di alimentatori multipli	Profili di tensione, generazione da fonti rinnovabili, domanda di carico, stati di congestione, comportamento operativo dell'alimentatore	orchestrazione a bassa latenza degli alimentatori, analisi della congestione, priorizzazione adattiva dell'accettazione
236-bus LV Dataset	Dataset di Distribuzione a Bassa Tensione su Grande Scala	236 bus	Topologia del bus, carico dell'alimentatore, sensibilità alla tensione, penetrazione delle rinnovabili, dinamiche di congestione	Validazione della scalabilità, valutazione della coordinazione decentralizzata, analisi dell'orchestrazione su larga scala

Tabella 1: Caratteristiche del dataset. Descrizione dei dataset, degli attributi operativi e dei loro scopi all'interno del framework proposto per l'orchestrazione a bassa tensione.

2. Preparazione dei dati

I set di dati acquisiti sono stati preelaborati per migliorare la coerenza, l'allineamento temporale e la stabilità dell'apprendimento per rinforzo. Le voci mancanti, le misurazioni errate, i record duplicati e i dati incoerenti dei feeder sono stati filtrati mediante procedure statistiche di preelaborazione. Questo passaggio è stato adottato per mantenere la coerenza tra i dati di funzionamento dei feeder, i profili di generazione da fonti rinnovabili, le misurazioni di tensione e i dati sullo stato di congestione. Tutte le variabili operative sono state normalizzate con il metodo min–max in modo da trasformare le caratteristiche di ingresso in una scala comune adatta all'apprendimento dell'agente. Le variabili normalizzate includevano la tensione del feeder, la domanda di potenza attiva, la generazione da fonti rinnovabili, lo stato di congestione e la capacità di accettazione del feeder. La formulazione matematica della procedura di preelaborazione è riportata nel File Supplementare 1 (Sezione 1).

3. Modellizzazione dinamica di reti a bassa tensione

Dopo l'acquisizione dei dati e il preelaborazione, è stato costruito un modello dinamico della rete in bassa tensione per simulare il comportamento di un sistema di distribuzione con una elevata percentuale di generazione da fonti rinnovabili in condizioni variabili di carico e generazione. Il modello ha tracciato dinamicamente la topologia dei circuiti, il comportamento delle risorse energetiche distribuite, le aree sensibili alla tensione e la propagazione delle congestioni.

A differenza di una rappresentazione statica della rete, il modello aggiorna il comportamento dell'alimentatore in base all'intermittenza delle fonti rinnovabili, alla domanda dei consumatori e alle condizioni di congestione. I dataset FeederBW e 236-bus LV sono stati utilizzati per costruire alimentatori interconnessi in cui nodi, trasformatori, fonti rinnovabili distribuite e carichi sono stati rappresentati come nodi della rete. Ogni nodo dell'alimentatore forniva informazioni aggiornate sull'ampiezza della tensione, sulla richiesta di potenza attiva, sulla generazione da fonti rinnovabili, sullo stato di carico dell'alimentatore e sullo stato di congestione. Queste variabili sono state utilizzate dagli agenti intelligenti per monitorare il comportamento dell'alimentatore e prendere decisioni di orchestrazione decentralizzate. Il modello della rete ha inoltre supportato l'identificazione delle regioni sensibili e la priorizzazione dell'accettazione degli alimentatori mediante un'analisi continua della sensibilità.

La rete di distribuzione in bassa tensione è stata rappresentata come una rete basata su grafi, contenente stazioni di collegamento, linee di alimentazione, trasformatori, fonti rinnovabili e nodi di carico per i consumatori. Le derivazioni matematiche dettagliate del modello della rete sono fornite nel File Supplementare 1 (Sezione 2). Lo stato dinamico della rete e l'indice di congestione sono stati monitorati continuamente. L'indice di congestione è stato normalizzato all'intervallo [0,1] ed è stata avviata un'orchestrazione collaborativa di accettazione degli alimentatori quando l'indice di congestione ha superato 0,80.

4. Inizializzazione dell'Ambiente Multi-Agente

Dopo aver costruito il modello dinamico della rete LV, è stato inizializzato l'ambiente multi-agente per supportare l'accettazione decentrata degli alimentatori. Agenti intelligenti sono stati assegnati ai tratti degli alimentatori, ai punti di connessione delle risorse energetiche distribuite, alle posizioni dei trasformatori e ai nodi soggetti a congestione all'interno della rete LV.

Ogni agente fungeva da entità indipendente per il processo decisionale, che monitorava il funzionamento del proprio alimentatore locale, scambiava informazioni con gli agenti adiacenti ed eseguiva azioni di orchestrazione adattive. Gli agenti sono stati assegnati ai nodi principali degli alimentatori in base alla sensibilità della tensione, al livello di penetrazione delle fonti rinnovabili, al grado di congestione e all'importanza dell'alimentatore. La rete in bassa tensione è stata configurata come un ambiente basato su agenti, all'interno del quale gli agenti monitoravano continuamente la tensione dell'alimentatore, la richiesta di potenza attiva, le variazioni della generazione da fonti rinnovabili, lo stato di congestione e la capacità di accettazione dell'alimentatore. La formulazione matematica dell'ambiente multi-agente è riportata nel Supplementary File 1(Section 3).

5. Apprendimento dell'agente guidato dal rinforzo

Dopo l'inizializzazione dell'ambiente multi-agente, è stato implementato un apprendimento guidato dal rinforzo per consentire agli agenti di apprendere politiche di orchestrazione dei feeder attraverso l'interazione con le condizioni operative variabili della rete di bassa tensione. Durante ogni interazione, un agente osservava lo stato attuale del feeder, selezionava un'azione di orchestrazione e riceveva una ricompensa o una penalità. Il processo di apprendimento decentralizzato ha permesso agli agenti di adattarsi all'incertezza della generazione da fonti rinnovabili, alle variazioni delle condizioni di congestione, alle fluttuazioni di tensione e ai cambiamenti nella capacità di accettazione del feeder. Ogni agente selezionava un'azione di orchestrazione in base alla propria politica appresa. Le relative derivazioni matematiche sono fornite nel File Supplementare 1(Sezione 4).

È stato distribuito un totale di 64 agenti intelligenti. Sulla base della topologia dell'alimentatore, del livello di penetrazione delle energie rinnovabili, della sensibilità alla tensione e della gravità della congestione, ciascun agente è stato assegnato a un tratto dell'alimentatore, a un sito del trasformatore, a un punto di connessione della risorsa energetica distribuita o a un nodo della rete sensibile alla congestione. Mantenendo una complessità computazionale ragionevole, la distribuzione decentralizzata ha permesso un monitoraggio cooperativo e un'accettazione adattiva dell'alimentatore in tutta la rete di distribuzione a bassa tensione da 236 nodi. Ciascun agente osservava un vettore di stato a cinque dimensioni composto da magnitudine della tensione, domanda di carico dell'alimentatore, generazione da fonti rinnovabili, stato di congestione e capacità di accettazione dell'alimentatore. Lo spazio delle azioni comprendeva cinque azioni di orchestrazione: priorizzazione dell'accettazione dell'alimentatore, mitigazione della congestione, coordinamento delle rinnovabili, bilanciamento del carico e controllo della tensione. Il processo decisionale cooperativo è stato supportato da una topologia di comunicazione decentralizzata tra vicini, in cui ciascun agente scambiava indici di sensibilità e informazioni operative locali esclusivamente con gli agenti degli alimentatori adiacenti.

È stato implementato un metodo MARL basato sul Q-learning utilizzando una rete neurale completamente connessa con due strati nascosti contenenti rispettivamente 128 e 64 neuroni. È stata applicata l'attivazione con unità lineare rettificata negli strati nascosti. I parametri della rete sono stati ottimizzati utilizzando l'ottimizzatore Adam con un tasso di apprendimento di 0,001 e un fattore di sconto di 0,99. È stata utilizzata una dimensione del mini-batch pari a 64 e il buffer di esperienza riprodotta aveva una capacità di 100.000 transizioni. L'addestramento è stato considerato convergente quando la media mobile della ricompensa cumulativa negli ultimi 20 episodi è variata di meno dello 0,1% per 10 finestre di valutazione consecutive. Se questo criterio non veniva soddisfatto, l'addestramento proseguiva fino a un massimo di 500 episodi. Il flusso di lavoro dell'apprendimento per rinforzo è mostrato in Figura 2.

Figura 2: Diagramma di flusso dell'apprendimento dell'agente guidato dal rinforzo. Diagramma di flusso che illustra il processo di apprendimento dell'agente basato sul rinforzo per l'orchestrazione decentralizzata degli alimentatori e l'ottimizzazione delle decisioni. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Il processo di apprendimento è iniziato con l'inizializzazione dell'ambiente di distribuzione in bassa tensione, degli stati degli agenti e dei parametri di apprendimento. Gli agenti intelligenti sono stati posizionati nelle zone di alimentazione, nelle località delle risorse energetiche distribuite e nei nodi soggetti a congestione. Successivamente sono stati definiti lo spazio delle osservazioni, la velocità di apprendimento, la strategia di esplorazione, i fattori di ricompensa e le funzioni di politica. A ogni passo di interazione, ciascun agente osservava lo stato attuale della propria zona di alimentazione assegnata. Lo stato era costituito dall'ampiezza della tensione ai nodi, dalla domanda di carico dell'alimentatore, dalle caratteristiche della generazione da fonti rinnovabili, dal livello di congestione e dalla capacità di accettazione dell'alimentatore. Queste osservazioni formavano lo stato ambientale utilizzato per prendere decisioni di orchestrazione. Ciascun agente sceglieva un'azione in base alla propria politica di apprendimento per rinforzo. Le azioni disponibili includevano la priorità di accettazione dell'alimentatore, la gestione della congestione, la coordinazione dell'energia rinnovabile, il bilanciamento del carico e la regolazione della tensione. L'azione selezionata veniva applicata all'ambiente dinamico in bassa tensione, dopo di che lo stato dell'alimentatore veniva aggiornato.

Una ricompensa è stata calcolata dopo ogni azione. È stata assegnata una ricompensa positiva quando l'azione selezionata ha migliorato l'accettazione dell'alimentatore, prevenuto la propagazione della congestione, mantenuto la conformità della tensione o migliorato la stabilità della rete. È stata applicata una penalità quando l'azione ha causato, o non è riuscita a prevenire, un sovraccarico dell'alimentatore, violazioni della tensione o ritardi nell'orchestrazione. La ricompensa calcolata è stata utilizzata per aggiornare la funzione di valore e la politica decisionale dell'agente attraverso l'ottimizzazione per rinforzo. La sequenza composta da osservazione, selezione dell'azione, transizione dell'ambiente, calcolo della ricompensa e aggiornamento della politica è stata ripetuta fino al raggiungimento del criterio di arresto.

6. Valutazione della sensibilità alla tensione e alla congestione

Dopo l'apprendimento guidato dal rinforzo, sono state valutate le sensibilità alla tensione e alla congestione al fine di identificare le aree vulnerabili dei tronchisti e supportare decisioni dinamiche di accettazione dei tronchisti in condizioni di incertezza legata all'energia rinnovabile.

A ogni intervallo di funzionamento, sono stati determinati gli effetti delle variazioni della potenza in ingresso, della generazione da fonti rinnovabili e della domanda di carico sulla tensione dei nodi e sul congestionamento della rete. Gli indici di sensibilità alla tensione e al congestionamento sono stati ricalcolati a ogni intervallo di funzionamento simulato, piuttosto che essere derivati esclusivamente da condizioni statiche della rete. Gli indici di sensibilità per ciascun nodo dell'alimentatore sono stati aggiornati in base alle condizioni attuali della rete, alle variazioni della generazione da fonti rinnovabili e allo stato di carico dell'alimentatore. I valori ottenuti sono stati utilizzati per classificare i nodi dell'alimentatore in relazione all'accettazione degli alimentatori, alla gestione del congestionamento e alle azioni di controllo della tensione.

L'indice di sensibilità alla tensione ha quantificato la variazione della tensione del nodo risultante da un cambiamento nel flusso di potenza attiva. Dopo aver calcolato gli indici di sensibilità alla tensione e alla congestione, questi sono stati combinati in un punteggio di sensibilità composito per la priorizzazione adattativa dell'accettazione del derivatore. Il metodo di punteggio composito è descritto nel File Supplementare 1(Sezione 5). Ai nodi del derivatore con punteggi di sensibilità più elevati sono state assegnate priorità più alte nell'orchestrazione durante le operazioni di alleviamento della congestione, correzione dell'accettazione del derivatore e regolazione della tensione. I punteggi di sensibilità sono stati ricalcolati a ogni intervallo operativo e condivisi con gli agenti vicini attraverso l'ambiente collaborativo di comunicazione.

7. Orchestrazione collaborativa dell'accettazione e ottimizzazione adattiva delle decisioni a ogni intervallo operativo simulato

Dopo una valutazione della sensibilità, è stata eseguita un'orchestrazione collaborativa dell'accettazione per consentire ad agenti decentralizzati di prendere decisioni coordinate sull'accettazione degli alimentatori in condizioni di incertezza rinnovabile e congestione dinamica. Gli agenti hanno scambiato stati locali degli alimentatori, indici di sensibilità, avvisi di congestione e priorità operative. Ciascun agente ha valutato autonomamente le condizioni del proprio alimentatore locale coordinandosi con gli agenti vicini per supportare la stabilità complessiva della rete.

L'accettazione degli alimentatori è stata prioritizzata in base alla sensibilità alla tensione, alla gravità della congestione, alla variabilità della generazione da fonti rinnovabili e alla capacità disponibile degli alimentatori. Le osservazioni locali consapevoli della sensibilità sono state aggregate tra gli agenti, e sono state generate azioni coordinate di accettazione degli alimentatori. La formulazione matematica del processo collaborativo di orchestrazione è fornita nel Supplementary File 1 (Section 6). L'ambiente dinamico della rete BT è stato implementato con agenti collaborativi posizionati nelle zone degli alimentatori, nei punti di integrazione dell'energia rinnovabile e nei bus soggetti a congestione, come descritto nel Supplementary File 1 (Algorithm 1). A ogni intervallo operativo, ciascun agente ha osservato i parametri locali dell'alimentatore, inclusi l'ampiezza della tensione, la variazione della generazione da fonti rinnovabili, il carico dell'alimentatore, il livello di congestione e la capacità di accettazione dell'alimentatore.

Gli indici di sensibilità alla tensione e di sensibilità alla congestione sono stati quindi calcolati per identificare le aree alimentate suscettibili di instabilità della tensione o di propagazione della congestione. Questi indici sono stati combinati in un punteggio complessivo di sensibilità dell’alimentatore, che ha determinato la priorità di accettazione e di orchestrazione degli alimentatori. Informazioni sullo stato locale, livelli di congestione, indicatori di instabilità della tensione e priorità di accettazione sono state scambiate tra agenti adiacenti. Sulla base delle osservazioni locali e delle informazioni condivise, ciascun agente ha selezionato e attuato un'azione di orchestrazione adattativa. Dopo ogni azione, un feedback di rinforzo è stato ottenuto dall'ambiente dinamico della rete in bassa tensione in base alla stabilità dell’alimentatore, alla riduzione della congestione, alla conformità della tensione e all’efficienza di accettazione dell’alimentatore. Questo feedback è stato utilizzato per aggiornare la politica di ciascun agente mediante un’ottimizzazione basata sul rinforzo. La funzione obiettivo globale di orchestrazione ha fornito contemporaneamente un feedback coordinato per l’ottimizzazione adattativa su tutta la popolazione di agenti. Gli aggiornamenti delle politiche sono proseguiti finché le politiche degli agenti non sono converse verso una strategia di orchestrazione decentralizzata ottimale.

8. Validazione su larga scala

La strategia di orchestrazione dinamica è stata convalidata utilizzando il dataset FeederBW e il dataset della rete di distribuzione in bassa tensione con 236 nodi, in scenari operativi caratterizzati da un'elevata penetrazione di energia rinnovabile. La convalida ha valutato la capacità del framework di orchestrazione decentralizzato di gestire l'accettazione dinamica degli alimentatori, l'intermittenza delle fonti rinnovabili, la propagazione delle congestioni e l'instabilità della tensione nei sistemi di distribuzione in bassa tensione interconnessi. Gli scenari operativi valutati includevano un'elevata penetrazione di energia rinnovabile, variazioni della domanda di carico, propagazione dinamica delle congestioni, condizioni sensibili alla tensione e capacità variabile di accettazione degli alimentatori.

Le prestazioni del framework sono state valutate utilizzando il tasso di accettazione degli alimentatori, l'indice di conformità della tensione, il tasso di riduzione della congestione, la latenza di orchestrazione, la velocità di convergenza, l'efficienza della coordinazione decentralizzata e la capacità di integrazione delle fonti rinnovabili. Queste misure sono state utilizzate per valutare scalabilità, robustezza, adattabilità e prestazioni di coordinamento. Il framework proposto è stato confrontato con approcci tradizionali di orchestrazione centralizzata degli alimentatori nelle stesse configurazioni di rete. Ai metodi di confronto sono stati applicati dataset equivalenti, scenari operativi, condizioni di valutazione e misure di prestazione.

Tabella 2 riassume i set di dati, le condizioni operative, gli ambienti di orchestrazione e le variabili di prestazione utilizzati per la validazione sperimentale. Il set di dati FeederBW è stato utilizzato per valutare la dinamica operativa degli alimentatori, l'intermittenza delle fonti rinnovabili, lo sviluppo di congestione, la variazione del carico residenziale e le fluttuazioni di tensione in condizioni di alimentatori in bassa tensione. Il set di dati a 236 nodi in bassa tensione è stato utilizzato per valutare l'orchestrazione decentralizzata in una rete interconnessa più ampia. L'architettura è stata validata in condizioni variabili di generazione da fonti rinnovabili, domanda di carico, tensione e congestione. La coordinazione decentralizzata e l'ottimizzazione delle politiche basata su apprendimento per rinforzo sono state valutate congiuntamente tra gli agenti intelligenti.

Il tasso di accettazione degli alimentatori, l'indice di conformità della tensione, il tasso di riduzione della congestione, la velocità di convergenza e la latenza di orchestrazione sono stati utilizzati per quantificare le prestazioni in condizioni operative dinamiche nei sistemi di energia rinnovabile.

Parametro Sperimentale	Dataset FeederBW	Dataset LV 236-bus	Scopo della Validazione
Tipo di Rete	Rete Alimentatrice a Bassa Tensione	Rete di Distribuzione LV su Grande Scala	Valutazione dell'orchestrazione dinamica
Numero di Nodi/Bus	Nodi alimentatori multipli	236 bus	Analisi della scalabilità
Integrazione di Fonti Rinnovabili	Fonti fotovoltaiche e rinnovabili distribuite	Bus con elevata penetrazione di rinnovabili	Validazione dell'incertezza delle rinnovabili
Comportamento del Carico	Profili dinamici di carico residenziale	Variazioni di carico su larga scala nei feeder	Orchestrazione adattativa del carico
Scenari di Congestione	Stati di sovraccarico e congestione del feeder	Propagazione della congestione su più bus	Analisi della mitigazione della congestione
Condizioni di Tensione	Profili di fluttuazione della tensione	Condizioni di bus sensibili alla tensione	Valutazione della conformità alla tensione
Agenti Intelligenti	Agenti distribuiti per il feeder	Agenti collaborativi su larga scala	Analisi della coordinazione decentralizzata
Ambiente di Apprendimento	Orchestrazione basata su rinforzo	Apprendimento adattativo multi-agente	Validazione dell'ottimizzazione delle politiche
Condizioni di Simulazione	Variabilità dinamica delle fonti rinnovabili	Funzionamento dinamico su larga scala	Test di orchestrazione a bassa latenza
Metriche di Prestazione	Tasso di accettazione, riduzione della congestione	Conformità alla tensione, velocità di convergenza	Prestazioni complessive dell'orchestrazione

Tabella 2: Validazione sperimentale su larga scala. Impostazioni sperimentali utilizzate per valutare la scalabilità, l'incertezza dell'energia rinnovabile e la coordinazione decentralizzata.

Risultati

Tutti gli esperimenti sono stati condotti cinque volte utilizzando diversi semi casuali per ridurre l'influenza dell'apprendimento stocastico. I valori medi sono stati calcolati sulla base delle cinque esecuzioni. Sono stati utilizzati gli stessi set di dati, parametri di simulazione, iperparametri, criteri di arresto e procedure di valutazione per tutti i metodi. Il Controllo Centralizzato della Tensione (CVC)³³, il Controllo Convenzionale Multi-Agente (CMAC)²¹, la Regolazione della Tensione Basata su Apprendimento per Rinforzo (RLVR)²⁰, la Coordinazione delle Risorse Energetiche Distribuite (DERC)²⁶ e la Gestione della Congestione Basata sulla Sensitività (SBCM)³⁴ sono stati utilizzati come metodi di confronto.

Utilizzando l'analisi della varianza a un fattore (ANOVA), sono stati eseguiti confronti statistici tra il framework proposto e le tecniche di base (CVC, CMAC, RLVR, DERC e SBCM) in modo indipendente per ciascuna metrica di valutazione. Quando l'ANOVA rivelava differenze statisticamente significative, veniva applicato il test post hoc di Tukey per le differenze onestamente significative (HSD) per i confronti a coppie. La soglia per la significatività statistica è stata fissata a p < 0,001. Tutte le analisi statistiche sono state effettuate mediante analisi della varianza a un fattore, seguita da un test post hoc per le differenze significative quando appropriato. L'ANOVA a un fattore è stata condotta utilizzando il modulo statsmodels.stats.anova. Per i test di significatività statistica sono stati utilizzati i valori di prestazione finali convergenti ottenuti da cinque diverse esecuzioni di simulazione per ciascun approccio. Lo scopo degli episodi intermedi di addestramento era visualizzare il processo di apprendimento; questi episodi non sono stati sottoposti a verifica di significatività statistica.

Acquisizione dei dati

I dataset FeederBW e 236-bus per la distribuzione a bassa tensione (LV) hanno supportato la valutazione del framework proposto in condizioni operative complementari. Il dataset FeederBW forniva informazioni in serie temporale sui feeder, inclusi tensione, generazione distribuita da fonti rinnovabili, domanda di carico, condizioni di congestione e comportamento di accettazione del feeder. È stato utilizzato per valutare il funzionamento dinamico dei feeder, l'intermittenza delle fonti rinnovabili, la variazione del carico residenziale, la propagazione della congestione e le fluttuazioni di tensione.

Il dataset di distribuzione a bassa tensione con 236 nodi conteneva 236 nodi interconnessi e includeva topologie di alimentatori, aree sensibili alla tensione, condizioni di penetrazione delle fonti rinnovabili, stati di flusso di potenza e scenari di propagazione della congestione. È stato utilizzato per valutare la coordinazione decentralizzata, l'orchestrazione adattiva e la scalabilità in una rete di distribuzione interconnessa di maggiori dimensioni. Tabella 3 e Tabella 4 riassumono le condizioni di validazione sperimentale e l'ambiente di simulazione.

Parametro di Validazione	Descrizione
Dataset Utilizzati	FeederBW Dataset e 236-bus LV Dataset
Ambiente della Rete	Sistema di distribuzione dinamico in bassa tensione ricco di fonti rinnovabili
Fonti Rinnovabili	Fotovoltaico distribuito (PV) e generatori rinnovabili
Framework di Apprendimento	Apprendimento per Rinforzo Multi-Agente (MARL)
Strategia di Coordinamento	Orchestrazione collaborativa decentralizzata
Scenari Operativi	Intermittenza delle fonti rinnovabili, fluttuazione del carico, propagazione della congestione
Numero di Agenti Intelligenti	64 agenti collaborativi distribuiti a livello di feeder
Obiettivo della Validazione	Ottimizzazione adattiva dell'accettazione del feeder
Processo di Valutazione	Orchestrazione in tempo reale e coordinamento consapevole della sensibilità
Analisi Comparativa	Confronto con metodi convenzionali di coordinamento centralizzato

Tabella 3: Parametri di validazione ambientale. Parametri di validazione utilizzati per valutare l'orchestrazione adattiva in condizioni operative dinamiche a bassa tensione.

Componente della Simulazione	Configurazione
Ambiente del Processore	Sistema di elaborazione multi-core ad alte prestazioni
Framework di Programmazione	Python 3.11.9
Framework di Apprendimento	Apprendimento per rinforzo multi-agente (MARL)
Algoritmo di Apprendimento	Apprendimento per rinforzo multi-agente basato su Q-learning
Architettura della Rete Neurale	Rete neurale completamente connessa con due strati nascosti (128 e 64 neuroni, attivazione ReLU)
Ottimizzatore	Ottimizzatore Adam
Tasso di Apprendimento (α)	0,001
Fattore di Sconto (γ)	0,99
Meccanismo di Replay	Buffer di replay dell'esperienza (capacità: 100.000 transizioni)
Dimensione del Mini-batch	64
Politica di Esplorazione	Esplorazione ε-greedy (ε decresce da 1,0 a 0,01)
Episodi di Addestramento	500
Criterio di Arresto	Raggiunto il numero massimo di episodi di addestramento o convergenza della ricompensa cumulativa
Modellazione della Rete	Simulazione dinamica della rete di alimentazione in bassa tensione
Simulazione delle Fonti Rinnovabili	Profili variabili di generazione da fonti rinnovabili
Coordinamento tra Agenti	Comunicazione collaborativa distribuita
Elaborazione dei Dati	Elaborazione in tempo reale sincronizzata dello stato dell'alimentatore
Metodo di Ottimizzazione	Apprendimento adattivo della politica basato sul rinforzo
Piattaforma Sperimentale	Simulazione su larga scala utilizzando il dataset FeederBW e il dataset della rete di distribuzione in bassa tensione con 236 nodi
Monitoraggio delle Prestazioni	Tasso di Accettazione dell'Alimentatore (FAR), Indice di Conformità della Tensione (VCI), Tasso di Riduzione della Congestione (CRR), Latenza di Orchestrazione (OL), Velocità di Convergenza (CS) ed Efficienza del Coordinamento Decentralizzato (DCE)
Peso della Ricompensa (β)	0,3
Peso della Ricompensa (δ)	0,25
Peso dell'Obiettivo (ω₁)	0,30 (Accettazione dell'Alimentatore)
Peso dell'Obiettivo (ω₂)	0,25 (Riduzione della Congestione)
Peso dell'Obiettivo (ω₃)	0,25 (Conformità della Tensione)
Peso dell'Obiettivo (ω₄)	0,20 (Latenza di Orchestrazione)
Tasso di Apprendimento della Politica (η)	0,001
Parametro di Regolarizzazione / Bilanciamento (λ)	0,1

Tabella 4: Ambiente di simulazione. Impostazioni di simulazione utilizzate negli esperimenti di orchestrazione dei feeder basati sul rinforzo.

Preelaborazione dei dati

I dati sincronizzati e normalizzati hanno permesso un confronto coerente tra il framework proposto e i metodi di riferimento. Gli stessi stati preelaborati dei feeder, i profili di generazione da fonti rinnovabili, le condizioni di domanda del carico, le condizioni di tensione e gli scenari di congestione sono stati utilizzati in tutte le valutazioni. Questa struttura comune degli input ha ridotto le differenze causate dalla preparazione dei dataset, consentendo di attribuire le differenze di prestazione osservate ai metodi di orchestrazione valutati.

Modellizzazione dinamica di reti a bassa tensione

Il modello dinamico della rete in bassa tensione rappresentava le variazioni nella generazione da fonti rinnovabili, nella domanda dei consumatori, nelle condizioni di tensione, nel carico dei feeder e nella propagazione della congestione. In queste condizioni, il framework proposto ha mantenuto l'accettazione dei feeder rispondendo a stati operativi sensibili alla tensione e alla congestione. Il modello ha consentito la valutazione in condizioni di generazione rinnovabile fluttuante, carichi dei consumatori variabili e condizioni di rete soggette a congestione. In tutte queste condizioni, gli agenti collaborativi hanno eseguito la priorizzazione dei feeder, la coordinazione dipendente dalla tensione, la mitigazione della congestione e l'integrazione delle fonti rinnovabili senza controllo centralizzato.

Inizializzazione dell'ambiente multi-agente

La configurazione decentralizzata degli agenti ha supportato l'osservazione locale e il processo decisionale coordinato tra le diverse aree di alimentazione e i nodi della rete. Gli agenti hanno scambiato informazioni sullo stato degli alimentatori e misure di sensibilità con gli agenti adiacenti, selezionando autonomamente le azioni di orchestrazione. Il comportamento coordinato osservato ha dimostrato che l'architettura distribuita supporta la priorizzazione degli alimentatori, la coordinazione del carico, la gestione della tensione e la risposta alla congestione. La configurazione decentralizzata ha inoltre ridotto la dipendenza da un singolo controllore centralizzato e ha permesso un funzionamento coordinato su tutta la rete più ampia da 236 nodi.

Apprendimento dell'agente guidato dal rinforzo

La politica basata sul rinforzo è migliorata durante il periodo di addestramento per quanto riguarda l'accettazione degli alimentatori, la conformità alla tensione, la riduzione della congestione, la latenza di orchestrazione e la velocità di convergenza. Figura 3 confronta il tasso di accettazione degli alimentatori (FAR) del framework proposto con quelli di CVC, CMAC, RLVR, DERC e SBCM. CVC ha prodotto il FAR più basso, passando dal 62% al 70%. CMAC e DERC hanno raggiunto valori massimi di FAR pari al 75% e al 78% rispettivamente. RLVR e SBCM hanno raggiunto valori dell'83% e dell'81% rispettivamente. Il framework proposto ha aumentato il FAR dal 72% nella fase iniziale di addestramento fino al 97% nella fase successiva. Questo risultato ha dimostrato che il processo collaborativo di apprendimento per rinforzo supporta un'accettazione adattativa degli alimentatori in condizioni di incertezza rinnovabile e variabili condizioni operative in bassa tensione.

Figura 3: Tasso di Accettazione dell'Alimentatore (FAR). Confronto del FAR tra il framework proposto e i metodi di coordinamento degli alimentatori di riferimento. I valori sono espressi come media ± DS, ottenuti confrontando il framework proposto con ciascun metodo di riferimento in cinque simulazioni indipendenti. La significatività statistica è stata valutata con p < 0,001 e intervalli di confidenza al 95%. Abbreviazioni: FAR, Tasso di Accettazione dell'Alimentatore; CVC, Controllo Centralizzato della Tensione; CMAC, Controllo Convenzionale Multi-Agente; RLVR, Regolazione della Tensione Basata sull'Apprendimento per Rinforzo; DERC, Coordinamento delle Risorse Energetiche Distribuite; SBCM, Gestione della Congestione Basata sulla Sensitività. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 4 mostra l'indice di conformità della tensione (VCI). La CVC è aumentata dal 70% al 77%, mentre CMAC e DERC hanno raggiunto rispettivamente circa l'81% e l'84%. RLVR e SBCM hanno raggiunto rispettivamente l'88% e l'86%. Il framework proposto è aumentato dal 78% durante le prime fasi di addestramento a circa il 98% al raggiungimento della convergenza. Il valore più elevato di VCI indica che l'approccio proposto mantiene la conformità della tensione in modo più efficace rispetto ai metodi di confronto in presenza di generazione rinnovabile intermittente e di domanda del carico variabile.

Figura 4: Indice di Conformità della Tensione (VCI). Analisi comparativa del VCI in condizioni operative dinamiche a bassa tensione. I valori sono espressi come media ± DS confrontando il framework proposto con ciascun metodo di riferimento su cinque esecuzioni indipendenti di simulazione, con intervalli di confidenza al 95% e significatività statistica valutata a p < 0,001. Abbreviazioni: VCI, Indice di Conformità della Tensione; CVC, Controllo Centralizzato della Tensione; CMAC, Controllo Convenzionale Multi-Agente; RLVR, Regolazione della Tensione Basata su Apprendimento per Rinforzo; DERC, Coordinamento delle Risorse Energetiche Distribuite; SBCM, Gestione della Congestione Basata sulla Sensitività. Cliccare qui per visualizzare una versione ingrandita di questa figura.

La mappa termica VCI in Figura 5 mostrava l'andamento della conformità alla tensione durante le sessioni di addestramento. Il framework proposto ha raggiunto valori compresi tra il 95% e il 98% nelle iterazioni successive. CVC si è mantenuto tra il 70% e il 77%, mentre RLVR e SBCM hanno raggiunto rispettivamente circa l'88% e l'86%. La mappa termica, pertanto, ha evidenziato che il framework proposto ha mantenuto le prestazioni più elevate in termini di conformità alla tensione durante le fasi successive dell'apprendimento.

Figura 5: Mappa termica dell'Indice di Conformità della Tensione (VCI). Mappa termica che mostra le prestazioni del VCI attraverso le iterazioni di addestramento e i metodi di coordinamento degli alimentatori. La scala cromatica rappresenta l'entità dell'Indice di Conformità della Tensione, dove colori più chiari indicano valori di VCI più bassi e colori più scuri indicano valori di VCI più alti. Abbreviazioni: VCI, Voltage Compliance Index; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Tabella 5 presenta il Tasso di Riduzione della Congestione (CRR). Il CVC è aumentato dal 48% al 63%. CMAC e DERC hanno raggiunto rispettivamente circa il 73% e il 75%, mentre RLVR ha raggiunto l'80% e SBCM il 82%. Il framework proposto è aumentato dal 64% all'inizio dell'addestramento a circa il 96% dopo la convergenza. Rispetto ai valori finali dei metodi di confronto, il framework proposto ha migliorato il CRR di circa il 33% rispetto al CVC, il 23% rispetto al CMAC, il 16% rispetto al RLVR, il 21% rispetto al DERC e il 14% rispetto al SBCM. Queste osservazioni hanno mostrato che la politica di orchestrazione collaborativa ha ridotto la propagazione della congestione in modo più efficace rispetto ai metodi di confronto centralizzati, multi-agente convenzionali, basati sulla regolazione della tensione, sulle risorse distribuite e sulla sensibilità. Figura 6 confronta la Latenza di Orchestrazione (OL). La latenza di orchestrazione riportata corrisponde al tempo di esecuzione effettivo misurato richiesto dall'algoritmo di orchestrazione proposto durante la simulazione sulla piattaforma hardware indicata. Non deve essere interpretata come il tempo operativo fisico di una rete di distribuzione implementata. Il framework proposto ha ridotto la latenza da 220 ms a 98 ms. Alla convergenza, CVC, CMAC, RLVR, DERC e SBCM hanno prodotto latenze rispettivamente di 283 ms, 253 ms, 215 ms, 242 ms e 205 ms. Il framework proposto ha quindi ridotto la latenza di circa il 65%, 61%, 54%, 59% e 52% rispetto a CVC, CMAC, RLVR, DERC e SBCM, rispettivamente. Una latenza inferiore ha indicato che la collaborazione decentralizzata ha consentito decisioni più rapide sull'orchestrazione degli alimentatori.

Iterazione di addestramento	CVC (%)(Media ± DS)	CMAC (%)(Media ± DS)	RLVR (%)(Media ± DS)	DERC (%)(Media ± DS)	SBCM (%)(Media ± DS)	Metodo proposto (%)(Media ± DS)
1	48,0 ± 0,5	52,0 ± 0,5	56,0 ± 0,4	54,0 ± 0,5	58,0 ± 0,4	64,0 ± 0,3
2	50,0 ± 0,5	54,0 ± 0,5	59,0 ± 0,4	56,0 ± 0,5	61,0 ± 0,4	68,0 ± 0,3
3	52,0 ± 0,5	57,0 ± 0,4	62,0 ± 0,4	59,0 ± 0,5	64,0 ± 0,4	72,0 ± 0,3
4	54,0 ± 0,4	60,0 ± 0,4	65,0 ± 0,4	62,0 ± 0,4	67,0 ± 0,4	76,0 ± 0,2
5	56,0 ± 0,4	62,0 ± 0,4	68,0 ± 0,3	64,0 ± 0,4	70,0 ± 0,3	80,0 ± 0,2
6	58,0 ± 0,4	65,0 ± 0,4	71,0 ± 0,3	67,0 ± 0,4	73,0 ± 0,3	84,0 ± 0,2
7	60,0 ± 0,4	67,0 ± 0,4	74,0 ± 0,3	69,0 ± 0,3	76,0 ± 0,3	87,0 ± 0,2
8	61,0 ± 0,4	69,0 ± 0,3	76,0 ± 0,3	71,0 ± 0,3	78,0 ± 0,3	90,0 ± 0,2
9	62,0 ± 0,4	71,0 ± 0,3	78,0 ± 0,3	73,0 ± 0,3	80,0 ± 0,3	93,0 ± 0,2
10	63,0 ± 0,4	73,0 ± 0,3	80,0 ± 0,3	75,0 ± 0,3	82,0 ± 0,3	96,0 ± 0,2

Tabella 5: Tasso di Riduzione della Congestione (CRR): Media ± DS del Tasso di Riduzione della Congestione (CRR) ottenuta da cinque esecuzioni indipendenti di simulazione, a confronto tra il framework proposto e i metodi di orchestrazione feeder di base. Abbreviazioni: CRR, Tasso di Riduzione della Congestione; CVC, Controllo Centralizzato della Tensione; CMAC, Controllo Convenzionale Multi-Agente; RLVR, Regolazione della Tensione Basata su Apprendimento per Rinforzo; DERC, Coordinamento delle Risorse Energetiche Distribuite; SBCM, Gestione della Congestione Basata sulla Sensitività.

Figura 6: Latenza di Orchestrazione (OL). Analisi comparativa della latenza di orchestrazione durante la coordinazione adattiva decentralizzata degli alimentatori. I valori sono espressi come media ± DS confrontando il framework proposto con ciascun metodo di riferimento su cinque esecuzioni indipendenti di simulazione, con intervalli di confidenza al 95% e significatività statistica valutata a p < 0,001. Abbreviazioni: OL, Latenza di Orchestrazione; CVC, Controllo Centralizzato della Tensione; CMAC, Controllo Convenzionale Multi-Agente; RLVR, Regolazione della Tensione Basata su Apprendimento per Rinforzo; DERC, Coordinamento delle Risorse Energetiche Distribuite; SBCM, Gestione della Congestione Basata sulla Sensibilità. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 7 mostra la Velocità di Convergenza (CS). CVC è aumentato dal 42% al 67% dopo 20 episodi di addestramento. CMAC e DERC hanno raggiunto rispettivamente circa il 74% e il 79%. RLVR ha raggiunto l'87% e SBCM circa il 90%. Il framework proposto è aumentato dal 58% nel primo episodio al 98,5% al momento della convergenza, superando il 93% già al decimo episodio. Il framework proposto ha migliorato le prestazioni finali di convergenza del 31,5% rispetto a CVC, del 24,5% rispetto a CMAC, dell'11,5% rispetto a RLVR, del 19,5% rispetto a DERC e dell'8,5% rispetto a SBCM. Questi risultati hanno dimostrato che la politica proposta ha raggiunto prestazioni stabili di orchestrazione più rapidamente rispetto ai metodi di confronto.

Figura 7: Velocità di Convergenza (CS). Curve di convergenza che mostrano l'efficienza dell'apprendimento adattivo e la velocità di convergenza dell'orchestrazione nei metodi valutati. Abbreviazioni: CS, Velocità di Convergenza; CVC, Controllo Centralizzato della Tensione; CMAC, Controllo Convenzionale Multi-Agente; RLVR, Regolazione della Tensione Basata su Apprendimento per Rinforzo; DERC, Coordinamento delle Risorse Energetiche Distribuite; SBCM, Gestione della Congestione Basata sulla Sensitività. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Orchestrazione collaborativa dell'accettazione e ottimizzazione adattiva delle decisioni a bassa latenza

Figura 8 mostra l'Efficienza della Coordinazione Decentralizzata (DCE). Il CVC ha prodotto la DCE più bassa, pari al 68%. Il CMAC ha raggiunto il 75%, il DERC il 79%, il RLVR l'84% e il SBCM l'88%. Il framework proposto ha ottenuto una DCE del 97%. Il framework proposto ha superato il CVC di 29 punti percentuali, il CMAC di 22 punti percentuali, il RLVR di 13 punti percentuali, il DERC di 18 punti percentuali e il SBCM di 9 punti percentuali. Questo risultato ha dimostrato che lo scambio di informazioni locali, la coordinazione tra agenti adiacenti e l'ottimizzazione decentralizzata delle politiche supportano una coordinazione più efficace rispetto ai metodi di confronto.

Figura 8: Efficienza della Coordinazione Decentralizzata (DCE). Analisi comparativa della DCE durante la collaborazione tra agenti intelligenti. I valori sono espressi come media ± DS confrontando il framework proposto con ciascun metodo di riferimento in cinque esecuzioni indipendenti di simulazione, con intervalli di confidenza al 95% e significatività statistica valutata a p < 0,001. Abbreviazioni: DCE, Efficienza della Coordinazione Decentralizzata; CVC, Controllo Centralizzato della Tensione; CMAC, Controllo Convenzionale Multi-Agente; RLVR, Regolazione della Tensione Basata su Apprendimento per Rinforzo; DERC, Coordinamento delle Risorse Energetiche Distribuite; SBCM, Gestione della Congestione Basata sulla Sensitività. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 9 e Tabella 6 mostrano la capacità di accomodamento delle rinnovabili (RAC). CVC è aumentato dal 52% al 63%. CMAC e DERC hanno raggiunto rispettivamente circa il 72% e il 76%. RLVR ha raggiunto circa l'83% e SBCM il 96%. Il framework proposto è aumentato dal 70% all'inizio dell'apprendimento al 97% al raggiungimento della convergenza. Il framework proposto ha superato CVC di 34 punti percentuali, CMAC di 25 punti percentuali, RLVR di 14 punti percentuali, DERC di 21 punti percentuali e SBCM di 11 punti percentuali. Questi risultati hanno dimostrato che l'approccio di orchestrazione proposto ha consentito di accomodare una maggiore proporzione di generazione da fonti rinnovabili mantenendo al contempo il funzionamento del feeder, le prestazioni di tensione e la consapevolezza della congestione.

Figura 9: Capacità di Integrazione delle Fonti Rinnovabili (RAC). Analisi comparativa della RAC in sistemi di rete con elevata penetrazione di fonti rinnovabili. I valori sono espressi come media ± DS, ottenuti confrontando il framework proposto con ciascun metodo di riferimento in cinque ripetizioni indipendenti delle simulazioni, con intervalli di confidenza al 95% e valutazione della significatività statistica per p < 0,001. Abbreviazioni: RAC, Capacità di Integrazione delle Fonti Rinnovabili; CVC, Controllo Centralizzato della Tensione; CMAC, Controllo Multi-Agente Convenzionale; RLVR, Regolazione della Tensione Basata su Apprendimento per Rinforzo; DERC, Coordinamento delle Risorse Energetiche Distribuite; SBCM, Gestione della Congestione Basata sulla Sensitività. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Iterazione di addestramento	CVC (%) (Media ± DS)	CMAC (%) (Media ± DS)	RLVR (%) (Media ± DS)	DERC (%) (Media ± DS)	SBCM (%) (Media ± DS)	Metodo proposto (%) (Media ± DS)
1	52,0 ± 0,5	58,0 ± 0,5	64,0 ± 0,4	60,0 ± 0,5	66,0 ± 0,4	70,0 ± 0,3
2	54,0 ± 0,5	60,0 ± 0,5	67,0 ± 0,4	62,0 ± 0,5	69,0 ± 0,4	74,0 ± 0,3
3	55,0 ± 0,4	62,0 ± 0,4	70,0 ± 0,4	64,0 ± 0,4	72,0 ± 0,4	78,0 ± 0,3
4	57,0 ± 0,4	64,0 ± 0,4	73,0 ± 0,3	66,0 ± 0,4	75,0 ± 0,3	82,0 ± 0,2
5	58,0 ± 0,4	66,0 ± 0,4	75,0 ± 0,3	68,0 ± 0,4	77,0 ± 0,3	86,0 ± 0,2
6	59,0 ± 0,4	67,0 ± 0,4	77,0 ± 0,3	70,0 ± 0,3	79,0 ± 0,3	89,0 ± 0,2
7	60,0 ± 0,4	68,0 ± 0,3	79,0 ± 0,3	72,0 ± 0,3	81,0 ± 0,3	91,0 ± 0,2
8	61,0 ± 0,4	69,0 ± 0,3	80,0 ± 0,3	73,0 ± 0,3	83,0 ± 0,3	93,0 ± 0,2
9	62,0 ± 0,4	70,0 ± 0,3	81,0 ± 0,3	74,0 ± 0,3	84,0 ± 0,3	95,0 ± 0,2
10	63,0 ± 0,4	72,0 ± 0,3	83,0 ± 0,3	76,0 ± 0,3	86,0 ± 0,3	97,0 ± 0,2

Tabella 6: Capacità di Accoglienza delle Fonti Rinnovabili (RAC): Media ± DS della Capacità di Accoglienza delle Fonti Rinnovabili (RAC) ottenuta da cinque esecuzioni indipendenti di simulazione, a confronto tra il framework proposto e i metodi tradizionali di orchestrazione degli alimentatori. Abbreviazioni: RAC, Capacità di Accoglienza delle Fonti Rinnovabili; CVC, Controllo Centralizzato della Tensione; CMAC, Controllo Convenzionale Basato su Agenti Multipli; RLVR, Regolazione della Tensione Basata su Apprendimento per Rinforzo; DERC, Coordinamento delle Risorse Energetiche Distribuite; SBCM, Gestione delle Congestioni Basata sulla Sensitività.

Valutazione della sensibilità a tensione e congestione

Figura 10 presenta la stabilità della sensibilità alla tensione (VSS). La CVC è aumentata dal 60% al 69%. CMAC e DERC hanno raggiunto rispettivamente circa il 76% e il 78%, mentre RLVR ha raggiunto l'84%. Il framework proposto è aumentato dal 74% durante l'addestramento iniziale fino al 98% dopo la convergenza. Il framework proposto ha superato la CVC di 29 punti percentuali, CMAC di 22 punti percentuali, RLVR di 14 punti percentuali, DERC di 20 punti percentuali e SBCM di 12 punti percentuali. Questi risultati hanno mostrato che il framework sensibile alla sensibilità ha mantenuto una prestazione superiore nei confronti dei disturbi di tensione sotto intermittenti rinnovabili, domanda di carico variabile e congestione dinamica.

Figura 10: Stabilità della Sensibilità alla Tensione (VSS). Analisi comparativa della stabilità della sensibilità alla tensione durante l'orchestrazione adattiva dei feeder consapevole della tensione. I valori sono espressi come media ± DS confrontando il framework proposto con ciascun metodo di riferimento in cinque esecuzioni indipendenti di simulazione, con intervalli di confidenza al 95% e significatività statistica valutata a p < 0,001. Abbreviazioni: VSS, Stabilità della Sensibilità alla Tensione; CVC, Controllo Centralizzato della Tensione; CMAC, Controllo Convenzionale Multi-Agente; RLVR, Regolazione della Tensione Basata su Apprendimento per Rinforzo; DERC, Coordinamento delle Risorse Energetiche Distribuite; SBCM, Gestione della Congestione Basata sulla Sensibilità. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 11 presenta l'Indice di Sensibilità alla Congestione (CSI). CVC è aumentato dal 52% al 63%. CMAC e DERC hanno raggiunto rispettivamente il 72% e il 76%. RLVR ha raggiunto circa l'83% e SBCM circa l'86%. Il framework proposto è aumentato dal 72% durante le prime fasi di addestramento a circa il 98% alla fine dell'addestramento. Il framework proposto ha superato CVC di circa 35 punti percentuali, CMAC di 26 punti percentuali, RLVR di 15 punti percentuali, DERC di 22 punti percentuali e SBCM di 12 punti percentuali. La mappa termica ha mostrato che l'approccio proposto ha mantenuto le prestazioni più elevate in termini di sensibilità alla congestione durante le fasi successive dell'addestramento.

Figura 11: Mappa termica dell'Indice di Sensibilità alla Congestione (CSI). Mappa termica che mostra le prestazioni in termini di sensibilità alla congestione in diverse fasi di addestramento e metodi di coordinamento degli alimentatori. La scala cromatica rappresenta l'intensità dell'Indice di Sensibilità alla Congestione, dove colori più chiari indicano valori più bassi di CSI e colori più scuri indicano valori più alti di CSI. Abbreviazioni: CSI, Indice di Sensibilità alla Congestione; CVC, Controllo Centralizzato della Tensione; CMAC, Controllo Convenzionale Multi-Agente; RLVR, Regolazione della Tensione Basata su Apprendimento per Rinforzo; DERC, Coordinamento delle Risorse Energetiche Distribuite; SBCM, Gestione della Congestione Basata sulla Sensibilità. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Validazione su larga scala

Figura 12 e Tabella 7 mostrano l'Indice di Stabilità dell’Alimentatore (FSI). Il CVC ha prodotto un FSI medio del 64,7%, mentre CMAC e DERC hanno prodotto valori medi rispettivamente del 72,5% e del 76,0%. RLVR ha prodotto un FSI medio dell’81,5%. Il framework proposto ha raggiunto una stabilità di tensione del 97%, un controllo della congestione del 96%, una capacità di integrazione delle fonti rinnovabili del 95%, un’efficienza del bilanciamento del carico del 94%, un’efficienza di coordinamento del 98% e una velocità di risposta del 97%. Questi valori delle componenti hanno prodotto un FSI medio di circa il 96,2%. Il framework proposto ha migliorato il FSI medio di circa 31,5 punti percentuali rispetto al CVC, di 23,7 punti percentuali rispetto al CMAC, di 14,7 punti percentuali rispetto al RLVR, di 20,2 punti percentuali rispetto al DERC e di 11,7 punti percentuali rispetto allo SBCM. I valori equilibrati delle componenti hanno dimostrato che il framework ha mantenuto prestazioni costanti in termini di stabilità di tensione, gestione della congestione, integrazione delle rinnovabili, bilanciamento del carico, efficienza di coordinamento e velocità di risposta. Per ogni esecuzione della simulazione, la media aritmetica delle sei componenti di prestazione—Stabilità di Tensione, Controllo della Congestione, Integrazione delle Rinnovabili, Bilanciamento del Carico, Efficienza di Coordinamento e Velocità di Risposta—è stata utilizzata per determinare il FSI complessivo. Le cinque esecuzioni distinte della simulazione sono state utilizzate per calcolare la media dichiarata e la deviazione standard.

Figura 12: Indice di stabilità dell'alimentatore (FSI). Confronto mediante grafico radar dell'indice di stabilità dell'alimentatore per il framework proposto e i metodi di riferimento, rispetto a sei componenti di prestazione: Stabilità della tensione, Controllo della congestione, Integrazione delle fonti rinnovabili, Bilanciamento del carico, Efficienza della coordinazione e Velocità di risposta. Valori più elevati indicano prestazioni migliori per ciascuna componente. Abbreviazioni: FSI, Feeder Stability Index; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Parametro di Valutazione	CVC (%) (Media ± DS)	CMAC (%) (Media ± DS)	RLVR (%) (Media ± DS)	DERC (%) (Media ± DS)	SBCM (%) (Media ± DS)	Metodo Proposto (%) (Media ± DS)
Stabilità della Tensione	68.0 ± 0.6	74.0 ± 0.5	82.0 ± 0.4	77.0 ± 0.5	86.0 ± 0.3	97.0 ± 0.2
Controllo della Congestione	64.0 ± 0.6	71.0 ± 0.5	79.0 ± 0.4	74.0 ± 0.5	84.0 ± 0.3	96.0 ± 0.2
Integrazione delle Fonti Rinnovabili	62.0 ± 0.5	70.0 ± 0.5	81.0 ± 0.4	76.0 ± 0.4	83.0 ± 0.3	95.0 ± 0.2
Bilanciamento del Carico	66.0 ± 0.5	73.0 ± 0.4	80.0 ± 0.4	75.0 ± 0.4	82.0 ± 0.3	94.0 ± 0.2
Efficienza della Coordinazione	65.0 ± 0.5	75.0 ± 0.4	83.0 ± 0.3	78.0 ± 0.4	87.0 ± 0.3	98.0 ± 0.2
Velocità di Risposta	63.0 ± 0.5	72.0 ± 0.4	84.0 ± 0.3	76.0 ± 0.4	85.0 ± 0.3	97.0 ± 0.2
Punteggio Medio FSI	64.7 ± 0.5	72.5 ± 0.5	81.5 ± 0.4	76.0 ± 0.4	84.5 ± 0.3	96.2 ± 0.2

Tabella 7: Indice di Stabilità del Alimentatore (FSI): Media ± DS dell'Indice di Stabilità del Alimentatore (FSI) ottenuta da cinque esecuzioni indipendenti di simulazione basate su Stabilità della Tensione, Controllo della Congestione, Integrazione delle Fonti Rinnovabili, Bilanciamento del Carico, Efficienza della Coordinazione e Velocità di Risposta. Abbreviazioni: FSI, Indice di Stabilità del Alimentatore; CVC, Controllo Centrale della Tensione; CMAC, Controllo Convenzionale Basato su Agenti Multipli; RLVR, Regolazione della Tensione Basata su Apprendimento per Rinforzo; DERC, Coordinamento delle Risorse Energetiche Distribuite; SBCM, Gestione della Congestione Basata sulla Sensibilità.

Figura 13 presenta l'efficienza del bilanciamento del carico (LBE). Il CVC ha raggiunto un valore complessivo di LBE di circa il 68%, composto dal 42% di distribuzione bilanciata del carico, dall'18% di stabilità moderata del carico e dall'8% di bilanciamento adattivo dinamico. Il CMAC e il DERC hanno ottenuto valori complessivi di circa l'80% e l'86%, rispettivamente. Il RLVR ha raggiunto circa il 92%, e il SBCM circa il 96%. Il framework proposto ha ottenuto un valore complessivo di LBE di circa il 98%, composto dal 72% di distribuzione bilanciata del carico, dal 20% di stabilità moderata del carico e dal 6% di bilanciamento adattivo dinamico. Questo risultato ha dimostrato che l'approccio proposto ha mantenuto la prestazione più elevata in termini di bilanciamento del carico rispetto ai metodi valutati.

Figura 13: Efficienza del Bilanciamento del Carico (LBE). Confronto a barre sovrapposte dell'efficienza del bilanciamento del carico per il framework proposto e i metodi di riferimento. Ogni barra sovrapposta è composta da tre componenti di prestazione: Distribuzione Bilanciata del Carico, Stabilità Moderata del Carico e Bilanciamento Adattivo Dinamico, la cui somma rappresenta il valore complessivo di LBE per ciascun metodo. Valori totali più elevati indicano prestazioni migliori nel bilanciamento del carico. Abbreviazioni: LBE, Load Balancing Efficiency; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 14 illustra l'Efficienza di Utilizzo delle Fonti Rinnovabili (RUE). Il valore CVC è aumentato dal 50% al 61%. CMAC e DERC hanno raggiunto rispettivamente il 70% e il 75%. RLVR ha raggiunto l'82% e SBCM l'86%. Il framework proposto è aumentato dal 72% durante le fasi iniziali di addestramento fino a circa il 98% a convergenza. Il framework proposto supera CVC di circa 37 punti percentuali, CMAC di 28 punti percentuali, RLVR di 16 punti percentuali, DERC di 23 punti percentuali e SBCM di 12 punti percentuali. L'elevata RUE dimostra che la politica di orchestrazione proposta utilizza una percentuale maggiore della generazione rinnovabile disponibile in condizioni variabili di carico e congestione.

Figura 14: Efficienza di Utilizzo delle Fonti Rinnovabili (RUE). Analisi comparativa dell'RUE durante l'orchestrazione di alimentatori a bassa tensione. I valori sono espressi come media ± DS confrontando il framework proposto con ciascun metodo di riferimento in cinque ripetizioni indipendenti della simulazione, con intervalli di confidenza al 95% e significatività statistica valutata a p < 0,001. Abbreviazioni: RUE, Efficienza di Utilizzo delle Fonti Rinnovabili; CVC, Controllo Centralizzato della Tensione; CMAC, Controllo Convenzionale Multi-Agente; RLVR, Regolazione della Tensione Basata su Apprendimento per Rinforzo; DERC, Coordinamento delle Risorse Energetiche Distribuite; SBCM, Gestione delle Congestioni Basata sulla Sensitività. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Figura 15 e Tabella 8 mostrano l'Accuratezza Decisionale Adattativa (ADA). Il framework proposto è aumentato dal 78% al 99%. CVC, CMAC, RLVR, DERC e SBCM hanno raggiunto rispettivamente il 68%, il 76%, l'86%, il 79% e l'88%. Il framework proposto ha superato CVC di circa 31 punti percentuali, CMAC di 23 punti percentuali, RLVR di 13 punti percentuali, DERC di 20 punti percentuali e SBCM di 11 punti percentuali. L'ADA più elevata ha indicato che gli agenti collaborativi hanno selezionato decisioni di orchestrazione più accurate in condizioni operative LV ricche di fonti rinnovabili.

Figura 15: Accuratezza Decisionale Adattativa (ADA). Analisi comparativa dell'ADA per il framework di orchestrazione proposto e i metodi di riferimento. I valori sono espressi come media ± DS confrontando il framework proposto con ciascun metodo di riferimento su cinque esecuzioni indipendenti di simulazione, con intervalli di confidenza al 95% e significatività statistica valutata a p < 0,001. Abbreviazioni: ADA, Accuratezza Decisionale Adattativa; CVC, Controllo Centralizzato della Tensione; CMAC, Controllo Convenzionale Basato su Multi-Agent; RLVR, Regolazione della Tensione Basata su Apprendimento per Rinforzo; DERC, Coordinamento delle Risorse Energetiche Distribuite; SBCM, Gestione della Congestione Basata sulla Sensitività. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Epoca di addestramento	CVC (%) (Media ± DS)	CMAC (%) (Media ± DS)	RLVR (%) (Media ± DS)	DERC (%) (Media ± DS)	SBCM (%) (Media ± DS)	Metodo proposto (%) (Media ± DS)
1	58,0 ± 0,5	64,0 ± 0,5	70,0 ± 0,4	66,0 ± 0,5	72,0 ± 0,4	78,0 ± 0,3
2	60,0 ± 0,5	66,0 ± 0,5	73,0 ± 0,4	68,0 ± 0,5	75,0 ± 0,4	82,0 ± 0,3
3	61,0 ± 0,4	68,0 ± 0,4	76,0 ± 0,4	70,0 ± 0,4	78,0 ± 0,4	86,0 ± 0,2
4	62,0 ± 0,4	70,0 ± 0,4	78,0 ± 0,3	72,0 ± 0,4	80,0 ± 0,3	89,0 ± 0,2
5	63,0 ± 0,4	71,0 ± 0,4	80,0 ± 0,3	74,0 ± 0,4	82,0 ± 0,3	91,0 ± 0,2
6	64,0 ± 0,4	72,0 ± 0,4	82,0 ± 0,3	75,0 ± 0,3	84,0 ± 0,3	93,0 ± 0,2
7	65,0 ± 0,4	73,0 ± 0,3	83,0 ± 0,3	76,0 ± 0,3	85,0 ± 0,3	95,0 ± 0,2
8	66,0 ± 0,4	74,0 ± 0,3	84,0 ± 0,3	77,0 ± 0,3	86,0 ± 0,3	96,0 ± 0,2
9	67,0 ± 0,4	75,0 ± 0,3	85,0 ± 0,3	78,0 ± 0,3	87,0 ± 0,3	97,0 ± 0,2
10	68,0 ± 0,4	76,0 ± 0,3	86,0 ± 0,3	79,0 ± 0,3	88,0 ± 0,3	99,0 ± 0,2

Tabella 8: Accuratezza delle Decisioni Adattive (ADA): Media ± DS dell'Accuratezza delle Decisioni Adattive (ADA) ottenuta da cinque ripetizioni indipendenti della simulazione, a confronto tra il framework proposto di orchestrazione intelligente degli alimentatori e i metodi di riferimento. Abbreviazioni: ADA, Accuratezza delle Decisioni Adattive; CVC, Controllo Centralizzato della Tensione; CMAC, Controllo Convenzionale Multi-Agente; RLVR, Regolazione della Tensione Basata su Apprendimento per Rinforzo; DERC, Coordinamento delle Risorse Energetiche Distribuite; SBCM, Gestione delle Congestionamenti Basata sulla Sensitività.

Tabella 9 presenta il Miglioramento dell’Affidabilità del Sistema (SRI). CVC è aumentato dal 60% al 69%. CMAC ha raggiunto circa il 78%, DERC circa l’81%, RLVR circa l’86% e SBCM circa l’88%. Il framework proposto è aumentato dall’80% durante l’apprendimento iniziale a circa il 99% al raggiungimento della convergenza. Il framework proposto ha superato CVC di circa 30 punti percentuali, CMAC di 21 punti percentuali, RLVR di 13 punti percentuali, DERC di 18 punti percentuali e SBCM di 11 punti percentuali. L’SRI più elevato ha dimostrato che il framework proposto ha mantenuto in modo più efficace rispetto ai metodi di confronto la continuità dell’alimentatore, la stabilità della tensione, il controllo della congestione e l’integrazione adattiva delle fonti rinnovabili.

Iterazione di addestramento	CVC (%) (Media ± DS)	CMAC (%) (Media ± DS)	RLVR (%) (Media ± DS)	DERC (%) (Media ± DS)	SBCM (%) (Media ± DS)	Metodo proposto (%) (Media ± DS)
1	60,0 ± 0,5	66,0 ± 0,5	72,0 ± 0,4	68,0 ± 0,5	75,0 ± 0,4	80,0 ± 0,3
2	61,0 ± 0,5	68,0 ± 0,5	74,0 ± 0,4	70,0 ± 0,5	77,0 ± 0,4	84,0 ± 0,3
3	62,0 ± 0,4	70,0 ± 0,4	76,0 ± 0,4	72,0 ± 0,4	79,0 ± 0,4	87,0 ± 0,2
4	63,0 ± 0,4	72,0 ± 0,4	78,0 ± 0,3	74,0 ± 0,4	81,0 ± 0,3	90,0 ± 0,2
5	64,0 ± 0,4	73,0 ± 0,4	80,0 ± 0,3	76,0 ± 0,4	83,0 ± 0,3	92,0 ± 0,2
6	65,0 ± 0,4	74,0 ± 0,4	82,0 ± 0,3	77,0 ± 0,3	84,0 ± 0,3	94,0 ± 0,2
7	66,0 ± 0,4	75,0 ± 0,3	83,0 ± 0,3	78,0 ± 0,3	85,0 ± 0,3	95,0 ± 0,2
8	67,0 ± 0,4	76,0 ± 0,3	84,0 ± 0,3	79,0 ± 0,3	86,0 ± 0,3	96,0 ± 0,2
9	68,0 ± 0,4	77,0 ± 0,3	85,0 ± 0,3	80,0 ± 0,3	87,0 ± 0,3	97,0 ± 0,2
10	69,0 ± 0,4	78,0 ± 0,3	86,0 ± 0,3	81,0 ± 0,3	88,0 ± 0,3	99,0 ± 0,2

Tabella 9: Miglioramento dell'affidabilità del sistema (SRI): Media ± DS del Miglioramento dell'affidabilità del sistema (SRI) ottenuta da cinque simulazioni indipendenti in condizioni di rete di distribuzione a bassa tensione ricca di fonti rinnovabili. Abbreviazioni: SRI, Miglioramento dell'affidabilità del sistema; CVC, Controllo centralizzato della tensione; CMAC, Controllo convenzionale basato su agenti multipli; RLVR, Regolazione della tensione basata su apprendimento per rinforzo; DERC, Coordinamento delle risorse energetiche distribuite; SBCM, Gestione della congestione basata sulla sensibilità.

Il framework proposto è stato valutato in condizioni diverse di generazione da fonti rinnovabili, domanda di carico, tensione e congestione, utilizzando i dataset FeederBW e 236-bus LV. Sono stati analizzati l'accettazione dei feeder, la conformità alla tensione, la riduzione della congestione, la latenza di orchestrazione, la velocità di convergenza, la coordinazione decentralizzata, l'integrazione delle fonti rinnovabili, la sensibilità alla tensione, la sensibilità alla congestione, la stabilità dei feeder, il bilanciamento del carico, l'utilizzo delle energie rinnovabili, l'accuratezza delle decisioni e l'affidabilità del sistema.

Per tutti questi parametri, il framework proposto ha prodotto i valori finali più elevati per FAR, VCI, CRR, CS, DCE, RAC, VSS, CSI, FSI, LBE, RUE, ADA e SRI, e il valore più basso per OL. Poiché i metodi di riferimento sono stati valutati sugli stessi set di dati, scenari operativi, ambiente di simulazione, criteri di arresto e metriche di valutazione, questi confronti hanno sostenuto l'ipotesi che l'apprendimento per rinforzo collaborativo basato su agenti multipli, combinato con una valutazione sensibile alla tensione e alla congestione, migliori l'accettazione adattiva degli alimentatori rispetto ai metodi di confronto centralizzati e distribuiti valutati.

I risultati hanno mostrato che la Strategia di Orchestrazione Dinamica ha migliorato l'accettazione dei feeder, la conformità alla tensione, la riduzione della congestione, l'integrazione delle fonti rinnovabili, il bilanciamento del carico, la coordinazione decentralizzata, l'accuratezza delle decisioni e l'affidabilità del sistema, riducendo al contempo la latenza di orchestrazione. Il framework ha inoltre raggiunto la convergenza più rapidamente rispetto ai metodi di confronto. Nelle condizioni di simulazione valutate, questi risultati hanno sostenuto l'ipotesi proposta secondo cui un apprendimento per rinforzo collaborativo, sensibile alle variazioni e decentralizzato potrebbe migliorare l'orchestrazione dei feeder in bassa tensione in presenza di incertezze nella generazione da fonti rinnovabili e in condizioni di carico e congestione variabili.

DISPONIBILITÀ DEI DATI:

Il dataset FeederBW è disponibile pubblicamente all'indirizzo https://doi.org/10.5281/zenodo.17831177, e il dataset 236-Bus Low-Voltage Distribution Network è disponibile pubblicamente all'indirizzo https://doi.org/10.5281/zenodo.8274780. L'implementazione in Python sviluppata per questo studio, insieme al framework di simulazione, ai moduli di preelaborazione, all'ambiente di apprendimento per rinforzo multi-agente, agli script per l'addestramento e la valutazione del modello, ai file di configurazione e ai formati dei dati di input necessari per riprodurre la metodologia proposta, è stata depositata su Zenodo ed è disponibile pubblicamente all'indirizzo https://doi.org/10.5281/zenodo.21423239. Il repository supporta la riproducibilità della metodologia e degli esperimenti riportati in questo studio.

File Supplementare 1. Derivazioni matematiche, algoritmo e dettagli implementativi della Strategia di Orchestrazione Dinamica proposta. Questo file supplementare fornisce le formulazioni matematiche a supporto di ogni fase del framework proposto, inclusa la pre-elaborazione dei dati, la modellizzazione dinamica della rete a bassa tensione, l'inizializzazione dell'ambiente multi-agente, l'apprendimento degli agenti guidato dal rinforzo, la valutazione della sensibilità alla tensione e alla congestione, l'orchestrazione collaborativa dell'accettazione degli alimentatori e le metriche di valutazione delle prestazioni. Include inoltre Algoritmo 1, che descrive la procedura di orchestrazione collaborativa dell'accettazione degli alimentatori, insieme alle definizioni matematiche delle metriche di valutazione utilizzate in questo studio.Cliccare qui per scaricare questo file.

Discussione

I risultati sperimentali hanno mostrato che la strategia di orchestrazione dinamica proposta ha migliorato la coordinazione decentralizzata degli alimentatori, l'integrazione delle energie rinnovabili, la stabilità della tensione, la gestione delle congestioni e l'orchestrazione a bassa latenza rispetto al Controllo Centralizzato della Tensione (CVC)³³, al Controllo Convenzionale Basato su Agenti Multipli (CMAC)²¹, alla Regolazione della Tensione Basata su Apprendimento per Rinforzo (RLVR)²⁰, alla Coordinazione delle Risorse Energetiche Distribuite (DERC)²⁶ e alla Gestione delle Congestioni Basata sulla Sensibilità (SBCM)³⁴. Nei parametri valutati — Tasso di Accettazione dell’Alimentatore (FAR), Indice di Conformità della Tensione (VCI), Tasso di Riduzione delle Congestioni (CRR), Efficienza del Coordinamento Decentralizzato (DCE), Efficienza di Utilizzo delle Rinnovabili (RUE), Accuratezza delle Decisioni Adattive (ADA) e Miglioramento dell’Affidabilità del Sistema (SRI) — il framework proposto ha ottenuto prestazioni superiori nelle condizioni testate. I risultati ottenuti utilizzando i dataset FeederBW e 236-bus a bassa tensione (LV) hanno indicato che la combinazione di apprendimento per rinforzo collaborativo basato su agenti multipli con la valutazione della sensibilità alla tensione e alle congestioni ha migliorato l'efficienza e la velocità dell'orchestrazione adattiva degli alimentatori.

L'analisi comparativa ha inoltre mostrato che i metodi di coordinamento centralizzati e basati su regole presentavano risposte di orchestrazione più lente, capacità ridotta di accogliere fonti rinnovabili, efficienza minore nel coordinamento adattativo e scalabilità più limitata in condizioni variabili dei circuiti secondari^33,34. Sebbene RLVR e SBCM abbiano prestato meglio rispetto ad altri metodi di confronto grazie ai loro componenti basati sull'apprendimento per rinforzo e alla gestione della congestione sensibile alle sensibilità, non hanno fornito un meccanismo collaborativo e decentralizzato per l'orchestrazione dell'accettazione nei circuiti secondari. Al contrario, il framework proposto combina agenti intelligenti collaborativi, una priorizzazione dei circuiti secondari sensibile alle sensibilità, un'ottimizzazione adattativa dell'orchestrazione e un apprendimento decentralizzato delle politiche. I suoi indicatori di convergenza più rapida e di maggiore stabilità suggeriscono che questa struttura combinata supporta il funzionamento dei circuiti secondari in condizioni variabili di generazione da fonti rinnovabili, carico, tensione e congestione.

L'architettura decentralizzata di apprendimento per rinforzo multi-agente distribuisce il processo decisionale tra agenti di livello alimentatore, anziché fare affidamento su un singolo controllore centralizzato. Con l'aumentare delle dimensioni della rete di distribuzione, singoli agenti eseguono calcoli locali e scambiano soltanto le informazioni di coordinamento necessarie agli agenti vicini. Questa configurazione riduce i colli di bottiglia computazionali centralizzati e il sovraccarico di comunicazione, favorendo così la scalabilità³⁵. Il framework potrebbe quindi essere applicabile a reti più estese, con maggiore penetrazione di fonti rinnovabili, ulteriori tratti di alimentatori e complessità operativa più elevata. Tuttavia, un'implementazione su scala molto ampia richiederebbe un'ulteriore ottimizzazione delle risorse di calcolo distribuito e dei protocolli di comunicazione.

Lo studio ha inoltre proposto un approccio decentralizzato basato sull'apprendimento per la gestione degli alimentatori a bassa tensione. A differenza dei metodi convenzionali di controllo della tensione e gestione delle congestioni, basati principalmente su regole operative statiche o su ottimizzazione centralizzata³³, la strategia proposta integra la valutazione della sensibilità alla tensione, l'orchestrazione consapevole della congestione, l'ottimizzazione delle politiche guidata dal rinforzo, la classificazione dinamica di accettazione degli alimentatori e la comunicazione tra agenti collaborativi. Questa integrazione ha esteso l'uso dell'apprendimento per rinforzo multi-agente, passando dalla regolazione della tensione e dalla coordinazione delle risorse all'orchestrazione adattativa dell'accettazione degli alimentatori nelle reti di distribuzione in bassa tensione ricche di fonti rinnovabili.

Il metodo proposto potrebbe supportare la gestione dell'accettazione degli alimentatori per le aziende elettriche, gli operatori di reti intelligenti e i sistemi di gestione dell'energia rinnovabile. Tuttavia, diverse sfide devono essere affrontate prima di una realizzazione pratica. I ritardi nelle comunicazioni potrebbero influenzare la velocità dello scambio di informazioni e la coordinazione tra agenti distribuiti, in particolare nelle reti su larga scala. Saranno inoltre necessarie comunicazioni sicure e misure di cybersecurity per proteggere le interazioni tra agenti e i dati operativi da accessi non autorizzati e attacchi informatici. L'integrazione con i sistemi di gestione della distribuzione esistenti richiederà l'interoperabilità con i protocolli di comunicazione delle aziende elettriche, le architetture di controllo di supervisione e le procedure operative. L'implementazione pratica dipenderà quindi da strutture di comunicazione a bassa latenza, trasmissione sicura dei dati, interfacce standardizzate e validazione sul campo^36,37.

Lo studio è stato limitato dalla dipendenza dai dataset FeederBW e 236-bus LV e dalla validazione basata su simulazioni in condizioni operative e di comunicazione predefinite. Queste impostazioni potrebbero non rappresentare pienamente la topologia, le perturbazioni, i guasti di comunicazione o gli eventi cibernetico-fisici riscontrati nelle reti elettriche reali. La complessità computazionale potrebbe inoltre aumentare in condizioni operative su larghissima scala o con elevata penetrazione di fonti rinnovabili. I futuri sviluppi dovranno quindi valutare il framework utilizzando ulteriori dataset su scala aziendale, reti di distribuzione reali, piattaforme hardware-in-the-loop e installazioni pilota su campo. L'attenzione sarà rivolta alla validazione del framework proposto mediante piattaforme hardware-in-the-loop, reti elettriche reali e sistemi di distribuzione di dimensioni maggiori. Inoltre, studi futuri esamineranno architetture avanzate di apprendimento per rinforzo e strategie migliorate di coordinamento distribuito per incrementare ulteriormente scalabilità e robustezza operativa. Nel complesso, i risultati delle simulazioni hanno mostrato che l'apprendimento per rinforzo collaborativo multi-agente, combinato con la valutazione della sensibilità alla tensione e alla congestione, può migliorare l'accettazione del tronco, la conformità della tensione, la mitigazione della congestione, l'integrazione delle fonti rinnovabili, il coordinamento decentralizzato, la convergenza, la latenza e il processo decisionale adattivo. Sono necessarie ulteriori verifiche con dati reali provenienti da aziende elettriche, ritardi di comunicazione realistici, interruzioni cibernetico-fisiche e condizioni di test hardware-in-the-loop o sul campo per confermare la scalabilità pratica e l'affidabilità operativa.

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Insieme di dati della rete di distribuzione a bassa tensione con 236 nodi	Canizes et al.	DOI: 10.5281/zenodo.8274780	Insieme di dati pubblico utilizzato per l'analisi della scalabilità e la validazione su larga scala del framework proposto
Unità centrale di elaborazione (CPU)	Intel Corporation	Intel Core i9-12900K (16 core)	Utilizzata per la gestione delle simulazioni e l'esecuzione dell'ambiente
Modulo di analisi della sensibilità alla congestione	Modulo sviluppato su misura	Zenodo DOI: 10.5281/zenodo.21423239	Esegue il calcolo in tempo reale della sensibilità alla congestione e la priorizzazione degli alimentatori
Toolkit CUDA	NVIDIA Corporation	CUDA 12.1	Piattaforma di calcolo GPU utilizzata per l'addestramento accelerato del modello PyTorch
Libreria cuDNN	NVIDIA Corporation	cuDNN 9.3.0	Libreria per l'accelerazione delle reti neurali profonde utilizzata con CUDA
Simulatore dinamico personalizzato per reti in bassa tensione	Modulo sviluppato su misura	Versione 1.0	Piattaforma di simulazione sviluppata dall'autore, implementata in Python e PyTorch per esperimenti di orchestrazione dinamica degli alimentatori. I dettagli dell'implementazione sono forniti nelle sezioni Metodi e Disponibilità dei dati.
Libreria per l'elaborazione dei dati	Team di sviluppo di pandas	pandas 2.2.2	Utilizzata per la pre-elaborazione, l'estrazione delle caratteristiche, la normalizzazione e la gestione dei dati in serie temporali
Framework di apprendimento profondo	PyTorch Foundation	PyTorch 2.3.1	Utilizzato per l'implementazione del modello di apprendimento per rinforzo multi-agente (MARL), l'addestramento delle reti neurali e l'ottimizzazione delle politiche
Modulo di comunicazione distribuita tra agenti	Framework sviluppato su misura	Zenodo DOI: 10.5281/zenodo.21423239	Consente la comunicazione decentralizzata e lo scambio collaborativo delle politiche tra agenti intelligenti
Insieme di dati FeederBW	Treutlein et al.	DOI: 10.5281/zenodo.17831177	Insieme di dati pubblico contenente misurazioni reali di alimentatori in bassa tensione, generazione da fonti rinnovabili e profili operativi
Unità di elaborazione grafica (GPU)	NVIDIA Corporation	GeForce RTX 3090, 24 GB GDDR6X	Acceleratore hardware utilizzato per l'addestramento delle reti neurali e il calcolo parallelo
Ambiente di apprendimento per rinforzo multi-agente	Farama Foundation	Gym 0.26.2	Ambiente personalizzato di apprendimento per rinforzo per l'interazione e l'addestramento collaborativo di agenti intelligenti
Libreria per il calcolo numerico	Sviluppatori di NumPy	NumPy 1.26.4	Utilizzata per calcoli numerici, manipolazione di tensori e operazioni matriciali
Sistema operativo	Canonical Ltd.	Ubuntu 22.04.5 LTS (64 bit)	Sistema operativo utilizzato per tutte le simulazioni e gli esperimenti di apprendimento per rinforzo
Linguaggio di programmazione Python	Python Software Foundation	Python 3.11.9	Linguaggio di programmazione principale utilizzato per l'implementazione degli algoritmi, le simulazioni e lo sviluppo dei modelli
Memoria di sistema	Lenovo	64 GB di RAM DDR5	Memoria di sistema installata utilizzata per simulazioni su larga scala MARL ed elaborazione dei dati.
Modulo di monitoraggio della stabilità della tensione	Modulo sviluppato su misura	Zenodo DOI: 10.5281/zenodo.21423239	Valuta continuamente la stabilità e la conformità della tensione durante l'orchestrazione degli alimentatori