Deze studie presenteert een Dynamische Orchestratiestrategie voor de acceptatie van laagspanningsvoeders met behulp van collaboratief multi-agent reinforcement learning. Intelligente agenten coördineren de voederbedrijfsvoering, congestiebeheer, spanningsstabiliteit en de integratie van hernieuwbare energie onder onzekere omstandigheden. De aanpak is geëvalueerd via simulaties met gebruik van de FeederBW- en 236-bus datasets.
Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.
Onderzoeksartikel
Dynamische orchestratie van de acceptatie van voedingslijnen op basis van multi-agent RL met gebruik van de FeederBW-dataset en een laagspanningsdistributienetwerk met 236 bussen
In dit artikel
Samenvatting
Samenvatting
De uitgebreide integratie van verspreide hernieuwbare energiebronnen en de snelle uitbreiding van laagspanningsvoeders (LV-voeders) hebben geleid tot operationele uitdagingen met betrekking tot de acceptatie van voeders en congestiecoördinatie. Bestaande benaderingen voor spanningsregeling en voederbeheer kunnen een beperkte schaalbaarheid en aanpassingsvermogen hebben bij intermitterende hernieuwbare energieopwekking en veranderende netwerkomstandigheden. Om deze beperkingen aan te pakken, stelt deze studie een Dynamic Orchestration Framework voor voor de acceptatie van laagspanningsvoeders, gebaseerd op intelligent-agent-collaboratie binnen een multi-agent reinforcement learning-benadering. In tegenstelling tot spanningsregelingsstrategieën die primair gericht zijn op spanningsstabilisatie, ondersteunt het voorgestelde raamwerk dynamische voederacceptatie via de gecoördineerde werking van agenten die verantwoordelijk zijn voor voederbewaking, congestiebeheer en prioritering op basis van spanningsgevoeligheid. De agenten observeerden onafhankelijk de toestanden van de voeders, evalueerden de congestie en spanningsgevoeligheid en werkten samen bij beslissingen over voederacceptatie. Het raamwerk werd geëvalueerd via simulaties met behulp van de FeederBW-dataset en de 236-bus laagspanningsdistributienetwerk-dataset onder variërende niveaus van hernieuwbare integratie en belastingscondities. Het voorgestelde raamwerk behaalde een Feeder Acceptance Rate van 97%, een Voltage Compliance Index van 98%, een orchestratielatentie van 98 ms (gemeten als de wall-clock executietijd van het orchestratiealgoritme op de gerapporteerde hardware) en een convergentiesnelheid van 98,5%, waarmee het beter presteerde dan de geëvalueerde gecentraliseerde coördinatiemethoden. De resultaten wezen daarnaast op een verbeterde aanpasbaarheid, operationele veerkracht en efficiëntie van gedecentraliseerde besluitvorming onder de gesimuleerde omstandigheden van het laagspanningsdistributienetwerk.
Inleiding
Moderne elektriciteitssystemen worden geconfronteerd met aanzienlijke operationele uitdagingen vanwege de stijgende elektriciteitsvraag en het toenemende gebruik van gedistribueerde opwekking. Onbalansen tussen het aanbod en de vraag naar elektriciteit, of snelle toenames in gedistribueerde opwekking, kunnen leiden tot financiële druk op nutsbedrijven en eindgebruikers en de stabiliteit van het net in gevaar brengen. Conventionele, centraal aangestuurde elektriciteitsinfrastructuren op basis van fossiele brandstoffen verschuiven daarom naar een gedistribueerd ontwerp aangedreven door hernieuwbare energie. Deze transitie heeft de toegang tot betaalbaardere en milieuvriendelijkere energiebronnen verbeterd. Echter, het intermitterende en onvoorspelbare karakter van fotovoltaïsche (PV) opwekking roept zorgen op over de betrouwbaarheid van het net1,2.
De wereldwijde energietransitie versnelt de uitrol van PV vanwege de milieuvoordelen, schaalbaarheid en dalende kosten. Volgens het Internationaal Agentschap voor Hernieuwbare Energie wordt verwacht dat de PV-capaciteit tegen 2050 verantwoordelijk zal zijn voor meer dan 22% van de wereldwijde elektriciteitsvoorziening, en dat zonne-PV tegen 2030 een belangrijke bijdrager zal zijn aan de wereldwijde elektriciteitsvoorziening3. Deze wijdverbreide integratie vormt aanzienlijke uitdagingen voor conventionele elektriciteitssystemen, met name wat betreft de operationele stabiliteit en betrouwbaarheid. Spanningsfluctuatie is een kritiek punt omdat PV-generatie intermittent en niet-stuurbaar is, en de effecten hiervan worden prominenter naarmate de penetratie in distributie- en transmissienetwerken toeneemt4.
Variaties in de zonnestraling hebben direct invloed op de PV-opbrengst en kunnen snelle spanningsveranderingen veroorzaken. Wolkbewegingen, abrupte variaties in instraling en lasttransiënten kunnen spanningsschommelingen teweegbrengen waar bestaande netarchitecturen onvoldoende op zijn ingericht5. Hoewel conventionele technologieën effectief zijn geweest in gecentraliseerde en relatief stabiele netconfiguraties, zijn ze minder geschikt voor steeds meer gedistribueerde netwerken. Snelle bidirectionele spanningsveranderingen kunnen de capaciteiten van conventionele energiesystemen overschrijden, vooral bij een hoge PV-penetratie6. Ongecontroleerde schommelingen kunnen leiden tot overschrijding van spanningslimieten, gevoelige belastingen beïnvloeden en de netveiligheid in gevaar brengen.
De integratie van slimme belastingen en gedistribueerde bronnen in distributienetwerken heeft daarom geleid tot de ontwikkeling van geavanceerdere regelstrategieën. Intelligente regelsystemen die gedistribueerde apparatuur continu bewaken en coördineren, kunnen helpen bij het verminderen van uitdagingen in laagspanningsnetwerken (LV) met een hoge mate van gedistribueerde opwekking7. Grootschalige PV-integratie veroorzaakt ook operationele moeilijkheden voor thermische opwekking, vooral wanneer de PV-opbrengst afneemt en thermische eenheden snel moeten reageren, waarbij soms de limieten voor de opstart- en afbouwcapaciteit (ramp-rate) worden overschreden8. Tegelijkertijd moeten programma's voor vraagrespons (DR) een balans vinden tussen duurzaamheid op lange termijn en economische haalbaarheid9.
DR-programma's kunnen de integratie van gedistribueerde opwekking ondersteunen en tegelijkertijd helpen bij het balanceren van het elektriciteitsaanbod en de vraag. Deze programma's worden gecategoriseerd als prijsgebaseerde DR of stimulansgebaseerde DR (IBDR). Prijsgebaseerde DR moedigt consumenten aan om hun elektriciteitsgebruik aan te passen als reactie op tijdvariërende tarieven, terwijl IBDR vaste of variabele financiële stimulansen biedt om het verbruik te verminderen wanneer daarom wordt verzocht10. Prijsgebaseerde DR stelt consumenten echter bloot aan fluctuerende groothandelsprijzen en biedt beperkte operationele flexibiliteit vanuit het perspectief van het nutsbedrijf, wat risico-averse deelnemers kan ontmoedigen11,12.
Verschillende studies hebben IBDR in distributiesystemen met een hoog aandeel PV onderzocht. Eén studie beoordeelde de uitdagingen en voordelen van het combineren van IBDR met een hoge PV-penetratie, maar richtte zich op geaggregeerd energieverbruik in plaats van op energiebeheersystemen op huishoudniveau13. Een andere studie stelde een prikkelgebaseerde spanningsbeheermethode voor waarbij prijssignalen indirect de batterijwerking aanstuurden om spanningslimieten te handhaven, hoewel de vraag op huishoudniveau niet expliciet werd gemodelleerd14. Een op fuzzy logic gebaseerde methode voor het bepalen van stimulansbetalingen hield rekening met consumententevredenheid en kosten voor de integratie van hernieuwbare energie, maar bevatte geen analyse op voedingslijnniveau15. Er is ook onderzoek gedaan naar langetermijnplanning van energieopwekking waarin zowel prijsgebaseerde als prikkelgebaseerde DR zijn opgenomen, inclusief thermische en hernieuwbare opwekking, maar zonder rekening te houden met het comfort van de gebruiker of de vraag op huishoudniveau16.
Deep reinforcement learning (RL) is ook toegepast op residentiële DR. Er zijn deep RL-methoden voorgesteld voor geaggregeerde lastregeling onder tijd-van-gebruik-tarieven, hoewel de generaliseerbaarheid ervan beperkt werd door kleine gebruikerspopulaties en het ontbreken van planning op apparaatniveau17. Een multi-agent reinforcement learning-framework dat DR combineert met spanningsregeling maakte gebruik van long short-term memory-netwerken voor lastvoorspelling, maar loste de ontevredenheid van klanten als gevolg van lastbeperking niet op18. Ander werk heeft zich gericht op DR-coördinatie voor airconditioningsystemen in commerciële gebouwen met behulp van een Markov-beslissingsproces, zonder andere residentiële lasten mee te wegen19. Bestaande deep RL-studies naar spanningsregeling hebben over het algemeen geen integratie van zowel DR als PV opgenomen20,21.
Slimme omvormers kunnen snel reageren op abrupte en onregelmatige veranderingen in de PV-opbrengst22. Wanneer spanningsschendingen optreden, kunnen PV-omvormers binnen milliseconden reageren, terwijl conventionele apparaten enkele seconden nodig kunnen hebben23. Sommige studies hebben modificaties van standaard apparaatbesturingsprocedures voorgesteld, waaronder multi-agent benaderingen voor de coördinatie van spanningsregelaars en het aanpassen van conventionele acties van spanningsregelaars24. Desalniettemin kan standalone PV-generatie zonder colocatie van opslag de spanningsschommelingen verergeren en vermindert het de avondpieken niet, zelfs wanneer het de netto import overdag verlaagt24,25. Huishoudbatterijen kunnen bovendien uitgeput raken tijdens perioden met een PV-overschot overdag en onbeschikbaar worden voor het opladen van elektrische voertuigen 's nachts als hun inzet niet is gecoördineerd met de lokale vraag en generatie26,27. De gecombineerde effecten van stochastische vraag, intermitterende generatie en divers opslaggedrag maken capaciteitsbeheer, levensduur van activa en veerkracht belangrijke aandachtspunten voor beheerders van distributiesystemen28. Home Energy Management Systems bieden een potentiële manier om geautomatiseerde besturing op klantniveau te implementeren. RL is goed geschikt voor dergelijke toepassingen omdat agents besturingsstrategieën kunnen leren door interactie met de omgeving, terwijl ze onzekerheid beheren en beslissingen met een lage latentie nemen.
Vooruitgang in de routeplanning voor elektrische voertuigen illustreert daarnaast hoe deep RL kan omgaan met dynamische energiebeperkingen. Het capaciteitsbeperkte routeprobleem voor elektrische voertuigen met een heterogene vloot houdt rekening met rijdynamiek, wegeigenschappen, kinetische weerstand en laadefficiëntie, terwijl het maximale energieverbruik over een diverse vloot wordt geminimaliseerd29. Een dynamiekbewuste methode voor deep reinforcement learning formuleert dit probleem als een aangepast Markov-beslissingsproces en maakt gebruik van een encoder-updater-decoder-architectuur. In dit ontwerp ontwikkelt de encoder rolspecifieke representaties voor knooppunten en voertuigen, verfijnt de updater voertuigtokens naarmate de contextuele informatie verandert, en scheidt de decoder de voertuigselectie van de voertuigspecifieke knooppuntselectie om adaptieve besluitvorming te ondersteunen. Op soortgelijke wijze maakt een energie-optimaal routeprobleem voor elektrische voertuigen met ophaal- en leveringen en tijdvensters gebruik van een energieverbruiksmodel met een hoge resolutie, dat laadgedrag, tijdsafhankelijke rijdynamiek en gedetailleerde routeinformatie bevat30. Een heterogeen, attention-gestuurd deep reinforcement learning-framework representeert de routeringstaak als een Markov-beslissingsproces, met een encoder die rolspecifieke interacties tussen depots, klanten en laadstations vastlegt, en een decoder die toestandsovergangen en temporele haalbaarheid bijhoudt.
Ondanks deze ontwikkelingen leggen de meeste studies naar het beheer van LV-distributienetwerken de nadruk op spanningsstabilisatie en optimalisatie van blindvermogen, in plaats van op de dynamische orkestratie van voedingslijnacceptatie onder onzekerheid van hernieuwbare energie. Gedistribueerde spanningsregelmethoden op basis van intelligente omvormers en machine learning richten zich over het algemeen op spanningscompensatie en blindvermogenoptimalisatie, zonder adaptieve controle op de acceptatie van voedingslijnen of congestiegebaseerde orkestratie in complexe LV-netwerken aan te pakken. Evenzo pakken voltage-beperkte multi-agent reinforcement learning-benaderingen voor DR de collaboratieve beheersing van voedingslijnacceptatie, gedecentraliseerde congestiebewuste orkestratie of admission control op knooppuntniveau in onderling verbonden LV-distributiesystemen niet direct aan. Coöperatieve spanningsregelmethoden op basis van multi-agent coördinatie minimaliseren doorgaans spanningsafwijkingen en trapschakelingen met behulp van PV-omvormers, maar houden geen rekening met adaptieve acceptatie van voedingslijnen, instabiliteit van acceptatie gerelateerd aan hernieuwbare energie of gedecentraliseerde orkestratie onder dynamische netwerkomstandigheden.
Huidige gedistribueerde en multi-agent methoden voor resource-coördinatie kampen ook met beperkingen op het gebied van congestiebewustzijn, temporele aanpassingsvermogen en schaalbaarheid. De meeste methoden leggen de nadruk op overbelastingsanalyse, interacties tussen gedistribueerde energierebronnen of tariefgestuurd energiemanagement, in plaats van adaptieve acceptatie op voedingsniveau en spanningsbewuste orchestratie. Hun afhankelijkheid van gedeeltelijke centralisatie en statische prioriteiten kan de gedecentraliseerde besluitvorming, de snelle reactie op congestievoortplanting en de aanpassing aan de variabiliteit van hernieuwbare energie verder beperken. Er is daarom behoefte aan een volledig gedecentraliseerd framework op basis van reinforcement learning, dat coöperatieve agent-coördinatie combineert met spannings- en congestiegevoeligheidsanalyse voor adaptief beheer van de acceptatie op voedingsniveau, gebruikmakend van grootschalige datasets zoals FeederBW en het 236-bus LV-distributienetwerk.
In deze studie verwijst feederacceptatie naar het adaptieve operationele proces om te bepalen of een LV-feeder extra gedistribueerde energieresources of elektrische belastingen kan accommoderen, terwijl de netwerkbeveiliging, spanningsconformiteit, thermische belastingslimieten en operationele betrouwbaarheid behouden blijven. De operationele grens voor feederacceptatie omvat het evalueren van de feedercapaciteit, spanningsgevoeligheid, congestieomstandigheden en de variabiliteit van hernieuwbare energie voordat nieuwe feederverbindingen worden geaccepteerd of geprioriteerd. In tegenstelling tot conventionele spanningsregeling, die spanningsprofielen reguleert, coördinatie van gedistribueerde energieresources, die de werking van resources beheert, of congestiemanagement, dat netwerkoverbelastingen beperkt, integreert feederacceptatie deze functies binnen een collaboratief multi-agent reinforcement learning-raamwerk om dynamische, gedecentraliseerde en adaptieve orchestratie onder omstandigheden met veel hernieuwbare energie te ondersteunen.
Het doel van deze studie is om een collaboratieve, op intelligente agenten gebaseerde dynamische orchestratiestrategie te ontwikkelen voor de acceptatie van laagspanningsvoeders onder wisselende bedrijfsomstandigheden en onzekerheid van hernieuwbare energiebronnen. Het voorgestelde raamwerk voert gedecentraliseerde orchestratie van voederafname uit door dynamisch de status van de voeders, de spanningsgevoeligheid, de congestiegevoeligheid en de acceptatiecapaciteit te evalueren, waardoor adaptieve prioritering en besluitvorming mogelijk worden die verder gaan dan statische spanningsregelmethoden. Met behulp van de FeederBW-dataset en de dataset van een LV-distributienetwerk met 236 bussen ontwikkelt de studie tevens een schaalbare multi-agent reinforcement learning-architectuur voor grootschalige LV-systemen. Door middel van reinforcement-driven learning en collaboratieve optimalisatie met lage latentie, uitgevoerd bij elk gesimuleerd bedrijfsinterval, is het raamwerk ontworpen om de verspreiding van congestie te verminderen, de naleving van de spanningsnormen te verbeteren, de orchestratielatentie te verlagen en de efficiëntie van de gedecentraliseerde coördinatie te verhogen.
Het raamwerk draagt een dynamische orchestratiebenadering voor de acceptatie van LV-voeders bij die statische feeder-managementstrategieën op basis van spanningsregeling vervangt; een gedecentraliseerde multi-agent reinforcement learning-architectuur voor onzekerheid in hernieuwbare energie en variërende belastingsomstandigheden; gedecentraliseerd toegangsbeheer op basis van lage latentiecondities en dynamische feeder-prioritisering; gezamenlijke indices voor spannings- en congestiegevoeligheid om kritieke feeders te identificeren en acceptatiebeslissingen te prioriteren; collaboratieve communicatie tussen naburige agenten; continue optimalisatie van beleid op basis van reinforcement learning om de feederstabiliteit, congestievermindering, spanningsconformiteit en convergentie te verbeteren; en grootschalige validatie op basis van simulaties met behulp van de FeederBW- en 236-bus LV-datasets. Vergelijkende resultaten wijzen op een verbeterde feeder-acceptatie, congestievermindering, orchestratievertraging, convergentiesnelheid en spanningsconformiteit ten opzichte van traditionele gecentraliseerde coördinatiemethoden.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Protocol
In dit onderzoek zijn geen menselijke proefpersonen, gewervelde dieren, menselijke weefsels of dierlijke weefsels gebruikt. In de studie werden uitsluitend openbaar toegankelijke datasets (de FeederBW-dataset en de dataset van het 236-bus laagspanningsdistributienetwerk) en computersimulaties gebruikt. Daarom vereiste deze studie geen goedkeuring van een institutionele toetsingscommissie (IRB), ethische goedkeuring of geïnformeerde toestemming.
De Dynamic Orchestration Strategy for Low-Voltage Feeder Acceptance Based on Agent Collaboration werd ontwikkeld met behulp van multi-agent reinforcement learning (MARL) voor bedrijfsomstandigheden met een hoog aandeel hernieuwbare energie. De FeederBW- en 236-bus laagspanningsdatasets werden gepreprocessd, genormaliseerd en temporeel gesynchroniseerd om een dynamisch netwerkmodel te construeren dat de toestanden van de voeders, gedistribueerde energiemiddelen, spanningsgevoelige regio's en congestiecondities representeert. Intelligente agenten werden toegewezen aan voedersecties en netwerkknooppunten om de lokale spanning, congestie, onzekerheid van hernieuwbare opwekking en de acceptatiecapaciteit van het voeder te bewaken, informatie uit te wisselen met naburige agenten en orchestratiebeleid bij te werken via gedecentraliseerde reinforcement learning. De beloningsfunctie werd ontworpen om de voederacceptatie te verbeteren terwijl congestie, spanningsinstabiliteit en coördinatievertragingen werden beperkt. Spanning, voederbelasting, transformatorbelasting en congestiebeperkingen werden meegewogen, terwijl driefasige ongebalanceerde werking, geavanceerde fotovoltaïsche omvormerbesturing en reactieve vermogenscompensatie niet expliciet werden gemodelleerd. Het algemene raamwerk wordt getoond in Figuur 1De onderzoeksinstrumenten die in deze studie zijn gebruikt, staan vermeld in de Tabel met materialen.
Figuur 1: Architectuur van het voorgestelde framework. Schema van het Dynamic Orchestration Framework waarin intelligente agenten, reinforcement learning, congestieanalyse en adaptieve voedingscoördinatie zijn geïntegreerd. Klik hier om een grotere versie van deze figuur te bekijken.
1. Gegevensverwerving
De gegevens werden verkregen uit de FeederBW-dataset31 en de 236-bus LV-distributiedataset32. Deze datasets werden geselecteerd omdat ze informatie bevatten over de topologie van de voedingslijnen, spanningsomstandigheden, het gedrag van hernieuwbare energieopwekking, de energievraag, congestie en dynamische bedrijfsprofielen die vereist zijn voor gedecentraliseerde orchestratie en agent-leren op basis van reinforcement learning.
De FeederBW-dataset werd primair gebruikt om de werking van feeders, de intermitterendheid van hernieuwbare energie, spanningsafwijkingen en congestievoortplanting in LV-netten te modelleren. Deze bevatte gegevens over de werking van feeders, het gedrag van gedistribueerde opwekking, knooppanningsmetingen en lastschommelingen die de adaptieve orchestratieanalyse ondersteunden. De 236-bus LV-dataset werd gebruikt om de schaalbaarheid en gedecentraliseerde coördinatie te evalueren. Deze bevatte informatie over busverbindingen, belastingsomstandigheden van feeders, knooppanningskenmerken, de penetratie van gedistribueerde hernieuwbare energie en congestiegevoelige bedrijfsgevallen. Samen ondersteunden de twee datasets analyses op feederniveau en op grote schaal onder omstandigheden van een hoge penetratie van hernieuwbare energie. De kenmerken van de datasets en hun doelen binnen het raamwerk zijn samengevat in Tabel 1.
| Naam van de dataset | Datasettype | Aantal knooppunten/bussen | Gegevensattributen | Doel van het voorgestelde werk |
| FeederBW-dataset | Operationele dataset van laagspanningsvoedingslijnen | Meerdere voedingsknooppunten | spanningsprofielen, hernieuwbare opwekking, belastingsvraag, congestietoestanden, operationeel gedrag van voedingslijnen | orkestratie van feeder-systemen met lage latentie, congestieanalyse, adaptieve acceptantieprioritisering |
| 236-bus LV-dataset | Grootschalige dataset voor laagspanningsdistributie | 236 bussen | Bustopologie, voedingsbelasting, spanningsgevoeligheid, penetratie van hernieuwbare energie, congestiedynamiek | Validatie van schaalbaarheid, evaluatie van gedecentraliseerde coördinatie, analyse van grootschalige orchestratie |
Tabel 1: Kenmerken van de dataset.Beschrijving van de datasets, operationele attributen en hun doeleinden binnen het voorgestelde orchestratiekader voor lage spanning.
2. Gegevensvoorbewerking
De verkregen datasets werden voorbewerkt om de consistentie, temporele uitlijning en stabiliteit van het reinforcement-learning te verbeteren. Ontbrekende vermeldingen, foutieve metingen, dubbele records en inconsistente voedingslijngegevens werden gefilterd met behulp van statistische voorbewerkingsprocedures. Deze stap werd gebruikt om de consistentie te bewaren tussen de gegevens van de voedingslijnbedrijfsvoering, hernieuwbare generatieprofielen, spanningsmetingen en gegevens over de congestiestatus. Alle operationele variabelen werden min-max genormaliseerd, zodat de inputkenmerken werden getransformeerd naar een gemeenschappelijke schaal die geschikt is voor het leren van de agent. De genormaliseerde variabelen omvatten de voedingslijnspanning, het actief vermogen van de vraag, hernieuwbare generatie, de congestiestatus en de acceptatiecapaciteit van de voedingslijn. De wiskundige formulering van de voorbewerkingsprocedure is opgenomen in Aanvullend Bestand 1 (Sectie 1).
3. Dynamische modellering van netwerken met een lage spanning
Na de gegevensverwerving en voorbewerking werd een dynamisch LV-netwerkmodel geconstrueerd om het gedrag van een distributiesysteem met een hoog aandeel hernieuwbare opwekking te simuleren onder variërende belastings- en generatieomstandigheden. Het model volgde dynamisch de feeder-topologie, het gedrag van gedistribueerde energierebronnen, spanningsgevoelige regio's en de voortplanting van congestie.
In tegenstelling tot een statische netwerkrepresentatie, werkt het model het gedrag van de voedingen bij op basis van de intermitterendheid van hernieuwbare energie, de consumentenvraag en congestieomstandigheden. De FeederBW- en 236-bus LV-datasets werden gebruikt om onderling verbonden voedingen te construeren waarin bussen, transformatoren, gedistribueerde hernieuwbare bronnen en belastingen werden weergegeven als netwerkknopen. Elke voedingsknoop leverde bijgewerkte informatie over de spanningsamplitude, de actieve vermogensvraag, de hernieuwbare opwekking, de belastingsstatus van de voeding en de congestiestatus. Deze variabelen werden door de intelligente agenten gebruikt om het gedrag van de voedingen te bewaken en gedecentraliseerde orchestratiebeslissingen te nemen. Het netwerkmodel ondersteunde daarnaast de identificatie van gevoelige regio's en de prioritering van de acceptatie van voedingen via continue sensitiviteitsanalyse.
Het LV-distributienet werd weergegeven als een grafiekgebaseerd netwerk bestaande uit busstations, voedingslijnen, transformatoren, hernieuwbare bronnen en verbruikerslast-knopen. Gedetailleerde wiskundige afleidingen van het netwerkmodel zijn te vinden in Supplementary File 1(Section 2). De dynamische netwerktoestand en de congestie-index werden continu gemonitord. De congestie-index werd genormaliseerd naar het bereik [0,1], en de collaboratieve orchestratie voor de acceptatie van voedingslijnen werd gestart wanneer de congestie-index 0,80 overschreed.
4. Initialisatie van de multi-agentomgeving
Nadat het dynamische LV-netwerkmodel was geconstrueerd, werd de multi-agent-omgeving geïnitialiseerd om gedecentraliseerde aansluiting van voedingslijnen te ondersteunen. Intelligente agenten werden toegewezen aan segmenten van de voedingslijnen, aansluitpunten voor gedistribueerde energiebronnen, transformatorlocaties en knooppunten die gevoelig zijn voor congestie binnen het LV-netwerk.
Elke agent fungeerde als een onafhankelijke beslissingsentiteit die de lokale werking van de voedingslijn bewaakte, informatie uitwisselde met naburige agenten en adaptieve orchestratieacties uitvoerde. Agenten werden toegewezen aan cruciale knooppunten van de voedingslijn op basis van spanningsgevoeligheid, penetratie van hernieuwbare energie, congestieniveau en het belang van de voedingslijn. Het LV-netwerk werd geconfigureerd als een agent-gebaseerde omgeving waarin de agenten continu de spanning van de voedingslijn, de vraag naar actief vermogen, variaties in hernieuwbare opwekking, de congestiestatus en de acceptatiecapaciteit van de voedingslijn bewakten. De wiskundige formulering van de multi-agentomgeving is opgenomen in Aanvullend Bestand 1(Sectie 3).
5. Versterkingsgestuurd agent-leren
Na de initialisatie van de multi-agent-omgeving werd reinforcement-driven learning geïmplementeerd om de agenten in staat te stellen feeder-orchestratiebeleid aan te leren door interactie met veranderende LV-bedrijfsvoorwaarden. Tijdens elke interactie observeerde een agent de huidige toestand van de feeder, selecteerde een orchestratieactie en ontving een beloning of straf. Het gedecentraliseerde leerproces stelde de agenten in staat zich aan te passen aan onzekerheid in de hernieuwbare opwekking, veranderende congestieomstandigheden, spanningsvariaties en veranderingen in de acceptatiecapaciteit van de feeder. Elke agent selecteerde een orchestratieactie op basis van het aangeleerde beleid. De bijbehorende wiskundige afleidingen worden gegeven in Supplementary File 1(Sectie 4).
In totaal werden 64 intelligente agenten ingezet. Op basis van de feeder-topologie, het penetratielevel van hernieuwbare energie, de spanningsgevoeligheid en de ernst van de congestie werd elke agent toegewezen aan een feedersegment, een transformatorlocatie, een aansluitpunt voor gedistribueerde energiebronnen of een congestiegevoelige netwerknoode. Door de gedecentraliseerde inzetting, waarbij een redelijke computationele complexiteit behouden bleef, was coöperatieve monitoring en adaptieve feeder-acceptatie mogelijk in het gehele laagspanningsdistributienetwerk met 236 bussen. Elke agent observeerde een vijfdimensionale toestandsvector bestaande uit spanningsamplitude, feeder-vraag, hernieuwbare opwekking, congestiestatus en feeder-acceptatiecapaciteit. De actieruimte bestond uit vijf orchestratieacties: prioritering van feeder-acceptatie, mitigatie van congestie, coördinatie van hernieuwbare energie, belastingbalancering en spanningsregeling. Coöperatieve besluitvorming werd ondersteund door een gedecentraliseerde buurtcommunicatietopologie, waarbij elke agent gevoeligheidsindices en lokale operationele informatie uitsluitend uitwisselde met naburige feeder-agenten.
Er werd een op Q-learning gebaseerde MARL-methode geïmplementeerd met gebruik van een volledig verbonden neuraal netwerk met twee verborgen lagen bestaande uit 128 en 64 neuronen. In de verborgen lagen werd een rectified linear unit-activatie toegepast. De netwerkparameters werden geoptimaliseerd met de Adam-optimizer met een leersnelheid van 0,001 en een discountfactor van 0,99. Er werd een mini-batchgrootte van 64 gebruikt, en de experience-replay-buffer had een capaciteit van 100.000 transities. De training werd als geconvergeerd beschouwd wanneer het voortschrijdend gemiddelde van de cumulatieve beloning over de voorafgaande 20 episoden met minder dan 0,1% varieerde gedurende 10 opeenvolgende evaluatievensters. Indien aan dit criterium niet werd voldaan, werd de training voortgezet tot een maximum van 500 episoden. De workflow voor reinforcement-learning wordt getoond in Figuur 2.
Figuur 2: Stroomdiagram van reinforcement-gestuurd leren van de agent. Stroomdiagram dat het op reinforcement gebaseerde leerproces van de agent illustreert voor gedecentraliseerde orchestratie van voeders en optimalisatie van besluitvorming. Klik hier om een grotere versie van deze figuur te bekijken.
Het leerproces begon met de initialisatie van de LV-distributieomgeving, de agenttoestanden en de leerparameters. Intelligente agenten werden geplaatst in voedingsgebieden, locaties van gedistribueerde energiebronnen en congestiegevoelige bussen. Vervolgens werden de observatieruimte, de leersnelheid, de exploratiestrategie, de beloningsfactoren en de beleidsfuncties gedefinieerd. Bij elke interactiestap observeerde elke agent de huidige toestand van het toegewezen voedingsgebied. De toestand bestond uit de knoopspanningsamplitude, de belastingvraag van de voeding, kenmerken van hernieuwbare opwekking, het congestieniveau en de acceptatiecapaciteit van de voeding. Deze observaties vormden de omgevingsstaat die werd gebruikt voor de besluitvorming bij de orchestratie. Elke agent selecteerde een actie op basis van zijn reinforcement-learning-beleid. De beschikbare acties omvatten prioritering van de acceptatie van de voeding, congestiebeheer, coördinatie van hernieuwbare energie, belastingbalancering en spanningsbeheer. De geselecteerde actie werd toegepast op de dynamische LV-omgeving, waarna de toestand van de voeding werd bijgewerkt.
Na elke actie werd een beloning berekend. Een positieve beloning werd toegekend wanneer de geselecteerde actie de acceptatie van de voedingslijn verbeterde, de voortplanting van congestie voorkwam, de spanningsconformiteit handhaafde of de netwerkstabiliteit verbeterde. Er werd een boete toegepast wanneer de actie leidde tot, of er niet in slaagde te voorkomen, overbelasting van de voedingslijn, spanningsschendingen of orchestratievertragingen. De berekende beloning werd gebruikt om de waardefunctie en het beslissingsbeleid van de agent bij te werken via versterkingsoptimalisatie. De sequentie van observatie, actieselectie, omgevingstransitie, beloningsberekening en beleidsupdate werd herhaald tot het stopcriterium was voldaan.
6. Evaluatie van spannings- en congestiegevoeligheid
Na het versterkingsgestuurde leren werden de spannings- en congestiegevoeligheden geëvalueerd om kwetsbare voedingsgebieden te identificeren en om dynamische beslissingen over de acceptatie van voedingslijnen te ondersteunen onder onzekerheid van hernieuwbare energie.
Bij elk besturingsinterval werden de effecten van veranderingen in het vermogen van de voedingslijn, de hernieuwbare opwekking en de belastingvraag op de knoopspanning en netcongestie bepaald. De spannings- en congestiegevoeligheidsindices werden opnieuw berekend. bij elk gesimuleerd bedieningsinterval in plaats van uitsluitend te zijn afgeleid van statische netwerkomstandigheden. De sensitiviteitsindices voor elke voedingsknooppunt werden bijgewerkt op basis van de actuele netwerkomstandigheden, variaties in de opwekking van hernieuwbare energie en de belastingsstatus van de voeding. De resulterende waarden werden gebruikt om de voedingsknooppunten te rangschikken voor de acceptatie van voedingen, congestiemanagement en spanningsregelingmaatregelen.
De spanningsgevoeligheidsindex kwantificeerde de verandering in de knoopspanning als gevolg van een verandering in de actieve vermogensstroom. Nadat de spannings- en congestiegevoeligheidsindices waren berekend, werden deze gecombineerd tot een samengestelde gevoeligheidsscore voor adaptieve prioritering van de acceptatie van voedingslijnen. De methode voor de samengestelde scoring wordt beschreven in Supplementary File 1(Sectie 5). Knooppunten van voedingslijnen met hogere gevoeligheidsscores kregen een hogere orkestratieprioriteit tijdens operaties voor congestiebestrijding, correctie van de acceptatie van voedingslijnen en spanningsregeling. De gevoeligheidsscores werden bij elk bedrijfsinterval opnieuw berekend en gedeeld met naburige agenten via de collaboratieve communicatieomgeving.
7. Collaboratieve acceptatie-orkestratie en adaptieve beslissingsoptimalisatie bij elk gesimuleerd bedrijfsinterval
Na een gevoeligheidsbeoordeling werd een collaboratieve acceptatie-orchestratie uitgevoerd om gedecentraliseerde agenten in staat te stellen gecoördineerde beslissingen over de acceptatie van voeders te nemen onder onzekerheid van hernieuwbare energie en dynamische congestieomstandigheden. De agenten wisselden lokale feeder-staten, gevoeligheidsindices, congestiemeldingen en operationele prioriteiten uit. Elke agent evalueerde onafhankelijk de lokale conditie van de feeder, terwijl er werd gecoördineerd met naburige agenten om de algehele netwerkstabiliteit te ondersteunen.
De acceptatie van voeders werd geprioriteerd op basis van spanningsgevoeligheid, de ernst van congestie, variabiliteit van hernieuwbare energieopwekking en de beschikbare voedercapaciteit. Lokale gevoeligheidsbewuste waarnemingen werden over agenten geaggregeerd en er werden gecoördineerde acties voor voederafname gegenereerd. De mathematische formulering van het collaboratieve orchestratieproces is opgenomen in Aanvullend Bestand 1 (Sectie 6). De dynamische LV-netwerkomgeving werd geïmplementeerd met collaboratieve agenten geplaatst in voedersregio's, integratiepunten voor hernieuwbare energie en congestiegevoelige bussen, zoals beschreven in Aanvullend Bestand 1 (Algoritme 1). Bij elk operationeel interval observeerde elke agent lokale voedermeters, waaronder spanningsamplitude, variatie in hernieuwbare opwekking, voedbelasting, congestieniveau en de acceptatiecapaciteit van het voeder.
De indices voor spanningsgevoeligheid en congestiegevoeligheid werden vervolgens berekend om voedingsgebieden te identificeren die vatbaar zijn voor spanningsinstabiliteit of congestievoortplanting. Deze indices werden gecombineerd tot een algemene voedingsgevoeligheidsscore die de acceptatie van de voeding en de orchestratieprioriteit bepaalde. Lokale statusinformatie, congestieniveaus, indicatoren voor spanningsinstabiliteit en acceptatieprioriteiten werden uitgewisseld tussen naburige agenten. Op basis van de lokale waarnemingen en de gedeelde informatie selecteerde en implementeerde elke agent een adaptieve orchestratieactie. Na elke actie werd versterkingsfeedback verkregen uit de dynamische LV-netwerkomgeving op basis van voedingsstabiliteit, congestiereductie, naleving van de spanning en de efficiëntie van de voedingsacceptatie. Deze feedback werd gebruikt om het beleid van elke agent bij te werken via optimalisatie op basis van versterking. De globale orchestratiedoelfunctie leverde gelijktijdig gecoördineerde feedback voor adaptieve optimalisatie over de gehele agentenpopulatie. Beleidsupdates gingen door totdat de agentenbeleid convergeerden naar een optimale gedecentraliseerde orchestratiestrategie.
8. Validering op grote schaal
De Dynamic Orchestration Strategy werd gevalideerd met behulp van de FeederBW-dataset en de 236-bus LV-distributienetwerkdataset onder bedrijfsscenario's met een hoge penetratie van hernieuwbare energie. De validatie beoordeelde het vermogen van het gedecentraliseerde orchestratiekader om dynamische voedingsacceptatie, intermittentie van hernieuwbare energie, congestievoortplanting en spanningsinstabiliteit in onderling verbonden LV-distributiesystemen te beheren. De geëvalueerde bedrijfsscenario's omvatten een hoge penetratie van hernieuwbare energie, variërende vraaggroottes, dynamische congestievoortplanting, spanningsgevoelige condities en een variërende acceptatiecapaciteit van de voedingslijnen.
De prestaties van het framework werden geëvalueerd op basis van de acceptatiegraad van de voedingslijn, de spanningscompliantie-index, de congestiereductiegraad, de orchestratielatentie, de convergentiesnelheid, de efficiëntie van decentrale coördinatie en het vermogen om hernieuwbare energie te accommoderen. Deze maatstaven werden gebruikt om de schaalbaarheid, robuustheid, aanpassingsvermogen en coördinatieprestaties te beoordelen. Het voorgestelde framework werd vergeleken met traditionele gecentraliseerde benaderingen voor de orchestratie van voedingslijnen onder dezelfde netwerkconfiguraties. Voor de vergelijkingsmethoden werden gelijkwaardige datasets, bedrijfsscenario's, evaluatiecondities en prestatiemaatstaven toegepast.
Tabel 2 vat de datasets, bedrijfsomstandigheden, orchestratieomgevingen en prestatievariabelen samen die zijn gebruikt voor de experimentele validatie. De FeederBW-dataset werd gebruikt om de bedrijfsdynamiek van de voedingslijn, de intermittentie van hernieuwbare energie, de ontwikkeling van congestie, variaties in de residentiële last en spanningsschommelingen onder LV-voedingscondities te evalueren. De 236-bus LV-dataset werd gebruikt om gedecentraliseerde orchestratie in een groter onderling verbonden netwerk te evalueren. De architectuur werd gevalideerd onder variërende omstandigheden van hernieuwbare opwekking, lastvraag, spanning en congestie. Gedecentraliseerde coördinatie en beleidsoptimalisatie op basis van reinforcement learning werden gezamenlijk beoordeeld over de intelligente agenten.
De acceptatiegraad van de voederlijn, de spanningscompliantie-index, de congestiereductiesnelheid, de convergentiesnelheid en de orchestratielatentie werden gebruikt om de prestaties onder dynamische bedrijfsomstandigheden in hernieuwbare energiesystemen te kwantificeren.
| Experimentele Parameter | FeederBW-dataset | 236-bus LV-dataset | Doel van de validatie |
| Netwerktype | Laagspanningsdistributienetwerk | Grootschalig laagspanningsdistributienetwerk | Evaluatie van dynamische orchestratie |
| Aantal knooppunten/bussen | Meerdere voedingsknooppunten | 236 bussen | Schaalbaarheidsanalyse |
| Integratie van hernieuwbare energie | PV en gedistribueerde hernieuwbare bronnen | Bussen met een hoge penetratie van hernieuwbare energie | Validatie van onzekerheid bij hernieuwbare energie |
| Gedrag van de belastingvraag | Dynamische residentiële belastingsprofielen | Grootschalige variaties in de belasting van voedingsleidingen | Adaptieve belastingorchestratie |
| Scenario's van congestie | Overbelasting van voedingen en congestietoestanden | Propagatie van congestie in multi-bus systemen | Analyse van congestievermindering |
| Spanningscondities | Spanningsfluctuatieprofielen | Spanningsgevoelige buscondities | Evaluatie van de spanningscompliantie |
| Intelligente agenten | Gedistribueerde feeder-agenten | Grootschalige collaboratieve agenten | Gedecentraliseerde coördinatieanalyse |
| Leeromgeving | Versterkingsgestuurde orchestratie | Multi-agent adaptief leren | Validatie van beleidoptimalisatie |
| Simulatiecondities | Dynamische variabiliteit van hernieuwbare energie | Grootschalige dynamische werking | testen van orkestratie met lage latentie |
| Prestatiemetrieken | Acceptatiegraad, congestiereductie | Spanningsconformiteit, convergentiesnelheid | Algehele orchestratieprestaties |
Tabel 2: Grootschalige experimentele validatie. Experimentele instellingen gebruikt om schaalbaarheid, onzekerheid in hernieuwbare energie en gedecentraliseerde coördinatie te evalueren.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Resultaten
Alle experimenten werden vijf keer uitgevoerd met verschillende willekeurige seeds om de invloed van stochastisch leren te verminderen. Gemiddelde waarden werden berekend over de vijf runs. Dezelfde datasets, simulatieparameters, hyperparameters, stopcriteria en evaluatieprocedures werden gebruikt voor alle methoden. Centralized Voltage Control (CVC)33, Conventional Multi-Agent Control (CMAC)21, Reinforcement Learning-Based Voltage Regulation (RLVR)20
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Discussie
De experimentele resultaten toonden aan dat de voorgestelde Dynamic Orchestration Strategy de gedecentraliseerde coördinatie van voedingslijnen, de integratie van hernieuwbare energie, de spanningsstabiliteit, het congestiemanagement en de orchestratie met lage latentie verbeterde in vergelijking met Centralized Voltage Control (CVC)33, Conventional Multi-Agent Control (CMAC)21, Reinforcement Learning-Based Voltage Regulation (RLVR)20, Distributed En...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Openbaarmakingen
De auteurs verklaren dat zij geen concurrerende belangen hebben.
Dankbetuigingen
Dit onderzoek werd ondersteund door het Guangzhou Power Supply Bureau van de Guangdong Power Grid Company via het project “Research on Automation Acceptance Technology of Low Voltage Metering Equipment Based on Process Automation” (Projectcode: 030100KC24120100).
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Materialen
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| 236-Bus Laagspanningsdistributienetwerk Dataset | Canizes et al. | DOI: 10.5281/zenodo.8274780 | Openbare benchmark-dataset gebruikt voor schaalbaarheidsanalyse en grootschalige validatie van het voorgestelde framework |
| Central Processing Unit (CPU) | Intel Corporation | Intel Core i9-12900K (16-Core) | Gebruikt voor simulatiebeheer en uitvoering van de omgeving |
| Module voor Congestiegevoeligheidsanalyse | Custom-developed Module | Zenodo DOI: 10.5281/zenodo.21423239 | Voert real-time berekeningen van congestiegevoeligheid en prioritering van voeders uit |
| CUDA Toolkit | NVIDIA Corporation | CUDA 12.1 | GPU-computingplatform gebruikt voor versnelde training van PyTorch-modellen |
| cuDNN Library | NVIDIA Corporation | cuDNN 9.3.0 | Versnellingsbibliotheek voor diepe neurale netwerken gebruikt in combinatie met CUDA |
| Custom Dynamische LV-Netwerksimulator | Custom-developed Module | Versie 1.0 | Door de auteurs ontwikkelde simulatieomgeving geïmplementeerd met Python en PyTorch voor experimenten met dynamische voedersorchestratie. Implementatiedetails worden vermeld in de secties Methoden en Beschikbaarheid van Gegevens. |
| Dataverwerkingsbibliotheek | pandas Development Team | pandas 2.2.2 | Gebruikt voor preprocessing, feature-extractie, normalisatie en beheer van tijdreeksgegevens |
| Deep Learning Framework | PyTorch Foundation | PyTorch 2.3.1 | Gebruikt voor de implementatie van multi-agent reinforcement learning (MARL)-modellen, training van neurale netwerken en beleidsoptimalisatie |
| Gedistribueerde Agentcommunicatiemodule | Custom-developed Framework | Zenodo DOI: 10.5281/zenodo.21423239 | Maakt gedecentraliseerde communicatie en collaboratieve uitwisseling van beleid tussen intelligente agenten mogelijk |
| FeederBW Dataset | Treutlein et al. | DOI: 10.5281/zenodo.17831177 | Openbare dataset met praktijkmetingen van laagspanningsvoeders, hernieuwbare opwekking en bedrijfsprofielen |
| Graphics Processing Unit (GPU) | NVIDIA Corporation | GeForce RTX 3090, 24 GB GDDR6X | Hardwareversneller gebruikt voor training van neurale netwerken en parallelle berekeningen |
| Multi-Agent Reinforcement Learning Omgeving | Farama Foundation | Gym 0.26.2 | Aangepaste reinforcement learning-omgeving voor collaboratieve interactie en training van intelligente agenten |
| Numerieke Computatiebibliotheek | NumPy Developers | NumPy 1.26.4 | Gebruikt voor numerieke berekeningen, tensormanipulatie en matrixoperaties |
| Besturingssysteem | Canonical Ltd. | Ubuntu 22.04.5 LTS (64-bit) | Besturingssysteem gebruikt voor alle simulaties en reinforcement learning-experimenten |
| Python Programmeertaal | Python Software Foundation | Python 3.11.9 | Primaire programmeertaal gebruikt voor algoritmische implementatie, simulatie en modelontwikkeling |
| Systeemgeheugen | Lenovo | 64 GB DDR5 RAM | Geïnstalleerd systeemgeheugen gebruikt voor grootschalige MARL-simulatie en dataverwerking. |
| Module voor Spanningsstabiliteitsbewaking | Custom-developed Module | Zenodo DOI: 10.5281/zenodo.21423239 | Evalueert continu de spanningsstabiliteit en conformiteit tijdens de voedersorchestratie |
Referenties
- Ahmed F, et al. A multi-agent reinforcement learning framework for voltage-constrained incentive demand response in PV-rich low-voltage distribution systems. IEEE Access. 2026;14:45410–22.
- Lamsal D, Sreeram V, Mishra Y, Kumar DS. Smoothing control strategy of wind and photovoltaic output power fluctuation by considering the state of health of battery energy storage system. IET Renew Power Gener. 2019;13:578–86.
- Allahmoradi S, et al. Data-driven Volt/VAR optimization for modern distribution networks: A review. IEEE Access. 2024;12:71184–204.
- O'Connell N, Pinson P, Madsen H, O'Malley M. Benefits and challenges of electrical demand response: A critical review. Renew Sustain Energy Rev. 2014;39:686–99.
- Hossain MS, Madlool NA, Al-Fatlawi AW, El Haj Assad M. High penetration of solar photovoltaic structure on the grid system disruption: An overview of technology advancement. Sustainability. 2023;15:1174. https://doi.org/10.3390/su15021174
- Rahmouni A. Impact of static reactive power compensator (SVC) on the power grid. WSEAS Trans Electron. 2020;11:96–104.
- Chandran CV, et al. Application of demand response to improve voltage regulation with high DG penetration. Electr Power Syst Res. 2020;189:106722. https://doi.org/10.1016/j.epsr.2020.106722
- Wang Q, et al. A demand response strategy in high photovoltaic penetration power systems considering the thermal ramp rate limitation. IEEE Access. 2019;7:163814–22.
- Wang Z, et al. How to effectively implement an incentive-based residential electricity demand response policy? Experience from large-scale trials and matching questionnaires. Energy Policy. 2020;141:111450. https://doi.org/10.1016/j.enpol.2020.111450
- van Tilburg J, Siebert LC, Cremer JL. MARL-iDR: Multi-agent reinforcement learning for incentive-based residential demand response. arXiv. 2023. https://arxiv.org/abs/2304.04086
- Bahrami S, Chen YC, Wong VWS. Deep reinforcement learning for demand response in distribution networks. IEEE Trans Smart Grid. 2021;12:1496–506.
- Li J, et al. Model-free reinforcement learning economic dispatch algorithms for price-based residential demand response management system. IEEE Trans Ind Cyber-Phys Syst. 2023;1:123–35.
- Zheng S, et al. Incentive-based integrated demand response for multiple energy carriers under complex uncertainties and double coupling effects. Appl Energy. 2021;283:116254. https://doi.org/10.1016/j.apenergy.2020.116254
- Nainar K, Pillai JR, Bak-Jensen B. Incentive price-based demand response in active distribution grids. Appl Sci. 2020;11:1–17.
- Nguyen Duc T, et al. Impact of renewable energy integration on a novel method for pricing incentive payments of incentive-based demand response program. IET Gener Transm Distrib. 2022;16:1648–67.
- Pourramezan A, Samadi M. A novel approach for incorporating incentive-based and price-based demand response programs in long-term generation investment planning. Int J Electr Power Energy Syst. 2022;142:108315. https://doi.org/10.1016/j.ijepes.2022.108315
- Mathew A, Roy A, Mathew J. Intelligent residential energy management system using deep reinforcement learning. IEEE Syst J. 2020;14:5362–72.
- Khan DA, Arshad A, Lehtonen M, Mahmoud K. Combined DR pricing and voltage control using reinforcement learning based multi-agents and load forecasting. IEEE Access. 2022;10:130839-49.
- Zhang X, et al. An edge-cloud integrated solution for buildings demand response using reinforcement learning. IEEE Trans Smart Grid. 2021;12:420–31.
- Duan J, et al. Deep-reinforcement-learning-based autonomous voltage control for power grid operations. IEEE Trans Power Syst. 2020;35:814–7.
- Wang S, et al. A data-driven multi-agent autonomous voltage control framework using deep reinforcement learning. IEEE Trans Power Syst. 2020;35:4644–54.
- Turitsyn K, Sulc P, Backhaus S, Chertkov M. Options for control of reactive power by distributed photovoltaic generators. Proc IEEE. 2011;99:1063–73.
- Bedawy A, et al. Optimal voltage control strategy for voltage regulators in active unbalanced distribution systems using multi-agents. IEEE Trans Power Syst. 2020;35:1023–35.
- Bedawy A, Yorino N, Mahmoud K. Management of voltage regulators in unbalanced distribution networks using voltage/tap sensitivity analysis. Presented at: International Conference on Innovative Trends in Computer Engineering (ITCE); Aswan, Egypt; 2018. https://doi.org/10.1109/itce.2018.8316651
- Smith O, et al. The effect of renewable energy incorporation on power grid stability and resilience. Sci Adv. 2022;8:eabj6734. https://doi.org/10.1126/sciadv.abj6734
- Charbonnier F, Morstyn T, McCulloch MD. Scalable multi-agent reinforcement learning for distributed control of residential energy flexibility. Applied Energy. 2022;314:118825. doi:10.1016/j.apenergy.2022.118825
- Dugan J, Mohagheghi S, Kroposki B. Application of mobile energy storage for enhancing power grid resilience: A review. Energies. 2021;14:6476. https://doi.org/10.3390/en14206476
- Panossian N, et al. Challenges and opportunities of integrating electric vehicles in electricity distribution systems. Curr Sustain Renew Energy Rep. 2022;9:27–40.
- Guan Q, et al. Dynamic-aware deep reinforcement learning for heterogeneous fleet-based capacitated electric vehicle routing problems. Applied Energy. 2026;413:127757. https://doi.org/10.1016/j.apenergy.2026.127757
- Guan Q, et al. Heterogeneous attention-driven deep reinforcement learning for solving EVRPs with pickup-delivery and time windows. Applied Energy. 2026;407:127355. https://doi.org/10.1016/j.apenergy.2026.127355
- Treutlein M, et al. Real-world energy data of 200 feeders from low-voltage grids with metadata in Germany over two years (Version v1.0) [Data set]. Zenodo; 2025. https://doi.org/10.5281/zenodo.17831177
- Canizes B, Castro F, Silveira V, Vale Z. 236-Bus Low Voltage Distribution Network Data [Data set]. Zenodo; 2023. https://doi.org/10.5281/zenodo.8274780
- Xi, Haikuo & Chen, Can & Bai, Xuesong & Ma, Yuan & Ding, Jiachao & Chen, Qifang. (2024). Centralized and decentralized combined voltage control for distribution network with high penetration PV connected. Journal of Physics: Conference Series. 2771. 012040. 10.1088/1742-6596/2771/1/012040.
- Singh AK, Parida SK. Congestion management with distributed generation and its impact on electricity market. International Journal of Electrical Power & Energy Systems. 2013;48:39–47. doi:10.1016/j.ijepes.2012.11.025.
- Gooi HB, Wang T, Tang Y. Edge intelligence for smart grid: A survey on application potentials. CSEE Journal of Power and Energy Systems. 2023;9(5):1623–1640. https://doi.org/10.17775/CSEEJPES.2022.02210
- Molokomme DN, Onumanyi AJ, Abu-Mahfouz AM. Edge intelligence in smart grids: A survey on architectures, offloading models, cyber security measures, and challenges. Journal of Sensor and Actuator Networks. 2022;11(3):47. https://doi.org/10.3390/jsan11030047
- Chang Z, Liu S, Xiong X, Cai Z, Tu G. A survey of recent advances in edge-computing-powered artificial intelligence of things. IEEE Internet of Things Journal. 2021;8(18):13849–13875.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.