Niniejsze badanie przedstawia strategię dynamicznej orchestracji dla odbioru linii zasilających niskiego napięcia z wykorzystaniem kolaboracyjnego wieloagentowego uczenia ze wzmocnieniem. Inteligentni agenci koordynują pracę linii zasilających, zarządzanie przeciążeniami, stabilność napięcia oraz integrację odnawialnych źródeł energii w warunkach niepewności. Podejście to zostało ocenione za pomocą symulacji z wykorzystaniem zbiorów danych FeederBW oraz 236-bus.
Subskrypcja JoVE jest wymagana do oglądania tego materiału. Zaloguj się lub rozpocznij bezpłatny okres próbny.
Artykuł badawczy
Dynamiczna orkiestracja akceptacji zasilaczy oparta na wieloagentowym uczeniu ze wzmacnianiem z wykorzystaniem zbioru danych FeederBW i niskonapięciowej sieci dystrybucyjnej z 236 szynami
W tym artykule
Podsumowanie
Streszczenie
Szeroka integracja rozproszonych odnawialnych źródeł energii oraz szybka rozbudowa linii zasilających niskiego napięcia (LV) stworzyły wyzwania operacyjne związane z dopuszczaniem nowych przyłączy do sieci oraz koordynacją zatorów. Istniejące podejścia do sterowania napięciem i zarządzania liniami mogą wykazywać ograniczoną skalowalność i adaptacyjność w warunkach przerywanej generacji z OZE oraz zmiennych warunków sieciowych. Aby rozwiązać te ograniczenia, w niniejszej pracy zaproponowano dynamiczną strukturę orchestracji dopuszczania linii niskiego napięcia (Dynamic Orchestration Framework for Low-Voltage Feeder Acceptance), opartą na współpracy inteligentnych agentów w ramach podejścia wieloagentowego uczenia ze wzmocnieniem. W przeciwieństwie do strategii sterowania napięciem, skupiających się głównie na stabilizacji napięcia, proponowana struktura wspiera dynamiczne dopuszczanie linii poprzez skoordynowane działanie agentów odpowiedzialnych za monitorowanie linii, zarządzanie zatorami oraz priorytetyzację opartą na czułości napięcia. Agenci niezależnie obserwowali stany linii, oceniali stopień zatkania oraz czułość napięcia, a następnie współpracowali przy podejmowaniu decyzji o dopuszczeniu linii. Strukturę oceniono za pomocą symulacji z wykorzystaniem zbioru danych FeederBW oraz zbioru danych sieci rozdzielczej niskiego napięcia z 236 szynami, przy różnych poziomach integracji OZE i warunkach obciążenia. Proponowana struktura osiągnęła wskaźnik dopuszczania linii (Feeder Acceptance Rate) na poziomie 97%, wskaźnik zgodności napięcia (Voltage Compliance Index) wynoszący 98%, opóźnienie orchestracji wynoszące 98 ms (mierzone jako rzeczywisty czas wykonania algorytmu orchestracji na zgłoszonym sprzęcie) oraz prędkość zbieżności na poziomie 98,5%, przewyższając tym samym oceniane scentralizowane metody koordynacji. Wyniki wskazały również na poprawę adaptacyjności, odporności operacyjnej oraz efektywności zdecentralizowanego podejmowania decyzji w symulowanych warunkach sieci rozdzielczej niskiego napięcia.
Wprowadzenie
Współczesne systemy energetyczne mierzą się z istotnymi wyzwaniami operacyjnymi ze względu na rosnący popyt na energię elektryczną oraz coraz szersze wykorzystanie generacji rozproszonej. Niezrównoważenie podaży i popytu na energię elektryczną lub gwałtowne wzrosty poziomu generacji rozproszonej mogą obciążać finansowo przedsiębiorstwa energetyczne i użytkowników końcowych oraz zagrażać stabilności sieci. W związku z tym konwencjonalna, centralnie sterowana infrastruktura elektryczna oparta na paliwach kopalnych ewoluuje w stronę projektów rozproszonych, napędzanych energią odnawialną. Transformacja ta poprawiła dostęp do bardziej przystępnych cenowo i zrównoważonych środowiskowo źródeł energii. Jednakże przerywany i nieprzewidywalny charakter generacji fotowoltaicznej (PV) budzi obawy dotyczące niezawodności sieci1,2.
Globalna transformacja energetyczna przyspiesza wdrażanie systemów fotowoltaicznych (PV) ze względu na ich korzyści środowiskowe, skalowalność i spadające koszty. Według Międzynarodowej Agencji Odnawialnych Źródeł Energii oczekuje się, że do 2050 roku moc zainstalowana w fotowoltaice będzie odpowiadać za ponad 22% światowej podaży energii elektrycznej, a do 2030 roku fotowoltaika stanie się głównym elementem globalnego systemu zasilania3. Tak szeroka integracja stwarza istotne wyzwania dla konwencjonalnych systemów energetycznych, szczególnie w zakresie stabilności operacyjnej i niezawodności. Wahania napięcia stanowią krytyczny problem, ponieważ generacja z PV jest przerywana i niedysponowalna, a jej skutki stają się bardziej zauważalne wraz ze wzrostem penetracji w sieciach dystrybucyjnych i transmisyjnych4.
Zmienność irradiancji słonecznej bezpośrednio wpływa na moc wyjściową systemów fotowoltaicznych (PV) i może powodować gwałtowne zmiany napięcia. Ruch chmur, nagłe zmiany irradiancji oraz przejściowe zmiany obciążenia mogą prowadzić do fluktuacji napięcia, których istniejące architektury sieci nie są w stanie odpowiednio zniwelować5. Choć konwencjonalne technologie okazały się skuteczne w scentralizowanych i stosunkowo stabilnych konfiguracjach sieci, są one mniej odpowiednie dla coraz bardziej rozproszonych sieci. Gwałtowne, dwukierunkowe zmiany napięcia mogą przekroczyć możliwości konwencjonalnych systemów energetycznych, szczególnie przy wysokim stopniu penetracji systemów PV6. Niekontrolowane fluktuacje mogą prowadzić do przekroczenia dopuszczalnych granic napięcia, wpływać na obciążenia wrażliwe i zagrażać bezpieczeństwu sieci.
Integracja inteligentnych odbiorników i zasobów rozproszonych w sieciach dystrybucyjnych stała się zatem impulsem do opracowania bardziej zaawansowanych strategii sterowania. Inteligentne systemy sterowania, które nieustannie monitorują i koordynują urządzenia rozproszone, mogą pomóc w łagodzeniu problemów w sieciach niskiego napięcia (LV) o dużym udziale generacji rozproszonej7. Integracja fotowoltaiki (PV) na dużą skalę stwarza również trudności operacyjne dla wytwarzania cieplnego, szczególnie w sytuacjach, gdy moc PV spada, a bloki cieplne muszą szybko zareagować, co niekiedy przekracza limity tempa zmian obciążenia (ramp-rate)8. Jednocześnie programy odpowiedzi strony popytowej (DR) muszą balansować między długoterminową zrównoważonością a opłacalnością ekonomiczną9.
Programy DR mogą wspierać integrację rozproszonej generacji, pomagając jednocześnie w równoważeniu podaży i popytu na energię elektryczną. Programy te dzielą się na DR oparte na cenach oraz DR oparte na bodźcach (IBDR). DR oparte na cenach zachęca konsumentów do modyfikowania zużycia energii elektrycznej w odpowiedzi na taryfy zmienne w czasie, podczas gdy IBDR zapewnia stałe lub zmienne zachęty finansowe do ograniczenia zużycia na żądanie10. Jednakże DR oparte na cenach naraża konsumentów na wahania cen hurtowych i oferuje ograniczoną elastyczność operacyjną z perspektywy przedsiębiorstwa energetycznego, co może zniechęcać uczestników unikających ryzyka11,12.
W kilku badaniach przeanalizowano IBDR w systemach dystrybucyjnych z dużym udziałem fotowoltaiki (PV). Jedno z opracowań oceniało wyzwania i korzyści z połączenia IBDR z wysokim stopniem penetracji PV, jednak skupiało się na zagregowanym zużyciu energii, a nie na domowych systemach zarządzania energią na poziomie gospodarstwa domowego13. W innym badaniu zaproponowano metodę zarządzania napięciem opartą na zachętach, w której sygnały cenowe pośrednio sterowały pracą akumulatorów w celu utrzymania limitów napięcia, choć zapotrzebowanie gospodarstw domowych nie zostało wprost zamodelowane14. Metoda oparta na logice rozmytej służąca do określania wypłat zachęt uwzględniała satysfakcję konsumentów oraz koszty integracji odnawialnych źródeł energii, ale nie obejmowała analizy na poziomie linii zasilającej15. Badano również długoterminowe planowanie produkcji z uwzględnieniem DR opartego zarówno na cenach, jak i na zachętach, obejmujące generację termiczną oraz odnawialną, jednak bez uwzględnienia komfortu użytkowników lub zapotrzebowania na poziomie gospodarstwa domowego16.
Głębokie uczenie ze wzmocnieniem (RL) zostało również zastosowane w domowych programach ograniczania zapotrzebowania (DR). Zaproponowano metody głębokiego RL do sterowania zagregowanym obciążeniem przy taryfach zależnych od czasu użytkowania, choć ich uogólnialność była ograniczona przez małe populacje użytkowników oraz brak harmonogramowania na poziomie poszczególnych urządzeń17. Wieloagentowy system uczenia ze wzmocnieniem łączący DR z regulacją napięcia wykorzystywał sieci długo- i krótkotrwałej pamięci (LSTM) do prognozowania obciążenia, jednak nie rozwiązał problemu niezadowolenia klientów wynikającego z ograniczeń obciążenia18. Inne prace koncentrowały się na koordynacji DR dla systemów klimatyzacji w budynkach komercyjnych z wykorzystaniem procesu decyzyjnego Markowa, bez uwzględnienia innych obciążeń domowych19. Dotychczasowe badania nad regulacją napięcia za pomocą głębokiego RL zazwyczaj nie obejmowały jednoczesnej integracji DR i fotowoltaiki (PV)20,21.
Inteligentne falowniki mogą szybko reagować na gwałtowne i nieregularne zmiany mocy wyjściowej systemów PV22. W przypadku wystąpienia naruszeń poziomu napięcia, falowniki PV mogą zareagować w ciągu milisekund, podczas gdy konwencjonalne urządzenia mogą potrzebować kilku sekund23. W niektórych badaniach zaproponowano modyfikacje standardowych procedur sterowania urządzeniami, w tym podejścia wieloagentowe do koordynacji regulatorów napięcia oraz modyfikację działań konwencjonalnych sterowników napięcia24. Niemniej jednak, samodzielna generacja PV bez współlokalizowanego magazynu energii może pogorszyć wahania napięcia i nie niweluje wieczornych szczytów zapotrzebowania, nawet jeśli redukuje dzienny import netto energii24,25. Baterie domowe mogą również zostać rozładowane w okresach dziennej nadprodukcji PV i stać się niedostępne do nocnego ładowania pojazdów elektrycznych, jeśli ich dysponowanie nie jest koordynowane z lokalnym zapotrzebowaniem i generacją26,27. Połączone efekty stochastycznego popytu, przerywanej generacji oraz zróżnicowanego zachowania magazynów energii sprawiają, że zarządzanie mocą, trwałość aktywów i odporność systemu stają się istotnymi kwestiami dla operatorów systemów dystrybucyjnych28. Domowe systemy zarządzania energią (Home Energy Management Systems) stanowią jeden z potencjalnych sposobów wdrożenia zautomatyzowanego sterowania na poziomie klienta. RL jest dobrze dostosowane do takich zastosowań, ponieważ agenci mogą uczyć się strategii sterowania poprzez interakcję z otoczeniem, radząc sobie jednocześnie z niepewnością i podejmując decyzje z niskim opóźnieniem.
Postępy w wyznaczaniu tras pojazdów elektrycznych obrazują również, w jaki sposób głębokie RL może zarządzać dynamicznymi ograniczeniami energetycznymi. Problem wyznaczania tras pojazdów elektrycznych o określonej ładowności z wykorzystaniem heterogenicznej floty uwzględnia dynamikę jazdy, charakterystykę dróg, opór kinetyczny oraz wydajność ładowania, dążąc jednocześnie do minimalizacji maksymalnego zużycia energii w zróżnicowanej flocie29. Metoda głębokiego uczenia ze wzmocnieniem uwzględniająca dynamikę formułuje ten problem jako spersonalizowany proces decyzyjny Markowa i wykorzystuje architekturę typu enkoder-aktualizator-dekoder. W tym rozwiązaniu enkoder tworzy specyficzne dla danej roli reprezentacje wierzchołków i pojazdów, aktualizator modyfikuje tokeny pojazdów wraz ze zmianą informacji kontekstowych, a dekoder oddziela wybór pojazdu od wyboru wierzchołka specyficznego dla pojazdu, aby wspierać adaptacyjne podejmowanie decyzji. Podobnie, problem optymalizacji energetycznej tras pojazdów elektrycznych z odbiorem i dostawą oraz oknami czasowymi wykorzystuje model zużycia energii o wysokiej rozdzielczości, który obejmuje zachowania podczas ładowania, zależną od czasu dynamikę jazdy oraz szczegółowe informacje o trasie30. Heterogeniczne ramy głębokiego uczenia ze wzmocnieniem oparte na mechanizmie uwagi reprezentują zadanie wyznaczania tras jako proces decyzyjny Markowa, z enkoderem, który przechwytuje specyficzne dla ról interakcje między magazynami, klientami a stacjami ładowania, oraz dekoderem, który śledzi przejścia stanów i wykonalność czasową.
Pomimo tych osiągnięć, większość badań nad zarządzaniem dystrybucją w sieciach niskiego napięcia (LV) kładzie nacisk na stabilizację napięcia i optymalizację mocy biernej, a nie na dynamiczną koordynację przyłączania do linii zasilających w warunkach niepewności źródeł odnawialnych. Rozproszone metody sterowania napięciem oparte na inteligentnych falownikach i uczeniu maszynowym koncentrują się zazwyczaj na kompensacji napięcia i optymalizacji mocy biernej, nie zajmując się adaptacyjnym sterowaniem przyłączaniem do linii ani koordynacją opartą na przeciążeniach w złożonych sieciach LV. Podobnie, podejścia oparte na wieloagentowym uczeniu ze wzmocnieniem z ograniczeniami napięciowymi w zakresie Demand Response (DR) nie odnoszą się bezpośrednio do wspólnego zarządzania przyłączaniem do linii, zdecentralizowanej koordynacji uwzględniającej przeciążenia ani kontroli dostępu na poziomie węzła w połączonych systemach dystrybucji LV. Kooperacyjne metody regulacji napięcia oparte na koordynacji wieloagentowej zazwyczaj minimalizują odchylenia napięcia i liczbę przełączeń odczepów przy użyciu falowników PV, ale nie uwzględniają adaptacyjnego dopuszczania do linii zasilających, niestabilności przyłączania związanej z OZE ani zdecentralizowanej koordynacji w dynamicznych warunkach sieciowych.
Obecne rozproszone metody koordynacji zasobów wieloagentowych wykazują również ograniczenia w zakresie rozpoznawania zatorów, adaptacyjności czasowej i skalowalności. Większość z nich kładzie nacisk na analizę przeciążeń, interakcje rozproszonych zasobów energetycznych lub zarządzanie energią sterowane taryfami, zamiast na adaptacyjne dopuszczanie na poziomie odgałęzienia i orkiestrację uwzględniającą napięcie. Poleganie na częściowej centralizacji i statycznych priorytetach może dodatkowo ograniczać zdecentralizowane podejmowanie decyzji, szybką reakcję na rozprzestrzenianie się zatorów oraz adaptację do zmienności odnawialnych źródeł energii. W związku z tym konieczne jest opracowanie w pełni zdecentralizowanej struktury opartej na uczeniu ze wzmocnieniem, która łączy kooperacyjną koordynację agentów z analizą czułości na napięcie i zatory, w celu adaptacyjnego zarządzania dopuszczaniem do odgałęzień z wykorzystaniem wielkoskalowych zbiorów danych, takich jak FeederBW oraz 236-węzłowa sieci dystrybucyjnej niskiego napięcia (LV).
W niniejszym badaniu przyjęcie przyłącza (feeder acceptance) odnosi się do adaptacyjnego procesu operacyjnego służącego do określenia, czy przyłącze niskiego napięcia (LV) może przyjąć dodatkowe rozproszone źródła energii lub obciążenia elektryczne, przy jednoczesnym zachowaniu bezpieczeństwa sieci, zgodności napięć, limitów obciążenia termicznego oraz niezawodności operacyjnej. Granica operacyjna dla przyjęcia przyłącza obejmuje ocenę wydajności przyłącza, czułości napięcia, warunków przeciążenia oraz zmienności energii odnawialnej przed zaakceptowaniem lub nadaniem priorytetu nowym przyłączom. W przeciwieństwie do konwencjonalnej regulacji napięcia, która steruje profilami napięć, koordynacji rozproszonych źródeł energii, która zarządza pracą zasobów, lub zarządzania przeciążeniami, które łagodzi nadmiarowe obciążenia sieci, przyjęcie przyłącza integruje te funkcje w ramach współpracy wieloagentowego uczenia przez wzmacnianie, aby wspierać dynamiczną, zdecentralizowaną i adaptacyjną orchestrację w warunkach wysokiego udziału odnawialnych źródeł energii.
Celem niniejszego badania jest opracowanie kolaboracyjnej, opartej na inteligentnych agentach dynamicznej strategii orchestracji przyjmowania obciążeń dla niskonapięciowych przewodów zasilających w warunkach zmieniających się parametrów pracy i niepewności źródeł odnawialnych. Zaproponowany model realizuje zdecentralizowaną orchestrację przyjmowania obciążeń poprzez dynamiczną ocenę stanów przewodów, czułości napięcia, czułości na przeciążenia oraz pojemności przyjmowania, co umożliwia adaptacyjną priorytetyzację i podejmowanie decyzji wykraczających poza statyczne metody regulacji napięcia. Wykorzystując zbiór danych FeederBW oraz zbiór danych dla niskonapięciowej sieci dystrybucyjnej z 236 szynami, w badaniu opracowano również skalowalną architekturę wieloagentowego uczenia ze wzmocnieniem dla wielkoskalowych systemów niskiego napięcia. Dzięki uczeniu sterowanemu wzmocnieniem oraz kolaboracyjnej optymalizacji o niskim opóźnieniu, wykonywanej w każdym symulowanym interwale operacyjnym, model został zaprojektowany w celu ograniczenia rozprzestrzeniania się przeciążeń, poprawy zgodności napięcia, zmniejszenia opóźnień orchestracji oraz zwiększenia wydajności zdecentralizowanej koordynacji.
W ramach opracowanego rozwiązania zaproponowano dynamiczne podejście do orchestracji akceptacji odbiorników w sieciach niskiego napięcia (LV), które zastępuje statyczne strategie zarządzania odbiornikami oparte na kontroli napięcia; zdecentralizowaną architekturę wieloagentowego uczenia ze wzmocnieniem w celu radzenia sobie z niepewnością źródeł odnawialnych i zmiennymi warunkami obciążenia; zdecentralizowane zarządzanie dostępem w oparciu o warunki niskiego opóźnienia i dynamiczną priorytetyzację odbiorników; wspólne wskaźniki czułości napięcia i zatłoczenia służące do identyfikacji krytycznych odbiorników i ustalania priorytetów decyzji o akceptacji; współpracującą komunikację pomiędzy sąsiednimi agentami; ciągłą optymalizację polityki w oparciu o uczenie ze wzmocnieniem w celu poprawy stabilności odbiorników, łagodzenia zatłoczenia, zapewnienia zgodności napięcia i zbieżności; oraz walidację opartą na symulacjach wielkoskalowych z wykorzystaniem zbiorów danych FeederBW oraz sieci LV z 236 szynami. Wyniki porównawcze wskazują na poprawę akceptacji odbiorników, łagodzenie zatłoczenia, skrócenie opóźnień orchestracji, zwiększenie szybkości zbieżności oraz lepszą zgodność napięcia w stosunku do tradycyjnych metod koordynacji scentralizowanej.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Protokół
W niniejszym badaniu nie wykorzystano ludzi, kręgowców, tkanek ludzkich ani tkanek zwierzęcych. W badaniu zastosowano wyłącznie publicznie dostępne zbiory danych (zbiór danych FeederBW oraz zbiór danych sieci niskiego napięcia z 236 magistralami) i symulacje komputerowe. W związku z tym badanie nie wymagało zgody komisji bioetycznej (IRB), zgody etycznej ani świadomej zgody uczestników.
Strategia dynamicznej orchestracji odbioru zasilaczy niskiego napięcia oparta na współpracy agentów została opracowana z wykorzystaniem wieloagentowego uczenia ze wzmocnieniem (MARL) dla warunków pracy z dużym udziałem odnawialnych źródeł energii. Zbiory danych FeederBW oraz dla sieci niskiego napięcia z 236 magistralami zostały poddane wstępnemu przetwarzaniu, normalizacji i synchronizacji czasowej w celu zbudowania dynamicznego modelu sieci reprezentującego stany zasilaczy, rozproszone zasoby energii, obszary wrażliwe na zmiany napięcia oraz warunki przeciążenia. Inteligentne agenty zostały przypisane do sekcji zasilaczy i węzłów sieci, aby monitorować lokalne napięcie, przeciążenia, niepewność generacji z OZE oraz przepustowość zasilaczy, wymieniać informacje z sąsiednimi agentami i aktualizować polityki orchestracji poprzez zdecentralizowane uczenie ze wzmocnieniem. Funkcję nagrody zaprojektowano tak, aby zwiększyć przepustowość zasilaczy, ograniczając jednocześnie przeciążenia, niestabilność napięcia oraz opóźnienia w koordynacji. Uwzględniono ograniczenia dotyczące napięcia, obciążenia zasilaczy, obciążenia transformatorów oraz przeciążeń, natomiast nie modelowano w sposób jawny pracy niesymetrycznej trzechfazowej, zaawansowanego sterowania inwerterami fotowoltaicznymi ani kompensacji mocy biernej. Całościowy schemat przedstawiono w Rycina 1Narzędzia badawcze wykorzystane w niniejszym badaniu są wymienione w Tabela materiałów.
Rycina 1: Architektura proponowanego modelu. Schemat Dynamicznego Modelu Orkiestracji obejmującego inteligentne agenty, uczenie przez wzmocnienie, analizę przeciążeń oraz adaptacyjną koordynację linii zasilających. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
1. Pozyskiwanie danych
Dane pobrano z zestawu danych FeederBW31 oraz zestawu danych dla sieci rozdzielczej niskiego napięcia z 236 magistralami32. Wybrano te zestawy danych, ponieważ zawierały one informacje o topologii feederów, warunkach napięcia, zachowaniu źródeł odnawialnych, zapotrzebowaniu na moc, przeciążeniach oraz dynamicznych profilach eksploatacyjnych, które są niezbędne do zdecentralizowanej orchestracji i uczenia agentów w oparciu o wzmocnienie.
Zbiór danych FeederBW został wykorzystany głównie do modelowania pracy linii zasilającej, przerywanego charakteru energii odnawialnej, odchyleń napięcia oraz rozprzestrzeniania się przeciążeń w sieciach niskiego napięcia (LV). Zawierał on dane operacyjne linii zasilającej, charakterystykę rozproszonych źródeł energii, pomiary napięcia w węzłach oraz fluktuacje obciążenia, które wspierały analizę adaptacyjnej orkiestracji. Zbiór danych LV dla 236 szyn został wykorzystany do oceny skalowalności i zdecentralizowanej koordynacji. Zawierał on informacje o połączeniach szyn, warunki obciążenia linii zasilającej, charakterystyki napięcia w węzłach, stopień penetracji rozproszonych źródeł energii odnawialnej oraz przypadki operacyjne wrażliwe na przeciążenia. Wspólnie oba zbiory danych umożliwiły analizy na poziomie linii zasilającej oraz analizy wielkoskalowe w warunkach wysokiej penetracji energii odnawialnej. Charakterystyka zbiorów danych oraz ich przeznaczenie w ramach opracowanej struktury zostały podsumowane w Tabeli 1.
| Nazwa zbioru danych | Typ zbioru danych | Liczba węzłów/szyn | Atrybuty danych | Cel proponowanej pracy |
| Zbiór danych FeederBW | Zbiór danych operacyjnych linii zasilającej niskiego napięcia | Wiele węzłów zasilających | Profile napięć, generacja odnawialna, zapotrzebowanie na moc, stany przeciążeń, charakterystyka pracy linii zasilających | orkiestracja karmników o niskim opóźnieniu, analiza przeciążeń, adaptacyjna priorytetyzacja akceptacji |
| Zbiór danych LV dla 236 szyn | Zestaw danych wielkoskalowej sieci rozdziału niskiego napięcia | 236 autobusów | Topologia szyn, obciążenie odgałęzienia, czułość napięcia, penetracja odnawialnych źródeł energii, dynamika przeciążeń | Walidacja skalowalności, ocena zdecentralizowanej koordynacji, analiza wielkoskalowej orkiestracji |
Tabela 1: Charakterystyka zbiorów danych.Opis zbiorów danych, atrybutów operacyjnych oraz ich przeznaczenia w ramach proponowanego frameworka do niskonapięciowej orkiestracji.
2. Przetwarzanie wstępne danych
Pozyskane zestawy danych zostały poddane wstępnemu przetwarzaniu w celu poprawy spójności, wyrównania czasowego i stabilności uczenia ze wzmocnieniem. Brakujące wpisy, błędne pomiary, powtarzające się rekordy oraz niespójne dane z linii zasilających zostały odfiltrowane przy użyciu statystycznych procedur preprocessingu. Krok ten zastosowano w celu zachowania spójności pomiędzy danymi operacyjnymi linii zasilających, profilami generacji energii odnawialnej, pomiarami napięcia i danymi o stanie przeciążeń. Wszystkie zmienne operacyjne zostały znormalizowane metodą min–max, aby cechy wejściowe zostały przekształcone do wspólnej skali odpowiedniej dla procesu uczenia agenta. Znormalizowane zmienne obejmowały napięcie linii zasilającej, zapotrzebowanie na moc czynną, generację energii odnawialnej, status przeciążenia oraz przepustowość linii zasilającej. Matematyczny opis procedury preprocessingu znajduje się w Supplementary File 1 (Section 1).
3. Dynamiczne modelowanie sieci niskiego napięcia
Po pozyskaniu i wstępnym przetwarzaniu danych skonstruowano dynamiczny model sieci niskiego napięcia (LV), aby zasymulować zachowanie systemu dystrybucyjnego z wysokim udziałem generacji odnawialnej przy zmiennych warunkach obciążenia i wytwarzania. Model dynamicznie śledził topologię feederów, zachowanie rozproszonych źródeł energii, regiony wrażliwe na zmiany napięcia oraz propagację przeciążeń.
W przeciwieństwie do statycznej reprezentacji sieci, model aktualizuje zachowanie linii zasilających w zależności od przerywności źródeł odnawialnych, zapotrzebowania konsumentów oraz warunków przeciążeń. Zbiory danych FeederBW oraz 236-bus LV zostały wykorzystane do skonstruowania połączonych linii zasilających, w których szyny, transformatory, rozproszone źródła odnawialne i obciążenia przedstawiono jako węzły sieci. Każdy węzeł linii dostarczał aktualne informacje o wartości napięcia, zapotrzebowaniu na moc czynną, generacji z OZE, stanie obciążenia linii oraz stanie zatłoczenia. Zmienne te były wykorzystywane przez inteligentnych agentów do monitorowania zachowania linii zasilających i podejmowania zdecentralizowanych decyzji orchestracyjnych. Model sieci wspierał również identyfikację obszarów wrażliwych oraz priorytetyzację akceptacji linii zasilających poprzez ciągłą analizę wrażliwości.
Sieć rozdzielcza niskiego napięcia (LV) została przedstawiona jako sieć oparta na grafie, zawierająca stacje szynowe, linie zasilające, transformatory, źródła odnawialne oraz węzły obciążenia konsumenckiego. Szczegółowe wyprowadzenia matematyczne modelu sieci znajdują się w Supplementary File 1(Section 2). Dynamiczny stan sieci oraz wskaźnik przeciążenia były monitorowane w sposób ciągły. Wskaźnik przeciążenia znormalizowano do zakresu [0,1], a koordynację dopuszczania linii zasilających rozpoczęto, gdy wskaźnik przeciążenia przekroczył wartość 0,80.
4. Inicjalizacja środowiska wieloagentowego
Po skonstruowaniu dynamicznego modelu sieci niskiego napięcia (LV), zainicjowano środowisko wieloagentowe w celu wsparcia zdecentralizowanej akceptacji przyłączy. Inteligentne agenty przypisano do segmentów zasilaczy, punktów przyłączenia rozproszonych zasobów energetycznych, lokalizacji transformatorów oraz węzłów podatnych na przeciążenia w sieci LV.
Każdy agent działał jako niezależna jednostka decyzyjna, która monitorowała pracę lokalnego zasilacza, wymieniała informacje z sąsiednimi agentami i wykonywała adaptacyjne działania koordynacyjne. Agenci zostali przypisani do kluczowych węzłów zasilacza w zależności od czułości napięcia, stopnia penetracji odnawialnych źródeł energii, poziomu przeciążeń oraz znaczenia zasilacza. Sieć niskiego napięcia (LV) została skonfigurowana jako środowisko agentowe, w którym agenci nieustannie monitorowali napięcie zasilacza, zapotrzebowanie na moc czynną, zmienność generacji z OZE, stan przeciążeń oraz pojemność przyłączeniową zasilacza. Sformułowanie matematyczne środowiska wieloagentowego znajduje się w Pliku uzupełniającym 1 (Sekcja 3).
5. Uczenie agenta sterowane wzmocnieniem
Po inicjalizacji środowiska wieloagentowego wdrożono uczenie ze wzmocnieniem, aby umożliwić agentom naukę strategii zarządzania liniami zasilającymi poprzez interakcję ze zmieniającymi się warunkami pracy sieci niskiego napięcia (LV). Podczas każdej interakcji agent obserwował aktualny stan linii, wybierał działanie koordynacyjne i otrzymywał nagrodę lub karę. Zdecentralizowany proces uczenia pozwolił agentom na adaptację do niepewności związanej z generacją z odnawialnych źródeł energii, zmieniających się warunków przeciążeń, wahań napięcia oraz zmian w przepustowości linii zasilającej. Każdy agent wybierał działanie koordynacyjne zgodnie ze swoją wyuczoną strategią. Powiązane wyprowadzenia matematyczne znajdują się w Supplementary File 1(Section 4).
Wdrożono łącznie 64 inteligentne agenty. W zależności od topologii linii zasilającej, poziomu penetracji odnawialnych źródeł energii, czułości napięcia oraz stopnia zakorkowania, każdy agent został przypisany do segmentu linii zasilającej, lokalizacji transformatora, punktu przyłączenia rozproszonego zasobu energii lub węzła sieci wrażliwego na zakorkowanie. Przy zachowaniu rozsądnej złożoności obliczeniowej, zdecentralizowane wdrożenie umożliwiło kooperacyjny monitoring i adaptacyjną akceptację linii zasilającej w całej niskonapięciowej sieci dystrybucyjnej z 236 szynami. Każdy agent obserwował pięciowymiarowy wektor stanu składający się z wartości napięcia, zapotrzebowania na obciążenie linii, generacji z OZE, stanu zakorkowania oraz pojemności akceptacji linii zasilającej. Przestrzeń akcji obejmowała pięć działań orchestracyjnych: priorytetyzację akceptacji linii zasilającej, łagodzenie zakorkowania, koordynację OZE, bilansowanie obciążenia oraz regulację napięcia. Wspólne podejmowanie decyzji było wspierane przez zdecentralizowaną topologię komunikacji sąsiedzkiej, w której każdy agent wymieniał wskaźniki czułości i lokalne informacje operacyjne wyłącznie z sąsiednimi agentami linii zasilającej.
Zaimplementowano metodę MARL opartą na Q-learningu, wykorzystując w pełni połączoną sieć neuronową z dwiema warstwami ukrytymi zawierającymi odpowiednio 128 i 64 neurony. W warstwach ukrytych zastosowano funkcję aktywacji ReLU (rectified linear unit). Parametry sieci optymalizowano za pomocą optymalizatora Adam z szybkością uczenia 0.001 i współczynnikiem dyskontowym 0.99. Wykorzystano rozmiar mini-batcha wynoszący 64, a bufor experience-replay miał pojemność 100 000 przejść. Za zbieżność treningu uznano moment, w którym średnia ruchoma skumulowanej nagrody z poprzednich 20 epizodów zmieniła się o mniej niż 0,1% przez 10 kolejnych okien ewaluacyjnych. Jeśli kryterium to nie zostało spełnione, trening kontynuowano do osiągnięcia maksimum 500 epizodów. Przepływ pracy w uczeniu ze wzmocnieniem przedstawiono na Rysunku 2.
Rysunek 2: Schemat blokowy uczenia agenta sterowanego wzmocnieniem. Schemat blokowy ilustrujący proces uczenia agenta w oparciu o wzmocnienie w celu zdecentralizowanej orkiestracji karmników i optymalizacji decyzji. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.
Proces uczenia rozpoczął się od inicjalizacji środowiska dystrybucji LV, stanów agentów oraz parametrów uczenia. Inteligentni agenci zostali rozmieszczeni w obszarach zasilaczy, lokalizacjach rozproszonych źródeł energii oraz w węzłach podatnych na przeciążenia. Następnie zdefiniowano przestrzeń obserwacji, współczynnik uczenia, strategię eksploracji, czynniki nagrody oraz funkcje polityki. Na każdym etapie interakcji każdy agent obserwował aktualny stan przypisanego mu obszaru zasilacza. Stan ten składał się z wartości napięcia w węźle, zapotrzebowania na obciążenie zasilacza, charakterystyki generacji odnawialnej, poziomu przeciążenia oraz pojemności przyjmowania zasilacza. Obserwacje te stanowiły stan środowiska wykorzystywany do podejmowania decyzji o koordynacji. Każdy agent wybrał działanie zgodnie ze swoją polityką uczenia ze wzmocnieniem. Dostępne działania obejmowały priorytetyzację przyjmowania zasilacza, zarządzanie przeciążeniami, koordynację energii odnawialnej, równoważenie obciążeń oraz zarządzanie napięciem. Wybrane działanie zostało zastosowane w dynamicznym środowisku LV, po czym zaktualizowano stan zasilacza.
Po każdej akcji obliczano nagrodę. Nagroda dodatnia była przypisywana, gdy wybrana akcja poprawiła akceptację zasilacza, zapobiegła rozprzestrzenianiu się przeciążeń, utrzymała zgodność napięcia lub poprawiła stabilność sieci. Karę stosowano, gdy akcja doprowadziła do przeciążenia zasilacza, naruszeń napięcia lub opóźnień w orkiestracji, bądź gdy nie udało się im zapobiec. Obliczona nagroda była wykorzystywana do aktualizacji funkcji wartości i polityki decyzji agenta poprzez optymalizację ze wzmacnianiem. Sekwencja obejmująca obserwację, wybór akcji, przejście środowiska, obliczenie nagrody i aktualizację polityki była powtarzana do momentu spełnienia kryterium stopu.
6. Ocena wrażliwości na napięcie i zatłoczenie
Po uczeniu opartym na wzmocnieniu oceniono czułość na napięcie i przeciążenia, aby zidentyfikować podatne obszary sieci zasilającej oraz wesprzeć dynamiczne decyzje o przyjęciu przyłączy w warunkach niepewności związanej z odnawialnymi źródłami energii.
W każdym przedziale operacyjnym określano wpływ zmian mocy zasilacza, generacji z odnawialnych źródeł energii oraz zapotrzebowania na obciążenie na napięcie w węzłach i zatłoczenie sieci. Wskaźniki czułości napięcia i zatłoczenia przeliczano w każdym symulowanym przedziale operacyjnym, zamiast wyprowadzać je wyłącznie z warunków statycznych sieci. Wskaźniki czułości dla każdego węzła zasilacza aktualizowano na podstawie aktualnych warunków sieci, zmienności generacji z odnawialnych źródeł energii oraz stanu obciążenia zasilacza. Uzyskane wartości wykorzystano do rankingowania węzłów zasilacza w celu akceptacji zasilacza, zarządzania zatłoczeniem oraz działań w zakresie regulacji napięcia.
Wskaźnik czułości napięcia określał zmianę napięcia w węźle wynikającą ze zmiany przepływu mocy czynnej. Po obliczeniu wskaźników czułości napięcia i przeciążenia zostały one połączone w złożony wynik czułości w celu adaptacyjnego ustalania priorytetów przyjmowania zasilaczy. Metoda obliczania wyniku złożonego została opisana w Supplementary File 1(Section 5). Węzłom zasilaczy o wyższych wynikach czułości przypisywano wyższe priorytety koordynacji podczas operacji odciążania przeciążeń, korekty przyjmowania zasilaczy oraz regulacji napięcia. Wyniki czułości były przeliczane w każdym przedziale operacyjnym i udostępniane sąsiednim agentom za pośrednictwem środowiska komunikacji współpracującej.
7. Współdzielona orchestracja akceptacji i adaptacyjna optymalizacja decyzji w każdym symulowanym przedziale operacyjnym
Po ocenie czułości przeprowadzono wspólną koordynację akceptacji, aby umożliwić zdecentralizowanym agentom podejmowanie skoordynowanych decyzji dotyczących akceptacji zasilaczy w warunkach niepewności źródeł odnawialnych i dynamicznych przeciążeń. Agenci wymieniali lokalne stany zasilaczy, wskaźniki czułości, alerty o przeciążeniach oraz priorytety operacyjne. Każdy agent niezależnie oceniał stan swojego lokalnego zasilacza, jednocześnie koordynując działania z agentami sąsiednimi w celu wsparcia ogólnej stabilności sieci.
Priorytet akceptacji zasilacza ustalono na podstawie czułości napięcia, stopnia zakorkowania, zmienności generacji z odnawialnych źródeł energii oraz dostępnej przepustowości zasilacza. Lokalne obserwacje uwzględniające czułość zostały zagregowane pomiędzy agentami, a następnie wygenerowano skoordynowane działania dotyczące akceptacji zasilacza. Sformułowanie matematyczne procesu wspólnej organizacji przedstawiono w Supplementary File 1 (Section 6). Dynamiczne środowisko sieci niskiego napięcia (LV) zostało wdrożone z agentami współpracującymi rozmieszczonymi w regionach zasilaczy, punktach integracji energii odnawialnej oraz w szynach podatnych na zakorkowanie, zgodnie z opisem w Supplementary File 1 (Algorithm 1). W każdym interwale operacyjnym każdy agent monitorował lokalne parametry zasilacza, w tym wartość napięcia, zmienność generacji z OZE, obciążenie zasilacza, poziom zakorkowania oraz przepustowość akceptacji zasilacza.
Następnie obliczono wskaźniki wrażliwości na napięcie oraz wrażliwości na przeciążenia, aby zidentyfikować obszary sieci zasilających podatne na niestabilność napięcia lub rozprzestrzenianie się przeciążeń. Wskaźniki te połączono w ogólny wynik wrażliwości zasilacza, który określał akceptację zasilacza oraz priorytet koordynacji. Lokalne informacje o stanie, poziomy przeciążeń, wskaźniki niestabilności napięcia oraz priorytety akceptacji były wymieniane pomiędzy sąsiednimi agentami. Na podstawie lokalnych obserwacji i udostępnionych informacji każdy agent wybrał i wdrożył adaptacyjne działanie koordynacyjne. Po każdym działaniu z dynamicznego środowiska sieci niskiego napięcia (LV) uzyskiwano informację zwrotną w formie wzmocnienia, zgodnie ze stabilnością zasilacza, redukcją przeciążeń, zgodnością napięcia oraz efektywnością akceptacji zasilacza. Informacja zwrotna ta była wykorzystywana do aktualizacji strategii każdego agenta poprzez optymalizację opartą na wzmacnianiu. Globalna funkcja celu koordynacji zapewniała jednocześnie skoordynowaną informację zwrotną dla adaptacyjnej optymalizacji w całej populacji agentów. Aktualizacje strategii trwały do momentu, aż strategie agentów zbiegły się do optymalnej zdecentralizowanej strategii koordynacji.
8. Walidacja na dużą skalę
Strategię Dynamicznej Orkiestracji (Dynamic Orchestration Strategy) zwalidowano z wykorzystaniem zbioru danych FeederBW oraz zbioru danych sieci niskiego napięcia (LV) z 236 szynami w scenariuszach operacyjnych z wysokim stopniem penetracji energii odnawialnej. Walidacja oceniła zdolność zdecentralizowanej struktury orkiestracji do zarządzania dynamiczną akceptacją zasilaczy, przerywanym charakterem energii odnawialnej, propagacją przeciążeń oraz niestabilnością napięcia w połączonych systemach dystrybucyjnych LV. Oceńone scenariusze operacyjne obejmowały wysoką penetrację energii odnawialnej, zmienne zapotrzebowanie na moc, dynamiczną propagację przeciążeń, warunki wrażliwe na zmiany napięcia oraz zmienną pojemność akceptacji zasilaczy.
Wydajność struktury oceniono za pomocą wskaźnika akceptacji przyłączy, indeksu zgodności napięcia, wskaźnika redukcji przeciążeń, opóźnienia orchestracji, szybkości zbieżności, wydajności koordynacji zdecentralizowanej oraz zdolności do przyjmowania energii odnawialnej. Miary te posłużyły do oceny skalowalności, odporności, adaptacyjności i wydajności koordynacji. Zaproponowaną strukturę porównano z tradycyjnymi scentralizowanymi podejściami do orchestracji przyłączy przy tych samych konfiguracjach sieci. Do metod porównawczych zastosowano równoważne zestawy danych, scenariusze operacyjne, warunki oceny oraz miary wydajności.
Tabela 2 podsumowuje zestawy danych, warunki operacyjne, środowiska orchestracji oraz zmienne wydajności wykorzystane do walidacji eksperymentalnej. Zestaw danych FeederBW został użyty do oceny dynamiki pracy zasilacza, przerywaniczności źródeł odnawialnych, rozwoju zatorów, zmienności obciążenia w sektorze mieszkalnym oraz wahań napięcia w warunkach zasilaczy niskiego napięcia (LV). Zestaw danych LV z 236 magistralami został wykorzystany do oceny zdecentralizowanej orchestracji w większej sieci połączonej. Architekturę zwalidowano w zmiennych warunkach generacji odnawialnej, zapotrzebowania na moc, napięcia i zatorów. Koordynację zdecentralizowaną oraz optymalizację polityki opartą na uczeniu ze wzmocnieniem oceniono wspólnie we wszystkich agentach inteligentnych.
Do ilościowej oceny wydajności w dynamicznych warunkach pracy systemów energii odnawialnej wykorzystano wskaźniki takie jak: stopień akceptacji przyłączy, indeks zgodności napięcia, stopień redukcji przeciążeń, szybkość zbieżności oraz opóźnienie orchestracji.
| Parametr eksperymentalny | Zbiór danych FeederBW | Zbiór danych sieci niskiego napięcia z 236 szynami | Cel walidacji |
| Typ sieci | Niskonapięciowa sieć zasilająca | Wielkoskalowa sieć dystrybucyjna niskiego napięcia (NN) | Ocena dynamicznej orchestracji |
| Liczba węzłów/szyn | Wiele węzłów zasilających | 236 magistral | Analiza skalowalności |
| Integracja odnawialnych źródeł energii | Fotowoltaika i rozproszone źródła energii odnawialnej | Magistrale o wysokim stopniu penetracji energii odnawialnej | Walidacja niepewności źródeł odnawialnych |
| Charakterystyka zapotrzebowania na moc | Dynamiczne profile obciążenia budynków mieszkalnych | Wielkoskalowe wahania obciążenia linii zasilającej | Adaptacyjna orkiestracja obciążenia |
| Scenariusze zatoru | Stany przeciążenia i zatorów w sieciach zasilających | Propagacja zatorów w sieciach wielomagistralnych | Analiza łagodzenia zatorów |
| Warunki napięciowe | Profile fluktuacji napięcia | Warunki szyny czułe na napięcie | Ocena zgodności napięcia |
| Inteligentne agenty | Rozproszone agenty zasilające | Wielkoskalowe agenty współpracujące | Analiza koordynacji zdecentralizowanej |
| Środowisko uczenia się | Orkiestracja sterowana wzmocnieniem | Adaptacyjne uczenie wieloagentowe | Walidacja optymalizacji polityki |
| Warunki symulacji | Dynamiczna zmienność odnawialnych źródeł energii | Dynamiczna operacja na dużą skalę | testowanie orchestracji o niskich opóźnieniach |
| Wskaźniki wydajności | Wskaźnik akceptacji, redukcja przeciążeń | Zgodność napięcia, szybkość zbieżności | Ogólna wydajność orchestracji |
Tabela 2: Walidacja eksperymentalna na dużą skalę. Ustawienia eksperymentalne wykorzystane do oceny skalowalności, niepewności energii odnawialnej i koordynacji zdecentralizowanej.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Wyniki
Wszystkie eksperymenty przeprowadzono pięciokrotnie, używając różnych ziarn losowości, aby zredukować wpływ stochastycznego uczenia. Obliczono wartości średnie z pięciu uruchomień. Dla wszystkich metod zastosowano te same zestawy danych, parametry symulacji, hiperparametry, kryteria stopu oraz procedury ewaluacji. Jako metody porównawcze wykorzystano Centralized Voltage Control (CVC)33, Conventional Multi-Agent Control (CMAC)21, Reinforcement Learning-Based Voltage Regulati...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Dyskusja
Wyniki doświadczalne wykazały, że proponowana Dynamiczna Strategia Orkiestracji (Dynamic Orchestration Strategy) poprawiła zdecentralizowaną koordynację linii zasilających, integrację odnawialnych źródeł energii, stabilność napięcia, zarządzanie przeciążeniami oraz orkiestrację o niskich opóźnieniach w porównaniu z Centralnym Sterowaniem Napięciem (CVC)33, Konwencjonalnym Sterowaniem Wieloagentowym (CMAC)21, Regulacją Napięcia Opartą na Uczeniu przez Wzmocnienie (RLVR)
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Oświadczenia
Autorzy oświadczają, że nie mają żadnych konfliktów interesów.
Podziękowania
Badania te były wspierane przez Guangzhou Power Supply Bureau firmy Guangdong Power Grid Company w ramach projektu „Research on Automation Acceptance Technology of Low Voltage Metering Equipment Based on Process Automation” (kod projektu: 030100KC24120100).
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Zbiór danych niskonapięciowej sieci rozdzielczej 236-Bus | Canizes et al. | DOI: 10.5281/zenodo.8274780 | Publiczny zbiór danych referencyjnych wykorzystany do analizy skalowalności i walidacji proponowanej struktury w dużej skali |
| Jednostka centralna (CPU) | Intel Corporation | Intel Core i9-12900K (16-Core) | Wykorzystywana do zarządzania symulacjami i wykonawstwa środowiska |
| Moduł analizy wrażliwości na przeciążenia | Moduł opracowany na zamówienie | Zenodo DOI: 10.5281/zenodo.21423239 | Wykonuje obliczenia wrażliwości na przeciążenia w czasie rzeczywistym oraz priorytetyzację feederów |
| CUDA Toolkit | NVIDIA Corporation | CUDA 12.1 | Platforma obliczeniowa GPU wykorzystywana do przyspieszonego trenowania modeli PyTorch |
| Biblioteka cuDNN | NVIDIA Corporation | cuDNN 9.3.0 | Biblioteka przyspieszania głębokich sieci neuronowych stosowana z CUDA |
| Własny dynamiczny symulator sieci niskiego napięcia (LV) | Moduł opracowany na zamówienie | Wersja 1.0 | Opracowana przez autorów platforma symulacyjna zaimplementowana w językach Python i PyTorch dla eksperymentów z dynamiczną orchestracją feederów. Szczegóły implementacji znajdują się w sekcjach Metody oraz Dostępność danych. |
| Biblioteka przetwarzania danych | pandas Development Team | pandas 2.2.2 | Wykorzystywana do preprocessingu, ekstrakcji cech, normalizacji i zarządzania danymi szeregów czasowych |
| Platforma głębokiego uczenia | PyTorch Foundation | PyTorch 2.3.1 | Wykorzystywana do implementacji modelu wieloagentowego uczenia ze wzmocnieniem (MARL), trenowania sieci neuronowych i optymalizacji polityki |
| Moduł rozproszonej komunikacji agentów | Struktura opracowana na zamówienie | Zenodo DOI: 10.5281/zenodo.21423239 | Umożliwia zdecentralizowaną komunikację i kolaboracyjną wymianę polityk pomiędzy inteligentnymi agentami |
| Zbiór danych FeederBW | Treutlein et al. | DOI: 10.5281/zenodo.17831177 | Publiczny zbiór danych zawierający rzeczywiste pomiary feederów niskiego napięcia, generację z odnawialnych źródeł energii i profile operacyjne |
| Procesor graficzny (GPU) | NVIDIA Corporation | GeForce RTX 3090, 24 GB GDDR6X | Akcelerator sprzętowy wykorzystywany do trenowania sieci neuronowych i obliczeń równoległych |
| Środowisko wieloagentowego uczenia ze wzmocnieniem | Farama Foundation | Gym 0.26.2 | Dostosowane środowisko uczenia ze wzmocnieniem dla kolaboracyjnej interakcji i trenowania inteligentnych agentów |
| Biblioteka obliczeń numerycznych | NumPy Developers | NumPy 1.26.4 | Wykorzystywana do obliczeń numerycznych, manipulacji tensorami i operacji macierzowych |
| System operacyjny | Canonical Ltd. | Ubuntu 22.04.5 LTS (64-bit) | System operacyjny wykorzystany we wszystkich symulacjach i eksperymentach z uczeniem ze wzmocnieniem |
| Język programowania Python | Python Software Foundation | Python 3.11.9 | Główny język programowania wykorzystany do implementacji algorytmów, symulacji i rozwoju modelu |
| Pamięć systemowa | Lenovo | 64 GB DDR5 RAM | Zainstalowana pamięć systemowa wykorzystywana do wielkoskalowej symulacji MARL i przetwarzania danych. |
| Moduł monitorowania stabilności napięcia | Moduł opracowany na zamówienie | Zenodo DOI: 10.5281/zenodo.21423239 | Ciągle ocenia stabilność napięcia i zgodność z normami podczas orchestracji feederów |
Bibliografia
- Ahmed F, et al. A multi-agent reinforcement learning framework for voltage-constrained incentive demand response in PV-rich low-voltage distribution systems. IEEE Access. 2026;14:45410–22.
- Lamsal D, Sreeram V, Mishra Y, Kumar DS. Smoothing control strategy of wind and photovoltaic output power fluctuation by considering the state of health of battery energy storage system. IET Renew Power Gener. 2019;13:578–86.
- Allahmoradi S, et al. Data-driven Volt/VAR optimization for modern distribution networks: A review. IEEE Access. 2024;12:71184–204.
- O'Connell N, Pinson P, Madsen H, O'Malley M. Benefits and challenges of electrical demand response: A critical review. Renew Sustain Energy Rev. 2014;39:686–99.
- Hossain MS, Madlool NA, Al-Fatlawi AW, El Haj Assad M. High penetration of solar photovoltaic structure on the grid system disruption: An overview of technology advancement. Sustainability. 2023;15:1174. https://doi.org/10.3390/su15021174
- Rahmouni A. Impact of static reactive power compensator (SVC) on the power grid. WSEAS Trans Electron. 2020;11:96–104.
- Chandran CV, et al. Application of demand response to improve voltage regulation with high DG penetration. Electr Power Syst Res. 2020;189:106722. https://doi.org/10.1016/j.epsr.2020.106722
- Wang Q, et al. A demand response strategy in high photovoltaic penetration power systems considering the thermal ramp rate limitation. IEEE Access. 2019;7:163814–22.
- Wang Z, et al. How to effectively implement an incentive-based residential electricity demand response policy? Experience from large-scale trials and matching questionnaires. Energy Policy. 2020;141:111450. https://doi.org/10.1016/j.enpol.2020.111450
- van Tilburg J, Siebert LC, Cremer JL. MARL-iDR: Multi-agent reinforcement learning for incentive-based residential demand response. arXiv. 2023. https://arxiv.org/abs/2304.04086
- Bahrami S, Chen YC, Wong VWS. Deep reinforcement learning for demand response in distribution networks. IEEE Trans Smart Grid. 2021;12:1496–506.
- Li J, et al. Model-free reinforcement learning economic dispatch algorithms for price-based residential demand response management system. IEEE Trans Ind Cyber-Phys Syst. 2023;1:123–35.
- Zheng S, et al. Incentive-based integrated demand response for multiple energy carriers under complex uncertainties and double coupling effects. Appl Energy. 2021;283:116254. https://doi.org/10.1016/j.apenergy.2020.116254
- Nainar K, Pillai JR, Bak-Jensen B. Incentive price-based demand response in active distribution grids. Appl Sci. 2020;11:1–17.
- Nguyen Duc T, et al. Impact of renewable energy integration on a novel method for pricing incentive payments of incentive-based demand response program. IET Gener Transm Distrib. 2022;16:1648–67.
- Pourramezan A, Samadi M. A novel approach for incorporating incentive-based and price-based demand response programs in long-term generation investment planning. Int J Electr Power Energy Syst. 2022;142:108315. https://doi.org/10.1016/j.ijepes.2022.108315
- Mathew A, Roy A, Mathew J. Intelligent residential energy management system using deep reinforcement learning. IEEE Syst J. 2020;14:5362–72.
- Khan DA, Arshad A, Lehtonen M, Mahmoud K. Combined DR pricing and voltage control using reinforcement learning based multi-agents and load forecasting. IEEE Access. 2022;10:130839-49.
- Zhang X, et al. An edge-cloud integrated solution for buildings demand response using reinforcement learning. IEEE Trans Smart Grid. 2021;12:420–31.
- Duan J, et al. Deep-reinforcement-learning-based autonomous voltage control for power grid operations. IEEE Trans Power Syst. 2020;35:814–7.
- Wang S, et al. A data-driven multi-agent autonomous voltage control framework using deep reinforcement learning. IEEE Trans Power Syst. 2020;35:4644–54.
- Turitsyn K, Sulc P, Backhaus S, Chertkov M. Options for control of reactive power by distributed photovoltaic generators. Proc IEEE. 2011;99:1063–73.
- Bedawy A, et al. Optimal voltage control strategy for voltage regulators in active unbalanced distribution systems using multi-agents. IEEE Trans Power Syst. 2020;35:1023–35.
- Bedawy A, Yorino N, Mahmoud K. Management of voltage regulators in unbalanced distribution networks using voltage/tap sensitivity analysis. Presented at: International Conference on Innovative Trends in Computer Engineering (ITCE); Aswan, Egypt; 2018. https://doi.org/10.1109/itce.2018.8316651
- Smith O, et al. The effect of renewable energy incorporation on power grid stability and resilience. Sci Adv. 2022;8:eabj6734. https://doi.org/10.1126/sciadv.abj6734
- Charbonnier F, Morstyn T, McCulloch MD. Scalable multi-agent reinforcement learning for distributed control of residential energy flexibility. Applied Energy. 2022;314:118825. doi:10.1016/j.apenergy.2022.118825
- Dugan J, Mohagheghi S, Kroposki B. Application of mobile energy storage for enhancing power grid resilience: A review. Energies. 2021;14:6476. https://doi.org/10.3390/en14206476
- Panossian N, et al. Challenges and opportunities of integrating electric vehicles in electricity distribution systems. Curr Sustain Renew Energy Rep. 2022;9:27–40.
- Guan Q, et al. Dynamic-aware deep reinforcement learning for heterogeneous fleet-based capacitated electric vehicle routing problems. Applied Energy. 2026;413:127757. https://doi.org/10.1016/j.apenergy.2026.127757
- Guan Q, et al. Heterogeneous attention-driven deep reinforcement learning for solving EVRPs with pickup-delivery and time windows. Applied Energy. 2026;407:127355. https://doi.org/10.1016/j.apenergy.2026.127355
- Treutlein M, et al. Real-world energy data of 200 feeders from low-voltage grids with metadata in Germany over two years (Version v1.0) [Data set]. Zenodo; 2025. https://doi.org/10.5281/zenodo.17831177
- Canizes B, Castro F, Silveira V, Vale Z. 236-Bus Low Voltage Distribution Network Data [Data set]. Zenodo; 2023. https://doi.org/10.5281/zenodo.8274780
- Xi, Haikuo & Chen, Can & Bai, Xuesong & Ma, Yuan & Ding, Jiachao & Chen, Qifang. (2024). Centralized and decentralized combined voltage control for distribution network with high penetration PV connected. Journal of Physics: Conference Series. 2771. 012040. 10.1088/1742-6596/2771/1/012040.
- Singh AK, Parida SK. Congestion management with distributed generation and its impact on electricity market. International Journal of Electrical Power & Energy Systems. 2013;48:39–47. doi:10.1016/j.ijepes.2012.11.025.
- Gooi HB, Wang T, Tang Y. Edge intelligence for smart grid: A survey on application potentials. CSEE Journal of Power and Energy Systems. 2023;9(5):1623–1640. https://doi.org/10.17775/CSEEJPES.2022.02210
- Molokomme DN, Onumanyi AJ, Abu-Mahfouz AM. Edge intelligence in smart grids: A survey on architectures, offloading models, cyber security measures, and challenges. Journal of Sensor and Actuator Networks. 2022;11(3):47. https://doi.org/10.3390/jsan11030047
- Chang Z, Liu S, Xiong X, Cai Z, Tu G. A survey of recent advances in edge-computing-powered artificial intelligence of things. IEEE Internet of Things Journal. 2021;8(18):13849–13875.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.