Dynamiczna orkiestracja akceptacji zasilaczy oparta na wieloagentowym uczeniu ze wzmacnianiem z wykorzystaniem zbioru danych FeederBW i niskonapięciowej sieci dystrybucyjnej z 236 szynami

Podsumowanie

Niniejsze badanie przedstawia strategię dynamicznej orchestracji dla odbioru linii zasilających niskiego napięcia z wykorzystaniem kolaboracyjnego wieloagentowego uczenia ze wzmocnieniem. Inteligentni agenci koordynują pracę linii zasilających, zarządzanie przeciążeniami, stabilność napięcia oraz integrację odnawialnych źródeł energii w warunkach niepewności. Podejście to zostało ocenione za pomocą symulacji z wykorzystaniem zbiorów danych FeederBW oraz 236-bus.

Streszczenie

Szeroka integracja rozproszonych odnawialnych źródeł energii oraz szybka rozbudowa linii zasilających niskiego napięcia (LV) stworzyły wyzwania operacyjne związane z dopuszczaniem nowych przyłączy do sieci oraz koordynacją zatorów. Istniejące podejścia do sterowania napięciem i zarządzania liniami mogą wykazywać ograniczoną skalowalność i adaptacyjność w warunkach przerywanej generacji z OZE oraz zmiennych warunków sieciowych. Aby rozwiązać te ograniczenia, w niniejszej pracy zaproponowano dynamiczną strukturę orchestracji dopuszczania linii niskiego napięcia (Dynamic Orchestration Framework for Low-Voltage Feeder Acceptance), opartą na współpracy inteligentnych agentów w ramach podejścia wieloagentowego uczenia ze wzmocnieniem. W przeciwieństwie do strategii sterowania napięciem, skupiających się głównie na stabilizacji napięcia, proponowana struktura wspiera dynamiczne dopuszczanie linii poprzez skoordynowane działanie agentów odpowiedzialnych za monitorowanie linii, zarządzanie zatorami oraz priorytetyzację opartą na czułości napięcia. Agenci niezależnie obserwowali stany linii, oceniali stopień zatkania oraz czułość napięcia, a następnie współpracowali przy podejmowaniu decyzji o dopuszczeniu linii. Strukturę oceniono za pomocą symulacji z wykorzystaniem zbioru danych FeederBW oraz zbioru danych sieci rozdzielczej niskiego napięcia z 236 szynami, przy różnych poziomach integracji OZE i warunkach obciążenia. Proponowana struktura osiągnęła wskaźnik dopuszczania linii (Feeder Acceptance Rate) na poziomie 97%, wskaźnik zgodności napięcia (Voltage Compliance Index) wynoszący 98%, opóźnienie orchestracji wynoszące 98 ms (mierzone jako rzeczywisty czas wykonania algorytmu orchestracji na zgłoszonym sprzęcie) oraz prędkość zbieżności na poziomie 98,5%, przewyższając tym samym oceniane scentralizowane metody koordynacji. Wyniki wskazały również na poprawę adaptacyjności, odporności operacyjnej oraz efektywności zdecentralizowanego podejmowania decyzji w symulowanych warunkach sieci rozdzielczej niskiego napięcia.

Wprowadzenie

Współczesne systemy energetyczne mierzą się z istotnymi wyzwaniami operacyjnymi ze względu na rosnący popyt na energię elektryczną oraz coraz szersze wykorzystanie generacji rozproszonej. Niezrównoważenie podaży i popytu na energię elektryczną lub gwałtowne wzrosty poziomu generacji rozproszonej mogą obciążać finansowo przedsiębiorstwa energetyczne i użytkowników końcowych oraz zagrażać stabilności sieci. W związku z tym konwencjonalna, centralnie sterowana infrastruktura elektryczna oparta na paliwach kopalnych ewoluuje w stronę projektów rozproszonych, napędzanych energią odnawialną. Transformacja ta poprawiła dostęp do bardziej przystępnych cenowo i zrównoważonych środowiskowo źródeł energii. Jednakże przerywany i nieprzewidywalny charakter generacji fotowoltaicznej (PV) budzi obawy dotyczące niezawodności sieci^1,2.

Globalna transformacja energetyczna przyspiesza wdrażanie systemów fotowoltaicznych (PV) ze względu na ich korzyści środowiskowe, skalowalność i spadające koszty. Według Międzynarodowej Agencji Odnawialnych Źródeł Energii oczekuje się, że do 2050 roku moc zainstalowana w fotowoltaice będzie odpowiadać za ponad 22% światowej podaży energii elektrycznej, a do 2030 roku fotowoltaika stanie się głównym elementem globalnego systemu zasilania³. Tak szeroka integracja stwarza istotne wyzwania dla konwencjonalnych systemów energetycznych, szczególnie w zakresie stabilności operacyjnej i niezawodności. Wahania napięcia stanowią krytyczny problem, ponieważ generacja z PV jest przerywana i niedysponowalna, a jej skutki stają się bardziej zauważalne wraz ze wzrostem penetracji w sieciach dystrybucyjnych i transmisyjnych⁴.

Zmienność irradiancji słonecznej bezpośrednio wpływa na moc wyjściową systemów fotowoltaicznych (PV) i może powodować gwałtowne zmiany napięcia. Ruch chmur, nagłe zmiany irradiancji oraz przejściowe zmiany obciążenia mogą prowadzić do fluktuacji napięcia, których istniejące architektury sieci nie są w stanie odpowiednio zniwelować⁵. Choć konwencjonalne technologie okazały się skuteczne w scentralizowanych i stosunkowo stabilnych konfiguracjach sieci, są one mniej odpowiednie dla coraz bardziej rozproszonych sieci. Gwałtowne, dwukierunkowe zmiany napięcia mogą przekroczyć możliwości konwencjonalnych systemów energetycznych, szczególnie przy wysokim stopniu penetracji systemów PV⁶. Niekontrolowane fluktuacje mogą prowadzić do przekroczenia dopuszczalnych granic napięcia, wpływać na obciążenia wrażliwe i zagrażać bezpieczeństwu sieci.

Integracja inteligentnych odbiorników i zasobów rozproszonych w sieciach dystrybucyjnych stała się zatem impulsem do opracowania bardziej zaawansowanych strategii sterowania. Inteligentne systemy sterowania, które nieustannie monitorują i koordynują urządzenia rozproszone, mogą pomóc w łagodzeniu problemów w sieciach niskiego napięcia (LV) o dużym udziale generacji rozproszonej⁷. Integracja fotowoltaiki (PV) na dużą skalę stwarza również trudności operacyjne dla wytwarzania cieplnego, szczególnie w sytuacjach, gdy moc PV spada, a bloki cieplne muszą szybko zareagować, co niekiedy przekracza limity tempa zmian obciążenia (ramp-rate)⁸. Jednocześnie programy odpowiedzi strony popytowej (DR) muszą balansować między długoterminową zrównoważonością a opłacalnością ekonomiczną⁹.

Programy DR mogą wspierać integrację rozproszonej generacji, pomagając jednocześnie w równoważeniu podaży i popytu na energię elektryczną. Programy te dzielą się na DR oparte na cenach oraz DR oparte na bodźcach (IBDR). DR oparte na cenach zachęca konsumentów do modyfikowania zużycia energii elektrycznej w odpowiedzi na taryfy zmienne w czasie, podczas gdy IBDR zapewnia stałe lub zmienne zachęty finansowe do ograniczenia zużycia na żądanie¹⁰. Jednakże DR oparte na cenach naraża konsumentów na wahania cen hurtowych i oferuje ograniczoną elastyczność operacyjną z perspektywy przedsiębiorstwa energetycznego, co może zniechęcać uczestników unikających ryzyka^11,12.

W kilku badaniach przeanalizowano IBDR w systemach dystrybucyjnych z dużym udziałem fotowoltaiki (PV). Jedno z opracowań oceniało wyzwania i korzyści z połączenia IBDR z wysokim stopniem penetracji PV, jednak skupiało się na zagregowanym zużyciu energii, a nie na domowych systemach zarządzania energią na poziomie gospodarstwa domowego¹³. W innym badaniu zaproponowano metodę zarządzania napięciem opartą na zachętach, w której sygnały cenowe pośrednio sterowały pracą akumulatorów w celu utrzymania limitów napięcia, choć zapotrzebowanie gospodarstw domowych nie zostało wprost zamodelowane¹⁴. Metoda oparta na logice rozmytej służąca do określania wypłat zachęt uwzględniała satysfakcję konsumentów oraz koszty integracji odnawialnych źródeł energii, ale nie obejmowała analizy na poziomie linii zasilającej¹⁵. Badano również długoterminowe planowanie produkcji z uwzględnieniem DR opartego zarówno na cenach, jak i na zachętach, obejmujące generację termiczną oraz odnawialną, jednak bez uwzględnienia komfortu użytkowników lub zapotrzebowania na poziomie gospodarstwa domowego¹⁶.

Głębokie uczenie ze wzmocnieniem (RL) zostało również zastosowane w domowych programach ograniczania zapotrzebowania (DR). Zaproponowano metody głębokiego RL do sterowania zagregowanym obciążeniem przy taryfach zależnych od czasu użytkowania, choć ich uogólnialność była ograniczona przez małe populacje użytkowników oraz brak harmonogramowania na poziomie poszczególnych urządzeń¹⁷. Wieloagentowy system uczenia ze wzmocnieniem łączący DR z regulacją napięcia wykorzystywał sieci długo- i krótkotrwałej pamięci (LSTM) do prognozowania obciążenia, jednak nie rozwiązał problemu niezadowolenia klientów wynikającego z ograniczeń obciążenia¹⁸. Inne prace koncentrowały się na koordynacji DR dla systemów klimatyzacji w budynkach komercyjnych z wykorzystaniem procesu decyzyjnego Markowa, bez uwzględnienia innych obciążeń domowych¹⁹. Dotychczasowe badania nad regulacją napięcia za pomocą głębokiego RL zazwyczaj nie obejmowały jednoczesnej integracji DR i fotowoltaiki (PV)^20,21.

Inteligentne falowniki mogą szybko reagować na gwałtowne i nieregularne zmiany mocy wyjściowej systemów PV²². W przypadku wystąpienia naruszeń poziomu napięcia, falowniki PV mogą zareagować w ciągu milisekund, podczas gdy konwencjonalne urządzenia mogą potrzebować kilku sekund²³. W niektórych badaniach zaproponowano modyfikacje standardowych procedur sterowania urządzeniami, w tym podejścia wieloagentowe do koordynacji regulatorów napięcia oraz modyfikację działań konwencjonalnych sterowników napięcia²⁴. Niemniej jednak, samodzielna generacja PV bez współlokalizowanego magazynu energii może pogorszyć wahania napięcia i nie niweluje wieczornych szczytów zapotrzebowania, nawet jeśli redukuje dzienny import netto energii^24,25. Baterie domowe mogą również zostać rozładowane w okresach dziennej nadprodukcji PV i stać się niedostępne do nocnego ładowania pojazdów elektrycznych, jeśli ich dysponowanie nie jest koordynowane z lokalnym zapotrzebowaniem i generacją^26,27. Połączone efekty stochastycznego popytu, przerywanej generacji oraz zróżnicowanego zachowania magazynów energii sprawiają, że zarządzanie mocą, trwałość aktywów i odporność systemu stają się istotnymi kwestiami dla operatorów systemów dystrybucyjnych²⁸. Domowe systemy zarządzania energią (Home Energy Management Systems) stanowią jeden z potencjalnych sposobów wdrożenia zautomatyzowanego sterowania na poziomie klienta. RL jest dobrze dostosowane do takich zastosowań, ponieważ agenci mogą uczyć się strategii sterowania poprzez interakcję z otoczeniem, radząc sobie jednocześnie z niepewnością i podejmując decyzje z niskim opóźnieniem.

Postępy w wyznaczaniu tras pojazdów elektrycznych obrazują również, w jaki sposób głębokie RL może zarządzać dynamicznymi ograniczeniami energetycznymi. Problem wyznaczania tras pojazdów elektrycznych o określonej ładowności z wykorzystaniem heterogenicznej floty uwzględnia dynamikę jazdy, charakterystykę dróg, opór kinetyczny oraz wydajność ładowania, dążąc jednocześnie do minimalizacji maksymalnego zużycia energii w zróżnicowanej flocie²⁹. Metoda głębokiego uczenia ze wzmocnieniem uwzględniająca dynamikę formułuje ten problem jako spersonalizowany proces decyzyjny Markowa i wykorzystuje architekturę typu enkoder-aktualizator-dekoder. W tym rozwiązaniu enkoder tworzy specyficzne dla danej roli reprezentacje wierzchołków i pojazdów, aktualizator modyfikuje tokeny pojazdów wraz ze zmianą informacji kontekstowych, a dekoder oddziela wybór pojazdu od wyboru wierzchołka specyficznego dla pojazdu, aby wspierać adaptacyjne podejmowanie decyzji. Podobnie, problem optymalizacji energetycznej tras pojazdów elektrycznych z odbiorem i dostawą oraz oknami czasowymi wykorzystuje model zużycia energii o wysokiej rozdzielczości, który obejmuje zachowania podczas ładowania, zależną od czasu dynamikę jazdy oraz szczegółowe informacje o trasie³⁰. Heterogeniczne ramy głębokiego uczenia ze wzmocnieniem oparte na mechanizmie uwagi reprezentują zadanie wyznaczania tras jako proces decyzyjny Markowa, z enkoderem, który przechwytuje specyficzne dla ról interakcje między magazynami, klientami a stacjami ładowania, oraz dekoderem, który śledzi przejścia stanów i wykonalność czasową.

Pomimo tych osiągnięć, większość badań nad zarządzaniem dystrybucją w sieciach niskiego napięcia (LV) kładzie nacisk na stabilizację napięcia i optymalizację mocy biernej, a nie na dynamiczną koordynację przyłączania do linii zasilających w warunkach niepewności źródeł odnawialnych. Rozproszone metody sterowania napięciem oparte na inteligentnych falownikach i uczeniu maszynowym koncentrują się zazwyczaj na kompensacji napięcia i optymalizacji mocy biernej, nie zajmując się adaptacyjnym sterowaniem przyłączaniem do linii ani koordynacją opartą na przeciążeniach w złożonych sieciach LV. Podobnie, podejścia oparte na wieloagentowym uczeniu ze wzmocnieniem z ograniczeniami napięciowymi w zakresie Demand Response (DR) nie odnoszą się bezpośrednio do wspólnego zarządzania przyłączaniem do linii, zdecentralizowanej koordynacji uwzględniającej przeciążenia ani kontroli dostępu na poziomie węzła w połączonych systemach dystrybucji LV. Kooperacyjne metody regulacji napięcia oparte na koordynacji wieloagentowej zazwyczaj minimalizują odchylenia napięcia i liczbę przełączeń odczepów przy użyciu falowników PV, ale nie uwzględniają adaptacyjnego dopuszczania do linii zasilających, niestabilności przyłączania związanej z OZE ani zdecentralizowanej koordynacji w dynamicznych warunkach sieciowych.

Obecne rozproszone metody koordynacji zasobów wieloagentowych wykazują również ograniczenia w zakresie rozpoznawania zatorów, adaptacyjności czasowej i skalowalności. Większość z nich kładzie nacisk na analizę przeciążeń, interakcje rozproszonych zasobów energetycznych lub zarządzanie energią sterowane taryfami, zamiast na adaptacyjne dopuszczanie na poziomie odgałęzienia i orkiestrację uwzględniającą napięcie. Poleganie na częściowej centralizacji i statycznych priorytetach może dodatkowo ograniczać zdecentralizowane podejmowanie decyzji, szybką reakcję na rozprzestrzenianie się zatorów oraz adaptację do zmienności odnawialnych źródeł energii. W związku z tym konieczne jest opracowanie w pełni zdecentralizowanej struktury opartej na uczeniu ze wzmocnieniem, która łączy kooperacyjną koordynację agentów z analizą czułości na napięcie i zatory, w celu adaptacyjnego zarządzania dopuszczaniem do odgałęzień z wykorzystaniem wielkoskalowych zbiorów danych, takich jak FeederBW oraz 236-węzłowa sieci dystrybucyjnej niskiego napięcia (LV).

W niniejszym badaniu przyjęcie przyłącza (feeder acceptance) odnosi się do adaptacyjnego procesu operacyjnego służącego do określenia, czy przyłącze niskiego napięcia (LV) może przyjąć dodatkowe rozproszone źródła energii lub obciążenia elektryczne, przy jednoczesnym zachowaniu bezpieczeństwa sieci, zgodności napięć, limitów obciążenia termicznego oraz niezawodności operacyjnej. Granica operacyjna dla przyjęcia przyłącza obejmuje ocenę wydajności przyłącza, czułości napięcia, warunków przeciążenia oraz zmienności energii odnawialnej przed zaakceptowaniem lub nadaniem priorytetu nowym przyłączom. W przeciwieństwie do konwencjonalnej regulacji napięcia, która steruje profilami napięć, koordynacji rozproszonych źródeł energii, która zarządza pracą zasobów, lub zarządzania przeciążeniami, które łagodzi nadmiarowe obciążenia sieci, przyjęcie przyłącza integruje te funkcje w ramach współpracy wieloagentowego uczenia przez wzmacnianie, aby wspierać dynamiczną, zdecentralizowaną i adaptacyjną orchestrację w warunkach wysokiego udziału odnawialnych źródeł energii.

Celem niniejszego badania jest opracowanie kolaboracyjnej, opartej na inteligentnych agentach dynamicznej strategii orchestracji przyjmowania obciążeń dla niskonapięciowych przewodów zasilających w warunkach zmieniających się parametrów pracy i niepewności źródeł odnawialnych. Zaproponowany model realizuje zdecentralizowaną orchestrację przyjmowania obciążeń poprzez dynamiczną ocenę stanów przewodów, czułości napięcia, czułości na przeciążenia oraz pojemności przyjmowania, co umożliwia adaptacyjną priorytetyzację i podejmowanie decyzji wykraczających poza statyczne metody regulacji napięcia. Wykorzystując zbiór danych FeederBW oraz zbiór danych dla niskonapięciowej sieci dystrybucyjnej z 236 szynami, w badaniu opracowano również skalowalną architekturę wieloagentowego uczenia ze wzmocnieniem dla wielkoskalowych systemów niskiego napięcia. Dzięki uczeniu sterowanemu wzmocnieniem oraz kolaboracyjnej optymalizacji o niskim opóźnieniu, wykonywanej w każdym symulowanym interwale operacyjnym, model został zaprojektowany w celu ograniczenia rozprzestrzeniania się przeciążeń, poprawy zgodności napięcia, zmniejszenia opóźnień orchestracji oraz zwiększenia wydajności zdecentralizowanej koordynacji.

W ramach opracowanego rozwiązania zaproponowano dynamiczne podejście do orchestracji akceptacji odbiorników w sieciach niskiego napięcia (LV), które zastępuje statyczne strategie zarządzania odbiornikami oparte na kontroli napięcia; zdecentralizowaną architekturę wieloagentowego uczenia ze wzmocnieniem w celu radzenia sobie z niepewnością źródeł odnawialnych i zmiennymi warunkami obciążenia; zdecentralizowane zarządzanie dostępem w oparciu o warunki niskiego opóźnienia i dynamiczną priorytetyzację odbiorników; wspólne wskaźniki czułości napięcia i zatłoczenia służące do identyfikacji krytycznych odbiorników i ustalania priorytetów decyzji o akceptacji; współpracującą komunikację pomiędzy sąsiednimi agentami; ciągłą optymalizację polityki w oparciu o uczenie ze wzmocnieniem w celu poprawy stabilności odbiorników, łagodzenia zatłoczenia, zapewnienia zgodności napięcia i zbieżności; oraz walidację opartą na symulacjach wielkoskalowych z wykorzystaniem zbiorów danych FeederBW oraz sieci LV z 236 szynami. Wyniki porównawcze wskazują na poprawę akceptacji odbiorników, łagodzenie zatłoczenia, skrócenie opóźnień orchestracji, zwiększenie szybkości zbieżności oraz lepszą zgodność napięcia w stosunku do tradycyjnych metod koordynacji scentralizowanej.

Protokół

W niniejszym badaniu nie wykorzystano ludzi, kręgowców, tkanek ludzkich ani tkanek zwierzęcych. W badaniu zastosowano wyłącznie publicznie dostępne zbiory danych (zbiór danych FeederBW oraz zbiór danych sieci niskiego napięcia z 236 magistralami) i symulacje komputerowe. W związku z tym badanie nie wymagało zgody komisji bioetycznej (IRB), zgody etycznej ani świadomej zgody uczestników.

Strategia dynamicznej orchestracji odbioru zasilaczy niskiego napięcia oparta na współpracy agentów została opracowana z wykorzystaniem wieloagentowego uczenia ze wzmocnieniem (MARL) dla warunków pracy z dużym udziałem odnawialnych źródeł energii. Zbiory danych FeederBW oraz dla sieci niskiego napięcia z 236 magistralami zostały poddane wstępnemu przetwarzaniu, normalizacji i synchronizacji czasowej w celu zbudowania dynamicznego modelu sieci reprezentującego stany zasilaczy, rozproszone zasoby energii, obszary wrażliwe na zmiany napięcia oraz warunki przeciążenia. Inteligentne agenty zostały przypisane do sekcji zasilaczy i węzłów sieci, aby monitorować lokalne napięcie, przeciążenia, niepewność generacji z OZE oraz przepustowość zasilaczy, wymieniać informacje z sąsiednimi agentami i aktualizować polityki orchestracji poprzez zdecentralizowane uczenie ze wzmocnieniem. Funkcję nagrody zaprojektowano tak, aby zwiększyć przepustowość zasilaczy, ograniczając jednocześnie przeciążenia, niestabilność napięcia oraz opóźnienia w koordynacji. Uwzględniono ograniczenia dotyczące napięcia, obciążenia zasilaczy, obciążenia transformatorów oraz przeciążeń, natomiast nie modelowano w sposób jawny pracy niesymetrycznej trzechfazowej, zaawansowanego sterowania inwerterami fotowoltaicznymi ani kompensacji mocy biernej. Całościowy schemat przedstawiono w Rycina 1Narzędzia badawcze wykorzystane w niniejszym badaniu są wymienione w Tabela materiałów.

Rycina 1: Architektura proponowanego modelu. Schemat Dynamicznego Modelu Orkiestracji obejmującego inteligentne agenty, uczenie przez wzmocnienie, analizę przeciążeń oraz adaptacyjną koordynację linii zasilających. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

1. Pozyskiwanie danych

Dane pobrano z zestawu danych FeederBW³¹ oraz zestawu danych dla sieci rozdzielczej niskiego napięcia z 236 magistralami³². Wybrano te zestawy danych, ponieważ zawierały one informacje o topologii feederów, warunkach napięcia, zachowaniu źródeł odnawialnych, zapotrzebowaniu na moc, przeciążeniach oraz dynamicznych profilach eksploatacyjnych, które są niezbędne do zdecentralizowanej orchestracji i uczenia agentów w oparciu o wzmocnienie.

Zbiór danych FeederBW został wykorzystany głównie do modelowania pracy linii zasilającej, przerywanego charakteru energii odnawialnej, odchyleń napięcia oraz rozprzestrzeniania się przeciążeń w sieciach niskiego napięcia (LV). Zawierał on dane operacyjne linii zasilającej, charakterystykę rozproszonych źródeł energii, pomiary napięcia w węzłach oraz fluktuacje obciążenia, które wspierały analizę adaptacyjnej orkiestracji. Zbiór danych LV dla 236 szyn został wykorzystany do oceny skalowalności i zdecentralizowanej koordynacji. Zawierał on informacje o połączeniach szyn, warunki obciążenia linii zasilającej, charakterystyki napięcia w węzłach, stopień penetracji rozproszonych źródeł energii odnawialnej oraz przypadki operacyjne wrażliwe na przeciążenia. Wspólnie oba zbiory danych umożliwiły analizy na poziomie linii zasilającej oraz analizy wielkoskalowe w warunkach wysokiej penetracji energii odnawialnej. Charakterystyka zbiorów danych oraz ich przeznaczenie w ramach opracowanej struktury zostały podsumowane w Tabeli 1.

Nazwa zbioru danych	Typ zbioru danych	Liczba węzłów/szyn	Atrybuty danych	Cel proponowanej pracy
Zbiór danych FeederBW	Zbiór danych operacyjnych linii zasilającej niskiego napięcia	Wiele węzłów zasilających	Profile napięć, generacja odnawialna, zapotrzebowanie na moc, stany przeciążeń, charakterystyka pracy linii zasilających	orkiestracja karmników o niskim opóźnieniu, analiza przeciążeń, adaptacyjna priorytetyzacja akceptacji
Zbiór danych LV dla 236 szyn	Zestaw danych wielkoskalowej sieci rozdziału niskiego napięcia	236 autobusów	Topologia szyn, obciążenie odgałęzienia, czułość napięcia, penetracja odnawialnych źródeł energii, dynamika przeciążeń	Walidacja skalowalności, ocena zdecentralizowanej koordynacji, analiza wielkoskalowej orkiestracji

Tabela 1: Charakterystyka zbiorów danych.Opis zbiorów danych, atrybutów operacyjnych oraz ich przeznaczenia w ramach proponowanego frameworka do niskonapięciowej orkiestracji.

2. Przetwarzanie wstępne danych

Pozyskane zestawy danych zostały poddane wstępnemu przetwarzaniu w celu poprawy spójności, wyrównania czasowego i stabilności uczenia ze wzmocnieniem. Brakujące wpisy, błędne pomiary, powtarzające się rekordy oraz niespójne dane z linii zasilających zostały odfiltrowane przy użyciu statystycznych procedur preprocessingu. Krok ten zastosowano w celu zachowania spójności pomiędzy danymi operacyjnymi linii zasilających, profilami generacji energii odnawialnej, pomiarami napięcia i danymi o stanie przeciążeń. Wszystkie zmienne operacyjne zostały znormalizowane metodą min–max, aby cechy wejściowe zostały przekształcone do wspólnej skali odpowiedniej dla procesu uczenia agenta. Znormalizowane zmienne obejmowały napięcie linii zasilającej, zapotrzebowanie na moc czynną, generację energii odnawialnej, status przeciążenia oraz przepustowość linii zasilającej. Matematyczny opis procedury preprocessingu znajduje się w Supplementary File 1 (Section 1).

3. Dynamiczne modelowanie sieci niskiego napięcia

Po pozyskaniu i wstępnym przetwarzaniu danych skonstruowano dynamiczny model sieci niskiego napięcia (LV), aby zasymulować zachowanie systemu dystrybucyjnego z wysokim udziałem generacji odnawialnej przy zmiennych warunkach obciążenia i wytwarzania. Model dynamicznie śledził topologię feederów, zachowanie rozproszonych źródeł energii, regiony wrażliwe na zmiany napięcia oraz propagację przeciążeń.

W przeciwieństwie do statycznej reprezentacji sieci, model aktualizuje zachowanie linii zasilających w zależności od przerywności źródeł odnawialnych, zapotrzebowania konsumentów oraz warunków przeciążeń. Zbiory danych FeederBW oraz 236-bus LV zostały wykorzystane do skonstruowania połączonych linii zasilających, w których szyny, transformatory, rozproszone źródła odnawialne i obciążenia przedstawiono jako węzły sieci. Każdy węzeł linii dostarczał aktualne informacje o wartości napięcia, zapotrzebowaniu na moc czynną, generacji z OZE, stanie obciążenia linii oraz stanie zatłoczenia. Zmienne te były wykorzystywane przez inteligentnych agentów do monitorowania zachowania linii zasilających i podejmowania zdecentralizowanych decyzji orchestracyjnych. Model sieci wspierał również identyfikację obszarów wrażliwych oraz priorytetyzację akceptacji linii zasilających poprzez ciągłą analizę wrażliwości.

Sieć rozdzielcza niskiego napięcia (LV) została przedstawiona jako sieć oparta na grafie, zawierająca stacje szynowe, linie zasilające, transformatory, źródła odnawialne oraz węzły obciążenia konsumenckiego. Szczegółowe wyprowadzenia matematyczne modelu sieci znajdują się w Supplementary File 1(Section 2). Dynamiczny stan sieci oraz wskaźnik przeciążenia były monitorowane w sposób ciągły. Wskaźnik przeciążenia znormalizowano do zakresu [0,1], a koordynację dopuszczania linii zasilających rozpoczęto, gdy wskaźnik przeciążenia przekroczył wartość 0,80.

4. Inicjalizacja środowiska wieloagentowego

Po skonstruowaniu dynamicznego modelu sieci niskiego napięcia (LV), zainicjowano środowisko wieloagentowe w celu wsparcia zdecentralizowanej akceptacji przyłączy. Inteligentne agenty przypisano do segmentów zasilaczy, punktów przyłączenia rozproszonych zasobów energetycznych, lokalizacji transformatorów oraz węzłów podatnych na przeciążenia w sieci LV.

Każdy agent działał jako niezależna jednostka decyzyjna, która monitorowała pracę lokalnego zasilacza, wymieniała informacje z sąsiednimi agentami i wykonywała adaptacyjne działania koordynacyjne. Agenci zostali przypisani do kluczowych węzłów zasilacza w zależności od czułości napięcia, stopnia penetracji odnawialnych źródeł energii, poziomu przeciążeń oraz znaczenia zasilacza. Sieć niskiego napięcia (LV) została skonfigurowana jako środowisko agentowe, w którym agenci nieustannie monitorowali napięcie zasilacza, zapotrzebowanie na moc czynną, zmienność generacji z OZE, stan przeciążeń oraz pojemność przyłączeniową zasilacza. Sformułowanie matematyczne środowiska wieloagentowego znajduje się w Pliku uzupełniającym 1 (Sekcja 3).

5. Uczenie agenta sterowane wzmocnieniem

Po inicjalizacji środowiska wieloagentowego wdrożono uczenie ze wzmocnieniem, aby umożliwić agentom naukę strategii zarządzania liniami zasilającymi poprzez interakcję ze zmieniającymi się warunkami pracy sieci niskiego napięcia (LV). Podczas każdej interakcji agent obserwował aktualny stan linii, wybierał działanie koordynacyjne i otrzymywał nagrodę lub karę. Zdecentralizowany proces uczenia pozwolił agentom na adaptację do niepewności związanej z generacją z odnawialnych źródeł energii, zmieniających się warunków przeciążeń, wahań napięcia oraz zmian w przepustowości linii zasilającej. Każdy agent wybierał działanie koordynacyjne zgodnie ze swoją wyuczoną strategią. Powiązane wyprowadzenia matematyczne znajdują się w Supplementary File 1(Section 4).

Wdrożono łącznie 64 inteligentne agenty. W zależności od topologii linii zasilającej, poziomu penetracji odnawialnych źródeł energii, czułości napięcia oraz stopnia zakorkowania, każdy agent został przypisany do segmentu linii zasilającej, lokalizacji transformatora, punktu przyłączenia rozproszonego zasobu energii lub węzła sieci wrażliwego na zakorkowanie. Przy zachowaniu rozsądnej złożoności obliczeniowej, zdecentralizowane wdrożenie umożliwiło kooperacyjny monitoring i adaptacyjną akceptację linii zasilającej w całej niskonapięciowej sieci dystrybucyjnej z 236 szynami. Każdy agent obserwował pięciowymiarowy wektor stanu składający się z wartości napięcia, zapotrzebowania na obciążenie linii, generacji z OZE, stanu zakorkowania oraz pojemności akceptacji linii zasilającej. Przestrzeń akcji obejmowała pięć działań orchestracyjnych: priorytetyzację akceptacji linii zasilającej, łagodzenie zakorkowania, koordynację OZE, bilansowanie obciążenia oraz regulację napięcia. Wspólne podejmowanie decyzji było wspierane przez zdecentralizowaną topologię komunikacji sąsiedzkiej, w której każdy agent wymieniał wskaźniki czułości i lokalne informacje operacyjne wyłącznie z sąsiednimi agentami linii zasilającej.

Zaimplementowano metodę MARL opartą na Q-learningu, wykorzystując w pełni połączoną sieć neuronową z dwiema warstwami ukrytymi zawierającymi odpowiednio 128 i 64 neurony. W warstwach ukrytych zastosowano funkcję aktywacji ReLU (rectified linear unit). Parametry sieci optymalizowano za pomocą optymalizatora Adam z szybkością uczenia 0.001 i współczynnikiem dyskontowym 0.99. Wykorzystano rozmiar mini-batcha wynoszący 64, a bufor experience-replay miał pojemność 100 000 przejść. Za zbieżność treningu uznano moment, w którym średnia ruchoma skumulowanej nagrody z poprzednich 20 epizodów zmieniła się o mniej niż 0,1% przez 10 kolejnych okien ewaluacyjnych. Jeśli kryterium to nie zostało spełnione, trening kontynuowano do osiągnięcia maksimum 500 epizodów. Przepływ pracy w uczeniu ze wzmocnieniem przedstawiono na Rysunku 2.

Rysunek 2: Schemat blokowy uczenia agenta sterowanego wzmocnieniem. Schemat blokowy ilustrujący proces uczenia agenta w oparciu o wzmocnienie w celu zdecentralizowanej orkiestracji karmników i optymalizacji decyzji. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

Proces uczenia rozpoczął się od inicjalizacji środowiska dystrybucji LV, stanów agentów oraz parametrów uczenia. Inteligentni agenci zostali rozmieszczeni w obszarach zasilaczy, lokalizacjach rozproszonych źródeł energii oraz w węzłach podatnych na przeciążenia. Następnie zdefiniowano przestrzeń obserwacji, współczynnik uczenia, strategię eksploracji, czynniki nagrody oraz funkcje polityki. Na każdym etapie interakcji każdy agent obserwował aktualny stan przypisanego mu obszaru zasilacza. Stan ten składał się z wartości napięcia w węźle, zapotrzebowania na obciążenie zasilacza, charakterystyki generacji odnawialnej, poziomu przeciążenia oraz pojemności przyjmowania zasilacza. Obserwacje te stanowiły stan środowiska wykorzystywany do podejmowania decyzji o koordynacji. Każdy agent wybrał działanie zgodnie ze swoją polityką uczenia ze wzmocnieniem. Dostępne działania obejmowały priorytetyzację przyjmowania zasilacza, zarządzanie przeciążeniami, koordynację energii odnawialnej, równoważenie obciążeń oraz zarządzanie napięciem. Wybrane działanie zostało zastosowane w dynamicznym środowisku LV, po czym zaktualizowano stan zasilacza.

Po każdej akcji obliczano nagrodę. Nagroda dodatnia była przypisywana, gdy wybrana akcja poprawiła akceptację zasilacza, zapobiegła rozprzestrzenianiu się przeciążeń, utrzymała zgodność napięcia lub poprawiła stabilność sieci. Karę stosowano, gdy akcja doprowadziła do przeciążenia zasilacza, naruszeń napięcia lub opóźnień w orkiestracji, bądź gdy nie udało się im zapobiec. Obliczona nagroda była wykorzystywana do aktualizacji funkcji wartości i polityki decyzji agenta poprzez optymalizację ze wzmacnianiem. Sekwencja obejmująca obserwację, wybór akcji, przejście środowiska, obliczenie nagrody i aktualizację polityki była powtarzana do momentu spełnienia kryterium stopu.

6. Ocena wrażliwości na napięcie i zatłoczenie

Po uczeniu opartym na wzmocnieniu oceniono czułość na napięcie i przeciążenia, aby zidentyfikować podatne obszary sieci zasilającej oraz wesprzeć dynamiczne decyzje o przyjęciu przyłączy w warunkach niepewności związanej z odnawialnymi źródłami energii.

W każdym przedziale operacyjnym określano wpływ zmian mocy zasilacza, generacji z odnawialnych źródeł energii oraz zapotrzebowania na obciążenie na napięcie w węzłach i zatłoczenie sieci. Wskaźniki czułości napięcia i zatłoczenia przeliczano w każdym symulowanym przedziale operacyjnym, zamiast wyprowadzać je wyłącznie z warunków statycznych sieci. Wskaźniki czułości dla każdego węzła zasilacza aktualizowano na podstawie aktualnych warunków sieci, zmienności generacji z odnawialnych źródeł energii oraz stanu obciążenia zasilacza. Uzyskane wartości wykorzystano do rankingowania węzłów zasilacza w celu akceptacji zasilacza, zarządzania zatłoczeniem oraz działań w zakresie regulacji napięcia.

Wskaźnik czułości napięcia określał zmianę napięcia w węźle wynikającą ze zmiany przepływu mocy czynnej. Po obliczeniu wskaźników czułości napięcia i przeciążenia zostały one połączone w złożony wynik czułości w celu adaptacyjnego ustalania priorytetów przyjmowania zasilaczy. Metoda obliczania wyniku złożonego została opisana w Supplementary File 1(Section 5). Węzłom zasilaczy o wyższych wynikach czułości przypisywano wyższe priorytety koordynacji podczas operacji odciążania przeciążeń, korekty przyjmowania zasilaczy oraz regulacji napięcia. Wyniki czułości były przeliczane w każdym przedziale operacyjnym i udostępniane sąsiednim agentom za pośrednictwem środowiska komunikacji współpracującej.

7. Współdzielona orchestracja akceptacji i adaptacyjna optymalizacja decyzji w każdym symulowanym przedziale operacyjnym

Po ocenie czułości przeprowadzono wspólną koordynację akceptacji, aby umożliwić zdecentralizowanym agentom podejmowanie skoordynowanych decyzji dotyczących akceptacji zasilaczy w warunkach niepewności źródeł odnawialnych i dynamicznych przeciążeń. Agenci wymieniali lokalne stany zasilaczy, wskaźniki czułości, alerty o przeciążeniach oraz priorytety operacyjne. Każdy agent niezależnie oceniał stan swojego lokalnego zasilacza, jednocześnie koordynując działania z agentami sąsiednimi w celu wsparcia ogólnej stabilności sieci.

Priorytet akceptacji zasilacza ustalono na podstawie czułości napięcia, stopnia zakorkowania, zmienności generacji z odnawialnych źródeł energii oraz dostępnej przepustowości zasilacza. Lokalne obserwacje uwzględniające czułość zostały zagregowane pomiędzy agentami, a następnie wygenerowano skoordynowane działania dotyczące akceptacji zasilacza. Sformułowanie matematyczne procesu wspólnej organizacji przedstawiono w Supplementary File 1 (Section 6). Dynamiczne środowisko sieci niskiego napięcia (LV) zostało wdrożone z agentami współpracującymi rozmieszczonymi w regionach zasilaczy, punktach integracji energii odnawialnej oraz w szynach podatnych na zakorkowanie, zgodnie z opisem w Supplementary File 1 (Algorithm 1). W każdym interwale operacyjnym każdy agent monitorował lokalne parametry zasilacza, w tym wartość napięcia, zmienność generacji z OZE, obciążenie zasilacza, poziom zakorkowania oraz przepustowość akceptacji zasilacza.

Następnie obliczono wskaźniki wrażliwości na napięcie oraz wrażliwości na przeciążenia, aby zidentyfikować obszary sieci zasilających podatne na niestabilność napięcia lub rozprzestrzenianie się przeciążeń. Wskaźniki te połączono w ogólny wynik wrażliwości zasilacza, który określał akceptację zasilacza oraz priorytet koordynacji. Lokalne informacje o stanie, poziomy przeciążeń, wskaźniki niestabilności napięcia oraz priorytety akceptacji były wymieniane pomiędzy sąsiednimi agentami. Na podstawie lokalnych obserwacji i udostępnionych informacji każdy agent wybrał i wdrożył adaptacyjne działanie koordynacyjne. Po każdym działaniu z dynamicznego środowiska sieci niskiego napięcia (LV) uzyskiwano informację zwrotną w formie wzmocnienia, zgodnie ze stabilnością zasilacza, redukcją przeciążeń, zgodnością napięcia oraz efektywnością akceptacji zasilacza. Informacja zwrotna ta była wykorzystywana do aktualizacji strategii każdego agenta poprzez optymalizację opartą na wzmacnianiu. Globalna funkcja celu koordynacji zapewniała jednocześnie skoordynowaną informację zwrotną dla adaptacyjnej optymalizacji w całej populacji agentów. Aktualizacje strategii trwały do momentu, aż strategie agentów zbiegły się do optymalnej zdecentralizowanej strategii koordynacji.

8. Walidacja na dużą skalę

Strategię Dynamicznej Orkiestracji (Dynamic Orchestration Strategy) zwalidowano z wykorzystaniem zbioru danych FeederBW oraz zbioru danych sieci niskiego napięcia (LV) z 236 szynami w scenariuszach operacyjnych z wysokim stopniem penetracji energii odnawialnej. Walidacja oceniła zdolność zdecentralizowanej struktury orkiestracji do zarządzania dynamiczną akceptacją zasilaczy, przerywanym charakterem energii odnawialnej, propagacją przeciążeń oraz niestabilnością napięcia w połączonych systemach dystrybucyjnych LV. Oceńone scenariusze operacyjne obejmowały wysoką penetrację energii odnawialnej, zmienne zapotrzebowanie na moc, dynamiczną propagację przeciążeń, warunki wrażliwe na zmiany napięcia oraz zmienną pojemność akceptacji zasilaczy.

Wydajność struktury oceniono za pomocą wskaźnika akceptacji przyłączy, indeksu zgodności napięcia, wskaźnika redukcji przeciążeń, opóźnienia orchestracji, szybkości zbieżności, wydajności koordynacji zdecentralizowanej oraz zdolności do przyjmowania energii odnawialnej. Miary te posłużyły do oceny skalowalności, odporności, adaptacyjności i wydajności koordynacji. Zaproponowaną strukturę porównano z tradycyjnymi scentralizowanymi podejściami do orchestracji przyłączy przy tych samych konfiguracjach sieci. Do metod porównawczych zastosowano równoważne zestawy danych, scenariusze operacyjne, warunki oceny oraz miary wydajności.

Tabela 2 podsumowuje zestawy danych, warunki operacyjne, środowiska orchestracji oraz zmienne wydajności wykorzystane do walidacji eksperymentalnej. Zestaw danych FeederBW został użyty do oceny dynamiki pracy zasilacza, przerywaniczności źródeł odnawialnych, rozwoju zatorów, zmienności obciążenia w sektorze mieszkalnym oraz wahań napięcia w warunkach zasilaczy niskiego napięcia (LV). Zestaw danych LV z 236 magistralami został wykorzystany do oceny zdecentralizowanej orchestracji w większej sieci połączonej. Architekturę zwalidowano w zmiennych warunkach generacji odnawialnej, zapotrzebowania na moc, napięcia i zatorów. Koordynację zdecentralizowaną oraz optymalizację polityki opartą na uczeniu ze wzmocnieniem oceniono wspólnie we wszystkich agentach inteligentnych.

Do ilościowej oceny wydajności w dynamicznych warunkach pracy systemów energii odnawialnej wykorzystano wskaźniki takie jak: stopień akceptacji przyłączy, indeks zgodności napięcia, stopień redukcji przeciążeń, szybkość zbieżności oraz opóźnienie orchestracji.

Parametr eksperymentalny	Zbiór danych FeederBW	Zbiór danych sieci niskiego napięcia z 236 szynami	Cel walidacji
Typ sieci	Niskonapięciowa sieć zasilająca	Wielkoskalowa sieć dystrybucyjna niskiego napięcia (NN)	Ocena dynamicznej orchestracji
Liczba węzłów/szyn	Wiele węzłów zasilających	236 magistral	Analiza skalowalności
Integracja odnawialnych źródeł energii	Fotowoltaika i rozproszone źródła energii odnawialnej	Magistrale o wysokim stopniu penetracji energii odnawialnej	Walidacja niepewności źródeł odnawialnych
Charakterystyka zapotrzebowania na moc	Dynamiczne profile obciążenia budynków mieszkalnych	Wielkoskalowe wahania obciążenia linii zasilającej	Adaptacyjna orkiestracja obciążenia
Scenariusze zatoru	Stany przeciążenia i zatorów w sieciach zasilających	Propagacja zatorów w sieciach wielomagistralnych	Analiza łagodzenia zatorów
Warunki napięciowe	Profile fluktuacji napięcia	Warunki szyny czułe na napięcie	Ocena zgodności napięcia
Inteligentne agenty	Rozproszone agenty zasilające	Wielkoskalowe agenty współpracujące	Analiza koordynacji zdecentralizowanej
Środowisko uczenia się	Orkiestracja sterowana wzmocnieniem	Adaptacyjne uczenie wieloagentowe	Walidacja optymalizacji polityki
Warunki symulacji	Dynamiczna zmienność odnawialnych źródeł energii	Dynamiczna operacja na dużą skalę	testowanie orchestracji o niskich opóźnieniach
Wskaźniki wydajności	Wskaźnik akceptacji, redukcja przeciążeń	Zgodność napięcia, szybkość zbieżności	Ogólna wydajność orchestracji

Tabela 2: Walidacja eksperymentalna na dużą skalę. Ustawienia eksperymentalne wykorzystane do oceny skalowalności, niepewności energii odnawialnej i koordynacji zdecentralizowanej.

Wyniki

Wszystkie eksperymenty przeprowadzono pięciokrotnie, używając różnych ziarn losowości, aby zredukować wpływ stochastycznego uczenia. Obliczono wartości średnie z pięciu uruchomień. Dla wszystkich metod zastosowano te same zestawy danych, parametry symulacji, hiperparametry, kryteria stopu oraz procedury ewaluacji. Jako metody porównawcze wykorzystano Centralized Voltage Control (CVC)³³, Conventional Multi-Agent Control (CMAC)²¹, Reinforcement Learning-Based Voltage Regulation (RLVR)²⁰, Distributed Energy Resource Coordination (DERC)²⁶ oraz Sensitivity-Based Congestion Management (SBCM)³⁴.

Przy użyciu jednoczynnikowej analizy wariancji (ANOVA) przeprowadzono niezależne porównania statystyczne między proponowanymi ramami a technikami bazowymi (CVC, CMAC, RLVR, DERC oraz SBCM) dla każdej z metryk oceny. W przypadku stwierdzenia statystycznie istotnych różnic w analizie ANOVA, do porównań parzystych zastosowano test post hoc Tukeya (HSD). Próg istotności statystycznej ustalono na poziomie p < 0.001. Wszystkie analizy statystyczne wykonano za pomocą jednoczynnikowej analizy wariancji, a w odpowiednich przypadkach po teście post hoc dla istotnych różnic. Jednoczynnikową analizę ANOVA przeprowadzono z wykorzystaniem modułu statsmodels.stats.anova. Do testowania istotności statystycznej wykorzystano końcowe zbieżne wartości wydajności z pięciu oddzielnych uruchomień symulacji dla każdego podejścia. Celem pośrednich epizodów treningowych była wizualizacja procesu uczenia się; nie poddano ich testom istotności statystycznej.

Pozyskiwanie danych

Zbiory danych FeederBW oraz niskonapięciowej (LV) sieci rozdzielczej z 236 magistralami posłużyły do oceny proponowanego modelu w uzupełniających się warunkach eksploatacyjnych. Zbiór danych FeederBW dostarczył szeregów czasowych informacji o liniach zasilających, w tym napięcia, rozproszonych źródeł energii odnawialnej, zapotrzebowania na moc, warunków przeciążenia oraz charakterystyki przyjmowania obciążenia przez linię. Wykorzystano go do oceny dynamicznej pracy linii zasilających, przerywanego charakteru energii odnawialnej, zmienności obciążenia w sektorze mieszkalnym, propagacji przeciążeń oraz wahań napięcia.

Zbiór danych sieci rozpdzielczej niskiego napięcia z 236 szynami zawierał 236 połączonych szyn i obejmował topologie feederów, obszary wrażliwe na napięcie, warunki penetracji odnawialnych źródeł energii, stany przepływu mocy oraz scenariusze propagacji przeciążeń. Został on wykorzystany do oceny skoordynowanego sterowania rozproszonego, adaptacyjnej orkiestracji oraz skalowalności w większej, połączonej sieci rozpdzielczej. Tabela 3 i Tabela 4 podsumowują warunki walidacji eksperymentalnej oraz środowisko symulacyjne.

Parametr walidacji	Opis
Wykorzystane zbiory danych	Zbiór danych FeederBW oraz zbiór danych LV dla 236 szyn
Środowisko sieciowe	Dynamiczny niskonapięciowy system dystrybucyjny z dużym udziałem odnawialnych źródeł energii
Odnawialne źródła energii	Rozproszone systemy fotowoltaiczne (PV) i generatory energii odnawialnej
Ramy nauczania	Wieloagentowe uczenie ze wzmocnieniem (MARL)
Strategia koordynacji	Kolaboratywna zdecentralizowana orkiestracja
Scenariusze operacyjne	przerywaniczność odnawialnych źródeł energii, fluktuacje obciążenia, propagacja zatorów sieciowych
Liczba agentów inteligentnych	64 rozproszonych kolaboratywnych agentów na poziomieyasilacza
Cel walidacji	Optymalizacja akceptacji adaptacyjnego podajnika
Proces oceny	Orkiestracja w czasie rzeczywistym i koordynacja z uwzględnieniem czułości
Analiza porównawcza	W porównaniu z konwencjonalnymi metodami koordynacji scentralizowanej

Tabela 3: Parametry walidacji środowiskowej.Parametry walidacji wykorzystane do oceny adaptacyjnej organizacji w dynamicznych warunkach pracy przy niskim napięciu.

Komponent symulacyjny	Konfiguracja
Środowisko procesora	Wysokowydajny wielordzeniowy system przetwarzania
Środowisko programistyczne	Python 3.11.9
Ramy nauczania	Wieloagentowe uczenie ze wzmocnieniem (MARL)
Algorytm uczenia	Wieloagentowe uczenie ze wzmocnieniem w oparciu o Q-learning
Architektura sieci neuronowej	W pełni połączona sieć neuronowa z dwiema warstwami ukrytymi (128 i 64 neurony, aktywacja ReLU)
Optymalizator	Optymalizator Adam
Szybkość uczenia (α)	0.001
Współczynnik dyskontujący (γ)	0.99
Mechanizm powtórzeń	Bufor powtórek doświadczeń (pojemność: 100 000 przejść)
Rozmiar mini-wsadu	64
Polityka eksploracji	eksploracja ε-greedy (ε malejąca od 1,0 do 0,01)
Epizody szkoleniowe	500
Kryterium stopu	Osiągnięto maksymalną liczbę epizodów treningowych lub zbieżność skumulowanej nagrody
Modelowanie sieci	Dynamiczna symulacja sieci niskiego napięcia (LV)
Symulacja odnawialnych źródeł energii	Profile zmiennej generacji z odnawialnych źródeł energii
Koordynacja agentów	Rozproszona komunikacja kolaboracyjna
Przetwarzanie danych	Przetwarzanie stanu podajnika z synchronizacją w czasie rzeczywistym
Metoda optymalizacji	Adaptacyjne uczenie strategii w oparciu o wzmocnienie
Platforma eksperymentalna	Symulacja na dużą skalę z wykorzystaniem zbioru danych FeederBW oraz zbioru danych niskonapięciowej sieci rozdzielczej z 236 szynami
Monitorowanie wydajności	Współczynnik Akceptacji Zasilacza (FAR), Indeks Zgodności Napięcia (VCI), Współczynnik Redukcji Przeciążeń (CRR), Opóźnienie Orkiestracji (OL), Szybkość Konwergencji (CS) oraz Efektywność Koordynacji Zdecentralizowanej (DCE)
Waga nagrody (β)	0.3
Waga nagrody (δ)	0.25
Waga celu (ω₁)	0,30 (akceptacja komórek karmicielskich)
Waga celu (ω₂)	0,25 (Redukcja przekrwienia)
Waga celu (ω₃)	0,25 (zasięg napięcia)
Waga celu (ω₄)	0,20 (Opóźnienie Orkiestracji)
Współczynnik uczenia polityki (η)	0.001
Regularyzacja / Parametr równoważący (λ)	0.1

Tabela 4: Środowisko symulacyjne. Ustawienia symulacji zastosowane w eksperymentach dotyczących sterowania podajnikiem w oparciu o uczenie ze wzmocnieniem.

Przetwarzanie wstępne danych

Zsynchronizowane i znormalizowane dane umożliwiły spójne porównanie proponowanego modelu z metodami bazowymi. We wszystkich ewaluacjach wykorzystano te same wstępnie przetworzone stany sieci zasilających, profile generacji energii odnawialnej, warunki zapotrzebowania na moc, warunki napięciowe oraz scenariusze przeciążeń. Taka wspólna struktura danych wejściowych zredukowała różnice wynikające z przygotowania zbiorów danych i pozwoliła powiązać zaobserwowane różnice w wydajności z ocenianymi metodami orchestracji.

Dynamiczne modelowanie sieci niskiego napięcia

Dynamiczny model sieci niskiego napięcia (LV) odzwierciedlał zmienną generację z odnawialnych źródeł energii, zapotrzebowanie konsumentów, warunki napięcia, obciążenie linii zasilających oraz propagację przeciążeń. W takich warunkach proponowana struktura utrzymywała zdolność linii zasilających do przyjmowania energii, reagując jednocześnie na stany pracy wrażliwe na napięcie i przeciążenia. Model umożliwił ewaluację w warunkach fluktuującej generacji z odnawialnych źródeł energii, zmieniających się obciążeń konsumenckich oraz stanów sieci podatnych na przeciążenia. W tych warunkach współpracujące agenci realizowali priorytetyzację linii zasilających, koordynację zależną od napięcia, łagodzenie przeciążeń oraz adaptację odnawialnych źródeł energii bez sterowania scentralizowanego.

Inicjalizacja środowiska wieloagentowego

Zdecentralizowana konfiguracja agentów umożliwiała lokalną obserwację oraz koordynację podejmowania decyzji w regionach zasilających i węzłach sieci. Agenci wymieniali informacje o stanie zasilaczy oraz miary czułości z agentami sąsiadującymi, niezależnie wybierając działania koordynacyjne. Zaobserwowane zachowanie koordynacyjne wykazało, że rozproszona konfiguracja wspierała priorytetyzację zasilaczy, koordynację obciążenia, zarządzanie napięciem oraz reakcję na zakorkowanie sieci. Zdecentralizowana konfiguracja zmniejszyła również zależność od pojedynczego centralnego sterownika i umożliwiła koordynowaną pracę w ramach większej sieci składającej się z 236 szyn.

Uczenie agenta sterowane wzmocnieniem

Polityka sterowana przez wzmocnienie uległa poprawie w okresie treningu w zakresie akceptacji zasilaczy, zgodności napięcia, redukcji zatorów, opóźnienia orchestracji oraz szybkości konwergencji. Rysunek 3 porównuje wskaźnik akceptacji zasilaczy (FAR) proponowanego frameworku z CVC, CMAC, RLVR, DERC oraz SBCM. CVC wykazało najniższy FAR, który wzrósł z 62% do 70%. CMAC i DERC osiągnęły maksymalne wartości FAR odpowiednio na poziomie 75% i 78%. RLVR i SBCM osiągnęły odpowiednio 83% i 81%. Proponowany framework zwiększył FAR z 72% w początkowej fazie treningu do 97% w późniejszej fazie. Wynik ten wykazał, że kolaboracyjny proces uczenia przez wzmocnienie wspierał adaptacyjną akceptację zasilaczy w warunkach niepewności źródeł odnawialnych i zmieniających się warunków pracy sieci niskiego napięcia (LV).

Rycina 3: Współczynnik akceptacji dozownika (FAR). Porównanie FAR pomiędzy proponowanym frameworkiem a podstawowymi metodami koordynacji dozowników. Wartości przedstawiono jako średnia ± SD poprzez porównanie proponowanego frameworka z każdą z podstawowych metod w pięciu niezależnych przebiegach symulacji. Istotność statystyczną oceniano przy p < 0,001, z 95% przedziałami ufności. Skróty: FAR, Feeder Acceptance Rate; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 4 przedstawia Wskaźnik Zgodności Napięcia (VCI). Wartość CVC wzrosła z 70% do 77%, podczas gdy CMAC i DERC osiągnęły odpowiednio około 81% i 84%. RLVR i SBCM osiągnęły odpowiednio 88% i 86%. Proponowany model wzrósł z 78% w początkowej fazie uczenia do około 98% w punkcie zbieżności. Wyższy VCI wskazuje, że proponowane podejście skuteczniej utrzymywało zgodność napięcia niż metody porównawcze w warunkach przerywanej generacji energii odnawialnej i zmiennego zapotrzebowania na obciążenie.

Rycina 4: Wskaźnik zgodności napięcia (VCI). Analiza porównawcza VCI w dynamicznych warunkach pracy przy niskim napięciu. Wartości przedstawiono jako średnia ± SD poprzez porównanie proponowanej struktury z każdą metodą bazową w pięciu niezależnych uruchomieniach symulacji, z 95% przedziałami ufności i istotnością statystyczną ocenioną przy p < 0,001. Skróty: VCI, Voltage Compliance Index; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Prosimy kliknąć tutaj, aby wyświetlić większą wersję tej ryciny.

Mapa ciepła VCI na Rysunku 5 przedstawia progresję zgodności napięcia w trakcie epizodów treningowych. Zaproponowany model osiągnął wartości od 95% do 98% w późniejszych iteracjach. CVC utrzymało się na poziomie od 70% do 77%, podczas gdy RLVR i SBCM osiągnęły odpowiednio około 88% i 86%. Mapa ciepła wykazała zatem, że zaproponowany model utrzymał najwyższą wydajność w zakresie zgodności napięcia w późniejszych etapach uczenia.

Rysunek 5: Mapa ciepła Voltage Compliance Index (VCI). Mapa ciepła przedstawiająca wydajność VCI w zależności od iteracji treningowych i metod koordynacji zasilaczy. Skala kolorów reprezentuje wartość Voltage Compliance Index, gdzie jaśniejsze kolory wskazują niższe wartości VCI, a ciemniejsze kolory wyższe wartości VCI. Skróty: VCI, Voltage Compliance Index; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Tabela 5 przedstawia wskaźnik redukcji przeciążeń (CRR). Wartość CVC wzrosła z 48% do 63%. CMAC i DERC osiągnęły odpowiednio około 73% i 75%, podczas gdy RLVR osiągnął 80%, a SBCM 82%. Wartość dla proponowanego modelu wzrosła z 64% na początku treningu do około 96% po zbieżności. W stosunku do wartości końcowych metod porównawczych, proponowany model poprawił CRR o około 33% względem CVC, 23% względem CMAC, 16% względem RLVR, 21% względem DERC i 14% względem SBCM. Obserwacje te wykazały, że polityka kolaboracyjnej orchestracji skuteczniej redukowała propagację przeciążeń niż scentralizowane, konwencjonalne wieloagentowe, regulujące napięcie, oparte na rozproszonych zasobach oraz oparte na czułości metody porównawcze. Rysunek 6 porównuje opóźnienie orchestracji (OL). Raportowane opóźnienie orchestracji odpowiada zmierzonemu czasowi wykonania (wall-clock execution time) wymaganemu przez proponowany algorytm orchestracji podczas symulacji na opisanej platformie sprzętowej. Nie należy go interpretować jako fizycznego czasu pracy wdrożonej sieci dystrybucyjnej. Proponowany model zredukował OL z 220 ms do 98 ms. W momencie zbieżności metody CVC, CMAC, RLVR, DERC i SBCM wygenerowały opóźnienia wynoszące odpowiednio 283 ms, 253 ms, 215 ms, 242 ms i 205 ms. Zatem proponowany model zredukował opóźnienie o około 65%, 61%, 54%, 59% i 52% odpowiednio w stosunku do CVC, CMAC, RLVR, DERC i SBCM. Niższe opóźnienie wskazało, że zdecentralizowana współpraca umożliwiła szybsze podejmowanie decyzji w zakresie orchestracji linii zasilających.

Iteracja treningowa	CVC (%) (Średnia ± SD)	CMAC (%) (średnia ± SD)	RLVR (%) (Średnia ± SD)	DERC (%) (Średnia ± SD)	SBCM (%)(Średnia ± SD)	Proponowana metoda (%)(Średnia ± SD)
1	48.0 ± 0.5	52.0 ± 0.5	56.0 ± 0.4	54.0 ± 0.5	58.0 ± 0.4	64.0 ± 0.3
2	50.0 ± 0.5	54.0 ± 0.5	59.0 ± 0.4	56.0 ± 0.5	61.0 ± 0.4	68.0 ± 0.3
3	52.0 ± 0.5	57.0 ± 0.4	62.0 ± 0.4	59.0 ± 0.5	64.0 ± 0.4	72.0 ± 0.3
4	54.0 ± 0.4	60.0 ± 0.4	65.0 ± 0.4	62.0 ± 0.4	67.0 ± 0.4	76.0 ± 0.2
5	56.0 ± 0.4	62.0 ± 0.4	68.0 ± 0.3	64.0 ± 0.4	70.0 ± 0.3	80.0 ± 0.2
6	58.0 ± 0.4	65.0 ± 0.4	71.0 ± 0.3	67.0 ± 0.4	73.0 ± 0.3	84.0 ± 0.2
7	60.0 ± 0.4	67.0 ± 0.4	74.0 ± 0.3	69.0 ± 0.3	76.0 ± 0.3	87.0 ± 0.2
8	61.0 ± 0.4	69.0 ± 0.3	76.0 ± 0.3	71.0 ± 0.3	78.0 ± 0.3	90.0 ± 0.2
9	62.0 ± 0.4	71.0 ± 0.3	78.0 ± 0.3	73.0 ± 0.3	80.0 ± 0.3	93.0 ± 0.2
10	63.0 ± 0.4	73.0 ± 0.3	80.0 ± 0.3	75.0 ± 0.3	82.0 ± 0.3	96.0 ± 0.2

Tabela 5: Wskaźnik redukcji przeciążeń (CRR): Średnia ± SD wskaźnika redukcji przeciążeń (CRR) z pięciu niezależnych uruchomień symulacji porównujących proponowaną strukturę z podstawowymi metodami orchestracji sieci zasilających. Skróty: CRR, wskaźnik redukcji przeciążeń (Congestion Reduction Rate); CVC, scentralizowane sterowanie napięciem (Centralized Voltage Control); CMAC, konwencjonalne sterowanie wieloagentowe (Conventional Multi-Agent Control); RLVR, regulacja napięcia oparta na uczeniu przez wzmacnianie (Reinforcement Learning-Based Voltage Regulation); DERC, koordynacja rozproszonych zasobów energetycznych (Distributed Energy Resource Coordination); SBCM, zarządzanie przeciążeniami w oparciu o czułość (Sensitivity-Based Congestion Management).

Rycina 6: Opóźnienie orchestracji (OL). Analiza porównawcza opóźnienia orchestracji podczas adaptacyjnej zdecentralizowanej koordynacji zasilaczy. Wartości przedstawiono jako średnia ± SD poprzez porównanie proponowanego modelu z każdą z metod bazowych w pięciu niezależnych uruchomieniach symulacji, z 95% przedziałami ufności i istotnością statystyczną ocenioną przy p < 0.001. Skróty: OL, Orchestration Latency; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 7 przedstawia prędkość zbieżności (CS). CVC wzrosło z 42% do 67% po 20 epizodach treningowych. CMAC i DERC osiągnęły odpowiednio około 74% i 79%. RLVR osiągnęło 87%, a SBCM około 90%. Zaproponowany framework wzrósł z 58% w pierwszym epizodzie do 98,5% w momencie zbieżności, przekraczając 93% w dziesiątym epizodzie. Zaproponowany framework poprawił końcową wydajność zbieżności o 31,5% w stosunku do CVC, o 24,5% w stosunku do CMAC, o 11,5% w stosunku do RLVR, o 19,5% w stosunku do DERC oraz o 8,5% w stosunku do SBCM. Wyniki te wykazały, że zaproponowana polityka szybciej osiągnęła stabilną wydajność orchestracji niż metody porównawcze.

Rysunek 7: Prędkość zbieżności (CS). Krzywe zbieżności wykazujące efektywność adaptacyjnego uczenia się oraz prędkość zbieżności orchestracji dla ocenianych metod. Skróty: CS, Convergence Speed (prędkość zbieżności); CVC, Centralized Voltage Control (centralne sterowanie napięciem); CMAC, Conventional Multi-Agent Control (konwencjonalne sterowanie wieloagentowe); RLVR, Reinforcement Learning-Based Voltage Regulation (regulacja napięcia oparta na uczeniu ze wzmocnieniem); DERC, Distributed Energy Resource Coordination (koordynacja rozproszonych zasobów energii); SBCM, Sensitivity-Based Congestion Management (zarządzanie przeciążeniami w oparciu o czułość). Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Współdzielona orchestracja akceptacji i optymalizacja decyzji adaptacyjnych o niskim opóźnieniu

Rysunek 8 przedstawia efektywność koordynacji zdecentralizowanej (DCE). CVC wykazało najniższą wartość DCE na poziomie 68%. CMAC osiągnęło 75%, DERC 79%, RLVR 84%, a SBCM 88%. Zaproponowany model osiągnął wartość DCE wynoszącą 97%. Zaproponowany model przewyższył CVC o 29 punktów procentowych, CMAC o 22 punkty procentowe, RLVR o 13 punktów procentowych, DERC o 18 punktów procentowych oraz SBCM o 9 punktów procentowych. Wynik ten wykazał, że lokalna wymiana informacji, koordynacja agentów sąsiadujących oraz zdecentralizowana optymalizacja polityki wspierają bardziej efektywną koordynację niż metody porównawcze.

Rysunek 8: Wydajność koordynacji zdecentralizowanej (DCE). Analiza porównawcza DCE podczas współpracy inteligentnych agentów. Wartości przedstawiono jako średnia ± SD, porównując proponowany schemat z każdą z metod bazowych w pięciu niezależnych uruchomieniach symulacji, przy 95% przedziałach ufności i istotności statystycznej ocenianej na poziomie p < 0,001. Skróty: DCE, Decentralized Coordination Efficiency; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 9 oraz Tabela 6 przedstawiają Zdolność Przyjęcia Energii Odnawialnej (RAC). Wartość CVC wzrosła z 52% do 63%. Wartości CMAC i DERC osiągnęły odpowiednio około 72% i 76%. RLVR osiągnął około 83%, a SBCM osiągnął 86%. Proponowana struktura wzrosła z 70% na początku uczenia do 97% w punkcie zbieżności. Proponowana struktura przewyższyła CVC o 34 punkty procentowe, CMAC o 25 punktów procentowych, RLVR o 14 punktów procentowych, DERC o 21 punktów procentowych oraz SBCM o 11 punktów procentowych. Wyniki te wykazały, że proponowane podejście do orkiestracji umożliwiło przyjęcie większego udziału generacji odnawialnej przy jednoczesnym zachowaniu pracy linii zasilającej, parametrów napięcia oraz kontroli zatorów.

Rysunek 9: Zdolność do przyjmowania energii odnawialnej (RAC). Analiza porównawcza RAC w systemach zasilaczy bogatych w źródła odnawialne. Wartości przedstawiono jako średnia ± SD, porównując proponowany model z każdą z metod bazowych w pięciu niezależnych przebiegach symulacji, przy przedziałach ufności 95% i istotności statystycznej ocenianej na poziomie p < 0.001. Skróty: RAC, Renewable Accommodation Capability; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Iteracja treningowa	CVC (%) (średnia ± SD)	CMAC (%) (średnia ± SD)	RLVR (%) (Średnia ± SD)	DERC (%) (średnia ± SD)	SBCM (%) (średnia ± SD)	Proponowana metoda (%) (średnia ± SD)
1	52.0 ± 0.5	58.0 ± 0.5	64.0 ± 0.4	60.0 ± 0.5	66.0 ± 0.4	70.0 ± 0.3
2	54.0 ± 0.5	60.0 ± 0.5	67.0 ± 0.4	62.0 ± 0.5	69.0 ± 0.4	74.0 ± 0.3
3	55.0 ± 0.4	62.0 ± 0.4	70.0 ± 0.4	64.0 ± 0.4	72.0 ± 0.4	78.0 ± 0.3
4	57.0 ± 0.4	64.0 ± 0.4	73.0 ± 0.3	66.0 ± 0.4	75.0 ± 0.3	82.0 ± 0.2
5	58.0 ± 0.4	66.0 ± 0.4	75.0 ± 0.3	68.0 ± 0.4	77.0 ± 0.3	86.0 ± 0.2
6	59.0 ± 0.4	67.0 ± 0.4	77.0 ± 0.3	70.0 ± 0.3	79.0 ± 0.3	89.0 ± 0.2
7	60.0 ± 0.4	68.0 ± 0.3	79.0 ± 0.3	72.0 ± 0.3	81.0 ± 0.3	91.0 ± 0.2
8	61.0 ± 0.4	69.0 ± 0.3	80.0 ± 0.3	73.0 ± 0.3	83.0 ± 0.3	93.0 ± 0.2
9	62.0 ± 0.4	70.0 ± 0.3	81.0 ± 0.3	74.0 ± 0.3	84.0 ± 0.3	95.0 ± 0.2
10	63.0 ± 0.4	72.0 ± 0.3	83.0 ± 0.3	76.0 ± 0.3	86.0 ± 0.3	97.0 ± 0.2

Tabela 6: Zdolność do przyjęcia energii odnawialnej (RAC): Średnia ± SD zdolności do przyjęcia energii odnawialnej (RAC) z pięciu niezależnych serii symulacji porównujących proponowany model z podstawowymi metodami organizacji linii zasilających. Skróty: RAC, Renewable Accommodation Capability; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management.

Ocena wrażliwości na napięcie i zatłoczenie

Rysunek 10 przedstawia stabilność czułości napięciowej (VSS). Wskaźnik CVC wzrósł z 60% do 69%. Wartości CMAC i DERC osiągnęły odpowiednio około 76% i 78%, natomiast RLVR osiągnął 84%. Zaproponowany schemat wykazał wzrost z 74% w początkowej fazie uczenia do 98% po osiągnięciu zbieżności. Zaproponowany schemat przewyższył CVC o 29 punktów procentowych, CMAC o 22 punkty procentowe, RLVR o 14 punktów procentowych, DERC o 20 punktów procentowych oraz SBCM o 12 punktów procentowych. Wyniki te wykazały, że schemat uwzględniający czułość utrzymał wyższą sprawność zasilaczy czułych na napięcie w warunkach przerywalności źródeł odnawialnych, zmiennego zapotrzebowania na obciążenie i dynamicznych zatorów.

Rysunek 10: Stabilność czułości napięciowej (VSS). Analiza porównawcza stabilności czułości napięciowej podczas adaptacyjnego, świadomego napięcia zarządzania zasilaczami. Wartości przedstawiono jako średnia ± SD, porównując proponowany model z każdą z metod bazowych w pięciu niezależnych uruchomieniach symulacji, z 95% przedziałami ufności i istotnością statystyczną ocenioną przy p < 0,001. Skróty: VSS, Voltage Sensitivity Stability; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rycina 11 przedstawia Wskaźnik Czułości na Zatory (Congestion Sensitivity Index – CSI). Wartość CVC wzrosła z 52% do 63%. Wartości CMAC i DERC osiągnęły odpowiednio 72% i 76%. RLVR osiągnął około 83%, a SBCM około 86%. Wartość dla proponowanego frameworka wzrosła z 72% na początku treningu do około 98% na jego końcu. Proponowany framework przewyższył CVC o około 35 punktów procentowych, CMAC o 26 punktów procentowych, RLVR o 15 punktów procentowych, DERC o 22 punkty procentowe oraz SBCM o 12 punktów procentowych. Mapa ciepła wykazała, że proponowane podejście utrzymało najwyższą wydajność w zakresie czułości na zatory podczas późniejszych etapów treningu.

Rycina 11: Mapa ciepła Wskaźnika Wrażliwości na Przeciążenia (CSI). Mapa ciepła przedstawiająca wydajność w zakresie wrażliwości na przeciążenia w poszczególnych etapach treningu oraz dla różnych metod koordynacji zasilaczy. Skala kolorów reprezentuje wielkość Wskaźnika Wrażliwości na Przeciążenia, gdzie jaśniejsze kolory wskazują niższe wartości CSI, a ciemniejsze kolory wskazują wyższe wartości CSI. Skróty: CSI, Congestion Sensitivity Index (Wskaźnik Wrażliwości na Przeciążenia); CVC, Centralized Voltage Control (Scentralizowane Sterowanie Napięciem); CMAC, Conventional Multi-Agent Control (Konwencjonalne Sterowanie Wieloagentowe); RLVR, Reinforcement Learning-Based Voltage Regulation (Regulacja Napięcia Oparta na Uczeniu ze Wzmocnieniem); DERC, Distributed Energy Resource Coordination (Koordynacja Rozproszonych Zasobów Energetycznych); SBCM, Sensitivity-Based Congestion Management (Zarządzanie Przeciążeniami w Oparciu o Wrażliwość). Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Walidacja na dużą skalę

Rysunek 12 i Tabela 7 przedstawiono wskaźnik stabilności odgałęzień (Feeder Stability Index, FSI). Metoda CVC osiągnęła średni FSI na poziomie 64,7%, podczas gdy metody CMAC i DERC osiągnęły średnio odpowiednio 72,5% i 76,0%. Metoda RLVR uzyskała średni FSI wynoszący 81,5%. Zaproponowany model osiągnął 97% stabilności napięcia, 96% kontroli przeciążeń, 95% zdolności integracji odnawialnych źródeł energii, 94% efektywności bilansowania obciążeń, 98% efektywności koordynacji oraz 97% szybkości reakcji. Wartości tych komponentów przełożyły się na średni FSI wynoszący około 96,2%. Zaproponowany model poprawił średni FSI o około 31,5 punktu procentowego w porównaniu do CVC, o 23,7 punktu procentowego w porównaniu do CMAC, o 14,7 punktu procentowego w porównaniu do RLVR, o 20,2 punktu procentowego w porównaniu do DERC oraz o 11,7 punktu procentowego w porównaniu do SBCM. Zrównoważone wartości komponentów wykazały, że model utrzymał wydajność w zakresie stabilności napięcia, zarządzania przeciążeniami, integracji odnawialnych źródeł energii, bilansowania obciążeń, efektywności koordynacji oraz szybkości reakcji. Dla każdego przebiegu symulacji do wyznaczenia całkowitego FSI wykorzystano średnią arytmetyczną sześciu komponentów wydajności: stabilności napięcia, kontroli przeciążeń, integracji odnawialnych źródeł energii, bilansowania obciążeń, efektywności koordynacji oraz szybkości reakcji. Do obliczenia podanej średniej i odchylenia standardowego wykorzystano pięć oddzielnych przebiegów symulacji.

Figura 12: Wskaźnik stabilności linii zasilającej (FSI). Porównanie na wykresie radarowym wskaźnika stabilności linii zasilającej dla proponowanego modelu oraz metod bazowych w sześciu komponentach wydajności: stabilności napięcia, kontroli przeciążeń, integracji odnawialnych źródeł energii, równoważenia obciążeń, efektywności koordynacji i prędkości odpowiedzi. Wyższe wartości wskazują na lepszą wydajność każdego komponentu. Skróty: FSI, Feeder Stability Index; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Kliknij tutaj, aby zobaczyć powiększoną wersję tej figury.

Parametr oceny	CVC (%) (średnia ± SD)	CMAC (%) (Średnia ± SD)	RLVR (%) (średnia ± SD)	DERC (%) (średnia ± SD)	SBCM (%) (średnia ± SD)	Proponowana metoda (%) (średnia ± SD)
Stabilność napięcia	68.0 ± 0.6	74.0 ± 0.5	82.0 ± 0.4	77.0 ± 0.5	86.0 ± 0.3	97.0 ± 0.2
Sterowanie przeciążeniami	64.0 ± 0.6	71.0 ± 0.5	79.0 ± 0.4	74.0 ± 0.5	84.0 ± 0.3	96.0 ± 0.2
Integracja odnawialnych źródeł energii	62.0 ± 0.5	70.0 ± 0.5	81.0 ± 0.4	76.0 ± 0.4	83.0 ± 0.3	95.0 ± 0.2
Równoważenie obciążenia	66.0 ± 0.5	73.0 ± 0.4	80.0 ± 0.4	75.0 ± 0.4	82.0 ± 0.3	94.0 ± 0.2
Efektywność koordynacji	65.0 ± 0.5	75.0 ± 0.4	83.0 ± 0.3	78.0 ± 0.4	87.0 ± 0.3	98.0 ± 0.2
Szybkość odpowiedzi	63.0 ± 0.5	72.0 ± 0.4	84.0 ± 0.3	76.0 ± 0.4	85.0 ± 0.3	97.0 ± 0.2
Średni wynik FSI	64.7 ± 0.5	72.5 ± 0.5	81.5 ± 0.4	76.0 ± 0.4	84.5 ± 0.3	96.2 ± 0.2

Tabela 7: Indeks stabilności linii zasilającej (FSI): Średnia ± SD Indeksu stabilności linii zasilającej (FSI) z pięciu niezależnych uruchomień symulacji w oparciu o stabilność napięcia, kontrolę przeciążeń, integrację odnawialnych źródeł energii, równoważenie obciążenia, efektywność koordynacji i prędkość odpowiedzi. Skróty: FSI, Indeks stabilności linii zasilającej; CVC, scentralizowana kontrola napięcia; CMAC, konwencjonalna kontrola wieloagentowa; RLVR, regulacja napięcia oparta na uczeniu przez wzmacnianie; DERC, koordynacja rozproszonych zasobów energetycznych; SBCM, zarządzanie przeciążeniami w oparciu o czułość.

Rysunek 13 przedstawia efektywność równoważenia obciążenia (Load Balancing Efficiency – LBE). CVC osiągnął całkowitą wartość LBE na poziomie około 68%, na co złożyło się 42% zrównoważonego rozkładu obciążenia, 18% umiarkowanej stabilności obciążenia oraz 8% dynamicznego równoważenia adaptacyjnego. CMAC i DERC osiągnęły wartości całkowite wynoszące odpowiednio około 80% i 86%. RLVR osiągnął około 92%, a SBCM około 96%. Zaproponowane rozwiązanie osiągnęło całkowitą wartość LBE na poziomie około 98%, na co złożyło się 72% zrównoważonego rozkładu obciążenia, 20% umiarkowanej stabilności obciążenia oraz 6% dynamicznego równoważenia adaptacyjnego. Wynik ten wykazał, że proponowane podejście utrzymało najwyższą ogólną wydajność równoważenia obciążenia spośród ocenianych metod.

Rycina 13: Wydajność Równoważenia Obciążenia (LBE). Skumulowane porównanie słupkowe wydajności równoważenia obciążenia dla proponowanego modelu oraz metod bazowych. Każdy skumulowany słupek składa się z trzech komponentów wydajności: Zrównoważonego Rozkładu Obciążenia, Umiarkowanej Stabilności Obciążenia, oraz Dynamicznego Adaptacyjnego Równoważenia, których wspólne wartości reprezentują całkowitą wartość LBE dla każdej metody. Wyższe wartości całkowite wskazują na lepszą wydajność równoważenia obciążenia. Skróty: LBE, Load Balancing Efficiency (Wydajność Równoważenia Obciążenia); CVC, Centralized Voltage Control (Scentralizowane Sterowanie Napięciem); CMAC, Conventional Multi-Agent Control (Konwencjonalne Sterowanie Wieloagentowe); RLVR, Reinforcement Learning-Based Voltage Regulation (Regulacja Napięcia oparta na uczeniu przez wzmacnianie); DERC, Distributed Energy Resource Coordination (Koordynacja Rozproszonych Zasobów Energii); SBCM, Sensitivity-Based Congestion Management (Zarządzanie Przeciążeniami oparte na czułości). Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rycina 14 przedstawia efektywność wykorzystania odnawialnych źródeł energii (RUE). Wartość CVC wzrosła z 50% do 61%. CMAC i DERC osiągnęły odpowiednio 70% i 75%. RLVR osiągnął 82%, a SBCM 86%. Wartość dla proponowanego modelu wzrosła z 72% w początkowej fazie uczenia do około 98% w punkcie zbieżności. Proponowany model przewyższył CVC o około 37 punktów procentowych, CMAC o 28 punktów procentowych, RLVR o 16 punktów procentowych, DERC o 23 punkty procentowe oraz SBCM o 12 punktów procentowych. Wyższe RUE wykazało, że proponowana polityka orkiestracji wykorzystywała większą część dostępnej generacji odnawialnej w zmiennych warunkach obciążenia i przeciążenia sieci.

Rycina 14: Efektywność wykorzystania zasobów odnawialnych (RUE). Analiza porównawcza RUE podczas orchestracji sieci zasilających niskiego napięcia. Wartości przedstawiono jako średnia ± SD, porównując proponowaną strukturę z każdą z metod bazowych w pięciu niezależnych uruchomieniach symulacji, z 95-procentowymi przedziałami ufności i ocenioną istotnością statystyczną na poziomie p < 0.001Skróty: RUE, efektywność wykorzystania odnawialnych źródeł energii (Renewable Utilization Efficiency); CVC, scentralizowane sterowanie napięciem (Centralized Voltage Control); CMAC, konwencjonalne sterowanie wieloagentowe (Conventional Multi-Agent Control); RLVR, regulacja napięcia oparta na uczeniu ze wzmocnieniem (Reinforcement Learning-Based Voltage Regulation); DERC, koordynacja rozproszonych zasobów energetycznych (Distributed Energy Resource Coordination); SBCM, zarządzanie przeciążeniami oparte na analizie wrażliwości (Sensitivity-Based Congestion Management). Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 15 oraz Tabela 8 przedstawiają dokładność adaptacyjnego podejmowania decyzji (Adaptive Decision Accuracy, ADA). W proponowanej strukturze wartość ta wzrosła z 78% do 99%. Metody CVC, CMAC, RLVR, DERC i SBCM zbiegły się odpowiednio do wartości 68%, 76%, 86%, 79% i 88%. Proponowana struktura przewyższyła CVC o około 31 punktów procentowych, CMAC o 23 punkty procentowe, RLVR o 13 punktów procentowych, DERC o 20 punktów procentowych oraz SBCM o 11 punktów procentowych. Wyższe ADA wskazuje, że agenci współpracujący podejmowali dokładniejsze decyzje dotyczące orchestracji w warunkach pracy LV z dużym udziałem odnawialnych źródeł energii.

Rycina 15: Dokładność adaptacyjnego podejmowania decyzji (ADA). Analiza porównawcza ADA dla proponowanego frameworka orchestracji oraz metod bazowych. Wartości przedstawiono jako średnia ± SD poprzez porównanie proponowanego frameworka z każdą z metod bazowych w pięciu niezależnych przebiegach symulacji, z 95% przedziałami ufności i istotnością statystyczną ocenianą przy p < 0,001. Skróty: ADA, Adaptive Decision Accuracy; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Epoka treningowa	CVC (%) (Średnia ± SD)	CMAC (%) (średnia ± SD)	RLVR (%) (Średnia ± SD)	DERC (%) (średnia ± SD)	SBCM (%) (średnia ± SD)	Proponowana metoda (%) (średnia ± SD)
1	58.0 ± 0.5	64.0 ± 0.5	70.0 ± 0.4	66.0 ± 0.5	72.0 ± 0.4	78.0 ± 0.3
2	60.0 ± 0.5	66.0 ± 0.5	73.0 ± 0.4	68.0 ± 0.5	75.0 ± 0.4	82.0 ± 0.3
3	61.0 ± 0.4	68.0 ± 0.4	76.0 ± 0.4	70.0 ± 0.4	78.0 ± 0.4	86.0 ± 0.2
4	62.0 ± 0.4	70.0 ± 0.4	78.0 ± 0.3	72.0 ± 0.4	80.0 ± 0.3	89.0 ± 0.2
5	63.0 ± 0.4	71.0 ± 0.4	80.0 ± 0.3	74.0 ± 0.4	82.0 ± 0.3	91.0 ± 0.2
6	64.0 ± 0.4	72.0 ± 0.4	82.0 ± 0.3	75.0 ± 0.3	84.0 ± 0.3	93.0 ± 0.2
7	65.0 ± 0.4	73.0 ± 0.3	83.0 ± 0.3	76.0 ± 0.3	85.0 ± 0.3	95.0 ± 0.2
8	66.0 ± 0.4	74.0 ± 0.3	84.0 ± 0.3	77.0 ± 0.3	86.0 ± 0.3	96.0 ± 0.2
9	67.0 ± 0.4	75.0 ± 0.3	85.0 ± 0.3	78.0 ± 0.3	87.0 ± 0.3	97.0 ± 0.2
10	68.0 ± 0.4	76.0 ± 0.3	86.0 ± 0.3	79.0 ± 0.3	88.0 ± 0.3	99.0 ± 0.2

Tabela 8: Dokładność decyzji adaptacyjnych (ADA): Średnia ± SD dokładności decyzji adaptacyjnych (ADA) z pięciu niezależnych uruchomień symulacji porównujących proponowany inteligentny system orchestracji zasilaczy z metodami bazowymi. Skróty: ADA, Adaptive Decision Accuracy; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management.

Tabela 9 przedstawia poprawę niezawodności systemu (SRI). Wskaźnik CVC wzrósł z 60% do 69%. CMAC osiągnął około 78%, DERC około 81%, RLVR około 86%, a SBCM około 88%. Proponowany framework wzrósł z 80% w fazie wczesnego uczenia się do około 99% w punkcie zbieżności. Proponowany framework przewyższył CVC o około 30 punktów procentowych, CMAC o 21 punktów procentowych, RLVR o 13 punktów procentowych, DERC o 18 punktów procentowych oraz SBCM o 11 punktów procentowych. Wyższy wskaźnik SRI wykazał, że proponowany framework zapewnia ciągłość zasilania, stabilność napięcia, kontrolę przeciążeń oraz adaptacyjną integrację odnawialnych źródeł energii skuteczniej niż metody porównawcze.

Iteracja treningu	CVC (%) (Średnia ± SD)	CMAC (%) (Średnia ± SD)	RLVR (%) (Średnia ± SD)	DERC (%) (Średnia ± SD)	SBCM (%) (Średnia ± SD)	Proponowana metoda (%) (Średnia ± SD)
1	60.0 ± 0.5	66.0 ± 0.5	72.0 ± 0.4	68.0 ± 0.5	75.0 ± 0.4	80.0 ± 0.3
2	61.0 ± 0.5	68.0 ± 0.5	74.0 ± 0.4	70.0 ± 0.5	77.0 ± 0.4	84.0 ± 0.3
3	62.0 ± 0.4	70.0 ± 0.4	76.0 ± 0.4	72.0 ± 0.4	79.0 ± 0.4	87.0 ± 0.2
4	63.0 ± 0.4	72.0 ± 0.4	78.0 ± 0.3	74.0 ± 0.4	81.0 ± 0.3	90.0 ± 0.2
5	64.0 ± 0.4	73.0 ± 0.4	80.0 ± 0.3	76.0 ± 0.4	83.0 ± 0.3	92.0 ± 0.2
6	65.0 ± 0.4	74.0 ± 0.4	82.0 ± 0.3	77.0 ± 0.3	84.0 ± 0.3	94.0 ± 0.2
7	66.0 ± 0.4	75.0 ± 0.3	83.0 ± 0.3	78.0 ± 0.3	85.0 ± 0.3	95.0 ± 0.2
8	67.0 ± 0.4	76.0 ± 0.3	84.0 ± 0.3	79.0 ± 0.3	86.0 ± 0.3	96.0 ± 0.2
9	68.0 ± 0.4	77.0 ± 0.3	85.0 ± 0.3	80.0 ± 0.3	87.0 ± 0.3	97.0 ± 0.2
10	69.0 ± 0.4	78.0 ± 0.3	86.0 ± 0.3	81.0 ± 0.3	88.0 ± 0.3	99.0 ± 0.2

Tabela 9: Poprawa niezawodności systemu (SRI): Średnia ± SD poprawy niezawodności systemu (SRI) z pięciu niezależnych uruchomień symulacji w warunkach niskonapięciowych sieci dystrybucyjnych z dużym udziałem odnawialnych źródeł energii. Skróty: SRI, System Reliability Improvement (poprawa niezawodności systemu); CVC, Centralized Voltage Control (centralizowane sterowanie napięciem); CMAC, Conventional Multi-Agent Control (konwencjonalne sterowanie wieloagentowe); RLVR, Reinforcement Learning-Based Voltage Regulation (regulacja napięcia oparta na uczeniu ze wzmocnieniem); DERC, Distributed Energy Resource Coordination (koordynacja rozproszonych zasobów energetycznych); SBCM, Sensitivity-Based Congestion Management (zarządzanie przeciążeniami w oparciu o analizę wrażliwości).

Zaproponowany model został oceniony w zróżnicowanych warunkach generacji energii odnawialnej, zapotrzebowania na moc, napięcia oraz przeciążeń, z wykorzystaniem zbiorów danych FeederBW i 236-bus LV. Oceniono akceptację linii zasilającej, zgodność napięcia, redukcję przeciążeń, opóźnienie orchestracji, szybkość zbieżności, koordynację zdecentralizowaną, adaptację odnawialnych źródeł energii, czułość napięcia, czułość na przeciążenia, stabilność linii zasilającej, równoważenie obciążenia, wykorzystanie energii odnawialnej, dokładność decyzji oraz niezawodność systemu.

W ramach tych pomiarów zaproponowany model przyniósł najwyższe wartości końcowe dla FAR, VCI, CRR, CS, DCE, RAC, VSS, CSI, FSI, LBE, RUE, ADA oraz SRI, a najniższą wartość OL. Ponieważ metody bazowe zostały ocenione na tych samych zbiorach danych, scenariuszach operacyjnych, w tym samym środowisku symulacyjnym oraz przy zastosowaniu tych samych kryteriów zatrzymania i metryk oceny, porównania te potwierdziły hipotezę, że kolaboracyjne uczenie ze wzmocnieniem dla wielu agentów, w połączeniu z oceną wrażliwości na napięcie i przeciążenia, poprawiło adaptacyjną akceptację zasilaczy w stosunku do ocenianych scentralizowanych i rozproszonych metod porównawczych.

Wyniki wykazały, że Strategia Dynamicznej Orkiestracji poprawiła akceptację zasilaczy, zgodność napięcia, redukcję kongestii, adaptację odnawialnych źródeł energii, bilansowanie obciążenia, zdecentralizowaną koordynację, dokładność decyzji oraz niezawodność systemu, jednocześnie redukując opóźnienia orkiestracji. Ramy te zbiegały się również szybciej niż metody porównawcze. W ocenianych warunkach symulacyjnych wyniki te potwierdziły postawioną hipotezę, że kolaboracyjne, uwzględniające wrażliwość, zdecentralizowane uczenie ze wzmocnieniem może usprawnić orkiestrację zasilaczy niskiego napięcia w warunkach niepewności generacji odnawialnej oraz zmiennych warunków obciążenia i kongestii.

DOSTĘPNOŚĆ DANYCH:

Zbiór danych FeederBW jest publicznie dostępny pod adresem https://doi.org/10.5281/zenodo.17831177, a zbiór danych niskonapięciowej sieci rozdzielczej z 236 szynami (236-Bus Low-Voltage Distribution Network) jest publicznie dostępny pod adresem https://doi.org/10.5281/zenodo.8274780. Implementacja w języku Python opracowana na potrzeby niniejszego badania, wraz ze środowiskiem symulacyjnym, modułami preprocessingu, środowiskiem wieloagentowego uczenia ze wzmocnieniem, skryptami do trenowania i ewaluacji modelu, plikami konfiguracyjnymi oraz formatami danych wejściowych niezbędnymi do odtworzenia proponowanej metodologii, została zdeponowana w serwisie Zenodo i jest publicznie dostępna pod adresem https://doi.org/10.5281/zenodo.21423239. Repozytorium to umożliwia reprodukowalność metodologii oraz eksperymentów opisanych w niniejszym badaniu.

Plik uzupełniający 1. Wyprowadzenia matematyczne, algorytm i szczegóły implementacji proponowanej Strategii Dynamicznej Orkiestracji. Niniejszy plik uzupełniający zawiera sformułowania matematyczne wspierające każdy etap proponowanego schematu, w tym wstępne przetwarzanie danych, dynamiczne modelowanie sieci niskiego napięcia, inicjalizację środowiska wieloagentowego, uczenie agentów sterowane przez wzmocnienie, ocenę wrażliwości na napięcie i zatłoczenie, kolaboracyjną orkiestrację akceptacji zasilaczy oraz metryki oceny wydajności. Zawiera on również Algorytm 1, który opisuje procedurę kolaboracyjnej orkiestracji akceptacji zasilaczy, wraz z matematycznymi definicjami metryk oceny wykorzystanych w niniejszym badaniu.Kliknij tutaj, aby pobrać ten plik.

Dyskusja

Wyniki doświadczalne wykazały, że proponowana Dynamiczna Strategia Orkiestracji (Dynamic Orchestration Strategy) poprawiła zdecentralizowaną koordynację linii zasilających, integrację odnawialnych źródeł energii, stabilność napięcia, zarządzanie przeciążeniami oraz orkiestrację o niskich opóźnieniach w porównaniu z Centralnym Sterowaniem Napięciem (CVC)³³, Konwencjonalnym Sterowaniem Wieloagentowym (CMAC)²¹, Regulacją Napięcia Opartą na Uczeniu przez Wzmocnienie (RLVR)²⁰, Koordynacją Rozproszonych Zasobów Energetycznych (DERC)²⁶ oraz Zarządzaniem Przeciążeniami w Oparciu o Czułość (SBCM)³⁴. W zakresie ocenianego Wskaźnika Akceptacji Linii Zasilających (FAR), Indeksu Zgodności Napięcia (VCI), Wskaźnika Redukcji Przeciążeń (CRR), Wydajności Koordynacji Zdecentralizowanej (DCE), Wydajności Wykorzystania Energii Odnawialnej (RUE), Dokładności Decyzji Adaptacyjnych (ADA) oraz Poprawy Niezawodności Systemu (SRI), proponowany schemat osiągnął wyższą wydajność w testowanych warunkach. Wyniki uzyskane przy użyciu zbiorów danych FeederBW oraz 236-bus niskiego napięcia (LV) wskazały, że połączenie kolaboracyjnego wieloagentowego uczenia przez wzmocnienie z oceną czułości na napięcie i przeciążenia poprawiło wydajność i szybkość adaptacyjnej orkiestracji linii zasilających.

Analiza porównawcza wykazała również, że scentralizowane i oparte na regułach metody koordynacji charakteryzowały się wolniejszą reakcją orchestracji, niższą zdolnością do przyjmowania energii odnawialnej, mniejszą wydajnością koordynacji adaptacyjnej oraz bardziej ograniczoną skalowalnością w zmiennych warunkach pracy linii zasilających^33,34. Chociaż RLVR i SBCM radziły sobie lepiej niż pozostałe metody porównawcze dzięki komponentom uczenia przez wzmacnianie oraz zarządzania przeciążeniami z uwzględnieniem czułości, nie zapewniały one współpracy w ramach zdecentralizowanego mechanizmu orchestracji akceptacji linii zasilających. W przeciwieństwie do nich, zaproponowany model łączył współpracujących agentów inteligentnych, priorytetyzację linii zasilających z uwzględnieniem czułości, adaptacyjną optymalizację orchestracji oraz zdecentralizowane uczenie polityk. Szybsza zbieżność i wyższe wskaźniki stabilności sugerowały, że ta złożona struktura wspierała pracę linii zasilających w zmiennych warunkach generacji energii odnawialnej, obciążenia, napięcia i przeciążeń.

Zdecentralizowana architektura wieloagentowego uczenia ze wzmacnianiem rozdziela proces podejmowania decyzji pomiędzy agentów na poziomie linii zasilających, zamiast polegać na pojedynczym centralnym sterowniku. Wraz ze zwiększaniem rozmiaru sieci dystrybucyjnej poszczególni agenci wykonywali lokalne obliczenia i wymieniali jedynie informacje koordynacyjne wymagane przez sąsiednich agentów. Taki układ zredukował centralne wąskie gardła obliczeniowe oraz obciążenie komunikacyjne, wspierając tym samym skalowalność³⁵. W związku z tym opracowane rozwiązanie może mieć zastosowanie w większych sieciach o wyższym stopniu penetracji odnawialnych źródeł energii, dodatkowych segmentach linii zasilających i większej złożoności operacyjnej. Jednakże wdrożenie na bardzo dużą skalę wymagałoby dalszej optymalizacji rozproszonych zasobów obliczeniowych i protokołów komunikacyjnych.

Badanie to wniosło również zdecentralizowane podejście oparte na uczeniu maszynowym w zakresie zarządzania zasilaczami niskiego napięcia. W przeciwieństwie do konwencjonalnych metod kontroli napięcia i zarządzania przeciążeniami, opartych głównie na statycznych regułach eksploatacyjnych lub optymalizacji scentralizowanej³³, proponowana strategia zintegrowała ocenę czułości napięcia, orkiestrację uwzględniającą przeciążenia, optymalizację polityki sterowanej wzmocnieniem, dynamiczny ranking akceptacji zasilaczy oraz komunikację między współpracującymi agentami. Integracja ta rozszerzyła zastosowanie wieloagentowego uczenia ze wzmocnieniem z regulacji napięcia i koordynacji zasobów na adaptacyjną orkiestrację akceptacji zasilaczy w sieciach rozprowadzczych niskiego napięcia bogatych w odnawialne źródła energii.

Proponowana metoda może wspierać zarządzanie akceptacją zasilaczy dla przedsiębiorstw energetycznych, operatorów inteligentnych sieci oraz systemów zarządzania energią odnawialną. Niemniej jednak przed praktyczną implementacją należy rozwiązać kilka problemów. Opóźnienia w komunikacji mogą wpływać na szybkość wymiany informacji i koordynację między rozproszonymi agentami, szczególnie w sieciach o dużej skali. Konieczne będą również bezpieczne środki komunikacji i cyberbezpieczeństwa, aby chronić interakcje agentów oraz dane operacyjne przed nieautoryzowanym dostępem i cyberatakami. Integracja z istniejącymi systemami zarządzania dystrybucją (Distribution Management Systems) będzie wymagać interoperacyjności z protokołami komunikacyjnymi przedsiębiorstw energetycznych, architekturami nadzoru i sterowania oraz procedurami operacyjnymi. Praktyczna implementacja będzie zatem zależeć od struktur komunikacyjnych o niskich opóźnieniach, bezpiecznej transmisji danych, ustandaryzowanych interfejsów oraz walidacji w warunkach polowych^36,37.

Badanie było ograniczone przez opieranie się na zbiorach danych FeederBW i 236-bus LV oraz przez walidację opartą na symulacjach w ramach zdefiniowanych warunków pracy i komunikacji. Ustawienia te mogą nie w pełni reprezentować topologię, zakłócenia, awarie komunikacji lub zdarzenia cyberfizyczne występujące w rzeczywistych sieciach użyteczności publicznej. Złożoność obliczeniowa może stać się również bardziej znacząca w warunkach bardzo dużej skali lub przy wysokim udziale odnawialnych źródeł energii. Przyszłe prace powinny zatem ocenić ramy metodologiczne z wykorzystaniem dodatkowych zbiorów danych w skali sieci przesyłowych, rzeczywistych sieci dystrybucyjnych, platform hardware-in-the-loop oraz pilotażowych instalacji w skali terenowej. Koncentrować się będą one na walidacji proponowanych ram z wykorzystaniem platform hardware-in-the-loop, rzeczywistych sieci użyteczności publicznej oraz większych systemów dystrybucyjnych. Ponadto przyszłe badania zbadają zaawansowane architektury uczenia ze wzmocnieniem oraz ulepszone strategie koordynacji rozproszonej, aby dalej zwiększyć skalowalność i odporność operacyjną. Ogólnie rzecz biorąc, wyniki symulacji wykazały, że kolaboracyjne wieloagentowe uczenie ze wzmocnieniem w połączeniu z oceną wrażliwości napięcia i przeciążeń może poprawić akceptację linii zasilających, zgodność napięcia, łagodzenie przeciążeń, integrację odnawialnych źródeł energii, koordynację zdecentralizowaną, zbieżność, opóźnienia oraz adaptacyjne podejmowanie decyzji. W celu potwierdzenia praktycznej skalowalności i niezawodności operacyjnej wymagane są dodatkowe testy z wykorzystaniem rzeczywistych danych z sieci, realistycznych opóźnień komunikacyjnych, zakłóceń cyberfizycznych oraz warunków hardware-in-the-loop lub testów terenowych.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Zbiór danych niskonapięciowej sieci rozdzielczej 236-Bus	Canizes et al.	DOI: 10.5281/zenodo.8274780	Publiczny zbiór danych referencyjnych wykorzystany do analizy skalowalności i walidacji proponowanej struktury w dużej skali
Jednostka centralna (CPU)	Intel Corporation	Intel Core i9-12900K (16-Core)	Wykorzystywana do zarządzania symulacjami i wykonawstwa środowiska
Moduł analizy wrażliwości na przeciążenia	Moduł opracowany na zamówienie	Zenodo DOI: 10.5281/zenodo.21423239	Wykonuje obliczenia wrażliwości na przeciążenia w czasie rzeczywistym oraz priorytetyzację feederów
CUDA Toolkit	NVIDIA Corporation	CUDA 12.1	Platforma obliczeniowa GPU wykorzystywana do przyspieszonego trenowania modeli PyTorch
Biblioteka cuDNN	NVIDIA Corporation	cuDNN 9.3.0	Biblioteka przyspieszania głębokich sieci neuronowych stosowana z CUDA
Własny dynamiczny symulator sieci niskiego napięcia (LV)	Moduł opracowany na zamówienie	Wersja 1.0	Opracowana przez autorów platforma symulacyjna zaimplementowana w językach Python i PyTorch dla eksperymentów z dynamiczną orchestracją feederów. Szczegóły implementacji znajdują się w sekcjach Metody oraz Dostępność danych.
Biblioteka przetwarzania danych	pandas Development Team	pandas 2.2.2	Wykorzystywana do preprocessingu, ekstrakcji cech, normalizacji i zarządzania danymi szeregów czasowych
Platforma głębokiego uczenia	PyTorch Foundation	PyTorch 2.3.1	Wykorzystywana do implementacji modelu wieloagentowego uczenia ze wzmocnieniem (MARL), trenowania sieci neuronowych i optymalizacji polityki
Moduł rozproszonej komunikacji agentów	Struktura opracowana na zamówienie	Zenodo DOI: 10.5281/zenodo.21423239	Umożliwia zdecentralizowaną komunikację i kolaboracyjną wymianę polityk pomiędzy inteligentnymi agentami
Zbiór danych FeederBW	Treutlein et al.	DOI: 10.5281/zenodo.17831177	Publiczny zbiór danych zawierający rzeczywiste pomiary feederów niskiego napięcia, generację z odnawialnych źródeł energii i profile operacyjne
Procesor graficzny (GPU)	NVIDIA Corporation	GeForce RTX 3090, 24 GB GDDR6X	Akcelerator sprzętowy wykorzystywany do trenowania sieci neuronowych i obliczeń równoległych
Środowisko wieloagentowego uczenia ze wzmocnieniem	Farama Foundation	Gym 0.26.2	Dostosowane środowisko uczenia ze wzmocnieniem dla kolaboracyjnej interakcji i trenowania inteligentnych agentów
Biblioteka obliczeń numerycznych	NumPy Developers	NumPy 1.26.4	Wykorzystywana do obliczeń numerycznych, manipulacji tensorami i operacji macierzowych
System operacyjny	Canonical Ltd.	Ubuntu 22.04.5 LTS (64-bit)	System operacyjny wykorzystany we wszystkich symulacjach i eksperymentach z uczeniem ze wzmocnieniem
Język programowania Python	Python Software Foundation	Python 3.11.9	Główny język programowania wykorzystany do implementacji algorytmów, symulacji i rozwoju modelu
Pamięć systemowa	Lenovo	64 GB DDR5 RAM	Zainstalowana pamięć systemowa wykorzystywana do wielkoskalowej symulacji MARL i przetwarzania danych.
Moduł monitorowania stabilności napięcia	Moduł opracowany na zamówienie	Zenodo DOI: 10.5281/zenodo.21423239	Ciągle ocenia stabilność napięcia i zgodność z normami podczas orchestracji feederów