Multi-Agenten-RL-basierte dynamische Orchestrierung der Einspeiserakzeptanz unter Verwendung des FeederBW-Datensatzes und eines Niederspannungs-Verteilnetzes mit 236 Knoten

Zusammenfassung

Diese Studie stellt eine dynamische Orchestrierungsstrategie für die Inbetriebnahme von Niederspannungsleitungen mithilfe eines kollaborativen Verstärkungslernens mit mehreren Agenten vor. Intelligente Agenten koordinieren den Leitungsbetrieb, das Engpassmanagement, die Spannungsstabilität und die Integration erneuerbarer Energien unter unsicheren Bedingungen. Der Ansatz wurde anhand von Simulationen mit den Datensätzen FeederBW und 236-bus evaluiert.

Zusammenfassung

Die umfassende Integration verteilter erneuerbarer Energiequellen und die schnelle Ausweitung von Niederspannungs- (LV-)Zuleitungen haben betriebliche Herausforderungen im Zusammenhang mit der Zuleitungsakzeptanz und der Koordination von Überlastungen hervorgerufen. Bestehende Ansätze zur Spannungsregelung und Zuleitungssteuerung weisen unter intermittierender Erzeugung aus erneuerbaren Quellen und sich ändernden Netzbedingungen möglicherweise begrenzte Skalierbarkeit und Anpassungsfähigkeit auf. Um diese Einschränkungen zu überwinden, schlägt diese Studie einen dynamischen Orchestrierungsrahmen für die Niederspannungs-Zuleitungsakzeptanz vor, der auf der Zusammenarbeit intelligenter Agenten innerhalb eines Multi-Agenten-Verstärkungslernansatzes basiert. Im Gegensatz zu spannungsorientierten Regelstrategien, die hauptsächlich auf die Spannungsstabilisierung abzielen, unterstützt der vorgeschlagene Rahmen dynamische Zuleitungsakzeptanz durch die koordinierte Steuerung von Agenten, die für die Überwachung der Zuleitungen, das Management von Überlastungen und die prioritätsbasierte Steuerung anhand von Spannungsempfindlichkeiten zuständig sind. Die Agenten beobachteten unabhängig voneinander den Zustand der Zuleitungen, bewerteten Überlastungen und Spannungsempfindlichkeiten und kooperierten bei Entscheidungen zur Zuleitungsakzeptanz. Der Rahmen wurde anhand von Simulationen unter Verwendung des FeederBW-Datensatzes und des 236-Knoten-Niederspannungs-Verteilnetz-Datensatzes bei unterschiedlichen Integrationsgraden erneuerbarer Energien und Lastbedingungen evaluiert. Der vorgeschlagene Rahmen erreichte eine Zuleitungsakzeptanzrate von 97 %, einen Spannungskonformitätsindex von 98 %, eine Orchestrierungslatenz von 98 ms, gemessen als reale Ausführungszeit des Orchestrierungsalgorithmus auf der verwendeten Hardware, sowie eine Konvergenzgeschwindigkeit von 98,5 % und übertraf damit die evaluierten zentralen Koordinationsmethoden. Die Ergebnisse zeigten zudem eine verbesserte Anpassungsfähigkeit, Betriebsresilienz und Effizienz dezentraler Entscheidungsfindung unter den simulierten Bedingungen im Niederspannungs-Verteilnetz.

Einleitung

Moderne Stromnetze stehen vor erheblichen betrieblichen Herausforderungen aufgrund steigender Stromnachfrage und der zunehmenden Nutzung verteilter Erzeugung. Ungleichgewichte zwischen Stromerzeugung und -verbrauch oder schnelle Zuwächse bei der dezentralen Energieerzeugung können finanzielle Belastungen für Versorger und Endverbraucher verursachen und die Netzstabilität gefährden. Die herkömmliche, zentral gesteuerte Infrastruktur auf fossiler Basis geht daher über zu einem dezentralen, auf erneuerbaren Energien basierenden Systemdesign. Dieser Wandel hat den Zugang zu kostengünstigeren und umweltverträglicheren Energiequellen verbessert. Aufgrund der intermittierenden und unvorhersehbaren Natur der photovoltaischen (PV-)Energieerzeugung bestehen jedoch Bedenken hinsichtlich der Netzverlässlichkeit^1,2.

Der globale Energiewandel beschleunigt die Einführung von Photovoltaik aufgrund ihrer ökologischen Vorteile, Skalierbarkeit und sinkenden Kosten. Laut der Internationalen Agentur für Erneuerbare Energien wird die Photovoltaik-Kapazität bis 2050 voraussichtlich mehr als 22 % der weltweiten Stromversorgung ausmachen, und Solar-Photovoltaik dürfte bis 2030 zu einem wesentlichen Beitrag zur globalen Stromversorgung werden³. Diese umfassende Integration stellt erhebliche Herausforderungen für konventionelle Stromnetze dar, insbesondere hinsichtlich Betriebsstabilität und Zuverlässigkeit. Spannungsschwankungen sind ein zentrales Anliegen, da die Photovoltaik-Erzeugung intermittierend und nicht steuerbar ist, und ihre Auswirkungen werden umso deutlicher, je stärker der Durchdringungsgrad in Verteilungs- und Übertragungsnetzen zunimmt⁴.

Schwankungen der Sonneneinstrahlung beeinflussen direkt die Leistung von Photovoltaikanlagen und können schnelle Spannungsänderungen verursachen. Wolkenbewegungen, abrupte Änderungen der Einstrahlung und Lasttransienten können Spannungsschwankungen hervorrufen, die von bestehenden Netzarchitekturen nicht ausreichend ausgeglichen werden können⁵. Obwohl herkömmliche Technologien in zentralisierten und relativ stabilen Netzkonfigurationen wirksam waren, eignen sie sich weniger für zunehmend dezentrale Netze. Schnelle bidirektionale Spannungsänderungen können die Leistungsfähigkeit konventioneller Stromnetze übersteigen, insbesondere bei hohem Anteil von Photovoltaik⁶. Unkontrollierte Schwankungen können die zulässigen Spannungsgrenzen überschreiten, empfindliche Verbraucher beeinträchtigen und die Netzsicherheit gefährden.

Die Integration intelligenter Lasten und verteilter Ressourcen in Verteilnetze hat daher die Entwicklung fortschrittlicherer Steuerungsstrategien vorangetrieben. Intelligente Steuersysteme, die verteilte Anlagen kontinuierlich überwachen und koordinieren, können dazu beitragen, Herausforderungen in Niederspannungsnetzen (LV) mit hohem Anteil an verteilter Erzeugung zu verringern⁷. Die großskalige Integration von Photovoltaik (PV) verursacht zudem betriebliche Schwierigkeiten für die thermische Erzeugung, insbesondere dann, wenn die PV-Erzeugung zurückgeht und thermische Anlagen schnell reagieren müssen, wobei manchmal die Anfahr-Geschwindigkeitsgrenzen überschritten werden⁸. Gleichzeitig müssen Lastmanagementprogramme (DR) langfristige Nachhaltigkeit mit wirtschaftlicher Machbarkeit in Einklang bringen⁹.

Lastmanagementprogramme können die Integration dezentraler Erzeugung unterstützen und gleichzeitig zur Balance von Stromerzeugung und -verbrauch beitragen. Diese Programme werden in preisbasiertes Lastmanagement und anreizbasiertes Lastmanagement (IBDR) unterteilt. Preisbasiertes Lastmanagement motiviert Verbraucher, ihren Stromverbrauch als Reaktion auf zeitlich variierende Tarife anzupassen, während IBDR feste oder variable finanzielle Anreize bietet, um den Verbrauch auf Anfrage zu senken¹⁰. Allerdings setzt preisbasiertes Lastmanagement Verbraucher schwankenden Großhandelspreisen aus und bietet aus Sicht des Versorgungsunternehmens nur begrenzte betriebliche Flexibilität, was risikoscheue Teilnehmer abschrecken könnte^11,12.

Mehrere Studien haben die IBDR in netzgekoppelten Systemen mit hohem PV-Anteil untersucht. Eine Studie bewertete die Herausforderungen und Vorteile der Kombination von IBDR mit hohem PV-Einspeisungsgrad, konzentrierte sich jedoch auf aggregierten Stromverbrauch statt auf energiemanagementsysteme auf haushaltsbasis¹³. Eine andere schlug ein anreizbasiertes Spannungsmanagementverfahren vor, bei dem Preissignale indirekt den Betrieb von Batterien steuerten, um Spannungsgrenzen einzuhalten, wobei der Haushaltsbedarf jedoch nicht explizit modelliert wurde¹⁴. Ein auf Fuzzy-Logik basierendes Verfahren zur Bestimmung von Anreizzahlungen berücksichtigte die Kundenzufriedenheit und die Kosten der Integration erneuerbarer Energien, beinhaltete jedoch keine Analyse auf Ebene der Verteilerstränge¹⁵. Die langfristige Erzeugungsplanung unter Einbeziehung sowohl preisbasierter als auch anreizbasierter Lastmanagementmaßnahmen wurde ebenfalls untersucht, einschließlich thermischer und erneuerbarer Erzeugung, jedoch ohne Berücksichtigung des Nutzerkomforts oder des Lastprofils auf Haushaltsebene¹⁶.

Das tiefe Verstärkungslernen (RL) wurde ebenfalls auf den Bereich der Haushaltslaststeuerung (DR) angewendet. Es wurden Methoden des tiefen RLs für die Steuerung aggregierter Lasten im Rahmen von Zeitnutzungs-Tarifen vorgeschlagen, wobei ihre Übertragbarkeit jedoch durch kleine Nutzergruppen und das Fehlen einer geräteweisen Terminplanung eingeschränkt war¹⁷. Ein Multi-Agenten-Verstärkungslernansatz, der DR und Spannungsregelung kombinierte, verwendete Long-Short-Term-Memory-Netzwerke zur Lastprognose, löste jedoch nicht die Unzufriedenheit der Kunden aufgrund von Lastbeschränkungen¹⁸. Andere Arbeiten konzentrierten sich auf die DR-Koordination von Klimaanlagen in gewerblichen Gebäuden mittels eines Markov-Entscheidungsprozesses, berücksichtigten dabei jedoch keine weiteren Haushaltslasten¹⁹. Bisherige Studien zum tiefen RL in der Spannungsregelung haben im Allgemeinen weder DR noch die Integration von PV-Anlagen berücksichtigt^20,21.

Intelligente Wechselrichter können schnell auf plötzliche und unregelmäßige Änderungen der PV-Leistung reagieren²². Bei Spannungsverletzungen können PV-Wechselrichter innerhalb von Millisekunden reagieren, während herkömmliche Geräte mehrere Sekunden benötigen können²³. Einige Studien haben Modifikationen der Standardsteuerungsverfahren vorgeschlagen, darunter Mehragentenansätze zur Koordination von Spannungsreglern und Anpassungen herkömmlicher Spannungsregleraktionen²⁴. Dennoch kann die alleinige PV-Stromerzeugung ohne lokal gekoppelte Speicher die Spannungsschwankungen verschärfen und Abendspitzenlasten nicht verringern, selbst wenn sie den Nettoimport tagsüber reduziert^24,25. Haushaltsbatterien können während Phasen mit überschüssiger PV-Erzeugung tagsüber entladen werden und stehen dann nachts möglicherweise nicht für das Laden von Elektrofahrzeugen zur Verfügung, wenn ihre Einsatzplanung nicht mit der lokalen Nachfrage und Erzeugung koordiniert ist^26,27. Die kombinierten Effekte stochastischer Nachfrage, intermittierender Erzeugung und unterschiedlichen Speicherverhaltens machen die Kapazitätssteuerung, die Lebensdauer der Anlagen sowie die Resilienz zu wichtigen Anliegen für Betreiber von Verteilnetzen²⁸. Energiesysteme für den Haushalt (Home Energy Management Systems) bieten eine mögliche Möglichkeit, automatisierte Steuerung auf Kundenseite umzusetzen. RL eignet sich gut für solche Anwendungen, da Agenten Steuerungsstrategien durch Interaktion mit der Umgebung erlernen können, Unsicherheiten bewältigen und Entscheidungen mit geringer Latenz treffen können.

Fortschritte in der Routenplanung für Elektrofahrzeuge verdeutlichen ebenfalls, wie tiefes Verstärkungslernen dynamische Energiebeschränkungen bewältigen kann. Das auf heterogenen Fahrzeugflotten basierende kapazitierte Routenplanungsproblem für Elektrofahrzeuge berücksichtigt Fahrzeugdynamik, Straßencharakteristika, kinetischen Widerstand und Ladeeffizienz, während der maximale Energieverbrauch über eine vielfältige Fahrzeugflotte minimiert wird²⁹. Eine dynamikbewusste Methode des tiefen Verstärkungslernens formuliert dieses Problem als maßgeschneiderten Markovschen Entscheidungsprozess und verwendet eine Encoder-Updater-Decoder-Architektur. In diesem Design entwickelt der Encoder rollenspezifische Darstellungen für Knotenpunkte und Fahrzeuge, der Updater verfeinert Fahrzeug-Token, wenn sich kontextuelle Informationen ändern, und der Decoder trennt die Fahrzeugauswahl von der fahrzeugspezifischen Knotenauswahl, um eine adaptive Entscheidungsfindung zu ermöglichen. Ebenso verwendet ein energieoptimaler Routenplanungsansatz für Elektrofahrzeuge mit Abholung, Zustellung und Zeitfenstern ein hochauflösendes Energieverbrauchsmodell, das Ladeverhalten, zeitabhängige Fahrzeugdynamik und detaillierte Routeninformationen einschließt³⁰. Ein heterogenes, auf Aufmerksamkeitsmechanismen basierendes Framework des tiefen Verstärkungslernens stellt die Routenplanungsaufgabe als Markovschen Entscheidungsprozess dar, mit einem Encoder, der rollenspezifische Interaktionen zwischen Depots, Kunden und Ladestationen erfasst, und einem Decoder, der Zustandsübergänge und zeitliche Machbarkeit verfolgt.

Trotz dieser Entwicklungen konzentrieren sich die meisten Studien zum Lastverteilungs-Management auf die Spannungsstabilisierung und Optimierung der Blindleistung, anstatt auf die dynamische Steuerung der Leitungsannahme unter Unsicherheiten erneuerbarer Energien. Verteilte Spannungsregelverfahren, die auf intelligenten Wechselrichtern und maschinellem Lernen basieren, konzentrieren sich im Allgemeinen auf die Spannungskompensation und Optimierung der Blindleistung, berücksichtigen jedoch weder die adaptive Steuerung der Leitungsannahme noch die auf Staus basierende Orchestrierung in komplexen Niederspannungsnetzen. Ebenso adressieren spannungsbeschränkte Ansätze des verstärkenden Lernens mit mehreren Agenten für Lastmanagement (DR) nicht direkt das kooperative Management der Leitungsannahme, die dezentrale, stauorientierte Orchestrierung oder die zellweise Zulassungssteuerung in vernetzten Niederspannungsverteilungssystemen. Kooperative Spannungsregelverfahren, die auf der Koordination mehrerer Agenten basieren, minimieren typischerweise Spannungsabweichungen und Schaltvorgänge von Stufenschaltern mithilfe von PV-Wechselrichtern, berücksichtigen jedoch weder die adaptive Zulassung von Leitungen, die durch erneuerbare Energien verursachten Instabilitäten bei der Annahme noch die dezentrale Orchestrierung unter dynamischen Netzbedingungen.

Aktuelle verteilte und mehragentenbasierte Methoden zur Ressourcenkoordination weisen ebenfalls Einschränkungen hinsichtlich der Stauerkennung, zeitlichen Anpassungsfähigkeit und Skalierbarkeit auf. Die meisten legen den Schwerpunkt auf die Analyse von Überlastungen, Wechselwirkungen verteilter Energiequellen oder tarifbasiertes Energiemanagement, anstatt auf adaptive, spannungs- und stauabhängige Steuerung auf Ebene der Speisepunkte. Ihre Abhängigkeit von teilweiser Zentralisierung und statischen Prioritäten kann die dezentrale Entscheidungsfindung, die schnelle Reaktion auf die Ausbreitung von Staus sowie die Anpassung an die Variabilität erneuerbarer Energien zusätzlich einschränken. Daher ist ein vollständig dezentraler, auf Verstärkendem Lernen basierender Ansatz erforderlich, der kooperative Agentenkoordination mit der Analyse von Spannungs- und Stauempfindlichkeit verbindet, um ein adaptives Management der Speisepunkt-Aufnahmefähigkeit unter Nutzung umfangreicher Datensätze wie FeederBW und des 236-Knoten-Niederspannungs-Verteilnetzes zu ermöglichen.

In dieser Studie bezeichnet die Anschlussannahme den adaptiven Betriebsprozess zur Bestimmung, ob ein Niederspannungsstrang zusätzliche dezentrale Energiequellen oder elektrische Lasten aufnehmen kann, während die Netzwerksicherheit, die Spannungsanforderungen, die thermischen Belastungsgrenzen und die Betriebszuverlässigkeit gewahrt bleiben. Die Betriebsgrenze für die Anschlussannahme umfasst die Bewertung der Strangkapazität, der Spannungsempfindlichkeit, der Netzüberlastungssituationen und der Variabilität erneuerbarer Energien, bevor neue Stranganschlüsse genehmigt oder priorisiert werden. Im Gegensatz zur herkömmlichen Spannungsregelung, die Spannungsprofile regelt, zur Koordination dezentraler Energiequellen, die den Betrieb der Ressourcen steuert, oder zum Management von Netzüberlastungen, das Netzüberlastungen vermindert, integriert die Anschlussannahme diese Funktionen in einem kollaborativen Rahmenwerk des verstärkenden Lernens mit mehreren Agenten, um eine dynamische, dezentrale und adaptive Steuerung unter bedingt reichhaltiger Einspeisung aus erneuerbaren Energien zu unterstützen.

Das Ziel dieser Studie ist die Entwicklung einer kollaborativen, intelligenten, agentenbasierten dynamischen Orchestrierungsstrategie für die Niederspannungs-Netzanschlussfreigabe unter wechselnden Betriebsbedingungen und Unsicherheiten erneuerbarer Energien. Der vorgeschlagene Rahmen ermöglicht eine dezentrale Orchestrierung der Netzanschlussfreigabe, indem er Zustände der Speiseseiten, Spannungsempfindlichkeit, Engpassempfindlichkeit und Aufnahmekapazität dynamisch bewertet und dadurch eine adaptive Priorisierung und Entscheidungsfindung ermöglicht, die über statische Spannungsregelverfahren hinausgeht. Unter Verwendung des FeederBW-Datensatzes und des 236-Knoten-Niederspannungs-Verteilnetz-Datensatzes entwickelt die Studie außerdem eine skalierbare, mehragentenbasierte Verstärkungslernarchitektur für großskalige Niederspannungssysteme. Durch verstärkungsbasiertes Lernen und latenzarme, kollaborative Optimierung, die in jedem simulierten Betriebsintervall durchgeführt wird, soll der Rahmen die Ausbreitung von Netzengpässen verringern, die Spannungscompliance verbessern, die Orchestrierungslatenz senken und die Effizienz der dezentralen Koordination erhöhen.

Der Ansatz liefert einen dynamischen Ansatz zur Orchestrierung der Zulassung von Niederspannungsleitungen, der statische, spannungssteuerbasierte Strategien für das Leitungsmanagement ersetzt; eine dezentrale Multi-Agenten-Verstärkungslernarchitektur für Unsicherheiten bei erneuerbaren Energien und wechselnde Lastbedingungen; ein dezentrales Zulassungsmanagement basierend auf Niedriglatenzbedingungen und dynamischer Leitungspriorisierung; gemeinsame Spannungs- und Stauempfindlichkeitsindizes zur Identifizierung kritischer Leitungen und zur Priorisierung von Zulassungsentscheidungen; kollaborative Kommunikation zwischen benachbarten Agenten; kontinuierliche, verstärkungsbasierte Optimierung der Entscheidungsstrategien zur Verbesserung der Leitungsstabilität, Stauverringerung, Spannungsverträglichkeit und Konvergenz; sowie eine großskalige, simulationsbasierte Validierung anhand der Datensätze FeederBW und 236-Bus-LV. Vergleichende Ergebnisse zeigen eine verbesserte Leitungszulassung, Stauverringerung, Orchestrierungsverzögerung, Konvergenzgeschwindigkeit und Spannungsverträglichkeit im Vergleich zu herkömmlichen zentralen Koordinationsmethoden.

Protokoll

An menschlichen Probanden, Wirbeltieren, menschlichem Gewebe oder tierischem Gewebe wurde im Rahmen dieser Untersuchung nicht gearbeitet. Es wurden lediglich öffentlich zugängliche Datensätze (der FeederBW-Datensatz und der 236-Bus-Niederspannungs-Verteilnetz-Datensatz) sowie computergestützte Simulationen verwendet. Daher war für diese Studie keine Genehmigung durch eine institutionelle Ethikkommission (IRB), keine ethische Bewertung und keine Einholung einer informierten Einwilligung erforderlich.

Die dynamische Orchestrierungsstrategie für die Niederspannungsanschlussfreigabe basierend auf Agentenzusammenarbeit wurde unter Verwendung des multiagentenbasierten Verstärkungslernens (MARL) für betriebliche Bedingungen mit hohem Anteil erneuerbarer Energien entwickelt. Die Datensätze FeederBW und 236-Bus-Niederspannungsnetz wurden vorverarbeitet, normalisiert und zeitlich synchronisiert, um ein dynamisches Netzwerkmodell zu erstellen, das Zustände der Leitungsabschnitte, dezentrale Energieerzeuger, spannungssensitive Bereiche und Überlastbedingungen abbildet. Intelligente Agenten wurden Leitungsabschnitten und Netzwerkknoten zugeordnet, um lokale Spannung, Überlast, Unsicherheiten bei der Erzeugung aus erneuerbaren Quellen und die Anschlusskapazität der Leitungen zu überwachen, Informationen mit benachbarten Agenten auszutauschen und Orchestrierungsstrategien durch dezentralisiertes Verstärkungslernen zu aktualisieren. Die Belohnungsfunktion wurde so gestaltet, dass sie die Anschlusskapazität der Leitungen verbessert, gleichzeitig aber Überlast, Spannungsinstabilität und Koordinationsverzögerungen begrenzt. Es wurden Einschränkungen bezüglich Spannung, Leitungsbelastung, Transformatorenbelastung und Überlast berücksichtigt, während dreiphasig unsymmetrischer Betrieb, fortschrittliche Steuerung von Photovoltaik-Wechselrichtern und Blindleistungskompensation nicht explizit modelliert wurden. Der gesamte Rahmen ist in Abbildung 1 dargestellt. Die in dieser Studie verwendeten Forschungswerkzeuge sind in der Tabelle der Materialien aufgelistet.

Abbildung 1: Architektur des vorgeschlagenen Frameworks. Schematische Darstellung des dynamischen Orchestrierungs-Frameworks, das intelligente Agenten, Verstärkendes Lernen, Stauanalysen und adaptive Leiterkoordination integriert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

1. Datenerfassung

Die Daten wurden aus dem FeederBW-Datensatz³¹ und dem 236-Bus-Niederspannungs-Verteilungsdatensatz³² gewonnen. Diese Datensätze wurden ausgewählt, da sie Informationen zur Speisernetz-Topologie, Spannungsbedingungen, Verhalten erneuerbarer Erzeugung, Lastnachfrage, Überlastung und dynamischen Betriebsprofilen enthalten, die für die dezentrale Steuerung und das verstärkende Lernen von Agenten erforderlich sind.

Der FeederBW-Datensatz wurde hauptsächlich zur Modellierung des Betriebs von Speisern, der Schwankungen erneuerbarer Energien, von Spannungsabweichungen und der Ausbreitung von Überlastungen in Niederspannungsnetzen verwendet. Er enthielt Betriebsdaten von Speisern, das Verhalten verteilter Erzeugung, Spannungsmessungen an Knotenpunkten sowie Lastschwankungen, die die adaptive Orchestrierungsanalyse unterstützten. Der 236-Knoten-Niederspannungsdatensatz diente der Bewertung von Skalierbarkeit und dezentraler Koordination. Er enthielt Informationen zu Busverbindungen, Belastungszuständen der Speiser, Spannungscharakteristiken der Knotenpunkte, dem Anteil verteilter erneuerbarer Erzeugung und betriebsrelevanten Fällen mit überlastungsanfälligen Bedingungen. Zusammen ermöglichten die beiden Datensätze Analysen auf Ebene der Speiser sowie großskalige Analysen unter Bedingungen hoher Einspeisung erneuerbarer Energien. Die Merkmale der Datensätze und ihre Verwendung im Rahmenwerk sind in Tabelle 1 zusammengefasst.

Name des Datensatzes	Typ des Datensatzes	Anzahl der Knoten/Busse	Datenattribute	Zweck in der vorgeschlagenen Arbeit
FeederBW-Datensatz	Betriebsdatensatz für Niederspannungsleitungen	Mehrere Leitungsknoten	Spannungsprofile, Erzeugung aus erneuerbaren Quellen, Lastnachfrage, Zustände der Überlastung, Betriebsverhalten der Leitungen	niedriglatenzfähige Leitungssteuerung, Analyse der Überlastung, adaptive Priorisierung der Aufnahmefähigkeit
236-Bus-Niederspannungsdatensatz	Großskaliger Niederspannungsverteilungsdatensatz	236 Busse	Bus-Topologie, Leitungsbelastung, Spannungsempfindlichkeit, Anteil erneuerbarer Energien, Dynamik der Überlastung	Validierung der Skalierbarkeit, Bewertung dezentraler Koordination, Analyse der großskaligen Steuerung

Tabelle 1: Datensatzmerkmale. Beschreibung der Datensätze, betrieblicher Attribute und ihrer Verwendung im vorgeschlagenen Orchestrierungsrahmenwerk für Niederspannung.

2. Datenvorverarbeitung

Die erfassten Datensätze wurden vorverarbeitet, um Konsistenz, zeitliche Abstimmung und Stabilität des Verstärkungslernens zu verbessern. Fehlende Einträge, fehlerhafte Messungen, doppelte Datensätze und inkonsistente Speisermanndaten wurden mithilfe statistischer Vorverarbeitungsverfahren herausgefiltert. Dieser Schritt diente dazu, die Konsistenz zwischen den Betriebsdaten der Speisemänner, den Profilen der erneuerbaren Erzeugung, Spannungsmessungen und Daten zum Netzüberlastungszustand aufrechtzuerhalten. Alle Betriebsvariablen wurden mittels Min-Max-Normalisierung skaliert, sodass die Eingangsmerkmale in einen gemeinsamen, für das Lernen des Agenten geeigneten Bereich überführt wurden. Zu den normalisierten Variablen gehörten die Speisemannspannung, der Wirkleistungsbedarf, die Erzeugung aus erneuerbaren Quellen, der Überlastungszustand und die Einspeisekapazität des Speisemanns. Die mathematische Formulierung des Vorverarbeitungsverfahrens ist in Supplementary File 1 (Abschnitt 1) enthalten.

3. Dynamische Modellierung von Niederspannungsnetzen

Nach der Datenerfassung und -vorverarbeitung wurde ein dynamisches Niederspannungs-Netzwerkmodell erstellt, um das Verhalten eines Verteilnetzes mit einem hohen Anteil an erneuerbarer Erzeugung unter wechselnden Last- und Erzeugungsbedingungen zu simulieren. Das Modell verfolgte dynamisch die Speisernetz-Topologie, das Verhalten dezentraler Energiequellen, spannungsensitive Bereiche und die Ausbreitung von Überlastungen.

Im Gegensatz zu einer statischen Netzdarstellung aktualisiert das Modell das Verhalten der Speisepunkte entsprechend der Schwankungen erneuerbarer Energien, des Verbraucherbedarfs und der Netzüberlastung. Die FeederBW- und die 236-Bus-Niederspannungs-Datensätze wurden verwendet, um vernetzte Speisepunkte zu konstruieren, bei denen Knotenpunkte, Transformatoren, dezentrale erneuerbare Energiequellen und Lasten als Netzwerkknoten abgebildet wurden. Jeder Speisepunkt-Knoten lieferte aktualisierte Informationen über Spannungsamplitude, Wirkleistungsbedarf, Erzeugung durch erneuerbare Energien, Belastungszustand des Speisepunkts und Überlastungszustand. Diese Variablen wurden von intelligenten Agenten genutzt, um das Verhalten der Speisepunkte zu überwachen und dezentrale Orchestrierungsentscheidungen zu treffen. Das Netzmodell ermöglichte zudem die Identifizierung empfindlicher Bereiche und die Priorisierung der Zulassung von Speisepunkten durch kontinuierliche Sensitivitätsanalyse.

Das Niederspannungs-Verteilungsnetz wurde als graphenbasiertes Netzwerk dargestellt, das Busstationen, Speiseleitungen, Transformatoren, erneuerbare Energiequellen und Verbraucherlastknoten enthält. Ausführliche mathematische Herleitungen des Netzwerkmodells sind in Zusatzdatei 1 (Abschnitt 2) enthalten. Der dynamische Netzwerkzustand und der Überlastungsindex wurden kontinuierlich überwacht. Der Überlastungsindex wurde auf den Bereich [0,1] normalisiert, und eine kooperative Orchestrierung der Zuleiterakzeptanz wurde eingeleitet, wenn der Überlastungsindex 0,80 überschritt.

4. Initialisierung der Multi-Agenten-Umgebung

Nachdem das dynamische Niederspannungs-Netzwerkmodell erstellt worden war, wurde die Multi-Agenten-Umgebung initialisiert, um die dezentrale Anbindung von Abzweigen zu unterstützen. Intelligente Agenten wurden Abschnitten der Abzweige, Anschlusspunkten dezentraler Energieerzeugungsanlagen, Transformatorenstandorten und knotenintensiven Bereichen innerhalb des Niederspannungsnetzes zugewiesen.

Jeder Agent fungierte als eigenständige Entscheidungseinheit, die den lokalen Leiterbetrieb überwachte, Informationen mit benachbarten Agenten austauschte und adaptive Koordinierungsmaßnahmen durchführte. Die Agenten wurden Schlüsselleiterknoten entsprechend der Spannungsempfindlichkeit, des Anteils erneuerbarer Energien, des Auslastungsgrads und der Leiterwichtigkeit zugeordnet. Das Niederspannungsnetz wurde als agentenbasierte Umgebung konfiguriert, in der die Agenten kontinuierlich die Leiterspannung, den Wirkleistungsbedarf, die Schwankungen der Erzeugung aus erneuerbaren Quellen, den Auslastungszustand und die Aufnahmekapazität der Leiter überwachten. Die mathematische Formulierung der multiagentenbasierten Umgebung ist in Supplementary File 1(Section 3) enthalten.

5. Verstärkungsgesteuertes Lernen eines Agenten

Nach der Initialisierung der Multi-Agenten-Umgebung wurde ein durch Verstärkung gelerntes Lernen implementiert, um den Agenten das Erlernen von Steuerungsstrategien für die Netzabschnitte durch Interaktion mit sich ändernden Betriebsbedingungen der Niederspannungsnetze (LV) zu ermöglichen. Während jeder Interaktion beobachtete ein Agent den aktuellen Zustand des Netzabschnitts, wählte eine Steuerungsmaßnahme aus und erhielt eine Belohnung oder Bestrafung. Der dezentrale Lernprozess ermöglichte es den Agenten, sich an die Unsicherheit der erneuerbaren Erzeugung, wechselnde Engpässe, Spannungsschwankungen und Änderungen der Einspeisekapazität der Netzabschnitte anzupassen. Jeder Agent wählte eine Steuerungsmaßnahme gemäß seiner erlernten Strategie aus. Die zugehörigen mathematischen Herleitungen sind in Supplementary File 1 (Abschnitt 4) enthalten.

Insgesamt wurden 64 intelligente Agenten eingesetzt. Basierend auf der Speisernetz-Topologie, dem Anteil erneuerbarer Energien, der Spannungsempfindlichkeit und der Schwere der Überlastung wurde jeder Agent einem Abschnitt des Speisenetzes, einem Transformatorstandort, einem Anschlusspunkt für dezentrale Energieerzeugung oder einem netzseitigen Knoten mit Überlastungsanfälligkeit zugewiesen. Bei beibehaltener angemessener rechnerischer Komplexität ermöglichte die dezentrale Verteilung eine kooperative Überwachung und adaptive Anpassung der Speisezulässigkeit im gesamten 236-Knoten-Niederspannungsverteilungsnetz. Jeder Agent beobachtete einen fünfdimensionalen Zustandsvektor, der aus Spannungsamplitude, Lastnachfrage im Speisezweig, Erzeugung durch erneuerbare Energien, Überlastungsstatus und der Zulässigkeitskapazität des Speisezweigs bestand. Der Aktionsraum umfasste fünf Orchestrierungsmaßnahmen: Priorisierung der Speisezulässigkeit, Minderung von Überlastungen, Koordination erneuerbarer Erzeuger, Lastausgleich und Spannungsregelung. Die kooperative Entscheidungsfindung wurde durch eine dezentrale, nachbarschaftliche Kommunikationstopologie unterstützt, bei der jeder Agent Sensitivitätsindizes und lokale Betriebsinformationen ausschließlich mit benachbarten Speisezweig-Agenten austauschte.

Eine auf Q-Lernen basierende MARL-Methode wurde mithilfe eines vollständig vermaschten neuronalen Netzwerks mit zwei verdeckten Schichten, die 128 bzw. 64 Neuronen enthielten, implementiert. In den verdeckten Schichten wurde die ReLU-Aktivierungsfunktion (Rectified Linear Unit) verwendet. Die Netzwerkparameter wurden mit dem Adam-Optimierer bei einer Lernrate von 0,001 und einem Diskontfaktor von 0,99 optimiert. Es wurde eine Mini-Batch-Größe von 64 verwendet, und der Erfahrungsspeicher (Experience-Replay-Buffer) hatte eine Kapazität von 100.000 Übergängen. Das Training galt als konvergiert, wenn sich der gleitende Durchschnitt der kumulativen Belohnung über die letzten 20 Episoden über 10 aufeinanderfolgende Evaluationsfenster hinweg um weniger als 0,1 % veränderte. Falls dieses Kriterium nicht erfüllt war, wurde das Training fortgesetzt, bis maximal 500 Episoden erreicht waren. Der Ablauf des Verstärkungslernens ist in Abbildung 2 dargestellt.

Abbildung 2: Ablaufdiagramm des durch Verstärkungslernen gesteuerten Agentenlernens. Ablaufdiagramm, das den auf Verstärkungslernen basierenden Lernprozess von Agenten zur dezentralen Steuerung von Zuführsystemen und zur Optimierung von Entscheidungen veranschaulicht. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Der Lernprozess begann mit der Initialisierung der LV-Verteilungsumgebung, der Agentenzustände und der Lernparameter. Intelligente Agenten wurden in Speisergebieten, an Standorten dezentraler Energieerzeugungsanlagen und an störanfälligen Knotenpunkten platziert. Anschließend wurden der Beobachtungsraum, die Lernrate, die Erkundungsstrategie, Belohnungsfaktoren und die Politikfunktionen definiert. In jedem Interaktionsschritt beobachtete jeder Agent den aktuellen Zustand seines zugewiesenen Speisergebiets. Der Zustand setzte sich aus Knotenspannungsamplitude, Lastanforderung des Speisers, Merkmalen der erneuerbaren Energieerzeugung, Grad der Überlastung und der Aufnahmekapazität des Speisers zusammen. Diese Beobachtungen bildeten den Umgebungszustand, der für Entscheidungen zur Koordinierung herangezogen wurde. Jeder Agent wählte eine Aktion gemäß seiner Verstärkungslern-Politik aus. Zu den verfügbaren Aktionen gehörten die Priorisierung der Speiseraufnahme, die Überlastungsmanagement, die Koordination erneuerbarer Energien, die Lastverteilung und das Spannungsmanagement. Die ausgewählte Aktion wurde auf die dynamische Niederspannungsumgebung angewandt, woraufhin der Zustand des Speisers aktualisiert wurde.

Nach jeder Aktion wurde eine Belohnung berechnet. Eine positive Belohnung wurde vergeben, wenn die ausgewählte Aktion die Annahme durch den Feeder verbesserte, die Ausbreitung von Staus verhinderte, die Spannungsverträglichkeit aufrechterhielt oder die Netzstabilität verbesserte. Eine Bestrafung wurde angewandt, wenn die Aktion zu einer Überlastung des Feeders, zu Spannungsverletzungen oder zu Koordinationsverzögerungen führte oder diese nicht verhinderte. Die berechnete Belohnung wurde verwendet, um die Wertfunktion und die Entscheidungsstrategie des Agenten durch Verstärkungsoptimierung zu aktualisieren. Die Abfolge aus Beobachtung, Aktionsauswahl, Umzustandsübergang, Belohnungsberechnung und Strategieaktualisierung wurde wiederholt, bis das Abbruchkriterium erfüllt war.

6. Bewertung der Spannungs- und Überlastungsempfindlichkeit

Nach lernbasierten Verstärkungsmaßnahmen wurden Spannungs- und Belastungsempfindlichkeiten bewertet, um anfällige Speiserbereiche zu identifizieren und dynamische Entscheidungen zur Zulässigkeit von Speisern unter Unsicherheiten erneuerbarer Energien zu unterstützen.

In jedem Betriebsintervall wurden die Auswirkungen von Änderungen der Einspeiseleistung, der erneuerbaren Erzeugung und des Lastbedarfs auf die Knotenspannung und die Netzüberlastung ermittelt. Die Empfindlichkeitsindizes für Spannung und Überlastung wurden in jedem simulierten Betriebsintervall neu berechnet, anstatt ausschließlich aus statischen Netzbedingungen abgeleitet zu werden. Die Sensitivitätsindizes für jeden Speiserknoten wurden basierend auf den aktuellen Netzbedingungen, der Variation der erneuerbaren Erzeugung und dem Lastzustand des Speisers aktualisiert. Die resultierenden Werte wurden verwendet, um Speiserknoten für Maßnahmen zur Aufnahme weiterer Einspeiser, zur Überlastungsmanagement und zur Spannungsregelung zu bewerten.

Der Spannungs­empfindlichkeitsindex quantifizierte die Änderung der Knotenspannung infolge einer Änderung des Wirkleistungsflusses. Nachdem die Indizes für Spannungs- und Engpass­empfindlichkeit berechnet worden waren, wurden sie zu einem zusammengesetzten Empfindlichkeitswert kombiniert, um die Zulassung von Abzweigen adaptiv zu priorisieren. Die Methode zur zusammengesetzten Bewertung ist in Zusatzdatei 1 (Abschnitt 5) beschrieben. Abzweigknoten mit höheren Empfindlichkeitswerten erhielten während Maßnahmen zur Entlastung von Engpässen, zur Korrektur der Abzweigzulassung und zur Spannungsregelung höhere Orchestrierungsprioritäten. Die Empfindlichkeitswerte wurden in jedem Betriebsintervall neu berechnet und über die kollaborative Kommunikationsumgebung an benachbarte Agenten weitergegeben.

7. Kollaborative Akzeptanzsteuerung und adaptive Entscheidungsoptimierung in jedem simulierten Betriebsintervall

Nach einer Empfindlichkeitsbewertung wurde eine kooperative Akzeptanzsteuerung durchgeführt, um dezentralen Agenten die koordinierte Entscheidung über die Annahme von Einspeisungen unter Unsicherheiten erneuerbarer Energien und dynamischen Stauungsbedingungen zu ermöglichen. Die Agenten tauschten lokale Zustände der Einspeiseleitungen, Empfindlichkeitsindizes, Stauungswarnungen und Betriebsprioritäten aus. Jeder Agent bewertete unabhängig seine lokale Einspeiseleitungsbedingung und koordinierte dabei mit benachbarten Agenten, um die Stabilität des gesamten Netzwerks zu unterstützen.

Die Annehmbarkeit von Abgängen wurde entsprechend der Spannungs­empfindlichkeit, der Schwere der Überlastung, der Variabilität der erneuerbaren Erzeugung und der verfügbaren Abgangskapazität priorisiert. Lokale, empfindlichkeits­bewusste Beobachtungen wurden über mehrere Agenten hinweg aggregiert, und koordinierte Maßnahmen zur Annahme von Abgängen wurden generiert. Die mathematische Formulierung des kollaborativen Orchestrierungsprozesses ist in Zusatzdatei 1 (Abschnitt 6) enthalten. Die dynamische Niederspannungs­netzumgebung wurde mit kollaborativen Agenten in Abgangsbereichen, Integrationspunkten erneuerbarer Energien und überlastungs­anfälligen Knotenpunkten bereitgestellt, wie in Zusatzdatei 1 (Algorithmus 1) beschrieben. In jedem Betriebsintervall erfasste jeder Agent lokale Abgangsparameter, darunter Spannungs­amplitude, Variation der Erzeugung aus erneuerbaren Energien, Abgangs­auslastung, Überlastungsgrad und Kapazität zur Annahme von Abgängen.

Die spannungsabhängigen und stauanfälligen Indizes wurden anschließend berechnet, um Speiseregelbereiche zu identifizieren, die anfällig für Spannungsinstabilität oder Stauausbreitung sind. Diese Indizes wurden zu einer Gesamtbewertung der Empfängerempfindlichkeit kombiniert, die die Akzeptanz der Speiser und deren Orchestrierungspriorität bestimmte. Lokale Zustandsinformationen, Staupegel, Indikatoren für Spannungsinstabilität sowie Akzeptanzprioritäten wurden zwischen benachbarten Agenten ausgetauscht. Basierend auf lokalen Beobachtungen und geteilten Informationen wählte jeder Agent eine adaptive Orchestrierungsmaßnahme aus und setzte sie um. Nach jeder Maßnahme wurde Verstärkungsrückmeldung aus der dynamischen Niederspannungsnetzumgebung entsprechend der Stabilität der Speiser, der Stauverringerung, der Spannungsanforderungen und der Effizienz der Speiserakzeptanz erhalten. Diese Rückmeldung wurde verwendet, um die Strategie jedes Agents durch verstärkungsbasierte Optimierung zu aktualisieren. Die globale Orchestrierungszielfunktion lieferte gleichzeitig koordinierte Rückmeldungen für adaptive Optimierung innerhalb der Agentenpopulation. Die Aktualisierung der Strategien erfolgte solange, bis sich die Agentenstrategien einer optimalen dezentralen Orchestrierungsstrategie annäherten.

8. Validierung im großen Maßstab

Die dynamische Orchestrierungsstrategie wurde anhand des FeederBW-Datensatzes und des 236-Bus-Niederspannungs-Verteilnetz-Datensatzes unter Betriebszenarien mit hohem Anteil erneuerbarer Energien validiert. Die Validierung bewertete die Fähigkeit des dezentralen Orchestrierungs-Frameworks, die dynamische Anschlusskapazität von Leitungen, die Schwankungen erneuerbarer Energien, die Ausbreitung von Überlastungen und Spannungsinstabilitäten in vernetzten Niederspannungs-Verteilnetzen zu steuern. Die untersuchten Betriebszenarien umfassten einen hohen Anteil erneuerbarer Energien, wechselnde Lastanforderungen, dynamische Ausbreitung von Überlastungen, spannungssensitive Bedingungen sowie variable Anschlusskapazitäten der Leitungen.

Die Leistung des Frameworks wurde anhand der Zulassungsrate der Speisestränge, des Spannungsverträglichkeitsindex, der Entlastungsrate von Überlastungen, der Orchestrierungslatenz, der Konvergenzgeschwindigkeit, der Effizienz der dezentralen Koordination sowie der Fähigkeit zur Integration erneuerbarer Energien bewertet. Diese Maße wurden verwendet, um Skalierbarkeit, Robustheit, Anpassungsfähigkeit und Koordinationsleistung zu beurteilen. Das vorgeschlagene Framework wurde mit traditionellen zentralisierten Ansätzen zur Speisermanagement-Orchestrierung unter identischen Netzwerkkonfigurationen verglichen. Für die Vergleichsmethoden wurden äquivalente Datensätze, Betriebsszenarien, Evaluationsbedingungen und Leistungskennzahlen angewandt.

Tabelle 2 fasst die Datensätze, Betriebsbedingungen, Orchestrierungsumgebungen und Leistungsvariablen zusammen, die für die experimentelle Validierung verwendet wurden. Der FeederBW-Datensatz wurde verwendet, um die Betriebsdynamik von Verteilern, die Schwankungen erneuerbarer Energien, die Entstehung von Überlastungen, die Variation der Wohnlasten und Spannungsschwankungen unter Niederspannungs-Verteilerbedingungen zu bewerten. Der 236-Bus-Niederspannungsdatensatz diente der Bewertung dezentraler Orchestrierung in einem größeren vernetzten Netzwerk. Die Architektur wurde unter wechselnden Bedingungen bezüglich der Erzeugung aus erneuerbaren Quellen, des Lastbedarfs, der Spannung und der Überlastung validiert. Dezentrale Koordination und die auf Verstärkendem Lernen basierende Optimierung von Steuerungsstrategien wurden gemeinsam über die intelligenten Agenten hinweg bewertet.

Die Leistung unter dynamischen Betriebsbedingungen in erneuerbaren Energiesystemen wurde anhand der Fütterungsannahmerate, des Spannungsverträglichkeitsindex, der Stauabschwächungsrate, der Konvergenzgeschwindigkeit und der Orchestrierungslatenz quantifiziert.

Experimenteller Parameter	FeederBW-Datensatz	236-Bus-Niederspannungs-Datensatz	Validierungszweck
Netzwerktyp	Niederspannungs-Feeder-Netzwerk	Großskaliges Niederspannungs-Verteilnetz	Bewertung der dynamischen Orchestrierung
Anzahl der Knoten/Busse	Mehrere Feeder-Knoten	236 Busse	Skalierbarkeitsanalyse
Integration erneuerbarer Energien	Photovoltaik und dezentrale erneuerbare Quellen	Busse mit hohem Anteil erneuerbarer Energien	Validierung der Unsicherheit bei erneuerbaren Energien
Lastverhalten	Dynamische Haushaltslastprofile	Großskalige Lastschwankungen im Feeder	Adaptive Lastorchestrierung
Überlastszenarien	Überlastung und Überlastzustände im Feeder	Ausbreitung von Überlastungen über mehrere Busse	Analyse der Überlastminderung
Spannungsbedingungen	Spannungsschwankungsprofile	Spannungsempfindliche Busbedingungen	Bewertung der Spannungscompliance
Intelligente Agenten	Verteilte Feeder-Agenten	Großskalige kooperative Agenten	Analyse der dezentralen Koordination
Lernumgebung	Verstärkungsbasierte Orchestrierung	Adaptives Lernen mit Multi-Agenten	Validierung der Optimierung von Steuerungsstrategien
Simulationsbedingungen	Dynamische Variabilität erneuerbarer Energien	Großskaliger dynamischer Betrieb	Test der Orchestrierung mit geringer Latenz
Leistungskennzahlen	Akzeptanzrate, Reduktion von Überlastungen	Spannungscompliance, Konvergenzgeschwindigkeit	Gesamtleistung der Orchestrierung

Tabelle 2: Großskalige experimentelle Validierung. Experimentelle Einstellungen, die zur Bewertung der Skalierbarkeit, der Unsicherheit erneuerbarer Energien und der dezentralen Koordination verwendet wurden.

Ergebnisse

Alle Experimente wurden fünfmal mit verschiedenen zufälligen Startwerten durchgeführt, um den Einfluss des stochastischen Lernens zu verringern. Die Mittelwerte wurden über die fünf Durchläufe berechnet. Für alle Methoden wurden dieselben Datensätze, Simulationsparameter, Hyperparameter, Abbruchkriterien und Evaluierungsverfahren verwendet. Als Vergleichsmethoden dienten die zentrale Spannungsregelung (CVC)³³, die konventionelle Mehragentensteuerung (CMAC)²¹, die auf Verstärkendem Lernen basierende Spannungsregelung (RLVR)²⁰, die Koordination dezentraler Energiequellen (DERC)²⁶ und das auf Sensitivität basierende Engpassmanagement (SBCM)³⁴.

Mithilfe der einfaktoriellen Varianzanalyse (ANOVA) wurden statistische Vergleiche zwischen dem vorgeschlagenen Framework und den Basistechniken (CVC, CMAC, RLVR, DERC und SBCM) unabhängig für jede Bewertungsmetrik durchgeführt. Bei Vorliegen statistisch signifikanter Unterschiede gemäß der ANOVA wurde der Tukey-HSD-Test (Tukey's honestly significant difference) als Post-hoc-Test für paarweise Vergleiche verwendet. Die Schwelle für statistische Signifikanz wurde bei p < 0,001 festgelegt. Alle statistischen Analysen wurden mittels einfaktorieller Varianzanalyse durchgeführt, gegebenenfalls ergänzt durch einen Post-hoc-Test zur Prüfung signifikanter Unterschiede. Die einfaktorielle ANOVA wurde mit dem Modul statsmodels.stats.anova durchgeführt. Für die Prüfung der statistischen Signifikanz wurden die endgültigen konvergierten Leistungswerte aus fünf separaten Simulationen für jeden Ansatz verwendet. Die Zwischentrainingsphasen dienten der Visualisierung des Lernprozesses; sie wurden nicht auf statistische Signifikanz überprüft.

Datenerfassung

Die FeederBW- und die 236-Bus-Niederspannungs-(LV-)Verteilungsdatensätze unterstützten die Bewertung des vorgeschlagenen Frameworks unter komplementären Betriebsbedingungen. Der FeederBW-Datensatz lieferte Zeitreihendaten der Speisepunkte, einschließlich Spannung, dezentraler erneuerbarer Erzeugung, Lastnachfrage, Überlastbedingungen und Verhalten bei Netzzugang. Er wurde verwendet, um den dynamischen Speisepunkt-Betrieb, die Volatilität erneuerbarer Energien, die Variation der Haushaltslast, die Ausbreitung von Überlastungen und Spannungsschwankungen zu bewerten.

Der 236-Bus-Niederspannungs-Verteilungsdatensatz enthielt 236 miteinander verbundene Knotenpunkte und umfasste Speisernetz-Topologien, spannungsensitive Bereiche, Bedingungen zum Anteil erneuerbarer Energien, Zustände des Leistungsflusses sowie Szenarien zur Ausbreitung von Überlastungen. Er wurde verwendet, um dezentrale Koordination, adaptive Steuerung und Skalierbarkeit in einem größeren, miteinander verbundenen Verteilungsnetz zu bewerten. Tabelle 3 und Tabelle 4 fassen die experimentellen Validierungsbedingungen und die Simulationsumgebung zusammen.

Validierungsparameter	Beschreibung
Verwendete Datensätze	FeederBW-Datensatz und 236-Bus-Niederspannungs-Datensatz
Netzwerkumgebung	Dynamisches Niederspannungsverteilnetz mit hohem Anteil erneuerbarer Energien
Erneuerbare Energiequellen	Verteilte Photovoltaik (PV) und regenerative Erzeuger
Lernframework	Multi-Agent-Verstärkendes Lernen (MARL)
Koordinationsstrategie	Kollaborative dezentrale Orchestrierung
Betriebsszenarien	Intermittenz erneuerbarer Energien, Lastschwankungen, Ausbreitung von Überlastungen
Anzahl intelligenter Agenten	64 verteilte, auf Ebene der Speisepunkte agierende kollaborative Agenten
Validierungsziel	Adaptive Optimierung der Einspeisekapazität von Speisepunkten
Evaluierungsprozess	Echtzeit-Orchestrierung und koordinierte Maßnahmen unter Berücksichtigung der Sensitivität
Vergleichsanalyse	Vergleich mit herkömmlichen zentralen Koordinationsmethoden

Tabelle 3: Umweltvalidierungsparameter. Validierungsparameter, die zur Bewertung der adaptiven Steuerung unter dynamischen Niederspannungs-Betriebsbedingungen verwendet werden.

Simulationskomponente	Konfiguration
Prozessorumgebung	Hochleistungsfähiges Mehrkernverarbeitungssystem
Programmierframework	Python 3.11.9
Lernframework	Multi-Agent-Verstärkungslernen (MARL)
Lernalgorithmus	Q-Lernen-basiertes Multi-Agent-Verstärkungslernen
Neuronale Netzwerkarchitektur	Vollständig verbundenes neuronales Netzwerk mit zwei versteckten Schichten (128 und 64 Neuronen, ReLU-Aktivierung)
Optimierer	Adam-Optimierer
Lernrate (α)	0,001
Abzinsungsfaktor (γ)	0,99
Wiedergabemechanismus	Erfahrungsspeicher-Puffer (Kapazität: 100.000 Übergänge)
Mini-Batch-Größe	64
Explorationsstrategie	ε-greedy-Exploration (ε fällt von 1,0 auf 0,01 ab)
Trainingsepisode	500
Abbruchkriterium	Maximale Anzahl an Trainingsepisoden erreicht oder Konvergenz der kumulativen Belohnung
Netzwerkmodellierung	Dynamische Niederspannungs-Netzabschnitt-Simulation
Erneuerbare-Energie-Simulation	Variable Profile erneuerbarer Energieerzeugung
Agentenkoordination	Verteilte, kollaborative Kommunikation
Datenverarbeitung	Echtzeit-synchronisierte Zustandsverarbeitung des Netzabschnitts
Optimierungsverfahren	Verstärkungsbasiertes adaptives Politiklernen
Experimentelle Plattform	Großskalige Simulation unter Verwendung des FeederBW-Datensatzes und des 236-Knoten-Niederspannungs-Verteilnetz-Datensatzes
Leistungsüberwachung	Netzabschnitt-Akzeptanzrate (FAR), Spannungs-Konformitätsindex (VCI), Stau-Reduktionsrate (CRR), Orchestrierungslatenz (OL), Konvergenzgeschwindigkeit (CS) und Effizienz dezentraler Koordination (DCE)
Belohnungsgewicht (β)	0,3
Belohnungsgewicht (δ)	0,25
Objektivgewicht (ω₁)	0,30 (Netzabschnitt-Akzeptanz)
Objektivgewicht (ω₂)	0,25 (Stau-Reduktion)
Objektivgewicht (ω₃)	0,25 (Spannungs-Konformität)
Objektivgewicht (ω₄)	0,20 (Orchestrierungslatenz)
Politik-Lernrate (η)	0,001
Regularisierungs-/Ausgleichsparameter (λ)	0,1

Tabelle 4: Simulationsumgebung. Simulationseinstellungen, die für die Verstärkungsbasierten Experimente zur Leiterkoordination verwendet wurden.

Daten-Vorverarbeitung

Die synchronisierten und normalisierten Daten ermöglichten einen konsistenten Vergleich zwischen dem vorgeschlagenen Rahmenwerk und den Baseline-Methoden. Dieselben vorverarbeiteten Speiserezustände, Profilabbildungen der erneuerbaren Erzeugung, Lastanforderungsbedingungen, Spannungsbedingungen und Engpassszenarien wurden bei allen Bewertungen verwendet. Diese gemeinsame Eingabestruktur verringerte Unterschiede, die durch die Datensatzvorbereitung entstehen, und erlaubte es, die beobachteten Leistungsunterschiede den bewerteten Orchestrierungsmethoden zuzuordnen.

Dynamische Modellierung von Niederspannungsnetzen

Das dynamische Niederspannungs-Netzmodell bildete wechselnde erneuerbare Erzeugung, Verbrauchernachfrage, Spannungsbedingungen, Leiterlasten und die Ausbreitung von Überlastung ab. Unter diesen Bedingungen hielt der vorgeschlagene Rahmen die Einspeiseakzeptanz aufrecht, während er auf spannungs- und überlastungsrelevante Betriebszustände reagierte. Das Modell ermöglichte die Bewertung unter schwankender erneuerbarer Erzeugung, variierenden Verbraucherlasten und netzwerkspezifischen Bedingungen mit Neigung zur Überlastung. Unter diesen Bedingungen führten die kooperierenden Agenten eine Leiterpriorisierung, spannungsabhängige Koordination, Überlastungsminderung und Integration erneuerbarer Energien ohne zentrale Steuerung durch.

Initialisierung einer Multi-Agenten-Umgebung

Die dezentrale Agentenanordnung unterstützte lokale Beobachtung und koordinierte Entscheidungsfindung über Speiserbereiche und Netzverbindungsstellen hinweg. Die Agenten tauschten Informationen über den Zustand der Speiser und Empfindlichkeitsmaße mit benachbarten Agenten aus und wählten dabei unabhängig voneinander Orchestrierungsmaßnahmen. Das beobachtete Koordinationsverhalten zeigte, dass die verteilte Anordnung eine Priorisierung der Speiser, Lastkoordination, Spannungsregelung und Reaktion auf Überlastung ermöglichte. Die dezentrale Konfiguration verringerte zudem die Abhängigkeit von einer einzigen zentralen Steuerungseinheit und ermöglichte einen koordinierten Betrieb über das größere 236-Knoten-Netzwerk hinweg.

Lernen von Agenten durch Verstärkung

Die auf Verstärkungslernen basierende Strategie verbesserte sich während des Trainingszeitraums hinsichtlich der Zuleiterakzeptanz, Spannungscompliance, Netzüberlastungsreduzierung, Orchestrierungslatenz und Konvergenzgeschwindigkeit. Abbildung 3 vergleicht die Zuleiterakzeptanzrate (FAR) des vorgeschlagenen Frameworks mit CVC, CMAC, RLVR, DERC und SBCM. CVC erzielte die niedrigste FAR und stieg von 62 % auf 70 %. CMAC und DERC erreichten maximale FAR-Werte von 75 % bzw. 78 %. RLVR und SBCM erreichten 83 % bzw. 81 %. Das vorgeschlagene Framework steigerte die FAR vom frühen Trainingsstadium mit 72 % auf 97 % im späteren Stadium. Dieses Ergebnis zeigte, dass der kooperative Verstärkungslernprozess eine adaptive Zuleiterakzeptanz unter Unsicherheiten erneuerbarer Energien und wechselnden Niederspannungs-Betriebsbedingungen ermöglicht.

Abbildung 3: Zufuhrannahmerate (FAR). Vergleich der Zufuhrannahmerate (FAR) zwischen dem vorgeschlagenen Framework und den grundlegenden Methoden zur Zufuhrkoordination. Die Werte sind als Mittelwert ± Standardabweichung dargestellt, wobei das vorgeschlagene Framework mit jeder Baseline-Methode über fünf unabhängige Simulationen hinweg verglichen wurde. Die statistische Signifikanz wurde bei p < 0,001 mit 95 % Konfidenzintervallen bewertet. Abkürzungen: FAR, Zufuhrannahmerate; CVC, zentralisierte Spannungsregelung; CMAC, konventionelle Mehragentensteuerung; RLVR, spannungsregelbasierte Verstärkungslernung; DERC, dezentrale Energiequellenkoordination; SBCM, sensibilitätsbasiertes Stau-Management. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 4 zeigt den Spannungs-Konformitäts-Index (VCI). CVC stieg von 70 % auf 77 %, während CMAC und DERC etwa 81 % bzw. 84 % erreichten. RLVR und SBCM erreichten 88 % bzw. 86 %. Der vorgeschlagene Ansatz stieg während des frühen Trainings von 78 % auf etwa 98 % bei Konvergenz. Der höhere VCI zeigt an, dass der vorgeschlagene Ansatz die Spannungs-Konformität unter intermittierender regenerativer Erzeugung und wechselnder Lastnachfrage wirksamer aufrechterhielt als die vergleichenden Verfahren.

Abbildung 4: Spannungs-Konformitäts-Index (VCI). Vergleichende Analyse des VCI unter dynamischen Niederspannungs-Betriebsbedingungen. Die Werte sind als Mittelwert ± Standardabweichung dargestellt, wobei das vorgeschlagene Framework mit jeweils einer Baseline-Methode über fünf unabhängige Simulationen hinweg verglichen wird; 95-%-Konfidenzintervalle und statistische Signifikanz wurden bei p < 0,001 ermittelt. Abkürzungen: VCI, Voltage Compliance Index; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Die VCI-Wärmekarte in Abbildung 5 zeigte den Fortschritt der Spannungscompliance über die Trainingsdurchläufe hinweg. Der vorgeschlagene Ansatz erreichte in späteren Iterationen Werte zwischen 95 % und 98 %. CVC blieb zwischen 70 % und 77 %, während RLVR und SBCM etwa 88 % bzw. 86 % erreichten. Die Wärmekarte zeigte somit, dass der vorgeschlagene Ansatz während der späteren Lernphasen die höchste Leistung hinsichtlich der Spannungscompliance beibehielt.

Abbildung 5: Heatmap des Voltage Compliance Index (VCI). Heatmap zur Darstellung der VCI-Leistung über Trainingsiterationen und Methoden zur Netzleiterkoordination hinweg. Die Farbskala repräsentiert die Höhe des Voltage Compliance Index, wobei hellere Farben niedrigere VCI-Werte und dunklere Farben höhere VCI-Werte anzeigen. Abkürzungen: VCI, Voltage Compliance Index; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Tabelle 5 zeigt die Staugebühren-Reduktionsrate (CRR). CVC stieg von 48 % auf 63 %. CMAC und DERC erreichten etwa 73 % bzw. 75 %, während RLVR 80 % und SBCM 82 % erreichten. Der vorgeschlagene Rahmen stieg zu Beginn des Trainings von 64 % auf etwa 96 % nach Konvergenz. Im Vergleich zu den Endwerten der Vergleichsmethoden verbesserte der vorgeschlagene Rahmen die CRR um etwa 33 % gegenüber CVC, 23 % gegenüber CMAC, 16 % gegenüber RLVR, 21 % gegenüber DERC und 14 % gegenüber SBCM. Diese Beobachtungen zeigten, dass die kollaborative Orchestrierungsrichtlinie die Ausbreitung von Staus wirksamer reduzierte als die zentralisierten, konventionellen Multi-Agenten-, Spannungsregulierungs-, verteilten Ressourcen- und sensitivitätsbasierten Vergleichsmethoden. Abbildung 6 vergleicht die Orchestrierungslatenz (OL). Die angegebene Orchestrierungslatenz entspricht der gemessenen Echtzeit-Ausführungszeit, die der vorgeschlagene Orchestrierungsalgorithmus während der Simulation auf der angegebenen Hardwareplattform benötigte. Sie sollte nicht als physische Betriebszeit eines implementierten Verteilungsnetzes interpretiert werden. Der vorgeschlagene Rahmen reduzierte die OL von 220 ms auf 98 ms. Bei Konvergenz ergaben CVC, CMAC, RLVR, DERC und SBCM Latenzen von 283 ms, 253 ms, 215 ms, 242 ms bzw. 205 ms. Der vorgeschlagene Rahmen reduzierte die Latenz daher um etwa 65 %, 61 %, 54 %, 59 % und 52 % im Vergleich zu CVC, CMAC, RLVR, DERC und SBCM. Eine geringere Latenz zeigte an, dass dezentrale Zusammenarbeit schnellere Entscheidungen bezüglich der Leiter-Orchestrierung ermöglichte.

Trainingsiteration	CVC (%)(Mittelwert ± SD)	CMAC (%)(Mittelwert ± SD)	RLVR (%)(Mittelwert ± SD)	DERC (%)(Mittelwert ± SD)	SBCM (%)(Mittelwert ± SD)	Vorgeschlagene Methode (%)(Mittelwert ± SD)
1	48,0 ± 0,5	52,0 ± 0,5	56,0 ± 0,4	54,0 ± 0,5	58,0 ± 0,4	64,0 ± 0,3
2	50,0 ± 0,5	54,0 ± 0,5	59,0 ± 0,4	56,0 ± 0,5	61,0 ± 0,4	68,0 ± 0,3
3	52,0 ± 0,5	57,0 ± 0,4	62,0 ± 0,4	59,0 ± 0,5	64,0 ± 0,4	72,0 ± 0,3
4	54,0 ± 0,4	60,0 ± 0,4	65,0 ± 0,4	62,0 ± 0,4	67,0 ± 0,4	76,0 ± 0,2
5	56,0 ± 0,4	62,0 ± 0,4	68,0 ± 0,3	64,0 ± 0,4	70,0 ± 0,3	80,0 ± 0,2
6	58,0 ± 0,4	65,0 ± 0,4	71,0 ± 0,3	67,0 ± 0,4	73,0 ± 0,3	84,0 ± 0,2
7	60,0 ± 0,4	67,0 ± 0,4	74,0 ± 0,3	69,0 ± 0,3	76,0 ± 0,3	87,0 ± 0,2
8	61,0 ± 0,4	69,0 ± 0,3	76,0 ± 0,3	71,0 ± 0,3	78,0 ± 0,3	90,0 ± 0,2
9	62,0 ± 0,4	71,0 ± 0,3	78,0 ± 0,3	73,0 ± 0,3	80,0 ± 0,3	93,0 ± 0,2
10	63,0 ± 0,4	73,0 ± 0,3	80,0 ± 0,3	75,0 ± 0,3	82,0 ± 0,3	96,0 ± 0,2

Tabelle 5: Stauabschwächungsrate (CRR): Mittelwert ± Standardabweichung der Stauabschwächungsrate (CRR) aus fünf unabhängigen Simulationen zum Vergleich des vorgeschlagenen Frameworks mit den baseline-Feeder-Orchestrierungsmethoden. Abkürzungen: CRR, Stauabschwächungsrate; CVC, zentrale Spannungsregelung; CMAC, konventionelle Multi-Agenten-Steuerung; RLVR, verstärkungslernbasierte Spannungsregelung; DERC, Koordination verteilter Energieressourcen; SBCM, empfindlichkeitsbasiertes Stau-Management.

Abbildung 6: Orchestrierungslatenz (OL). Vergleichende Analyse der Orchestrierungslatenz während der adaptiven dezentralen Feeder-Koordination. Die Werte sind als Mittelwert ± Standardabweichung dargestellt, wobei das vorgeschlagene Framework mit jeweils einer Baseline-Methode anhand von fünf unabhängigen Simulationen verglichen wurde; die 95-%-Konfidenzintervalle und die statistische Signifikanz wurden bei p < 0,001 ermittelt. Abkürzungen: OL, Orchestrierungslatenz; CVC, zentralisierte Spannungsregelung; CMAC, konventionelle Multi-Agenten-Steuerung; RLVR, spannungsregelnde Maßnahmen auf Basis von Verstärkendem Lernen; DERC, Koordination verteilter Energieressourcen; SBCM, sensibilitätsbasiertes Stau-Management. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 7 zeigt die Konvergenzgeschwindigkeit (CS). CVC stieg von 42 % auf 67 % nach 20 Trainingsdurchgängen an. CMAC und DERC erreichten etwa 74 % bzw. 79 %. RLVR erreichte 87 %, und SBCM erreichte etwa 90 %. Der vorgeschlagene Ansatz stieg vom ersten Durchgang mit 58 % auf 98,5 % nach Konvergenz an und übertraf bereits im zehnten Durchgang die Marke von 93 %. Der vorgeschlagene Ansatz verbesserte die endgültige Konvergenzleistung um 31,5 % gegenüber CVC, um 24,5 % gegenüber CMAC, um 11,5 % gegenüber RLVR, um 19,5 % gegenüber DERC und um 8,5 % gegenüber SBCM. Diese Ergebnisse zeigten, dass die vorgeschlagene Strategie eine stabile Orchestrierungsleistung schneller erreichte als die vergleichenden Methoden.

Abbildung 7: Konvergenzgeschwindigkeit (CS). Konvergenzkurven, die die adaptive Lernleistungsfähigkeit und die Geschwindigkeit der Orchestrierungskonvergenz der bewerteten Methoden zeigen. Abkürzungen: CS, Konvergenzgeschwindigkeit; CVC, zentralisierte Spannungsregelung; CMAC, konventionelle Multi-Agenten-Steuerung; RLVR, spannungsregelbasierte Verstärkungslernung; DERC, Koordination verteilter Energiequellen; SBCM, empfindlichkeitsbasiertes Stau-Management. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Kollaborative Akzeptanz-Orchestrierung und latenzarme adaptive Entscheidungsoptimierung

Abbildung 8 zeigt die dezentrale Koordinations-Effizienz (DCE). CVC erzielte die niedrigste DCE mit 68 %. CMAC erreichte 75 %, DERC erreichte 79 %, RLVR erreichte 84 % und SBCM erreichte 88 %. Der vorgeschlagene Ansatz erreichte eine DCE von 97 %. Der vorgeschlagene Ansatz übertraf CVC um 29 Prozentpunkte, CMAC um 22 Prozentpunkte, RLVR um 13 Prozentpunkte, DERC um 18 Prozentpunkte und SBCM um 9 Prozentpunkte. Dieses Ergebnis zeigte, dass lokaler Informationsaustausch, Koordination benachbarter Agenten und dezentrale Politik-Optimierung eine effektivere Koordination ermöglichen als die vergleichenden Verfahren.

Abbildung 8: Effizienz dezentraler Koordination (DCE). Vergleichende Analyse der DCE während der Zusammenarbeit intelligenter Agenten. Die Werte sind als Mittelwert ± Standardabweichung dargestellt, wobei der vorgeschlagene Ansatz mit jeweils einer Baseline-Methode über fünf unabhängige Simulationen hinweg verglichen wird; 95 % Konfidenzintervalle und statistische Signifikanz wurden bei p < 0,001 ermittelt. Abkürzungen: DCE, Effizienz dezentraler Koordination; CVC, zentralisierte Spannungsregelung; CMAC, konventionelle Multi-Agenten-Steuerung; RLVR, spannungsregelbasierte Verstärkungslernung; DERC, Koordination verteilter Energiequellen; SBCM, sensibilitätsbasiertes Engpassmanagement. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 9 und Tabelle 6 zeigen die erneuerbare Einspeisekapazität (RAC). Die CVC stieg von 52 % auf 63 %. CMAC und DERC erreichten etwa 72 % bzw. 76 %. RLVR erreichte etwa 83 %, und SBCM erreichte 86 %. Der vorgeschlagene Ansatz stieg von anfänglich 70 % zu Beginn des Lernprozesses auf 97 % nach Konvergenz. Der vorgeschlagene Ansatz übertraf CVC um 34 Prozentpunkte, CMAC um 25 Prozentpunkte, RLVR um 14 Prozentpunkte, DERC um 21 Prozentpunkte und SBCM um 11 Prozentpunkte. Diese Ergebnisse zeigten, dass der vorgeschlagene Orchestrierungsansatz einen höheren Anteil erneuerbarer Erzeugung aufnahm, während gleichzeitig der Betrieb des Speisepunkts, die Spannungsqualität und die Berücksichtigung von Netzüberlastungen aufrechterhalten wurden.

Abbildung 9: Fähigkeit zur Integration erneuerbarer Energien (RAC). Vergleichende Analyse der RAC in netzgekoppelten Systemen mit hohem Anteil erneuerbarer Energien. Die Werte sind als Mittelwert ± Standardabweichung dargestellt, basierend auf einem Vergleich des vorgeschlagenen Frameworks mit jeweiligen Referenzmethoden über fünf unabhängige Simulationen hinweg, mit 95 % Konfidenzintervallen und statistischer Signifikanz, bewertet bei p < 0,001. Abkürzungen: RAC, Fähigkeit zur Integration erneuerbarer Energien; CVC, zentrale Spannungsregelung; CMAC, konventionelle Multi-Agenten-Steuerung; RLVR, spannungsregelbasierte Verstärkungslernung; DERC, dezentrale Energiequellen-Koordination; SBCM, sensibilitätsbasiertes Engpassmanagement. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Trainingsiteration	CVC (%) (Mittelwert ± SD)	CMAC (%) (Mittelwert ± SD)	RLVR (%) (Mittelwert ± SD)	DERC (%) (Mittelwert ± SD)	SBCM (%) (Mittelwert ± SD)	Vorgeschlagene Methode (%) (Mittelwert ± SD)
1	52,0 ± 0,5	58,0 ± 0,5	64,0 ± 0,4	60,0 ± 0,5	66,0 ± 0,4	70,0 ± 0,3
2	54,0 ± 0,5	60,0 ± 0,5	67,0 ± 0,4	62,0 ± 0,5	69,0 ± 0,4	74,0 ± 0,3
3	55,0 ± 0,4	62,0 ± 0,4	70,0 ± 0,4	64,0 ± 0,4	72,0 ± 0,4	78,0 ± 0,3
4	57,0 ± 0,4	64,0 ± 0,4	73,0 ± 0,3	66,0 ± 0,4	75,0 ± 0,3	82,0 ± 0,2
5	58,0 ± 0,4	66,0 ± 0,4	75,0 ± 0,3	68,0 ± 0,4	77,0 ± 0,3	86,0 ± 0,2
6	59,0 ± 0,4	67,0 ± 0,4	77,0 ± 0,3	70,0 ± 0,3	79,0 ± 0,3	89,0 ± 0,2
7	60,0 ± 0,4	68,0 ± 0,3	79,0 ± 0,3	72,0 ± 0,3	81,0 ± 0,3	91,0 ± 0,2
8	61,0 ± 0,4	69,0 ± 0,3	80,0 ± 0,3	73,0 ± 0,3	83,0 ± 0,3	93,0 ± 0,2
9	62,0 ± 0,4	70,0 ± 0,3	81,0 ± 0,3	74,0 ± 0,3	84,0 ± 0,3	95,0 ± 0,2
10	63,0 ± 0,4	72,0 ± 0,3	83,0 ± 0,3	76,0 ± 0,3	86,0 ± 0,3	97,0 ± 0,2

Tabelle 6: Erneuerbare Einspeisekapazität (RAC): Mittelwert ± Standardabweichung der erneuerbaren Einspeisekapazität (RAC) aus fünf unabhängigen Simulationen im Vergleich des vorgeschlagenen Frameworks mit den baseline-Methoden zur Leiterkoordinierung. Abkürzungen: RAC, Erneuerbare Einspeisekapazität; CVC, zentrale Spannungsregelung; CMAC, konventionelle Multi-Agenten-Steuerung; RLVR, spannungsregelung basierend auf Verstärkendem Lernen; DERC, Koordination verteilter Energiequellen; SBCM, empfindlichkeitsbasiertes Engpassmanagement.

Beurteilung der Spannungs- und Überlastungsempfindlichkeit

Abbildung 10 zeigt die Stabilität der Spannungs­empfindlichkeit (VSS). Die CVC stieg von 60 % auf 69 %. CMAC und DERC erreichten etwa 76 % bzw. 78 %, während RLVR 84 % erreichte. Der vorgeschlagene Ansatz stieg während des frühen Trainings von 74 % auf 98 % nach Konvergenz. Der vorgeschlagene Ansatz übertraf CVC um 29 Prozentpunkte, CMAC um 22 Prozentpunkte, RLVR um 14 Prozentpunkte, DERC um 20 Prozentpunkte und SBCM um 12 Prozentpunkte. Diese Ergebnisse zeigten, dass der empfindlichkeitsbasierte Ansatz eine stärkere spannungs­empfindliche Leistungs­fähigkeit des Netzteils unter intermittierender erneuerbarer Erzeugung, variabler Lastnachfrage und dynamischer Überlastung aufrechterhielt.

Abbildung 10: Spannungsempfindlichkeitsstabilität (VSS). Vergleichende Analyse der Stabilität der Spannungsempfindlichkeit während der adaptiven, spannungsbezogenen Leiterkoordination. Die Werte sind als Mittelwert ± Standardabweichung dargestellt, wobei der vorgeschlagene Ansatz mit jeweils einem Baseline-Verfahren über fünf unabhängige Simulationen hinweg verglichen wird; 95-%-Konfidenzintervalle und statistische Signifikanz wurden bei p < 0,001 ermittelt. Abkürzungen: VSS, Spannungsempfindlichkeitsstabilität; CVC, zentralisierte Spannungsregelung; CMAC, konventionelle Mehragentensteuerung; RLVR, spannungsregelung basierend auf Verstärkendem Lernen; DERC, Koordination verteilter Energiequellen; SBCM, empfindlichkeitsbasiertes Engpassmanagement. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 11 zeigt den Stau-Empfindlichkeitsindex (CSI). CVC stieg von 52 % auf 63 % an. CMAC und DERC erreichten jeweils 72 % und 76 %. RLVR erreichte etwa 83 %, und SBCM erreichte etwa 86 %. Der vorgeschlagene Ansatz stieg während des frühen Trainings von 72 % auf etwa 98 % am Ende des Trainings an. Der vorgeschlagene Ansatz übertraf CVC um etwa 35 Prozentpunkte, CMAC um 26 Prozentpunkte, RLVR um 15 Prozentpunkte, DERC um 22 Prozentpunkte und SBCM um 12 Prozentpunkte. Die Heatmap zeigte, dass der vorgeschlagene Ansatz während der späteren Trainingsepisoden die höchste Leistung hinsichtlich der Stau-Empfindlichkeit beibehielt.

Abbildung 11: Heatmap des Staugefühligkeitsindex (CSI). Heatmap, die die Leistung hinsichtlich der Staugefühligkeit über verschiedene Trainingsstadien und Methoden zur Leiterkoordination darstellt. Die Farbskala repräsentiert die Größe des Staugefühligkeitsindex, wobei hellere Farben niedrigere CSI-Werte und dunklere Farben höhere CSI-Werte anzeigen. Abkürzungen: CSI, Staugefühligkeitsindex; CVC, zentrale Spannungsregelung; CMAC, konventionelle Multi-Agent-Steuerung; RLVR, spannungsregelnde Maßnahmen auf Basis von Verstärkendem Lernen; DERC, Koordination verteilter Energiequellen; SBCM, sensibilitätsbasiertes Stau-Management. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Validierung im großen Maßstab

Abbildung 12 und Tabelle 7 zeigen den Feeder-Stabilitätsindex (FSI). CVC erzielte einen durchschnittlichen FSI von 64,7 %, während CMAC und DERC Durchschnittswerte von 72,5 % bzw. 76,0 % erreichten. RLVR erzielte einen durchschnittlichen FSI von 81,5 %. Der vorgeschlagene Ansatz erreichte 97 % Spannungsstabilität, 96 % Staukontrolle, 95 % Kapazität zur Integration erneuerbarer Energien, 94 % Effizienz der Lastverteilung, 98 % Koordinationseffizienz und 97 % Reaktionsgeschwindigkeit. Diese Komponentenwerte ergaben einen durchschnittlichen FSI von etwa 96,2 %. Der vorgeschlagene Ansatz verbesserte den durchschnittlichen FSI um etwa 31,5 Prozentpunkte gegenüber CVC, um 23,7 Prozentpunkte gegenüber CMAC, um 14,7 Prozentpunkte gegenüber RLVR, um 20,2 Prozentpunkte gegenüber DERC und um 11,7 Prozentpunkte gegenüber SBCM. Die ausgewogenen Komponentenwerte zeigten, dass der Ansatz eine gleichmäßige Leistung hinsichtlich Spannungsstabilität, Stauvermeidung, Integration erneuerbarer Energien, Lastverteilung, Koordinationseffizienz und Reaktionsgeschwindigkeit aufrechterhielt. Für jeden Simulationsschritt wurde das arithmetische Mittel der sechs Leistungskomponenten – Spannungsstabilität, Staukontrolle, Integration erneuerbarer Energien, Lastverteilung, Koordinationseffizienz und Reaktionsgeschwindigkeit – zur Bestimmung des Gesamt-FSI verwendet. Die fünf separaten Simulationsschritte dienten zur Berechnung des angegebenen Mittelwerts und der Standardabweichung.

Abbildung 12: Feeder Stability Index (FSI). Radar-Diagramm-Vergleich des Feeder Stability Index für den vorgeschlagenen Rahmenansatz und die Baseline-Methoden über sechs Leistungskomponenten hinweg: Spannungsstabilität, Engpasskontrolle, Integration erneuerbarer Energien, Lastverteilung, Koordinationseffizienz und Reaktionsgeschwindigkeit. Höhere Werte zeigen eine bessere Leistung für jede Komponente an. Abkürzungen: FSI, Feeder Stability Index; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Evaluierungsparameter	CVC (%) (Mittelwert ± SD)	CMAC (%) (Mittelwert ± SD)	RLVR (%) (Mittelwert ± SD)	DERC (%) (Mittelwert ± SD)	SBCM (%) (Mittelwert ± SD)	Vorgeschlagene Methode (%) (Mittelwert ± SD)
Spannungsstabilität	68,0 ± 0,6	74,0 ± 0,5	82,0 ± 0,4	77,0 ± 0,5	86,0 ± 0,3	97,0 ± 0,2
Kapazitätssteuerung	64,0 ± 0,6	71,0 ± 0,5	79,0 ± 0,4	74,0 ± 0,5	84,0 ± 0,3	96,0 ± 0,2
Integration erneuerbarer Energien	62,0 ± 0,5	70,0 ± 0,5	81,0 ± 0,4	76,0 ± 0,4	83,0 ± 0,3	95,0 ± 0,2
Lastverteilung	66,0 ± 0,5	73,0 ± 0,4	80,0 ± 0,4	75,0 ± 0,4	82,0 ± 0,3	94,0 ± 0,2
Koordinationseffizienz	65,0 ± 0,5	75,0 ± 0,4	83,0 ± 0,3	78,0 ± 0,4	87,0 ± 0,3	98,0 ± 0,2
Reaktionsgeschwindigkeit	63,0 ± 0,5	72,0 ± 0,4	84,0 ± 0,3	76,0 ± 0,4	85,0 ± 0,3	97,0 ± 0,2
Durchschnittlicher FSI-Wert	64,7 ± 0,5	72,5 ± 0,5	81,5 ± 0,4	76,0 ± 0,4	84,5 ± 0,3	96,2 ± 0,2

Tabelle 7: Speisernetz-Stabilitätsindex (FSI): Mittelwert ± Standardabweichung des Speisernetz-Stabilitätsindex (FSI) aus fünf unabhängigen Simulationen basierend auf Spannungsstabilität, Engpasskontrolle, Integration erneuerbarer Energien, Lastverteilung, Koordinationseffizienz und Ansprechgeschwindigkeit. Abkürzungen: FSI, Speisernetz-Stabilitätsindex; CVC, zentralisierte Spannungsregelung; CMAC, konventionelle Multi-Agenten-Steuerung; RLVR, spannungsregelung basierend auf Verstärkendem Lernen; DERC, Koordination verteilter Energiequellen; SBCM, empfindlichkeitsbasiertes Engpassmanagement.

Abbildung 13 zeigt die Lastverteilungseffizienz (LBE). CVC erreichte eine Gesamt-LBE von etwa 68 %, bestehend aus 42 % ausgeglichener Lastverteilung, 18 % mäßiger Laststabilität und 8 % dynamischer adaptiver Lastausgleichung. CMAC und DERC erreichten Gesamtwerte von etwa 80 % bzw. 86 %. RLVR erreichte etwa 92 %, und SBCM erreichte etwa 96 %. Der vorgeschlagene Ansatz erreichte eine Gesamt-LBE von etwa 98 %, bestehend aus 72 % ausgeglichener Lastverteilung, 20 % mäßiger Laststabilität und 6 % dynamischer adaptiver Lastausgleichung. Dieses Ergebnis zeigte, dass der vorgeschlagene Ansatz die höchste Gesamtleistung bei der Lastverteilung unter den bewerteten Methoden aufwies.

Abbildung 13: Lastverteilungseffizienz (LBE) Gestapelte Balkenvergleich der Lastverteilungseffizienz für den vorgeschlagenen Rahmenansatz und die Baseline-Methoden. Jeder gestapelte Balken besteht aus drei Leistungskomponenten: Ausgeglichene Lastverteilung, Mittlere Laststabilität, und Dynamisches adaptives Ausgleichen, deren kombinierte Werte die Gesamt-LBE für jede Methode darstellen. Höhere Gesamtwerte weisen auf eine bessere Lastverteilungsleistung hin. Abkürzungen: LBE, Lastverteilungseffizienz; CVC, Zentrale Spannungsregelung; CMAC, Konventionelle Multi-Agenten-Steuerung; RLVR, Verstärkungslernbasierte Spannungsregelung; DERC, Dezentrale Energiequellen-Koordination; SBCM, Empfindlichkeitsbasiertes Engpassmanagement. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 14 zeigt die Effizienz der erneuerbaren Nutzung (RUE). CVC stieg von 50 % auf 61 %. CMAC und DERC erreichten 70 % bzw. 75 %. RLVR erreichte 82 % und SBCM 86 %. Der vorgeschlagene Rahmen stieg während des frühen Trainings von 72 % auf etwa 98 % bei Konvergenz. Der vorgeschlagene Rahmen übertraf CVC um etwa 37 Prozentpunkte, CMAC um 28 Prozentpunkte, RLVR um 16 Prozentpunkte, DERC um 23 Prozentpunkte und SBCM um 12 Prozentpunkte. Die höhere RUE zeigte, dass die vorgeschlagene Orchestrierungsstrategie unter wechselnden Last- und Stauungsbedingungen einen größeren Anteil der verfügbaren erneuerbaren Erzeugung nutzte.

Abbildung 14: Nutzungseffizienz erneuerbarer Energien (RUE). Vergleichende Analyse der RUE während der Orchestrierung von Niederspannungsleitungen. Die Werte sind als Mittelwert ± Standardabweichung dargestellt, wobei der vorgeschlagene Ansatz mit jeweils einer Baseline-Methode über fünf unabhängige Simulationen hinweg verglichen wird; 95-%-Konfidenzintervalle und statistische Signifikanz wurden bei p < 0,001 bewertet. Abkürzungen: RUE, Nutzungseffizienz erneuerbarer Energien; CVC, zentralisierte Spannungsregelung; CMAC, konventionelle Mehragentensteuerung; RLVR, spannungsregelungsbasierte Verstärkungslernen; DERC, Koordination verteilter Energiequellen; SBCM, empfindlichkeitsbasiertes Engpassmanagement. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 15 und Tabelle 8 zeigen die adaptive Entscheidungsgenauigkeit (ADA). Der vorgeschlagene Ansatz stieg von 78 % auf 99 %. CVC, CMAC, RLVR, DERC und SBCM konvergierten jeweils zu 68 %, 76 %, 86 %, 79 % und 88 %. Der vorgeschlagene Ansatz übertraf CVC um etwa 31 Prozentpunkte, CMAC um 23 Prozentpunkte, RLVR um 13 Prozentpunkte, DERC um 20 Prozentpunkte und SBCM um 11 Prozentpunkte. Die höhere ADA zeigte an, dass die kooperierenden Agenten genauere Orchestrierungsentscheidungen unter stromreichen Niederspannungs-Betriebsbedingungen trafen.

Abbildung 15: Adaptive Entscheidungsgenauigkeit (ADA). Vergleichende Analyse der ADA für den vorgeschlagenen Orchestrierungsrahmen und die Baseline-Methoden. Die Werte sind als Mittelwert ± Standardabweichung dargestellt, wobei der vorgeschlagene Rahmen mit jeder Baseline-Methode über fünf unabhängige Simulationen hinweg verglichen wird; zudem wurden 95 % Konfidenzintervalle berechnet und die statistische Signifikanz bei p < 0,001 bewertet. Abkürzungen: ADA, Adaptive Entscheidungsgenauigkeit; CVC, zentralisierte Spannungsregelung; CMAC, konventionelle Multi-Agenten-Steuerung; RLVR, spannungsregelnde Maßnahmen auf Basis verstärkenden Lernens; DERC, Koordination verteilter Energiequellen; SBCM, sensibilitätsbasiertes Engpassmanagement. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Trainings-Epoche	CVC (%) (Mittelwert ± SD)	CMAC (%) (Mittelwert ± SD)	RLVR (%) (Mittelwert ± SD)	DERC (%) (Mittelwert ± SD)	SBCM (%) (Mittelwert ± SD)	Vorgeschlagene Methode (%) (Mittelwert ± SD)
1	58,0 ± 0,5	64,0 ± 0,5	70,0 ± 0,4	66,0 ± 0,5	72,0 ± 0,4	78,0 ± 0,3
2	60,0 ± 0,5	66,0 ± 0,5	73,0 ± 0,4	68,0 ± 0,5	75,0 ± 0,4	82,0 ± 0,3
3	61,0 ± 0,4	68,0 ± 0,4	76,0 ± 0,4	70,0 ± 0,4	78,0 ± 0,4	86,0 ± 0,2
4	62,0 ± 0,4	70,0 ± 0,4	78,0 ± 0,3	72,0 ± 0,4	80,0 ± 0,3	89,0 ± 0,2
5	63,0 ± 0,4	71,0 ± 0,4	80,0 ± 0,3	74,0 ± 0,4	82,0 ± 0,3	91,0 ± 0,2
6	64,0 ± 0,4	72,0 ± 0,4	82,0 ± 0,3	75,0 ± 0,3	84,0 ± 0,3	93,0 ± 0,2
7	65,0 ± 0,4	73,0 ± 0,3	83,0 ± 0,3	76,0 ± 0,3	85,0 ± 0,3	95,0 ± 0,2
8	66,0 ± 0,4	74,0 ± 0,3	84,0 ± 0,3	77,0 ± 0,3	86,0 ± 0,3	96,0 ± 0,2
9	67,0 ± 0,4	75,0 ± 0,3	85,0 ± 0,3	78,0 ± 0,3	87,0 ± 0,3	97,0 ± 0,2
10	68,0 ± 0,4	76,0 ± 0,3	86,0 ± 0,3	79,0 ± 0,3	88,0 ± 0,3	99,0 ± 0,2

Tabelle 8: Adaptive Entscheidungsgenauigkeit (ADA): Mittelwert ± Standardabweichung der adaptiven Entscheidungsgenauigkeit (ADA) aus fünf unabhängigen Simulationen zum Vergleich des vorgeschlagenen intelligenten Zufuhr-Orchestrierungs-Frameworks mit den Baseline-Methoden. Abkürzungen: ADA, Adaptive Entscheidungsgenauigkeit; CVC, zentralisierte Spannungsregelung; CMAC, konventionelle Multi-Agenten-Steuerung; RLVR, spannungsregelbasierte Verstärkungslernung; DERC, Koordination verteilter Energiequellen; SBCM, sensibilitätsbasiertes Stau-Management.

Tabelle 9 zeigt die Verbesserung der Systemzuverlässigkeit (SRI). CVC stieg von 60 % auf 69 %. CMAC erreichte etwa 78 %, DERC etwa 81 %, RLVR etwa 86 % und SBCM etwa 88 %. Der vorgeschlagene Ansatz stieg während des frühen Lernens von 80 % auf etwa 99 % bei Konvergenz. Der vorgeschlagene Ansatz übertraf CVC um etwa 30 Prozentpunkte, CMAC um 21 Prozentpunkte, RLVR um 13 Prozentpunkte, DERC um 18 Prozentpunkte und SBCM um 11 Prozentpunkte. Die höhere SRI zeigte, dass der vorgeschlagene Ansatz die Kontinuität der Speisung, die Spannungsstabilität, die Staukontrolle und die adaptive Integration erneuerbarer Energien wirksamer aufrechterhielt als die Vergleichsmethoden.

Trainingsiteration	CVC (%) (Mittelwert ± SD)	CMAC (%) (Mittelwert ± SD)	RLVR (%) (Mittelwert ± SD)	DERC (%) (Mittelwert ± SD)	SBCM (%) (Mittelwert ± SD)	Vorgeschlagene Methode (%) (Mittelwert ± SD)
1	60,0 ± 0,5	66,0 ± 0,5	72,0 ± 0,4	68,0 ± 0,5	75,0 ± 0,4	80,0 ± 0,3
2	61,0 ± 0,5	68,0 ± 0,5	74,0 ± 0,4	70,0 ± 0,5	77,0 ± 0,4	84,0 ± 0,3
3	62,0 ± 0,4	70,0 ± 0,4	76,0 ± 0,4	72,0 ± 0,4	79,0 ± 0,4	87,0 ± 0,2
4	63,0 ± 0,4	72,0 ± 0,4	78,0 ± 0,3	74,0 ± 0,4	81,0 ± 0,3	90,0 ± 0,2
5	64,0 ± 0,4	73,0 ± 0,4	80,0 ± 0,3	76,0 ± 0,4	83,0 ± 0,3	92,0 ± 0,2
6	65,0 ± 0,4	74,0 ± 0,4	82,0 ± 0,3	77,0 ± 0,3	84,0 ± 0,3	94,0 ± 0,2
7	66,0 ± 0,4	75,0 ± 0,3	83,0 ± 0,3	78,0 ± 0,3	85,0 ± 0,3	95,0 ± 0,2
8	67,0 ± 0,4	76,0 ± 0,3	84,0 ± 0,3	79,0 ± 0,3	86,0 ± 0,3	96,0 ± 0,2
9	68,0 ± 0,4	77,0 ± 0,3	85,0 ± 0,3	80,0 ± 0,3	87,0 ± 0,3	97,0 ± 0,2
10	69,0 ± 0,4	78,0 ± 0,3	86,0 ± 0,3	81,0 ± 0,3	88,0 ± 0,3	99,0 ± 0,2

Tabelle 9: Verbesserung der Systemzuverlässigkeit (SRI): Mittelwert ± Standardabweichung der Verbesserung der Systemzuverlässigkeit (SRI) aus fünf unabhängigen Simulationen unter Bedingungen einer erneuerbarenreichen Niederspannungsverteilung. Abkürzungen: SRI, Verbesserung der Systemzuverlässigkeit; CVC, zentralisierte Spannungsregelung; CMAC, konventionelle Multi-Agenten-Steuerung; RLVR, spannungsregelungsbasierte Verstärkungslernen; DERC, Koordination verteilter Energiequellen; SBCM, empfindlichkeitsbasiertes Engpassmanagement.

Der vorgeschlagene Rahmen wurde unter verschiedenen Bedingungen bezüglich erneuerbarer Erzeugung, Lastnachfrage, Spannung und Netzüberlastung anhand der Datensätze FeederBW und 236-bus LV evaluiert. Es wurden die Anschlussfähigkeit von Leitungen, die Spannungscompliance, die Verringerung von Netzüberlastungen, die Orchestrierungslatenz, die Konvergenzgeschwindigkeit, die dezentrale Koordination, die Integration erneuerbarer Energien, die Spannungsempfindlichkeit, die Empfindlichkeit gegenüber Netzüberlastungen, die Stabilität der Leitungen, die Lastverteilung, die Nutzung erneuerbarer Energien, die Entscheidungsgenauigkeit und die Systemzuverlässigkeit bewertet.

Bei diesen Kennzahlen erzielte das vorgeschlagene Framework die höchsten Endwerte für FAR, VCI, CRR, CS, DCE, RAC, VSS, CSI, FSI, LBE, RUE, ADA und SRI sowie den niedrigsten OL. Da die Baseline-Methoden anhand derselben Datensätze, Betriebsszenarien, Simulationsumgebungen, Abbruchkriterien und Evaluierungsmetriken bewertet wurden, stützen diese Vergleiche die Hypothese, dass ein kollaboratives Multi-Agenten-Verstärkungslernen in Kombination mit einer spannungs- und auslastungssensitiven Bewertung die adaptive Einspeiseakzeptanz im Vergleich zu den evaluierten zentralen und verteilten Vergleichsmethoden verbessert.

Die Ergebnisse zeigten, dass die dynamische Orchestrierungsstrategie die Akzeptanz der Speisepunkte, die Spannungscompliance, die Verringerung von Überlastungen, die Integration erneuerbarer Energien, die Lastverteilung, die dezentrale Koordination, die Entscheidungsgenauigkeit und die Systemzuverlässigkeit verbesserte, während sie gleichzeitig die Orchestrierungslatenz verringerte. Der Ansatz konvergierte zudem schneller als die vergleichenden Methoden. Unter den untersuchten Simulationbedingungen stützten diese Ergebnisse die aufgestellte Hypothese, dass eine kollaborative, sensibilitätsbasierte, dezentrale Verstärkungslernmethode die Orchestrierung von Niederspannungs-Speisepunkten unter Unsicherheiten bei der Erzeugung aus erneuerbaren Quellen sowie bei wechselnden Last- und Überlastungsbedingungen verbessern kann.

VERFÜGBARKEIT VON DATEN:

Der FeederBW-Datensatz ist öffentlich unter https://doi.org/10.5281/zenodo.17831177 verfügbar, und der Datensatz des 236-Bus-Niederspannungs-Verteilnetzes ist öffentlich unter https://doi.org/10.5281/zenodo.8274780 verfügbar. Die im Rahmen dieser Studie entwickelte Python-Implementierung zusammen mit dem Simulationsframework, den Vorverarbeitungsmodulen, der Umgebung für verstärkendes Lernen mit mehreren Agenten, den Skripten für Modelltraining und -evaluierung, Konfigurationsdateien sowie den erforderlichen Eingabedatenformaten zur Reproduktion der vorgeschlagenen Methodik wurde in Zenodo hinterlegt und ist öffentlich zugänglich unter https://doi.org/10.5281/zenodo.21423239. Das Repository unterstützt die Reproduzierbarkeit der in dieser Studie beschriebenen Methodik und Experimente.

Zusatzdatei 1. Mathematische Herleitungen, Algorithmus und Implementierungsdetails der vorgeschlagenen dynamischen Koordinierungsstrategie. Diese Zusatzdatei enthält die mathematischen Formulierungen, die jede Phase des vorgeschlagenen Rahmens unterstützen, einschließlich Datenvorverarbeitung, dynamische Niederspannungsnetzmodellierung, Initialisierung der Multi-Agenten-Umgebung, verstärkungsbasiertes Agentenlernen, Auswertung der Spannungs- und Stauanfälligkeit, kooperative Koordinierung der Anschlussfreigabe sowie Leistungsbewertungsmetriken. Ebenfalls enthalten ist Algorithmus 1, der das Verfahren zur kooperativen Koordinierung der Anschlussfreigabe beschreibt, zusammen mit den mathematischen Definitionen der in dieser Studie verwendeten Bewertungsmetriken.Bitte klicken Sie hier, um diese Datei herunterzuladen.

Diskussion

Die experimentellen Ergebnisse zeigten, dass die vorgeschlagene dynamische Orchestrierungsstrategie die dezentrale Speisermanagementkoordination, die Integration erneuerbarer Energien, die Spannungsstabilität, das Engpassmanagement und die Orchestrierung mit geringer Latenz im Vergleich zur zentralisierten Spannungsregelung (CVC)³³, der herkömmlichen multiagentenbasierten Steuerung (CMAC)²¹, der spannungsregelungsbasierten Verstärkungslernmethode (RLVR)²⁰, der koordinierten Steuerung dezentraler Energiequellen (DERC)²⁶ und der sensibilitätsbasierten Engpassregelung (SBCM)³⁴ verbesserte. In Bezug auf die bewerteten Kenngrößen Akzeptanzrate der Speisetechnik (FAR), Spannungskonformitätsindex (VCI), Engpassreduktionsrate (CRR), Effizienz der dezentralen Koordination (DCE), Nutzungsgrad erneuerbarer Energien (RUE), Genauigkeit adaptiver Entscheidungsfindung (ADA) und Verbesserung der Systemzuverlässigkeit (SRI) erzielte der vorgeschlagene Ansatz unter den getesteten Bedingungen eine höhere Leistung. Die Ergebnisse, die mit den Datensätzen FeederBW und 236-Bus-Niederspannungsnetz (LV) erzielt wurden, zeigten, dass die Kombination von kollaborativem Multi-Agenten-Verstärkungslernen mit der Bewertung der Spannungs- und Engpasssensitivität die Effizienz und Geschwindigkeit der adaptiven Speisetechnik-Orchestrierung verbesserte.

Die vergleichende Analyse zeigte außerdem, dass zentralisierte und regelbasierte Koordinationsmethoden langsamere Orchestrierungsreaktionen, eine geringere Aufnahmefähigkeit für erneuerbare Energien, reduzierte Effizienz adaptiver Koordination und eine stärker begrenzte Skalierbarkeit unter wechselnden Speiseleiterbedingungen aufwiesen^33,34. Obwohl RLVR und SBCM aufgrund ihrer Komponenten für verstärkendes Lernen und empfindlichkeitsbasiertes Engpassmanagement besser abschnitten als andere Vergleichsmethoden, boten sie keinen kollaborativen und dezentralen Mechanismus zur Orchestrierung der Leiteraufnahme. Im Gegensatz dazu kombinierte der vorgeschlagene Ansatz kollaborative intelligente Agenten, eine empfindlichkeitsbasierte Priorisierung der Speiseleiter, adaptive Orchestrierungsoptimierung und dezentrales Politiklernen. Die schnellere Konvergenz und höheren Stabilitätsindikatoren deuteten darauf hin, dass diese kombinierte Struktur den Betrieb der Speiseleiter unter variablen Bedingungen bezüglich erneuerbarer Erzeugung, Last, Spannung und Engpässen unterstützt.

Die dezentrale Multi-Agenten-Verstärkungslernarchitektur verteilte die Entscheidungsfindung auf Agenten auf Ebene der Speisesegmente, anstatt auf einen einzigen zentralen Controller angewiesen zu sein. Während das Verteilungsnetz an Größe zunahm, führten einzelne Agenten lokale Berechnungen durch und tauschten lediglich die Koordinationsinformationen aus, die von benachbarten Agenten benötigt wurden. Diese Anordnung verringerte zentrale rechnerische Engpässe und den Kommunikationsaufwand und ermöglichte somit eine bessere Skalierbarkeit³⁵. Daher könnte das Framework auf größere Netze mit höherem Anteil erneuerbarer Energien, zusätzlichen Speisesegmenten und größerer betrieblicher Komplexität anwendbar sein. Allerdings würde ein Einsatz in sehr großem Maßstab eine weitere Optimierung der verteilten Rechenressourcen und Kommunikationsprotokolle erfordern.

Die Studie leistete zudem einen Beitrag durch einen dezentralen, lernbasierten Ansatz für das Niederspannungsleitungsmanagement. Im Gegensatz zu herkömmlichen Methoden zur Spannungsregelung und zur Behandlung von Netzüberlastungen, die hauptsächlich auf statischen Betriebsregeln oder zentraler Optimierung beruhen³³, integrierte die vorgeschlagene Strategie die Bewertung der Spannungsempfindlichkeit, die überlastungsbezogene Koordination, die durch Verstärkungslernen gesteuerte Optimierung von Entscheidungsstrategien, die dynamische Rangfolge der Leitungsanschlüsse sowie die Kommunikation zwischen kooperierenden Agenten. Durch diese Integration wurde der Einsatz des multiagentenbasierten Verstärkungslernens von der Spannungsregelung und Ressourcenkoordination auf die adaptive Koordination der Leitungsanschlussfreigabe in regenerativen Niederspannungsverteilnetzen erweitert.

Die vorgeschlagene Methode könnte die Verwaltung der Einspeiseakzeptanz für Versorgungsunternehmen, Betreiber intelligenter Stromnetze und Systeme zur Verwaltung erneuerbarer Energien unterstützen. Dennoch müssen mehrere Herausforderungen bewältigt werden, bevor eine praktische Umsetzung möglich ist. Kommunikationsverzögerungen können die Geschwindigkeit des Informationsaustauschs und der Koordination zwischen verteilten Agenten beeinträchtigen, insbesondere in großflächigen Netzwerken. Sichere Kommunikation und Maßnahmen zur Cybersicherheit werden ebenfalls erforderlich sein, um die Interaktionen der Agenten und die Betriebsdaten vor unbefugtem Zugriff und Cyberangriffen zu schützen. Die Integration in bestehende Systeme zur Netzführung erfordert Interoperabilität mit den Kommunikationsprotokollen der Versorger, übergeordneten Steuerarchitekturen und betrieblichen Verfahren. Die praktische Umsetzung hängt daher von Kommunikationsstrukturen mit geringer Latenz, sicherer Datenübertragung, standardisierten Schnittstellen und einer Validierung vor Ort ab^36,37.

Die Studie war durch ihre Abhängigkeit von den Datensätzen FeederBW und 236-bus LV sowie durch die simulationsbasierte Validierung unter vordefinierten Betriebs- und Kommunikationsbedingungen begrenzt. Diese Rahmenbedingungen könnten die Topologie, Störungen, Kommunikationsausfälle oder cyber-physikalischen Ereignisse in realen Versorgungsnetzen nicht vollständig abbilden. Die rechentechnische Komplexität könnte außerdem unter sehr großskaligen oder stark regenerativen Betriebsbedingungen deutlicher werden. Zukünftige Arbeiten sollten daher den Ansatz anhand zusätzlicher datensätze im versorgungsunternehmensmaßstab, realer Verteilnetze, Hardware-in-the-Loop-Plattformen und großtechnischer Pilotanlagen evaluieren. Der Fokus wird dabei auf der Validierung des vorgeschlagenen Frameworks mithilfe von Hardware-in-the-Loop-Plattformen, realen Versorgungsnetzen und größeren Verteilnetzsystemen liegen. Darüber hinaus werden zukünftige Untersuchungen fortgeschrittene Architekturen des Verstärkenden Lernens sowie verbesserte dezentrale Koordinationsstrategien untersuchen, um Skalierbarkeit und Betriebsrobustheit weiter zu erhöhen. Insgesamt zeigten die Simulationsergebnisse, dass kollaboratives multiagentenbasiertes Verstärkendes Lernen in Kombination mit der Bewertung von Spannungs- und Stauanfälligkeit die Anschlussfähigkeit von Leitungen, die Einhaltung der Spannungsgrenzen, die Minderung von Überlastungen, die Integration erneuerbarer Energien, die dezentrale Koordination, die Konvergenz, die Latenz und die adaptive Entscheidungsfindung verbessern kann. Zusätzliche Tests mit realen Daten aus Versorgungsunternehmen, realistischen Kommunikationsverzögerungen, cyber-physikalischen Störungen sowie unter Bedingungen von Hardware-in-the-Loop- oder Feldtests sind erforderlich, um die praktische Skalierbarkeit und Betriebszuverlässigkeit zu bestätigen.

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Datensatz für Niederspannungsverteilungsnetz mit 236 Knoten	Canizes et al.	DOI: 10.5281/zenodo.8274780	Öffentlicher Benchmark-Datensatz zur Skalierbarkeitsanalyse und großflächigen Validierung des vorgeschlagenen Frameworks
Zentralprozessor (CPU)	Intel Corporation	Intel Core i9-12900K (16-Core)	Wird für die Simulationsteuerung und die Ausführung der Umgebung verwendet
Modul zur Analyse der Staugefährdung	Individuell entwickeltes Modul	Zenodo DOI: 10.5281/zenodo.21423239	Führt die Echtzeit-Berechnung der Staugefährdung und die Priorisierung von Leitungen durch
CUDA Toolkit	NVIDIA Corporation	CUDA 12.1	GPU-Rechenplattform zur beschleunigten PyTorch-Modelltrainierung
cuDNN-Bibliothek	NVIDIA Corporation	cuDNN 9.3.0	Bibliothek zur Beschleunigung tiefer neuronaler Netze, verwendet in Kombination mit CUDA
Individueller dynamischer Niederspannungsnetz-Simulator	Individuell entwickeltes Modul	Version 1.0	Vom Autor entwickelte Simulationsplattform, implementiert in Python und PyTorch für Experimente zur dynamischen Leitungssteuerung. Detaillierte Informationen zur Implementierung finden sich in den Abschnitten Methoden und Verfügbarkeit der Daten.
Bibliothek zur Datenverarbeitung	pandas-Entwicklungsteam	pandas 2.2.2	Wird zur Vorverarbeitung, Merkmalsextraktion, Normalisierung und Verwaltung von Zeitreihendaten verwendet
Tiefenlern-Framework	PyTorch Foundation	PyTorch 2.3.1	Wird zur Implementierung des Multi-Agenten-Verstärkungslernmodells (MARL), zum Training neuronaler Netze und zur Optimierung von Steuerungsstrategien verwendet
Modul für verteilte Agentenkommunikation	Individuell entwickeltes Framework	Zenodo DOI: 10.5281/zenodo.21423239	Ermöglicht dezentrale Kommunikation und den Austausch von Steuerungsstrategien zwischen intelligenten Agenten
FeederBW-Datensatz	Treutlein et al.	DOI: 10.5281/zenodo.17831177	Öffentlicher Datensatz mit realen Messwerten von Niederspannungsleitungen, erneuerbaren Erzeugungsanlagen und Betriebsprofilen
Graphikprozessor (GPU)	NVIDIA Corporation	GeForce RTX 3090, 24 GB GDDR6X	Hardware-Beschleuniger für das Training neuronaler Netze und parallele Berechnungen
Umgebung für Multi-Agenten-Verstärkungslernen	Farama Foundation	Gym 0.26.2	Angepasste Verstärkungslernumgebung für die kooperative Interaktion und das Training intelligenter Agenten
Bibliothek für numerische Berechnungen	NumPy-Entwickler	NumPy 1.26.4	Wird für numerische Berechnungen, Tensor-Manipulationen und Matrixoperationen verwendet
Betriebssystem	Canonical Ltd.	Ubuntu 22.04.5 LTS (64-Bit)	Betriebssystem für alle Simulationen und Verstärkungslernexperimente
Programmiersprache Python	Python Software Foundation	Python 3.11.9	Hauptsächliche Programmiersprache für die Implementierung von Algorithmen, Simulationen und Modellentwicklung
Arbeitsspeicher	Lenovo	64 GB DDR5 RAM	Installierter Arbeitsspeicher für großflächige MARL-Simulationen und Datenverarbeitung.
Modul zur Überwachung der Spannungsstabilität	Individuell entwickeltes Modul	Zenodo DOI: 10.5281/zenodo.21423239	Überwacht kontinuierlich die Spannungsstabilität und -konformität während der Leitungssteuerung