FeederBW Veri Kümesi ve 236 Bara Alçak Gerilim Dağıtım Şebekesi Kullanarak Çok Ajanlı RL Tabanlı Dinamik Besleyici Kabul Orkestrasyonu

Özet

Bu çalışma, iş birlikli çok etmenli pekiştirmeli öğrenme kullanarak düşük gerilim besleyici kabulü için Dinamik Orkestrasyon Stratejisi sunmaktadır. Akıllı etmenler; besleyici işletimi, tıkanıklık yönetimi, gerilim kararlılığı ve belirsiz koşullar altında yenilenebilir enerji entegrasyonunu koordine eder. Yaklaşım, FeederBW ve 236-bus veri kümeleri kullanılarak gerçekleştirilen simülasyonlar aracılığıyla değerlendirilmiştir.

Özet

Dağıtık yenilenebilir enerji kaynaklarının kapsamlı entegrasyonu ve alçak gerilim (AG) besleyicilerinin hızlı genişlemesi, besleyici kabulü ve tıkanıklık koordinasyonuyla ilgili operasyonel zorluklar yaratmıştır. Mevcut gerilim kontrolü ve besleyici yönetimi yaklaşımları, kesintili yenilenebilir enerji üretimi ve değişen şebeke koşulları altında sınırlı ölçeklenebilirliğe ve uyum yeteneğine sahip olabilir. Bu sınırlamaları gidermek için bu çalışma, çok etmenli pekiştirmeli öğrenme yaklaşımı dahilinde akıllı etmen iş birliğine dayalı bir Alçak Gerilim Besleyici Kabulü için Dinamik Orkestrasyon Çerçevesi önermektedir. Öncelikle gerilim stabilizasyonuna odaklanan gerilim kontrol stratejilerinin aksine, önerilen çerçeve; besleyici izleme, tıkanıklık yönetimi ve gerilim hassasiyeti tabanlı önceliklendirmeden sorumlu etmenlerin koordineli çalışması yoluyla dinamik besleyici kabulünü destekler. Etmenler, besleyici durumlarını bağımsız olarak gözlemlemiş, tıkanıklık ve gerilim hassasiyetlerini değerlendirmiş ve besleyici kabul kararları üzerinde iş birliği yapmıştır. Çerçeve, değişken yenilenebilir entegrasyon seviyeleri ve yük koşulları altında FeederBW veri seti ve 236-baralı alçak gerilim dağıtım şebekesi veri seti kullanılarak yapılan simülasyonlarla değerlendirilmiştir. Önerilen çerçeve, değerlendirilen merkezi koordinasyon yöntemlerinden daha iyi performans göstererek %97 Besleyici Kabul Oranı, %98 Gerilim Uyumluluk Endeksi, bildirilen donanım üzerinde orkestrasyon algoritmasının gerçek zamanlı yürütme süresi olarak ölçülen 98 ms orkestrasyon gecikmesi ve %98,5 yakınsama hızı elde etmiştir. Sonuçlar ayrıca, simüle edilen alçak gerilim dağıtım şebekesi koşulları altında iyileştirilmiş uyum yeteneği, operasyonel dayanıklılık ve merkezi olmayan karar verme verimliliğine işaret etmiştir.

Giriş

Modern güç sistemleri, artan elektrik talebi ve dağıtık üretimin giderek yaygınlaşması nedeniyle önemli operasyonel zorluklarla karşı karşıyadır. Elektrik arzı ve talebi arasındaki dengesizlikler veya dağıtık üretimdeki hızlı artışlar, kamu hizmetleri ve son kullanıcılar üzerinde finansal baskı oluşturabilir ve şebeke stabilitesini tehlikeye atabilir. Bu nedenle, geleneksel, merkezi kontrollü ve fosil yakıt tabanlı elektrik altyapısı, dağıtık ve yenilenebilir enerji odaklı bir tasarıma doğru kaymaktadır. Bu geçiş, daha uygun maliyetli ve çevreyle uyumlu enerji kaynaklarına erişimi artırmıştır. Ancak, fotovoltaik (PV) üretimin kesintili ve öngörülemez doğası, şebeke güvenilirliği konusunda endişeleri beraberinde getirmektedir^1,2.

Küresel enerji dönüşümü; çevresel faydaları, ölçeklenebilirliği ve azalan maliyetleri nedeniyle PV kurulumlarını hızlandırmaktadır. Uluslararası Yenilenebilir Enerji Ajansı'na göre, PV kapasitesinin 2050 yılına kadar küresel elektrik arzının %22'sinden fazlasını oluşturması ve güneş PV'nin 2030 yılına kadar küresel elektrik arzına ana katkıda bulunan bir unsur haline gelmesi beklenmektedir³. Bu yaygın entegrasyon, özellikle operasyonel kararlılık ve güvenilirlik açısından geleneksel güç sistemleri için önemli zorluklar teşkil etmektedir. PV üretiminin kesikli ve sevk edilemez olması nedeniyle voltaj dalgalanması kritik bir sorundur ve bu etkiler, dağıtım ve iletim ağlarındaki penetrasyon arttıkça daha belirgin hale gelmektedir⁴.

Güneş ışınımındaki varyasyonlar PV çıkışını doğrudan etkiler ve hızlı voltaj değişimlerine yol açabilir. Bulut hareketleri, ani ışınım varyasyonları ve yük geçişleri, mevcut şebeke mimarilerinin yeterince karşılayamadığı voltaj dalgalanmalarına neden olabilir⁵. Geleneksel teknolojiler, merkezi ve nispeten istikrarlı şebeke konfigürasyonlarında etkili olsa da, giderek yaygınlaşan dağıtık ağlar için daha az uygundur. Hızlı çift yönlü voltaj değişimleri, özellikle yüksek PV penetrasyonu altında, geleneksel güç sistemlerinin kapasitesini aşabilir⁶. Kontrolsüz dalgalanmalar voltaj sınırlarını ihlal edebilir, hassas yükleri etkileyebilir ve şebeke güvenliğini tehlikeye atabilir.

Bu nedenle, akıllı yüklerin ve dağıtık kaynakların dağıtım şebekelerine entegrasyonu, daha gelişmiş kontrol stratejilerinin geliştirilmesini teşvik etmiştir. Dağıtık ekipmanları sürekli olarak izleyen ve koordine eden akıllı kontrol sistemleri, yüksek dağıtık üretimin olduğu alçak gerilim (AG) şebekelerindeki zorlukların azaltılmasına yardımcı olabilir⁷. Büyük ölçekli PV entegrasyonu, özellikle PV çıkışı düştüğünde ve termik ünitelerin bazen rampa hızı sınırlarını aşacak şekilde hızla yanıt vermesi gerektiğinde, termik üretim için operasyonel zorluklar yaratmaktadır⁸. Aynı zamanda, talep yanıtı (DR) programları uzun vadeli sürdürülebilirlik ile ekonomik fizibilite arasında bir denge kurmalıdır⁹.

Talep yanıtı (DR) programları, elektrik arz ve talebinin dengelenmesine yardımcı olurken dağıtık üretimin entegrasyonunu da destekleyebilir. Bu programlar, fiyat tabanlı DR veya teşvik tabanlı DR (IBDR) olarak kategorize edilir. Fiyat tabanlı DR, tüketicileri zamana göre değişen tarifelere yanıt olarak elektrik kullanımını değiştirmeye teşvik ederken; IBDR, talep edildiğinde tüketimi azaltmak için sabit veya değişken finansal teşvikler sağlar¹⁰. Ancak fiyat tabanlı DR, tüketicileri dalgalanan toptan satış fiyatlarına maruz bırakır ve şebeke işletmecisi perspektifinden sınırlı operasyonel esneklik sunar; bu durum riskten kaçınan katılımcıları caydırabilir^11,12.

Çeşitli çalışmalar, PV bakımından zengin dağıtım sistemlerinde IBDR'yi incelemiştir. Bir çalışma, IBDR'nin yüksek PV penetrasyonu ile birleştirilmesinin zorluklarını ve faydalarını değerlendirmiş ancak hane düzeyindeki ev enerji yönetim sistemlerinden ziyade toplu güç kullanımına odaklanmıştır¹³. Bir diğer çalışma, hane halkı talebi açıkça modellenmemiş olsa da, voltaj sınırlarını korumak için fiyatlandırma sinyallerinin batarya çalışmasını dolaylı olarak kontrol ettiği teşvik tabanlı bir voltaj yönetim yöntemi önermiştir¹⁴. Teşvik ödemelerini belirlemek için geliştirilen bulanık mantık tabanlı bir yöntem, tüketici memnuniyetini ve yenilenebilir entegrasyon maliyetlerini dikkate almış ancak fider düzeyinde analize yer vermemiştir¹⁵. Termal ve yenilenebilir üretimi içeren, hem fiyat tabanlı hem de teşvik tabanlı DR'yi kapsayan uzun vadeli üretim planlaması da çalışılmıştır, ancak bu çalışmada kullanıcı konforu veya hane düzeyindeki talep hesaba katılmamıştır¹⁶.

Derin pekiştirmeli öğrenme (RL), konut tipi talebin yönetimi (DR) alanında da uygulanmıştır. Zaman bazlı tarifeler altında toplam yük kontrolü için derin RL yöntemleri önerilmiş olsa da, bu yöntemlerin genellenebilirliği küçük kullanıcı popülasyonları ve cihaz düzeyinde planlamanın eksikliği nedeniyle sınırlı kalmıştır¹⁷. DR ve voltaj kontrolünü birleştiren çok ajanlı bir pekiştirmeli öğrenme çerçevesi, yük tahmini için uzun kısa süreli bellek ağlarını kullanmış, ancak yük kısıtlamasından kaynaklanan müşteri memnuniyetsizliğini çözememiştir¹⁸. Diğer çalışmalar, konut tipi diğer yükleri dikkate almadan, bir Markov karar süreci kullanarak ticari binalardaki klima sistemleri için DR koordinasyonuna odaklanmıştır¹⁹. Mevcut derin RL voltaj kontrolü çalışmaları, genel olarak hem DR hem de PV entegrasyonunu bir arada dahil etmemiştir^20,21.

Akıllı eviriciler, PV çıkışındaki ani ve düzensiz değişikliklere hızla yanıt verebilir²². Gerilim ihlalleri meydana geldiğinde, PV eviricileri milisaniyeler içinde hareket edebilirken, geleneksel cihazların birkaç saniyeye ihtiyacı olabilir²³. Bazı çalışmalar, gerilim regülatörlerini koordine etmek için çok etmenli yaklaşımlar ve geleneksel gerilim kontrolcü eylemlerinin değiştirilmesi dahil olmak üzere, standart cihaz kontrol prosedürlerinde modifikasyonlar önermiştir²⁴. Bununla birlikte, aynı konumda depolama ünitesi bulunmayan bağımsız PV üretimi, gündüz net ithalatını azaltsa bile, gerilim sapmalarını kötüleştirebilir ve akşam piklerini hafifletmez^24,25. Ev tipi bataryalar, dağıtımları yerel talep ve üretimle koordine edilmezse, gündüz PV fazlalığı dönemlerinde tükenebilir ve gece elektrikli araç şarjı için kullanılamaz hale gelebilir^26,27. Stokastik talep, kesintili üretim ve çeşitli depolama davranışlarının birleşik etkileri; kapasite yönetimini, varlık ömrünü ve dayanıklılığı dağıtım sistemi operatörleri için önemli endişeler haline getirmektedir²⁸. Ev Enerji Yönetim Sistemleri, müşteri düzeyinde otomatik kontrolün uygulanması için potansiyel bir araç sağlar. RL, etmenlerin belirsizlikle başa çıkarken ve düşük gecikmeli kararlar verirken çevreyle etkileşim yoluyla kontrol stratejilerini öğrenebilmesi nedeniyle bu tür uygulamalar için oldukça uygundur.

Elektrikli araç rotalamasındaki ilerlemeler, derin RL'nin dinamik enerji kısıtlarını nasıl yönetebileceğini de göstermektedir. Heterojen filo tabanlı kapasiteli elektrikli araç rotalama problemi; çeşitli bir filo genelinde maksimum enerji harcamasını minimize ederken sürüş dinamiklerini, yol özelliklerini, kinetik direnci ve şarj verimliliğini kapsar²⁹. Dinamik farkındalıklı bir derin pekiştirmeli öğrenme yöntemi, bu problemi özelleştirilmiş bir Markov karar süreci olarak çerçeveler ve bir kodlayıcı-güncelleyici-kod çözücü (encoder-updater-decoder) mimarisi kullanır. Bu tasarımda kodlayıcı, köşeler ve araçlar için role özgü temsiller geliştirir; güncelleyici, bağlamsal bilgiler değiştikçe araç belirteçlerini (tokens) rafine eder ve kod çözücü, adaptif karar vermeyi desteklemek için araç seçimini araca özgü köşe seçiminden ayırır. Benzer şekilde, alma-teslimat ve zaman pencereli enerji optimal bir elektrikli araç rotalama problemi; şarj davranışını, zamana bağlı sürüş dinamiklerini ve ayrıntılı rota bilgilerini içeren yüksek çözünürlüklü bir enerji tüketim modeli kullanır³⁰. Heterojen dikkat güdümlü bir derin pekiştirmeli öğrenme çerçevesi, rotalama görevini bir Markov karar süreci olarak temsil eder; burada kodlayıcı depolar, müşteriler ve şarj istasyonları arasındaki role özgü etkileşimleri yakalar, kod çözücü ise durum geçişlerini ve zamansal uygulanabilirliği takip eder.

Bu gelişmelere rağmen, çoğu AG dağıtım yönetimi çalışması, yenilenebilir enerji belirsizliği altındaki dinamik fider kabul orkestrasyonundan ziyade gerilim stabilizasyonu ve reaktif güç optimizasyonuna vurgu yapmaktadır. Akıllı eviricilere ve makine öğrenimine dayalı dağıtık gerilim kontrol yöntemleri, genellikle karmaşık AG şebekelerindeki adaptif fider kabul kontrolünü veya tıkanıklık tabanlı orkestrasyonu ele almadan, gerilim kompanzasyonuna ve reaktif güç optimizasyonuna odaklanmaktadır. Benzer şekilde, DR için gerilim kısıtlı çok ajanlı pekiştirmeli öğrenme yaklaşımları; birbirine bağlı AG dağıtım sistemlerindeki iş birlikli fider kabul yönetimini, merkeziyetsiz tıkanıklık farkındalığına sahip orkestrasyonu veya düğüm düzeyinde kabul kontrolünü doğrudan ele almamaktadır. Çok ajanlı koordinasyona dayalı kooperatif gerilim regülasyon yöntemleri tipik olarak PV eviricilerini kullanarak gerilim sapmalarını ve kademe işlemlerini minimize etmektedir; ancak adaptif fider kabulünü, yenilenebilir enerji kaynaklı kabul istikrarsızlığını veya dinamik şebeke koşulları altındaki merkeziyetsiz orkestrasyonu dikkate almamaktadır.

Güncel dağıtık ve çok etmenli kaynak koordinasyon yöntemleri; tıkanıklık farkındalığı, zamansal adaptasyon ve ölçeklenebilirlik konularında da kısıtlamalarla karşı karşıyadır. Bu yöntemlerin çoğu, adaptif besleyici düzeyinde kabul ve voltaj farkındalıklı orkestrasyondan ziyade, aşırı yük analizine, dağıtık enerji kaynağı etkileşimlerine veya tarife odaklı enerji yönetimine vurgu yapmaktadır. Kısmi merkezileşmeye ve statik önceliklere olan bağımlılıkları; merkeziyetsiz karar verme sürecini, tıkanıklık yayılımına verilen hızlı yanıtı ve yenilenebilir enerji değişkenliğine uyumu daha da kısıtlayabilmektedir. Bu nedenle, FeederBW ve 236 bara düşük gerilimli (LV) dağıtım şebekesi gibi büyük ölçekli veri kümelerini kullanan adaptif besleyici kabul yönetimi için, kooperatif etmen koordinasyonunu voltaj ve tıkanıklık hassasiyeti analiziyle birleştiren, tamamen merkeziyetsiz ve takviyeli öğrenme tabanlı bir çerçeveye ihtiyaç duyulmaktadır.

Bu çalışmada, besleyici kabulü; bir AG besleyicisinin şebeke güvenliğini, voltaj uyumluluğunu, termal yükleme sınırlarını ve operasyonel güvenilirliği korurken ek dağıtık enerji kaynaklarını veya elektriksel yükleri karşılayıp karşılayamayacağını belirlemeye yönelik adaptif operasyonel süreci ifade eder. Besleyici kabulü için operasyonel sınır; yeni besleyici bağlantıları kabul edilmeden veya önceliklendirilmeden önce besleyici kapasitesinin, voltaj hassasiyetinin, tıkanıklık koşullarının ve yenilenebilir enerji değişkenliğinin değerlendirilmesini içerir. Voltaj profillerini düzenleyen geleneksel voltaj kontrolünden, kaynak işletimini yöneten dağıtık enerji kaynağı koordinasyonundan veya şebeke aşırı yüklenmelerini azaltan tıkanıklık yönetiminden farklı olarak besleyici kabulü; yenilenebilir enerji açısından zengin koşullar altında dinamik, merkezi olmayan ve adaptif bir orkestrasyonu desteklemek için bu fonksiyonları iş birlikçi bir çok etmenli pekiştirmeli öğrenme çerçevesi içinde entegre eder.

Bu çalışmanın amacı, değişen işletme koşulları ve yenilenebilir enerji belirsizliği altında, Alçak Gerilim Besleyici Kabulü için iş birlikli akıllı ajan tabanlı bir Dinamik Orkestrasyon Stratejisi geliştirmektir. Önerilen çerçeve; besleyici durumlarını, gerilim duyarlılığını, tıkanıklık duyarlılığını ve kabul kapasitesini dinamik olarak değerlendirerek merkeziyetsiz besleyici kabul orkestrasyonu gerçekleştirir ve böylece statik gerilim kontrol yöntemlerinin ötesinde adaptif önceliklendirme ve karar verme mekanizmalarını mümkün kılar. FeederBW veri seti ve 236-baralı AG dağıtım şebekesi veri seti kullanılarak, çalışma aynı zamanda büyük ölçekli AG sistemleri için ölçeklenebilir bir çok ajanlı takviyeli öğrenme mimarisi geliştirmektedir. Takviye tabanlı öğrenme ve her simüle edilen işletme aralığında gerçekleştirilen düşük gecikmeli iş birlikli optimizasyon yoluyla çerçeve; tıkanıklık yayılımını azaltmak, gerilim uyumluluğunu artırmak, orkestrasyon gecikmesini düşürmek ve merkeziyetsiz koordinasyon verimliliğini yükseltmek üzere tasarlanmıştır.

Bu çerçeve; statik voltaj kontrolü tabanlı besleyici yönetim stratejilerinin yerini alan dinamik bir AG besleyici kabul orkestrasyon yaklaşımı; yenilenebilir enerji belirsizliği ve değişken yük koşulları için merkeziyetsiz bir çok etmenli pekiştirmeli öğrenme mimarisi; düşük gecikme koşullarına ve dinamik besleyici önceliklendirmesine dayalı merkeziyetsiz kabul yönetimi; kritik besleyicileri belirlemek ve kabul kararlarını önceliklendirmek için ortak voltaj ve tıkanıklık duyarlılık indeksleri; komşu etmenler arasında iş birlikçi iletişim; besleyici kararlılığını, tıkanıklık gidermeyi, voltaj uyumluluğunu ve yakınsamayı iyileştirmek için sürekli pekiştirmeli öğrenme tabanlı politika optimizasyonu ve FeederBW ile 236-bara AG veri setlerini kullanan büyük ölçekli simülasyon tabanlı doğrulama sunmaktadır. Karşılaştırmalı sonuçlar; geleneksel merkezi koordinasyon yöntemlerine kıyasla iyileştirilmiş besleyici kabulü, tıkanıklık giderme, orkestrasyon gecikmesi, yakınsama hızı ve voltaj uyumluluğuna işaret etmektedir.

Protokol

Bu araştırmada insan denekler, omurgalı hayvanlar, insan dokuları veya hayvan dokuları kullanılmamıştır. Çalışmada yalnızca kamuya açık veri setleri (FeederBW veri seti ve 236-bara Alçak Gerilim Dağıtım Şebekesi veri seti) ve bilgisayar tabanlı simülasyonlar kullanılmıştır. Bu nedenle, bu çalışma için kurumsal inceleme kurulu (IRB), etik veya bilgilendirilmiş onam onayı gerekmemiştir.

Ajan İşbirliğine Dayalı Alçak Gerilim Besleyici Kabulü için Dinamik Orkestrasyon Stratejisi, yenilenebilir enerji kaynaklarının yoğun olduğu işletme koşulları için çok ajanlı pekiştirmeli öğrenme (MARL) kullanılarak geliştirilmiştir. Besleyici durumlarını, dağıtılmış enerji kaynaklarını, gerilime duyarlı bölgeleri ve tıkanıklık koşullarını temsil eden dinamik bir ağ modeli oluşturmak amacıyla FeederBW ve 236-bara alçak gerilim veri setleri ön işlemden geçirilmiş, normalize edilmiş ve zamansal olarak senkronize edilmiştir. Yerel gerilimi, tıkanıklığı, yenilenebilir üretim belirsizliğini ve besleyici kabul kapasitesini izlemek, komşu ajanlarla bilgi alışverişinde bulunmak ve merkezi olmayan pekiştirmeli öğrenme aracılığıyla orkestrasyon politikalarını güncellemek için besleyici bölümlerine ve ağ eklem noktalarına akıllı ajanlar atanmıştır. Ödül fonksiyonu, tıkanıklığı, gerilim kararsızlığını ve koordinasyon gecikmelerini sınırlarken besleyici kabulünü iyileştirmek üzere tasarlanmıştır. Gerilim, besleyici yükü, trafo yükü ve tıkanıklık kısıtları dikkate alınmış; üç fazlı dengesiz çalışma, gelişmiş fotovoltaik evirici kontrolü ve reaktif güç kompanzasyonu ise açıkça modellenmemiştir. Genel çerçeve Şekil 1'de gösterilmiştir. Bu çalışmada kullanılan araştırma araçları Materyaller Tablosu'nda listelenmiştir.

Şekil 1: Önerilen çerçevenin mimarisi. Akıllı ajanlar, pekiştirmeli öğrenme, tıkanıklık analizi ve adaptif besleyici koordinasyonunu içeren Dinamik Orkestrasyon Çerçevesinin şeması. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

1. Veri toplama

Veriler, FeederBW veri setinden³¹ ve 236-bara düşük gerilim (LV) dağıtım veri setinden³² elde edilmiştir. Bu veri setleri; dağıtık orkestrasyon ve pekiştirmeli ajan öğrenimi için gerekli olan besleyici topolojisi, gerilim koşulları, yenilenebilir enerji üretim davranışı, yük talebi, tıkanıklık ve dinamik çalışma profilleri hakkında bilgiler içerdikleri için seçilmiştir.

FeederBW veri seti, temel olarak alçak gerilim (AG) şebekelerindeki besleyici çalışmasını, yenilenebilir enerji kesintilerini, gerilim sapmasını ve tıkanıklık yayılımını modellemek için kullanılmıştır. Bu veri seti; adaptif koordinasyon analizini destekleyen besleyici çalışma verilerini, dağıtık üretim davranışlarını, düğüm gerilimi ölçümlerini ve yük dalgalanmalarını içermektedir. 236 bara sahip AG veri seti ise ölçeklenebilirliği ve merkezi olmayan koordinasyonu değerlendirmek için kullanılmıştır. Bu veri seti; bara bağlantı bilgilerini, besleyici yükleme koşullarını, düğüm gerilimi özelliklerini, dağıtık yenilenebilir enerji penetrasyonunu ve tıkanıklığa duyarlı çalışma durumlarını içermektedir. Birlikte, bu iki veri seti yüksek yenilenebilir enerji penetrasyonu koşulları altında besleyici düzeyinde ve geniş ölçekli analizleri desteklemiştir. Veri seti özellikleri ve bunların çerçevedeki amaçları Tablo 1'de özetlenmiştir.

Veri Seti Adı	Veri Seti Türü	Düğüm/Bar Sayısı	Veri Öznitelikleri	Önerilen Çalışmadaki Amacı
FeederBW Dataset	Alçak Gerilim Besleme Operasyonel Veri Seti	Çoklu besleme düğümleri	Gerilim profilleri, yenilenebilir üretim, yük talebi, tıkanıklık durumları, besleme operasyonel davranışı	düşük gecikmeli besleme orkestrasyonu, tıkanıklık analizi, adaptif kabul önceliklendirmesi
236-bus LV Dataset	Büyük Ölçekli Alçak Gerilim Dağıtım Veri Seti	236 bar	Bar topolojisi, besleme yüklemesi, gerilim hassasiyeti, yenilenebilir enerji penetrasyonu, tıkanıklık dinamikleri	Ölçeklenebilirlik doğrulaması, merkeziyetsiz koordinasyon değerlendirmesi, büyük ölçekli orkestrasyon analizi

Tablo 1: Veri seti özellikleri. Veri setlerinin, operasyonel özniteliklerinin ve önerilen düşük voltajlı orkestrasyon çerçevesindeki amaçlarının açıklaması.

2. Veri ön işleme

Tutarlılığı, zamansal hizalamayı ve pekiştirmeli öğrenme kararlılığını artırmak için elde edilen veri setleri ön işlemeden geçirilmiştir. Eksik girişler, hatalı ölçümler, yinelenen kayıtlar ve tutarsız besleyici verileri, istatistiksel ön işleme prosedürleri kullanılarak filtrelenmiştir. Bu adım; besleyici çalışma verileri, yenilenebilir üretim profilleri, gerilim ölçümleri ve tıkanıklık durumu verileri arasındaki tutarlılığı korumak için uygulanmıştır. Tüm operasyonel değişkenler, giriş özelliklerinin ajan öğrenimi için uygun ortak bir ölçeğe dönüştürülmesi amacıyla min–max normalizasyonuna tabi tutulmuştur. Normalize edilen değişkenler arasında besleyici gerilimi, aktif güç talebi, yenilenebilir üretim, tıkanıklık durumu ve besleyici kabul kapasitesi yer almıştır. Ön işleme prosedürünün matematiksel formülasyonu Ek Dosya 1 (Bölüm 1)'de sunulmuştur.

3. Dinamik düşük voltajlı ağ modellemesi

Veri toplama ve ön işleme işlemlerinin ardından, değişen yük ve üretim koşulları altında, yüksek oranda yenilenebilir üretimin bulunduğu bir dağıtım sisteminin davranışını simüle etmek için dinamik bir AG şebeke modeli oluşturulmuştur. Model; besleyici topolojisini, dağıtılmış enerji kaynağı davranışını, voltaja duyarlı bölgeleri ve tıkanıklık yayılımını dinamik olarak izlemiştir.

Statik bir ağ temsilinin aksine, model; yenilenebilir enerji kesintilerine, tüketici talebine ve tıkanıklık koşullarına göre besleyici davranışını günceller. Bus'ların, transformatörlerin, dağıtık yenilenebilir kaynakların ve yüklerin ağ düğümleri olarak temsil edildiği birbirine bağlı besleyiciler oluşturmak için FeederBW ve 236-bus LV veri setleri kullanılmıştır. Her besleyici düğümü; gerilim büyüklüğü, aktif güç talebi, yenilenebilir enerji üretimi, besleyici yükleme durumu ve tıkanıklık durumu hakkında güncellenmiş bilgiler sağlamıştır. Bu değişkenler, akıllı ajanlar tarafından besleyici davranışını izlemek ve merkezi olmayan orkestrasyon kararları vermek için kullanılmıştır. Ağ modeli ayrıca, sürekli hassasiyet analizi yoluyla hassas bölgelerin tanımlanmasını ve besleyici kabul önceliklendirmesini de desteklemiştir.

AG dağıtım şebekesi; bara istasyonları, besleme hatları, transformatörler, yenilenebilir kaynaklar ve tüketici-yük düğümlerini içeren grafik tabanlı bir ağ olarak temsil edilmiştir. Ağ modelinin ayrıntılı matematiksel türevleri Ek Dosya 1(Bölüm 2)'de verilmiştir. Dinamik ağ durumu ve tıkanıklık indeksi sürekli olarak izlenmiştir. Tıkanıklık indeksi [0,1] aralığına normalize edilmiş ve tıkanıklık indeksi 0,80 değerini aştığında iş birlikli besleyici kabul orkestrasyonu başlatılmıştır.

4. Çok Ajanlı Ortam Başlatma

Dinamik AG şebeke modeli oluşturulduktan sonra, merkezi olmayan besleyici kabulünü desteklemek amacıyla çok ajanlı ortam başlatılmıştır. Akıllı ajanlar; AG şebekesi içindeki besleyici segmentlerine, dağıtık enerji kaynağı bağlantı noktalarına, trafo konumlarına ve tıkanıklığa eğilimli düğümlere atanmıştır.

Her bir ajan; yerel besleyici çalışmasını izleyen, komşu ajanlarla bilgi alışverişinde bulunan ve adaptif orkestrasyon eylemleri gerçekleştiren bağımsız bir karar verme birimi olarak görev yapmıştır. Ajanlar; voltaj hassasiyeti, yenilenebilir enerji penetrasyonu, tıkanıklık seviyesi ve besleyici önemine göre temel besleyici düğümlerine atanmıştır. AG şebekesi; ajanların besleyici voltajını, aktif güç talebini, yenilenebilir üretim değişimini, tıkanıklık durumunu ve besleyici kabul kapasitesini sürekli olarak izlediği ajan tabanlı bir ortam olarak yapılandırılmıştır. Çok ajanlı ortamın matematiksel formülasyonu Ek Dosya 1(Bölüm 3) içinde sunulmuştur.

5. Pekiştime odaklı ajan öğrenimi

Çok ajanlı ortamın başlatılmasının ardından, ajanların değişen AG işletme koşullarıyla etkileşime girerek besleyici düzenleme politikalarını öğrenmelerini sağlamak için pekiştirmeli öğrenme uygulanmıştır. Her etkileşim sırasında bir ajan, mevcut besleyici durumunu gözlemlemiş, bir düzenleme eylemi seçmiş ve bir ödül veya ceza almıştır. Merkeziyetsiz öğrenme süreci, ajanların yenilenebilir üretim belirsizliğine, değişen tıkanıklık koşullarına, voltaj varyasyonuna ve besleyici kabul kapasitesindeki değişikliklere uyum sağlamasına olanak tanımıştır. Her ajan, öğrendiği politikaya göre bir düzenleme eylemi seçmiştir. İlgili matematiksel türetmeler Ek Dosya 1(Bölüm 4)'de sunulmuştur.

Toplam 64 akıllı ajan konuşlandırılmıştır. Besleyici topolojisi, yenilenebilir enerji penetrasyon seviyesi, voltaj hassasiyeti ve tıkanıklık şiddetine bağlı olarak her bir ajan; bir besleyici segmentine, trafo sahasına, dağıtık enerji kaynağı bağlantı noktasına veya tıkanıklığa duyarlı bir şebeke düğümüne atanmıştır. Makul hesaplama karmaşıklığını korurken, merkezi olmayan konuşlandırma, 236 bara düşük gerilimli dağıtım şebekesi boyunca kooperatif izleme ve adaptif besleyici kabulüne olanak sağlamıştır. Her ajan; voltaj genliği, besleyici yük talebi, yenilenebilir üretim, tıkanıklık durumu ve besleyici kabul kapasitesinden oluşan beş boyutlu bir durum vektörünü gözlemlemiştir. Eylem alanı beş orkestrasyon eyleminden oluşmaktadır: besleyici kabul önceliklendirmesi, tıkanıklık giderme, yenilenebilir koordinasyonu, yük dengeleme ve voltaj kontrolü. Kooperatif karar verme süreci, her ajanın hassasiyet indekslerini ve yerel çalışma bilgilerini yalnızca komşu besleyici ajanlarla paylaştığı, merkezi olmayan bir komşuluk iletişim topolojisi aracılığıyla desteklenmiştir.

128 ve 64 nöron içeren iki gizli katmana sahip tam bağlantılı bir sinir ağı kullanılarak Q-öğrenme tabanlı bir MARL yöntemi uygulanmıştır. Gizli katmanlarda doğrusal doğrultulmuş birim (ReLU) aktivasyonu uygulanmıştır. Ağ parametreleri, 0.001 öğrenme oranı ve 0.99 indirim faktörü ile Adam optimize edici kullanılarak optimize edilmiştir. 64'lük bir mini-batch boyutu kullanılmış ve deneyim tekrarı (experience-replay) tamponu 100.000 geçiş kapasitesine sahip olmuştur. Önceki 20 bölüm boyunca kümülatif ödülün hareketli ortalaması, 10 ardışık değerlendirme penceresi boyunca %0,1'den daha az değiştiğinde eğitimin yakınsadığı kabul edilmiştir. Bu kriter karşılanmadığında, eğitim maksimum 500 bölüme ulaşıncaya kadar devam etmiştir. Takviyeli öğrenme iş akışı Şekil 2'de gösterilmiştir.

Şekil 2: Pekiştirmeli öğrenme temelli ajan öğrenim akış şeması.Merkezi olmayan besleyici koordinasyonu ve karar optimizasyonu için pekiştirme temelli ajan öğrenme sürecini gösteren akış şeması. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Öğrenme süreci; LV dağıtım ortamının, ajan durumlarının ve öğrenme parametrelerinin başlatılmasıyla başlamıştır. Akıllı ajanlar; besleyici bölgelerine, dağıtık enerji kaynağı konumlarına ve tıkanmaya eğilimli baralara yerleştirilmiştir. Ardından gözlem alanı, öğrenme oranı, keşif stratejisi, ödül faktörleri ve politika fonksiyonları tanımlanmıştır. Her etkileşim adımında, her bir ajan kendisine atanan besleyici bölgesinin mevcut durumunu gözlemlemiştir. Durum; düğüm gerilim büyüklüğü, besleyici yük talebi, yenilenebilir üretim özellikleri, tıkanıklık seviyesi ve besleyici kabul kapasitesinden oluşmuştur. Bu gözlemler, orkestrasyon karar verme mekanizmasında kullanılan çevresel durumu oluşturmuştur. Her ajan, pekiştirmeli öğrenme politikasına göre bir eylem seçmiştir. Mevcut eylemler arasında besleyici kabul önceliklendirme, tıkanıklık yönetimi, yenilenebilir enerji koordinasyonu, yük dengeleme ve gerilim yönetimi yer almıştır. Seçilen eylem dinamik LV ortamına uygulanmış ve ardından besleyici durumu güncellenmiştir.

Her işlemden sonra bir ödül hesaplanmıştır. Seçilen işlemin besleyici kabulünü iyileştirdiği, tıkanıklık yayılımını önlediği, voltaj uyumluluğunu koruduğu veya ağ kararlılığını artırdığı durumlarda pozitif bir ödül atanmıştır. İşlemin besleyici aşırı yüklenmesine, voltaj ihlallerine veya koordinasyon gecikmelerine yol açtığı veya bunları önlemede başarısız olduğu durumlarda ise bir ceza uygulanmıştır. Hesaplanan ödül, pekiştirmeli optimizasyon yoluyla ajanın değer fonksiyonunu ve karar politikasını güncellemek için kullanılmıştır. Gözlem, işlem seçimi, ortam geçişi, ödül hesaplaması ve politika güncelleme sekansı, durdurma kriteri karşılanana kadar tekrarlanmıştır.

6. Gerilim ve tıkanıklık duyarlılığı değerlendirmesi

Pekiştirmeli öğrenme sonrası, hassas besleyici bölgelerini belirlemek ve yenilenebilir enerji belirsizliği altında dinamik besleyici kabul kararlarını desteklemek amacıyla voltaj ve tıkanıklık hassasiyetleri değerlendirilmiştir.

Her çalışma aralığında, besleyici gücü, yenilenebilir üretim ve yük talebindeki değişikliklerin düğüm gerilimi ve ağ tıkanıklığı üzerindeki etkileri belirlenmiştir. Gerilim ve tıkanıklık duyarlılık indeksleri, yalnızca statik ağ koşullarından türetilmek yerine, simüle edilen her çalışma aralığında yeniden hesaplanmıştır. Her besleyici düğümü için duyarlılık indeksleri; güncel ağ koşulları, yenilenebilir üretim varyasyonu ve besleyici yükleme durumuna göre güncellenmiştir. Elde edilen değerler; besleyici kabulü, tıkanıklık yönetimi ve gerilim kontrol işlemleri için besleyici düğümlerini sıralamak amacıyla kullanılmıştır.

Gerilim duyarlılık indeksi, aktif güç akışındaki değişikliğin sonucunda meydana gelen düğüm gerilimi değişimini nicelleştirmiştir. Gerilim ve tıkanıklık duyarlılık indeksleri hesaplandıktan sonra, besleyici kabulünün adaptif önceliklendirmesi için birleşik bir duyarlılık puanında birleştirilmiştir. Birleşik puanlama yöntemi Ek Dosya 1(Bölüm 5)'de açıklanmıştır. Daha yüksek duyarlılık puanına sahip besleyici düğümlerine; tıkanıklığın giderilmesi, besleyici kabul düzeltmesi ve gerilim regülasyonu işlemleri sırasında daha yüksek orkestrasyon öncelikleri atanmıştır. Duyarlılık puanları her çalışma aralığında yeniden hesaplanmış ve iş birlikçi iletişim ortamı aracılığıyla komşu ajanlarla paylaşılmıştır.

7. Her bir simüle edilen çalışma aralığında iş birlikçi kabul orkestrasyonu ve adaptif karar optimizasyonu

Hassasiyet değerlendirmesinin ardından, merkeziyetsiz ajanların yenilenebilir enerji belirsizliği ve dinamik tıkanıklık koşulları altında koordineli besleyici kabul kararları verebilmesini sağlamak için iş birliğine dayalı kabul orkestrasyonu gerçekleştirilmiştir. Ajanlar yerel besleyici durumlarını, hassasiyet indekslerini, tıkanıklık uyarılarını ve işletme önceliklerini karşılıklı olarak paylaşmışlardır. Her bir ajan, genel şebeke stabilitesini desteklemek amacıyla komşu ajanlarla koordinasyon kurarken, kendi yerel besleyici durumunu bağımsız olarak değerlendirmiştir.

Besleyici kabulü; voltaj hassasiyeti, tıkanıklık şiddeti, yenilenebilir üretim değişkenliği ve mevcut besleyici kapasitesine göre önceliklendirilmiştir. Yerel hassasiyet duyarlı gözlemler ajanlar arasında toplanmış ve koordineli besleyici kabul eylemleri oluşturulmuştur. İş birlikçi orkestrasyon sürecinin matematiksel formülasyonu Ek Dosya 1 (Bölüm 6)'de sunulmuştur. Dinamik AG şebeke ortamı, Ek Dosya 1 (Algoritma 1)'de açıklandığı üzere, besleyici bölgelerine, yenilenebilir enerji entegrasyon noktalarına ve tıkanıklığa meyilli baralara yerleştirilmiş iş birlikçi ajanlarla kurulmuştur. Her işletme aralığında, her ajan; voltaj genliği, yenilenebilir üretim değişimi, besleyici yüklemesi, tıkanıklık düzeyi ve besleyici kabul kapasitesi dahil olmak üzere yerel besleyici parametrelerini gözlemlemiştir.

Gerilim kararsızlığına veya tıkanıklık yayılımına yatkın besleyici bölgelerini belirlemek için gerilim hassasiyeti ve tıkanıklık hassasiyeti indeksleri hesaplanmıştır. Bu indeksler, besleyici kabulünü ve koordinasyon önceliğini belirleyen genel bir besleyici hassasiyet puanında birleştirilmiştir. Yerel durum bilgileri, tıkanıklık seviyeleri, gerilim kararsızlığı göstergeleri ve kabul öncelikleri komşu ajanlar arasında paylaşılmıştır. Her bir ajan, yerel gözlemlere ve paylaşılan bilgilere dayanarak uygun bir adaptif koordinasyon eylemi seçmiş ve uygulamıştır. Her eylemden sonra; besleyici kararlılığı, tıkanıklık azalması, gerilim uyumluluğu ve besleyici kabul verimliliğine göre dinamik AG şebeke ortamından pekiştirmeli geri bildirim alınmıştır. Bu geri bildirim, pekiştirme tabanlı optimizasyon yoluyla her bir ajanın politikasını güncellemek için kullanılmıştır. Global koordinasyon amaç fonksiyonu, ajan popülasyonu genelinde adaptif optimizasyon için eş zamanlı olarak koordineli geri bildirim sağlamıştır. Politika güncellemeleri, ajan politikaları optimal bir merkeziyetsiz koordinasyon stratejisine yakınsayana kadar devam etmiştir.

8. Büyük ölçekli doğrulama

Dinamik Orkestrasyon Stratejisi, yüksek yenilenebilir enerji penetrasyonuna sahip işletim senaryoları altında FeederBW veri seti ve 236 bara sahip AG dağıtım şebekesi veri seti kullanılarak doğrulanmıştır. Doğrulama işlemi, merkezi olmayan orkestrasyon çerçevesinin; birbirine bağlı AG dağıtım sistemlerindeki dinamik besleyici kabulünü, yenilenebilir enerji kesintilerini, tıkanıklık yayılımını ve voltaj istikrarsızlığını yönetme yeteneğini değerlendirmiştir. Değerlendirilen işletim senaryoları; yüksek yenilenebilir penetrasyonu, değişen yük talebi, dinamik tıkanıklık yayılımı, voltaja duyarlı koşullar ve değişken besleyici kabul kapasitesini içermektedir.

Çerçeve performansı; besleyici kabul oranı, voltaj uyum indeksi, tıkanıklık azaltma oranı, orkestrasyon gecikmesi, yakınsama hızı, merkeziyetsiz koordinasyon verimliliği ve yenilenebilir enerji uyum kapasitesi kullanılarak değerlendirilmiştir. Bu ölçütler ölenebilirlik, sağlamlık, uyarlanabilirlik ve koordinasyon performansını değerlendirmek için kullanılmıştır. Önerilen çerçeve, aynı ağ konfigürasyonları altında geleneksel merkezi besleyici orkestrasyon yaklaşımları ile karşılaştırılmıştır. Karşılaştırma yöntemlerine eşdeğer veri setleri, çalışma senaryoları, değerlendirme koşulları ve performans ölçütleri uygulanmıştır.

Tablo 2; deneysel doğrulama için kullanılan veri kümelerini, çalışma koşullarını, orkestrasyon ortamlarını ve performans değişkenlerini özetlemektedir. FeederBW veri kümesi; besleyici çalışma dinamiklerini, yenilenebilir enerji kesintilerini, tıkanıklık gelişimini, konut yük değişimini ve AG besleyici koşulları altındaki gerilim dalgalanmalarını değerlendirmek için kullanılmıştır. 236-baralı AG veri kümesi, daha büyük bir birbirine bağlı ağda merkeziyetsiz orkestrasyonu değerlendirmek için kullanılmıştır. Mimari; yenilenebilir üretim, yük talebi, gerilim ve tıkanıklığın değişken olduğu koşullar altında doğrulanmıştır. Merkeziyetsiz koordinasyon ve pekiştirmeli öğrenme tabanlı politika optimizasyonu, akıllı ajanlar arasında ortaklaşa değerlendirilmiştir.

Yenilenebilir enerji sistemlerinde, dinamik çalışma koşulları altındaki performansı nicelendirmek için besleyici kabul oranı, voltaj uyumluluk indeksi, tıkanıklık azaltma oranı, yakınsama hızı ve orkestrasyon gecikmesi kullanılmıştır.

Deneysel Parametre	FeederBW Veri Seti	236-bara AG Veri Seti	Validasyon Amacı
Ağ Tipi	Alçak Gerilim Besleme Şebekesi	Büyük Ölçekli AG Dağıtım Şebekesi	Dinamik orkestrasyon değerlendirmesi
Düğüm/Bar Sayısı	Çoklu besleyici düğümler	236 otobüs	Ölçeklenebilirlik analizi
Yenilenebilir Enerji Entegrasyonu	PV ve dağıtık yenilenebilir kaynaklar	Yüksek yenilenebilir enerji penetrasyonuna sahip veri yolları	Yenilenebilir belirsizlik doğrulaması
Yük Talep Davranışı	Dinamik konut yük profilleri	Büyük ölçekli besleyici yük varyasyonları	Adaptif yük orkestrasyonu
Sıkışıklık Senaryoları	Besleyici aşırı yükleme ve tıkanıklık durumları	Çok hatlı tıkanıklık yayılımı	Sıkışıklık azaltma analizi
Voltaj Koşulları	Voltaj dalgalanma profilleri	Voltaj duyarlı veri yolu koşulları	Voltaj uyumluluk değerlendirmesi
Akıllı Ajanlar	Dağıtılmış besleyici ajanlar	Büyük ölçekli iş birlikçi ajanlar	Merkeziyetsiz koordinasyon analizi
Öğrenme Ortamı	Pekiştirmeli sürüklü orkestrasyon	Çok ajanlı adaptif öğrenme	Politika optimizasyonu doğrulaması
Simülasyon Koşulları	Dinamik yenilenebilir değişkenlik	Büyük ölçekli dinamik operasyon	düşük gecikmeli orkestrasyon testi
Performans Metrikleri	Kabul oranı, tıkanıklık azaltma	Voltaj uyumluluğu, yakınsama hızı	Genel orkestrasyon performansı

Tablo 2: Büyük ölçekli deneysel doğrulama. Ölçeklenebilirliği, yenilenebilir enerji belirsizliğini ve merkezi olmayan koordinasyonu değerlendirmek için kullanılan deneysel ayarlar.

Sonuçlar

Stokastik öğrenmenin etkisini azaltmak için tüm deneyler, farklı rastgele başlangıç değerleri (seed) kullanılarak beş kez gerçekleştirilmiştir. Ortalama değerler bu beş çalıştırma üzerinden hesaplanmıştır. Tüm yöntemler için aynı veri kümeleri, simülasyon parametreleri, hiperparametreler, durdurma kriterleri ve değerlendirme prosedürleri kullanılmıştır. Karşılaştırma yöntemleri olarak Merkezi Gerilim Kontrolü (CVC)³³, Geleneksel Çok Ajanlı Kontrol (CMAC)²¹, Takviyeli Öğrenme Tabanlı Gerilim Regülasyonu (RLVR)²⁰, Dağıtık Enerji Kaynağı Koordinasyonu (DERC)²⁶ ve Hassasiyet Tabanlı Sıkışıklık Yönetimi (SBCM)³⁴ kullanılmıştır.

Önerilen çerçeve ile temel teknikler (CVC, CMAC, RLVR, DERC ve SBCM) arasındaki istatistiksel karşılaştırmalar, tek yönlü varyans analizi (ANOVA) kullanılarak her bir değerlendirme metriği için bağımsız olarak gerçekleştirilmiştir. ANOVA sonucunda istatistiksel olarak anlamlı farklar ortaya çıktığında, eşleştirilmiş karşılaştırmalar için Tukey'nin dürüst anlamlı fark (HSD) post hoc testi uygulanmıştır. İstatistiksel anlamlılık eşiği p < 0.001 olarak belirlenmiştir. Tüm istatistiksel analizler, tek yönlü varyans analizi ve uygun olan durumlarda bunu takip eden anlamlı fark post hoc testi kullanılarak yapılmıştır. Tek yönlü ANOVA, statsmodels.stats.anova modülü kullanılarak yürütülmüştür. İstatistiksel anlamlılık testleri için her bir yaklaşım adına gerçekleştirilen beş ayrı simülasyon çalışmasından elde edilen nihai yakınsamış performans değerleri kullanılmıştır. Ara eğitim bölümlerinin amacı öğrenme sürecini görselleştirmek olup, bunlar için istatistiksel anlamlılık testi yapılmamıştır.

Veri toplama

FeederBW ve 236-bara düşük gerilimli (LV) dağıtım veri setleri, önerilen çerçevenin tamamlayıcı çalışma koşulları altında değerlendirilmesini desteklemiştir. FeederBW veri seti; gerilim, dağıtık yenilenebilir üretim, yük talebi, tıkanıklık durumları ve besleyici kabul davranışlarını içeren zaman serisi besleyici bilgilerini sağlamıştır. Bu veri seti; dinamik besleyici operasyonunu, yenilenebilir enerji kesintiliyleliğini, konut yük değişimini, tıkanıklık yayılımını ve gerilim dalgalanmalarını değerlendirmek için kullanılmıştır.

236 bara düşük gerilimli (LV) dağıtım veri seti, birbirine bağlı 236 barayı içermekte olup besleyici topolojilerini, gerilime duyarlı bölgeleri, yenilenebilir enerji penetrasyon koşullarını, güç akış durumlarını ve tıkanıklık yayılım senaryolarını kapsamaktadır. Bu veri seti; daha büyük, birbirine bağlı bir dağıtım şebekesinde merkezi olmayan koordinasyonu, adaptif orkestrasyonu ve ölçeklenebilirliği değerlendirmek için kullanılmıştır. Tablo 3 ve Tablo 4, deneysel doğrulama koşullarını ve simülasyon ortamını özetlemektedir.

Validasyon Parametresi	Açıklama
Kullanılan Veri Setleri	FeederBW Veri Seti ve 236-bara AG Veri Seti
Ağ Ortamı	Dinamik düşük gerilimli yenilenebilir enerji yoğun dağıtım sistemi
Yenilenebilir Kaynaklar	Dağıtık fotovoltaik (PV) ve yenilenebilir jeneratörler
Öğrenme Çerçevesi	Çok Etmenli Takviyeli Öğrenme (MARL)
Koordinasyon Stratejisi	İş birlikli merkeziyetsiz orkestrasyon
Çalışma Senaryoları	Yenilenebilir enerji süreksizliği, yük dalgalanması, tıkanıklık yayılımı
Akıllı Ajan Sayısı	64 dağıtık besleyici seviyeli iş birlikçi ajan
Validasyon Amacı	Adaptif besleyici kabul optimizasyonu
Değerlendirme Süreci	Gerçek zamanlı orkestrasyon ve duyarlılık odaklı koordinasyon
Karşılaştırmalı Analiz	Geleneksel merkezi koordinasyon yöntemleriyle karşılaştırıldığında

Tablo 3: Çevresel doğrulama parametreleri. Dinamik düşük voltaj çalışma koşulları altında adaptif orkestrasyonu değerlendirmek için kullanılan doğrulama parametreleri.

Simülasyon Bileşeni	Konfigürasyon
İşlemci Ortamı	Yüksek performanslı çok çekirdekli işlem sistemi
Programlama Çerçevesi	Python 3.11.9
Öğrenme Çerçevesi	Çok Ajanlı Pekiştirmeli Öğrenme (MARL)
Öğrenme Algoritması	Q-öğrenme tabanlı Çok Ajanlı Pekiştirmeli Öğrenme
Sinir Ağı Mimarisi	İki gizli katmanlı (128 ve 64 nöron, ReLU aktivasyonu) tam bağlantılı sinir ağı
Optimize Edici	Adam optimizatörü
Öğrenme Oranı (α)	0.001
İndirim Faktörü (γ)	0.99
Yeniden Oynatma Mekanizması	Deneyim tekrarleme tamponu (kapasite: 100.000 geçiş)
Mini-batch Boyutu	64
Keşif Politikası	ε-greedy keşif (ε 1,0'dan 0,01'e düşürülmüştür)
Eğitim Bölümleri	500
Durdurma Kriteri	Maksimum eğitim epizoduna ulaşıldığında veya kümülatif ödül yakınsadığında
Ağ Modelleme	Dinamik AG besleme şebekesi simülasyonu
Yenilenebilir Enerji Simülasyonu	Değişken yenilenebilir enerji üretim profilleri
Ajan Koordinasyonu	Dağıtık iş birlikli iletişim
Veri İşleme	Gerçek zamanlı senkronize besleyici durum işleme
Optimizasyon Yöntemi	Pekiştirme tabanlı adaptif politika öğrenimi
Deneysel Platform	FeederBW veri seti ve 236 bara düşük gerilim (LV) dağıtım şebekesi veri seti kullanılarak yapılan büyük ölçekli simülasyon
Performans İzleme	Besleme Kabul Oranı (FAR), Voltaj Uyumluluk Endeksi (VCI), Sıkışıklık Azalma Oranı (CRR), Orkestrasyon Gecikmesi (OL), Yakınsama Hızı (CS) ve Merkezi Olmayan Koordinasyon Verimliliği (DCE)
Ödül Ağırlığı (β)	0.3
Ödül Ağırlığı (δ)	0.25
Amaç Ağırlığı (ω₁)	0.30 (Besleyici Kabulü)
Amaç Ağırlığı (ω₂)	0,25 (Sıkışıklığın Azaltılması)
Amaç Ağırlığı (ω₃)	0,25 (Voltaj Uyumluluğu)
Amaç Ağırlığı (ω₄)	0,20 (Orkestrasyon Gecikmesi)
Politika Öğrenme Oranı (η)	0.001
Düzenleme / Dengeleme Parametresi (λ)	0.1

Tablo 4: Simülasyon ortamı. Pekiştirmeye dayalı besleyici koordinasyon deneyleri için kullanılan simülasyon ayarları.

Veri ön işleme

Senkronize edilmiş ve normalize edilmiş veriler, önerilen çerçeve ile temel yöntemler arasında tutarlı bir karşılaştırmayı desteklemiştir. Tüm değerlendirmelerde aynı ön işlemlere tabi tutulmuş besleyici durumları, yenilenebilir üretim profilleri, yük talebi koşulları, gerilim koşulları ve tıkanıklık senaryoları kullanılmıştır. Bu ortak giriş yapısı, veri seti hazırlığından kaynaklanan farklılıkları azaltmış ve gözlemlenen performans farklarının değerlendirilen orkestrasyon yöntemleriyle ilişkilendirilmesine olanak sağlamıştır.

Dinamik düşük gerilim şebeke modellemesi

Dinamik AG şebeke modeli; değişen yenilenebilir üretimi, tüketici talebini, gerilim koşullarını, besleyici yüklemesini ve tıkanıklık yayılımını temsil etmiştir. Bu koşullar altında önerilen çerçeve, gerilime duyarlı ve tıkanıklığa duyarlı işletme durumlarına yanıt verirken besleyici kabulünü sürdürmüştür. Model; dalgalanan yenilenebilir üretim, değişen tüketici yükleri ve tıkanıklığa eğilimli şebeke koşulları altında değerlendirmeyi desteklemiştir. Tüm bu koşullar boyunca iş birlikçi ajanlar; merkezi kontrol olmadan besleyici önceliklendirmesi, gerilime bağlı koordinasyon, tıkanıklık azaltma ve yenilenebilir enerji entegrasyonu gerçekleştirmiştir.

Çok ajanlı ortam başlatma

Merkeziyetsiz ajan düzenlemesi, besleme bölgeleri ve ağ bağlantı noktaları genelinde yerel gözlemi ve koordineli karar verme sürecini desteklemiştir. Ajanlar, orkestrasyon eylemlerini bağımsız olarak seçerken, komşu ajanlarla besleme durumu bilgilerini ve hassasiyet ölçümlerini paylaşmışlardır. Gözlemlenen koordinasyon davranışı, dağıtık düzenlemenin besleme önceliklendirmesini, yük koordinasyonunu, gerilim yönetimini ve tıkanıklık yanıtını desteklediğini göstermiştir. Merkeziyetsiz yapı ayrıca, tek bir merkezi kontrolöre olan bağımlılığı azaltmış ve daha geniş olan 236-bara sahip ağ genelinde koordineli çalışmayı desteklemiştir.

Pekiştirme odaklı ajan öğrenimi

Pekiştirme odaklı politika; besleyici kabulü, voltaj uyumluluğu, tıkanıklığın azaltılması, orkestrasyon gecikmesi ve yakınsama hızı açısından eğitim süreci boyunca gelişme göstermiştir. Şekil 3, önerilen çerçevenin Besleyici Kabul Oranını (FAR) CVC, CMAC, RLVR, DERC ve SBCM ile karşılaştırmaktadır. CVC, %62'den %70'e yükselerek en düşük FAR değerini üretmiştir. CMAC ve DERC sırasıyla %75 ve %78'lik maksimum FAR değerlerine ulaşmıştır. RLVR ve SBCM sırasıyla %83 ve %81'e ulaşmıştır. Önerilen çerçeve, FAR değerini erken eğitim aşamasındaki %72'den son aşamadaki %97'ye çıkarmıştır. Bu sonuç, iş birlikli pekiştirmeli öğrenme sürecinin, yenilenebilir enerji belirsizliği ve değişen AG çalışma koşulları altında adaptif besleyici kabulünü desteklediğini göstermiştir.

Şekil 3: Besleyici Kabul Oranı (FAR). Önerilen çerçeve ile temel besleyici koordinasyon yöntemleri arasındaki FAR karşılaştırması. Değerler, önerilen çerçevenin her bir temel yöntemle beş bağımsız simülasyon çalışması üzerinden karşılaştırılmasıyla ortalama ± SD olarak sunulmuştur. İstatistiksel anlamlılık, %95 güven aralıklarıyla p < 0.001 düzeyinde değerlendirilmiştir. Kısaltmalar: FAR, Feeder Acceptance Rate (Besleyici Kabul Oranı); CVC, Centralized Voltage Control (Merkezi Gerilim Kontrolü); CMAC, Conventional Multi-Agent Control (Geleneksel Çoklu Ajan Kontrolü); RLVR, Reinforcement Learning-Based Voltage Regulation (Pekiştirmeli Öğrenme Tabanlı Gerilim Regülasyonu); DERC, Distributed Energy Resource Coordination (Dağıtık Enerji Kaynağı Koordinasyonu); SBCM, Sensitivity-Based Congestion Management (Hassasiyet Tabanlı Sıkışıklık Yönetimi). Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 4, Gerilim Uyumluluk İndeksini (VCI) sunmaktadır. CVC %70'ten %77'ye yükselirken, CMAC ve DERC sırasıyla yaklaşık %81 ve %84'e ulaşmıştır. RLVR ve SBCM sırasıyla %88 ve %86'ya ulaşmıştır. Önerilen çerçeve, eğitimin erken aşamalarındaki %78'den yakınsama anında yaklaşık %98'e yükselmiştir. Daha yüksek VCI, önerilen yaklaşımın kesikli yenilenebilir üretim ve değişen yük talebi altında gerilim uyumluluğunu karşılaştırma yöntemlerinden daha etkili bir şekilde koruduğunu göstermiştir.

Şekil 4: Gerilim Uyumluluk İndeksi (VCI). Dinamik düşük gerilim çalışma koşulları altında VCI'nın karşılaştırmalı analizi. Değerler, önerilen çerçevenin beş bağımsız simülasyon çalışması boyunca her bir temel yöntemle karşılaştırılmasıyla ortalama ± SD şeklinde sunulmuştur; %95 güven aralıkları ve istatistiksel anlamlılık p < 0.001 olarak değerlendirilmiştir. Kısaltmalar: VCI, Gerilim Uyumluluk İndeksi; CVC, Merkezi Gerilim Kontrolü; CMAC, Geleneksel Çok Ajanlı Kontrol; RLVR, Takviyeli Öğrenme Tabanlı Gerilim Regülasyonu; DERC, Dağıtık Enerji Kaynakları Koordinasyonu; SBCM, Hassasiyet Tabanlı Tıkanıklık Yönetimi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 5'teki VCI ısı haritası, eğitim epizotları boyunca voltaj uyumluluğunun gelişimini göstermiştir. Önerilen çerçeve, sonraki iterasyonlarda %95 ile %98 arasında değerler elde etmiştir. CVC %70 ile %77 arasında kalırken, RLVR ve SBCM sırasıyla yaklaşık %88 ve %86'ya ulaşmıştır. Bu nedenle ısı haritası, önerilen çerçevenin öğrenmenin sonraki aşamalarında en yüksek voltaj uyumluluğu performansını koruduğunu göstermiştir.

Şekil 5: Gerilim Uyumluluk İndeksi (VCI) ısı haritası. Eğitim iterasyonları ve besleyici koordinasyon yöntemleri genelindeki VCI performansını gösteren ısı haritası. Renk ölçeği, Gerilim Uyumluluk İndeksi'nin büyüklüğünü temsil etmekte olup, daha açık renkler daha düşük VCI değerlerini, daha koyu renkler ise daha yüksek VCI değerlerini göstermektedir. Kısaltmalar: VCI, Gerilim Uyumluluk İndeksi; CVC, Merkezi Gerilim Kontrolü; CMAC, Geleneksel Çok Ajanlı Kontrol; RLVR, Takviyeli Öğrenme Tabanlı Gerilim Regülasyonu; DERC, Dağıtık Enerji Kaynağı Koordinasyonu; SBCM, Hassasiyet Tabanlı Sıkışıklık Yönetimi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayınız.

Tablo 5, Tıkanıklık Azaltma Oranını (CRR) sunmaktadır. CVC %48'den %63'e yükselmiştir. CMAC ve DERC sırasıyla yaklaşık %73 ve %75'e ulaşırken, RLVR %80'e ve SBCM %82'ye ulaşmıştır. Önerilen çerçeve, eğitimin başlangıcındaki %64'ten yakınsama sonrası yaklaşık %96'ya yükselmiştir. Karşılaştırma yöntemlerinin final değerlerine kıyasla, önerilen çerçeve CRR'yi CVC üzerinden yaklaşık %33, CMAC üzerinden %23, RLVR üzerinden %16, DERC üzerinden %21 ve SBCM üzerinden %14 oranında iyileştirmiştir. Bu gözlemler, işbirlikçi orkestrasyon politikasının tıkanıklık yayılımını merkezi, geleneksel çok etmenli, voltaj regülasyonlu, dağıtık kaynaklı ve hassasiyet tabanlı karşılaştırma yöntemlerinden daha etkili bir şekilde azalttığını göstermiştir. Şekil 6, Orkestrasyon Gecikmesini (OL) karşılaştırmaktadır. Bildirilen orkestrasyon gecikmesi, bildirilen donanım platformundaki simülasyon sırasında önerilen orkestrasyon algoritması tarafından gereksinim duyulan ölçülen gerçek zamanlı yürütme süresine karşılık gelmektedir. Bu, konuşlandırılmış bir dağıtım şebekesinin fiziksel çalışma süresi olarak yorumlanmamalıdır. Önerilen çerçeve, OL'yi 220 ms'den 98 ms'ye düşürmüştür. Yakınsama anında CVC, CMAC, RLVR, DERC ve SBCM sırasıyla 283 ms, 253 ms, 215 ms, 242 ms ve 205 ms gecikmeler üretmiştir. Bu nedenle önerilen çerçeve; CVC, CMAC, RLVR, DERC ve SBCM'ye kıyasla gecikmeyi sırasıyla yaklaşık %65, %61, %54, %59 ve %52 oranında azaltmıştır. Daha düşük gecikme, merkezi olmayan işbirliğinin besleyici orkestrasyonunda daha hızlı kararlar verilmesini sağladığını göstermiştir.

Eğitim İterasyonu	CVC (%)(Ortalama ± SS)	CMAC (%)(Ortalama ± SD)	RLVR (%)(Ortalama ± SD)	DERC (%)(Ortalama ± SS)	SBCM (%)(Ortalama ± SS)	Önerilen Yöntem (%)(Ortalama ± SS)
1	48.0 ± 0.5	52.0 ± 0.5	56.0 ± 0.4	54.0 ± 0.5	58.0 ± 0.4	64.0 ± 0.3
2	50.0 ± 0.5	54.0 ± 0.5	59.0 ± 0.4	56.0 ± 0.5	61.0 ± 0.4	68.0 ± 0.3
3	52.0 ± 0.5	57.0 ± 0.4	62.0 ± 0.4	59.0 ± 0.5	64.0 ± 0.4	72.0 ± 0.3
4	54.0 ± 0.4	60.0 ± 0.4	65.0 ± 0.4	62.0 ± 0.4	67.0 ± 0.4	76.0 ± 0.2
5	56.0 ± 0.4	62.0 ± 0.4	68.0 ± 0.3	64.0 ± 0.4	70.0 ± 0.3	80.0 ± 0.2
6	58.0 ± 0.4	65.0 ± 0.4	71.0 ± 0.3	67.0 ± 0.4	73.0 ± 0.3	84.0 ± 0.2
7	60.0 ± 0.4	67.0 ± 0.4	74.0 ± 0.3	69.0 ± 0.3	76.0 ± 0.3	87.0 ± 0.2
8	61.0 ± 0.4	69.0 ± 0.3	76.0 ± 0.3	71.0 ± 0.3	78.0 ± 0.3	90.0 ± 0.2
9	62.0 ± 0.4	71.0 ± 0.3	78.0 ± 0.3	73.0 ± 0.3	80.0 ± 0.3	93.0 ± 0.2
10	63.0 ± 0.4	73.0 ± 0.3	80.0 ± 0.3	75.0 ± 0.3	82.0 ± 0.3	96.0 ± 0.2

Tablo 5: Sıkışıklık Azaltma Oranı (CRR): Önerilen çerçevenin temel besleyici-orkestrasyon yöntemleriyle karşılaştırıldığı beş bağımsız simülasyon çalışmasından elde edilen Sıkışıklık Azaltma Oranının (CRR) ortalaması ± standart sapması. Kısaltmalar: CRR, Sıkışıklık Azaltma Oranı; CVC, Merkezi Gerilim Kontrolü; CMAC, Geleneksel Çok Etmenli Kontrol; RLVR, Takviyeli Öğrenme Tabanlı Gerilim Düzenleme; DERC, Dağıtık Enerji Kaynağı Koordinasyonu; SBCM, Duyarlılık Tabanlı Sıkışıklık Yönetimi.

Şekil 6: Orkestrasyon Gecikmesi (OL). Adaptif merkeziyetsiz besleyici koordinasyonu sırasında orkestrasyon gecikmesinin karşılaştırmalı analizi. Değerler, önerilen çerçevenin her bir temel yöntemle beş bağımsız simülasyon çalışması üzerinden karşılaştırılmasıyla ortalama ± SD olarak sunulmuştur; %95 güven aralıkları ve istatistiksel anlamlılık p < 0.001 düzeyinde değerlendirilmiştir. Kısaltmalar: OL, Orchestration Latency (Orkestrasyon Gecikmesi); CVC, Centralized Voltage Control (Merkezi Gerilim Kontrolü); CMAC, Conventional Multi-Agent Control (Geleneksel Çok Ajanlı Kontrol); RLVR, Reinforcement Learning-Based Voltage Regulation (Takviyeli Öğrenme Tabanlı Gerilim Düzenleme); DERC, Distributed Energy Resource Coordination (Dağıtık Enerji Kaynağı Koordinasyonu); SBCM, Sensitivity-Based Congestion Management (Hassasiyet Tabanlı Sıkışıklık Yönetimi). Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 7, Yakınsama Hızını (CS) sunmaktadır. CVC, 20 eğitim epizodundan sonra %42'den %67'ye yükselmiştir. CMAC ve DERC sırasıyla yaklaşık olarak %74 ve %79'a ulaşmıştır. RLVR %87'ye ve SBCM yaklaşık %90'a ulaşmıştır. Önerilen çerçeve, ilk epizodda %58 iken yakınsama anında %98,5'e yükselmiş ve onuncu epizoda gelindiğinde %93'ü aşmıştır. Önerilen çerçeve, final yakınsama performansını CVC'ye göre %31,5, CMAC'a göre %24,5, RLVR'ye göre %11,5, DERC'ye göre %19,5 ve SBCM'ye göre %8,5 oranında artırmıştır. Bu sonuçlar, önerilen politikanın karşılaştırma yöntemlerinden daha hızlı bir şekilde kararlı orkestrasyon performansına ulaştığını göstermiştir.

Şekil 7: Yakınsama Hızı (CS). Değerlendirilen yöntemler genelinde adaptif öğrenme verimliliğini ve orkestrasyon yakınsama hızını gösteren yakınsama eğrileri. Kısaltmalar: CS, Yakınsama Hızı; CVC, Merkezi Gerilim Kontrolü; CMAC, Geleneksel Çoklu Ajan Kontrolü; RLVR, Takviyeli Öğrenme Tabanlı Gerilim Düzenleme; DERC, Dağıtık Enerji Kaynağı Koordinasyonu; SBCM, Hassasiyet Tabanlı Sıkışıklık Yönetimi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

İş birlikçi kabul orkestrasyonu ve düşük gecikmeli adaptif karar optimizasyonu

Şekil 8 Merkeziyetsiz Koordinasyon Verimliliği (DCE) sunulmaktadır. CVC %68 ile en düşük DCE değerini üretmiştir. CMAC %75'e, DERC %79'a, RLVR %84'e ve SBCM %88'e ulaşmıştır. Önerilen çerçeve %97'lik bir DCE elde etmiştir. Önerilen çerçeve; CVC'yi 29 yüzde puan, CMAC'ı 22 yüzde puan, RLVR'yi 13 yüzde puan, DERC'yi 18 yüzde puan ve SBCM'yi 9 yüzde puan aşmıştır. Bu sonuç; yerel bilgi alışverişinin, komşu ajan koordinasyonunun ve merkeziyetsiz politika optimizasyonunun, karşılaştırma yöntemlerinden daha etkili bir koordinasyonu desteklediğini göstermiştir.

Şekil 8: Merkeziyetsiz Koordinasyon Verimliliği (DCE). Akıllı ajanlar arasındaki iş birliği sırasında DCE'nin karşılaştırmalı analizi. Değerler, önerilen çerçevenin beş bağımsız simülasyon çalışması boyunca her bir temel yöntemle karşılaştırılmasıyla ortalama ± SD olarak sunulmuştur; %95 güven aralıkları ve istatistiksel anlamlılık p < 0.001 düzeyinde değerlendirilmiştir. Kısaltmalar: DCE, Decentralized Coordination Efficiency; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 9 ve Tablo 6 Yenilenebilir Enerji Kabul Kapasitesini (RAC) sunmaktadır. CVC %52'den %63'e yükselmiştir. CMAC ve DERC sırasıyla yaklaşık %72 ve %76'ya ulaşmıştır. RLVR yaklaşık %83'e, SBCM ise %86'ya ulaşmıştır. Önerilen çerçeve, öğrenmenin başında %70 iken yakınsamada %97'ye yükselmiştir. Önerilen çerçeve; CVC'yi 34 yüzde puan, CMAC'ı 25 yüzde puan, RLVR'yi 14 yüzde puan, DERC'yi 21 yüzde puan ve SBCM'yi 11 yüzde puan geride bırakmıştır. Bu sonuçlar, önerilen orkestrasyon yaklaşımının; besleyici işletimini, voltaj performansını ve tıkanıklık farkındalığını korurken daha yüksek oranda yenilenebilir üretimi kabul ettiğini göstermiştir.

Şekil 9: Yenilenebilir Enerji Karşılama Kapasitesi (RAC). Yenilenebilir enerji açısından zengin besleyici sistemlerde RAC'nin karşılaştırmalı analizi. Değerler, önerilen çerçevenin her bir temel yöntemle beş bağımsız simülasyon çalışması üzerinden karşılaştırılmasıyla ortalama ± SD olarak sunulmuştur; %95 güven aralıkları ve istatistiksel anlamlılık p < 0.001 seviyesinde değerlendirilmiştir. Kısaltmalar: RAC, Yenilenebilir Enerji Karşılama Kapasitesi; CVC, Merkezi Gerilim Kontrolü; CMAC, Geleneksel Çok Etmenli Kontrol; RLVR, Takviyeli Öğrenme Tabanlı Gerilim Regülasyonu; DERC, Dağıtık Enerji Kaynağı Koordinasyonu; SBCM, Duyarlılık Tabanlı Sıkışıklık Yönetimi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Eğitim İterasyonu	CVC (%) (Ortalama ± SD)	CMAC (%) (Ortalama ± SD)	RLVR (%) (Ortalama ± SD)	DERC (%) (Ortalama ± SD)	SBCM (%) (Ortalama ± SD)	Önerilen Yöntem (%) (Ortalama ± SD)
1	52.0 ± 0.5	58.0 ± 0.5	64.0 ± 0.4	60.0 ± 0.5	66.0 ± 0.4	70.0 ± 0.3
2	54.0 ± 0.5	60.0 ± 0.5	67.0 ± 0.4	62.0 ± 0.5	69.0 ± 0.4	74.0 ± 0.3
3	55.0 ± 0.4	62.0 ± 0.4	70.0 ± 0.4	64.0 ± 0.4	72.0 ± 0.4	78.0 ± 0.3
4	57.0 ± 0.4	64.0 ± 0.4	73.0 ± 0.3	66.0 ± 0.4	75.0 ± 0.3	82.0 ± 0.2
5	58.0 ± 0.4	66.0 ± 0.4	75.0 ± 0.3	68.0 ± 0.4	77.0 ± 0.3	86.0 ± 0.2
6	59.0 ± 0.4	67.0 ± 0.4	77.0 ± 0.3	70.0 ± 0.3	79.0 ± 0.3	89.0 ± 0.2
7	60.0 ± 0.4	68.0 ± 0.3	79.0 ± 0.3	72.0 ± 0.3	81.0 ± 0.3	91.0 ± 0.2
8	61.0 ± 0.4	69.0 ± 0.3	80.0 ± 0.3	73.0 ± 0.3	83.0 ± 0.3	93.0 ± 0.2
9	62.0 ± 0.4	70.0 ± 0.3	81.0 ± 0.3	74.0 ± 0.3	84.0 ± 0.3	95.0 ± 0.2
10	63.0 ± 0.4	72.0 ± 0.3	83.0 ± 0.3	76.0 ± 0.3	86.0 ± 0.3	97.0 ± 0.2

Tablo 6: Yenilenebilir Enerji Kabul Kapasitesi (RAC): Önerilen çerçevenin temel besleyici orkestrasyon yöntemleriyle karşılaştırıldığı beş bağımsız simülasyon çalışmasından elde edilen Yenilenebilir Enerji Kabul Kapasitesinin (RAC) ortalaması ± standart sapması (SD). Kısaltmalar: RAC, Yenilenebilir Enerji Kabul Kapasitesi; CVC, Merkezi Gerilim Kontrolü; CMAC, Geleneksel Çok Ajanlı Kontrol; RLVR, Takviyeli Öğrenme Tabanlı Gerilim Regülasyonu; DERC, Dağıtık Enerji Kaynağı Koordinasyonu; SBCM, Hassasiyet Tabanlı Sıkışıklık Yönetimi.

Voltaj ve tıkanıklık hassasiyet değerlendirmesi

Şekil 10 Gerilim Duyarlılığı Kararlılığı (VSS) sunulmaktadır. CVC %60'tan %69'a yükselmiştir. CMAC ve DERC sırasıyla yaklaşık %76 ve %78 değerlerine ulaşırken, RLVR %84'e ulaşmıştır. Önerilen çerçeve, eğitimin erken aşamalarındaki %74'ten yakınsama sonrası %88'e yükselmiştir. Önerilen çerçeve; CVC'yi 29 yüzdelik puan, CMAC'ı 22 yüzdelik puan, RLVR'yi 14 yüzdelik puan, DERC'yi 20 yüzdelik puan ve SBCM'yi 12 yüzdelik puan aşmıştır. Bu sonuçlar, duyarlılık farkındalıklı çerçevenin; yenilenebilir enerji kesintileri, değişken yük talebi ve dinamik tıkanıklık altında daha güçlü gerilim duyarlı besleyici performansı sergilediğini göstermiştir.

Şekil 10: Voltaj Duyarlılığı Kararlılığı (VSS). Adaptif voltaj farkındalıklı besleyici orkestrasyonu sırasında voltaj duyarlılığı kararlılığının karşılaştırmalı analizi. Değerler, önerilen çerçevenin her bir temel yöntemle beş bağımsız simülasyon çalışması üzerinden karşılaştırılmasıyla ortalama ± SD olarak sunulmuştur; %95 güven aralıkları ve istatistiksel anlamlılık p < 0.001 düzeyinde değerlendirilmiştir. Kısaltmalar: VSS, Voltaj Duyarlılığı Kararlılığı; CVC, Merkezi Voltaj Kontrolü; CMAC, Geleneksel Çok Ajanlı Kontrol; RLVR, Takviyeli Öğrenme Tabanlı Voltaj Regülasyonu; DERC, Dağıtık Enerji Kaynağı Koordinasyonu; SBCM, Duyarlılık Tabanlı Sıkışıklık Yönetimi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayınız.

Şekil 11 Sıkışıklık Duyarlılık İndeksi (CSI) sunulmaktadır. CVC %52'den %63'e yükselmiştir. CMAC ve DERC sırasıyla %72 ve %76'ya ulaşmıştır. RLVR yaklaşık %83'e ve SBCM yaklaşık %86'ya ulaşmıştır. Önerilen çerçeve, eğitimin erken aşamalarındaki %72'den eğitimin sonunda yaklaşık %98'e yükselmiştir. Önerilen çerçeve; CVC'yi yaklaşık 35, CMAC'ı 26, RLVR'yi 15, DERC'yi 22 ve SBCM'yi 12 yüzdelik puan farkla geçmiştir. Isı haritası, önerilen yaklaşımın sonraki eğitim bölümlerinde en yüksek sıkışıklık duyarlılığı performansını koruduğunu göstermiştir.

Şekil 11: Tıkanıklık Duyarlılık İndeksi (CSI) ısı haritası. Eğitim aşamaları ve besleyici koordinasyon yöntemleri genelindeki tıkanıklık duyarlılığı performansını gösteren ısı haritası. Renk ölçeği, Tıkanıklık Duyarlılık İndeksi'nin büyüklüğünü temsil etmektedir; açık renkler daha düşük CSI değerlerini, koyu renkler ise daha yüksek CSI değerlerini belirtir. Kısaltmalar: CSI, Tıkanıklık Duyarlılık İndeksi; CVC, Merkezi Gerilim Kontrolü; CMAC, Geleneksel Çoklu Ajan Kontrolü; RLVR, Takviyeli Öğrenme Tabanlı Gerilim Regülasyonu; DERC, Dağıtık Enerji Kaynağı Koordinasyonu; SBCM, Duyarlılık Tabanlı Tıkanıklık Yönetimi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayınız.

Geniş ölçekli doğrulama

Şekil 12 ve Tablo 7 Besleyici Kararlılık Endeksi'ni (FSI) sunmaktadır. CVC ortalama %64,7 FSI üretirken, CMAC ve DERC sırasıyla ortalama %72,5 ve %76,0 üretmiştir. RLVR ortalama %81,5 FSI üretmiştir. Önerilen çerçeve; %97 voltaj kararlılığı, %96 tıkanıklık kontrolü, %95 yenilenebilir entegrasyon kapasitesi, %94 yük dengeleme verimliliği, %98 koordinasyon verimliliği ve %97 yanıt hızı elde etmiştir. Bu bileşen değerleri yaklaşık %96,2'lik bir ortalama FSI üretmiştir. Önerilen çerçeve, ortalama FSI'yi CVC'ye göre yaklaşık 31,5 yüzde puan, CMAC'e göre 23,7 yüzde puan, RLVR'ye göre 14,7 yüzde puan, DERC'ye göre 20,2 yüzde puan ve SBCM'ye göre 11,7 yüzde puan artırmıştır. Dengeli bileşen değerleri, çerçevenin voltaj kararlılığı, tıkanıklık yönetimi, yenilenebilir entegrasyonu, yük dengeleme, koordinasyon verimliliği ve yanıt hızı genelinde performansı koruduğunu göstermiştir. Her bir simülasyon çalışması için, genel FSI'yi belirlemek amacıyla altı performans bileşeninin —Voltaj Kararlılığı, Tıkanıklık Kontrolü, Yenilenebilir Entegrasyon, Yük Dengeleme, Koordinasyon Verimliliği ve Yanıt Hızı— aritmetik ortalaması kullanılmıştır. Belirtilen ortalama ve standart sapmayı hesaplamak için beş ayrı simülasyon çalışması kullanılmıştır.

Şekil 12: Besleyici Kararlılık İndeksi (FSI). Önerilen çerçeve ve temel yöntemlerin altı performans bileşeni (Gerilim Kararlılığı, Sıkışıklık Kontrolü, Yenilenebilir Enerji Entegrasyonu, Yüklemeleme, Koordinasyon Verimliliği ve Yanıt Hızı) üzerinden Besleyici Kararlılık İndeksi radar grafik karşılaştırması. Daha yüksek değerler, her bir bileşen için daha iyi performansı göstermektedir. Kısaltmalar: FSI, Besleyici Kararlılık İndeksi; CVC, Merkezi Gerilim Kontrolü; CMAC, Geleneksel Çoklu Ajan Kontrolü; RLVR, Takviyeli Öğrenme Tabanlı Gerilim Düzenleme; DERC, Dağıtık Enerji Kaynağı Koordinasyonu; SBCM, Duyarlılık Tabanlı Sıkışıklık Yönetimi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Değerlendirme Parametresi	CVC (%) (Ortalama ± SD)	CMAC (%) (Ortalama ± SD)	RLVR (%) (Ortalama ± SD)	DERC (%) (Ortalama ± SD)	SBCM (%) (Ortalama ± SD)	Önerilen Yöntem (%) (Ortalama ± SD)
Gerilim Kararlılığı	68.0 ± 0.6	74.0 ± 0.5	82.0 ± 0.4	77.0 ± 0.5	86.0 ± 0.3	97.0 ± 0.2
Sıkışıklık Kontrolü	64.0 ± 0.6	71.0 ± 0.5	79.0 ± 0.4	74.0 ± 0.5	84.0 ± 0.3	96.0 ± 0.2
Yenilenebilir Enerji Entegrasyonu	62.0 ± 0.5	70.0 ± 0.5	81.0 ± 0.4	76.0 ± 0.4	83.0 ± 0.3	95.0 ± 0.2
Yük Dengeleme	66.0 ± 0.5	73.0 ± 0.4	80.0 ± 0.4	75.0 ± 0.4	82.0 ± 0.3	94.0 ± 0.2
Koordinasyon Verimliliği	65.0 ± 0.5	75.0 ± 0.4	83.0 ± 0.3	78.0 ± 0.4	87.0 ± 0.3	98.0 ± 0.2
Tepki Hızı	63.0 ± 0.5	72.0 ± 0.4	84.0 ± 0.3	76.0 ± 0.4	85.0 ± 0.3	97.0 ± 0.2
Ortalama FSI Skoru	64.7 ± 0.5	72.5 ± 0.5	81.5 ± 0.4	76.0 ± 0.4	84.5 ± 0.3	96.2 ± 0.2

Tablo 7: Besleyici Kararlılık İndeksi (FSI): Gerilim Kararlılığı, Sıkışıklık Kontrolü, Yenilenebilir Entegrasyonu, Yük Dengelenmesi, Koordinasyon Verimliliği ve Tepki Hızı'na dayalı beş bağımsız simülasyon çalışmasından elde edilen Besleyici Kararlılık İndeksi'nin (FSI) ortalaması ± SD. Kısaltmalar: FSI, Besleyici Kararlılık İndeksi; CVC, Merkezi Gerilim Kontrolü; CMAC, Geleneksel Çoklu Ajan Kontrolü; RLVR, Takviyeli Öğrenme Tabanlı Gerilim Regülasyonu; DERC, Dağıtık Enerji Kaynağı Koordinasyonu; SBCM, Duyarlılık Tabanlı Sıkışıklık Yönetimi.

Şekil 13 Yük Dengeleme Verimliliğini (LBE) sunmaktadır. CVC; %42 dengeli yük dağılımı, %18 orta düzey yük stabilitesi ve %8 dinamik adaptif dengelemeden oluşan yaklaşık %68'lik bir genel LBE değerine ulaşmıştır. CMAC ve DERC sırasıyla yaklaşık %80 ve %86 genel değerlere ulaşmıştır. RLVR yaklaşık %92'ye, SBCM ise yaklaşık %96'ya ulaşmıştır. Önerilen çerçeve; %72 dengeli yük dağılımı, %20 orta düzey yük stabilitesi ve %6 dinamik adaptif dengelemeden oluşan yaklaşık %98'lik bir genel LBE değerine ulaşmıştır. Bu sonuç, önerilen yaklaşımın değerlendirilen yöntemler arasında en yüksek genel yük dengeleme performansını koruduğunu göstermiştir.

Şekil 13: Yük Dengeleme Verimliliği (LBE). Önerilen çerçeve ve temel yöntemlerin Yük Dengeleme Verimliliğinin yığılmış sütun karşılaştırması. Her bir yığılmış sütun üç performans bileşeninden oluşur: Dengeli Yük Dağılımı, Orta Derece Yük Stabilitesi, ve Dinamik Adaptif Dengeleme, ki bunların toplam değerleri her bir yöntem için genel LBE'yi temsil eder. Daha yüksek toplam değerler, daha iyi yük dengeleme performansına işaret eder. Kısaltmalar: LBE, Load Balancing Efficiency (Yük Dengeleme Verimliliği); CVC, Centralized Voltage Control (Merkezi Gerilim Kontrolü); CMAC, Conventional Multi-Agent Control (Geleneksel Çok Ajanlı Kontrol); RLVR, Reinforcement Learning-Based Voltage Regulation (Pekiştirmeli Öğrenme Tabanlı Gerilim Regülasyonu); DERC, Distributed Energy Resource Coordination (Dağıtık Enerji Kaynağı Koordinasyonu); SBCM, Sensitivity-Based Congestion Management (Duyarlılık Tabanlı Sıkışıklık Yönetimi). Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayınız.

Şekil 14 Yenilenebilir Kullanım Verimliliği (RUE) sunulmuştur. CVC %50'den %61'e yükselmiştir. CMAC ve DERC sırasıyla %70 ve %75'e ulaşmıştır. RLVR %82'ye ve SBCM %86'ya ulaşmıştır. Önerilen çerçeve, eğitimin erken safhalarındaki %72 değerinden, yakınsama anında yaklaşık %98'e yükselmiştir. Önerilen çerçeve; CVC'yi yaklaşık 37 yüzde puanı, CMAC'ı 28 yüzde puanı, RLVR'yi 16 yüzde puanı, DERC'yi 23 yüzde puanı ve SBCM'yi 12 yüzde puanı aşmıştır. Daha yüksek RUE, önerilen orkestrasyon politikasının, değişen yük ve tıkanıklık koşulları altında mevcut yenilenebilir üretimin daha büyük bir oranını kullandığını göstermiştir.

Şekil 14: Yenilenebilir Kullanım Verimliliği (RUE). Düşük gerilim besleyici orkestrasyonu sırasında RUE'nin karşılaştırmalı analizi. Değerler, önerilen çerçevenin beş bağımsız simülasyon çalışması boyunca her bir temel yöntemle karşılaştırılmasıyla ortalama ± SD olarak sunulmuş olup, %95 güven aralıkları ve istatistiksel anlamlılık şu değerde değerlendirilmiştir: p < 0.001Kısaltmalar: RUE, Yenilenebilir Kullanım Verimliliği; CVC, Merkezi Gerilim Kontrolü; CMAC, Geleneksel Çok Etmenli Kontrol; RLVR, Takviyeli Öğrenme Tabanlı Gerilim Regülasyonu; DERC, Dağıtık Enerji Kaynağı Koordinasyonu; SBCM, Duyarlılık Tabanlı Yoğunluk Yönetimi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 15 ve Tablo 8 Adaptif Karar Doğruluğunu (ADA) sunmaktadır. Önerilen çerçeve %78'den %99'a yükselmiştir. CVC, CMAC, RLVR, DERC ve SBCM sırasıyla %68, %76, %86, %79 ve %88'e yakınsamıştır. Önerilen çerçeve; CVC'yi yaklaşık 31 yüzde puan, CMAC'ı 23 yüzde puan, RLVR'yi 13 yüzde puan, DERC'yi 20 yüzde puan ve SBCM'yi 11 yüzde puan geçmiştir. Daha yüksek ADA, iş birlikçi ajanların yenilenebilir enerji bakımından zengin LV çalışma koşulları altında daha doğru orkestrasyon kararları seçtiğini göstermiştir.

Şekil 15: Adaptif Karar Doğruluğu (ADA). Önerilen orkestrasyon çerçevesi ve temel yöntemler için ADA'nın karşılaştırmalı analizi. Değerler, önerilen çerçevenin beş bağımsız simülasyon çalışması boyunca her bir temel yöntemle karşılaştırılmasıyla ortalama ± SD olarak sunulmuştur; %95 güven aralıkları ve istatistiksel anlamlılık p < 0.001 düzeyinde değerlendirilmiştir. Kısaltmalar: ADA, Adaptif Karar Doğruluğu; CVC, Merkezi Gerilim Kontrolü; CMAC, Geleneksel Çoklu Ajan Kontrolü; RLVR, Takviyeli Öğrenme Tabanlı Gerilim Regülasyonu; DERC, Dağıtık Enerji Kaynağı Koordinasyonu; SBCM, Hassasiyet Tabanlı Sıkışıklık Yönetimi. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Eğitim Epoku	CVC (%) (Ortalama ± SD)	CMAC (%) (Ortalama ± SD)	RLVR (%) (Ortalama ± SD)	DERC (%) (Ortalama ± SD)	SBCM (%) (Ortalama ± SD)	Önerilen Yöntem (%) (Ortalama ± SD)
1	58.0 ± 0.5	64.0 ± 0.5	70.0 ± 0.4	66.0 ± 0.5	72.0 ± 0.4	78.0 ± 0.3
2	60.0 ± 0.5	66.0 ± 0.5	73.0 ± 0.4	68.0 ± 0.5	75.0 ± 0.4	82.0 ± 0.3
3	61.0 ± 0.4	68.0 ± 0.4	76.0 ± 0.4	70.0 ± 0.4	78.0 ± 0.4	86.0 ± 0.2
4	62.0 ± 0.4	70.0 ± 0.4	78.0 ± 0.3	72.0 ± 0.4	80.0 ± 0.3	89.0 ± 0.2
5	63.0 ± 0.4	71.0 ± 0.4	80.0 ± 0.3	74.0 ± 0.4	82.0 ± 0.3	91.0 ± 0.2
6	64.0 ± 0.4	72.0 ± 0.4	82.0 ± 0.3	75.0 ± 0.3	84.0 ± 0.3	93.0 ± 0.2
7	65.0 ± 0.4	73.0 ± 0.3	83.0 ± 0.3	76.0 ± 0.3	85.0 ± 0.3	95.0 ± 0.2
8	66.0 ± 0.4	74.0 ± 0.3	84.0 ± 0.3	77.0 ± 0.3	86.0 ± 0.3	96.0 ± 0.2
9	67.0 ± 0.4	75.0 ± 0.3	85.0 ± 0.3	78.0 ± 0.3	87.0 ± 0.3	97.0 ± 0.2
10	68.0 ± 0.4	76.0 ± 0.3	86.0 ± 0.3	79.0 ± 0.3	88.0 ± 0.3	99.0 ± 0.2

Tablo 8: Adaptif Karar Doğruluğu (ADA): Önerilen akıllı besleyici-orkestrasyon çerçevesini temel yöntemlerle karşılaştıran beş bağımsız simülasyon çalışmasından elde edilen Adaptif Karar Doğruluğu'nun (ADA) ortalama ± SD değerleri. Kısaltmalar: ADA, Adaptif Karar Doğruluğu; CVC, Merkezi Gerilim Kontrolü; CMAC, Geleneksel Çoklu Ajan Kontrolü; RLVR, Takviyeli Öğrenme Tabanlı Gerilim Regülasyonu; DERC, Dağıtık Enerji Kaynağı Koordinasyonu; SBCM, Hassasiyet Tabanlı Sıkışıklık Yönetimi.

Tablo 9 Sistem Güvenilirliği İyileştirmesini (SRI) sunmaktadır. CVC %60'tan %69'a yükselmiştir. CMAC yaklaşık %78'e, DERC yaklaşık %81'e, RLVR yaklaşık %86'ya ve SBCM yaklaşık %88'e ulaşmıştır. Önerilen çerçeve, erken öğrenme sırasındaki %80'den yakınsama anında yaklaşık %99'a yükselmiştir. Önerilen çerçeve; CVC'yi yaklaşık 30 yüzde puan, CMAC'ı 21 yüzde puan, RLVR'yi 13 yüzde puan, DERC'yi 18 yüzde puan ve SBCM'yi 11 yüzde puan aşmıştır. Daha yüksek SRI, önerilen çerçevenin; besleyici sürekliliğini, gerilim stabilitesini, tıkanıklık kontrolünü ve adaptif yenilenebilir enerji entegrasyonunu karşılaştırma yöntemlerinden daha etkili bir şekilde koruduğunu göstermiştir.

Eğitim Yinelemesi	CVC (%) (Ortalama ± SS)	CMAC (%) (Ortalama ± SD)	RLVR (%) (Ortalama ± SD)	DERC (%) (Ortalama ± SS)	SBCM (%) (Ortalama ± SD)	Önerilen Yöntem (%) (Ortalama ± SS)
1	60.0 ± 0.5	66.0 ± 0.5	72.0 ± 0.4	68.0 ± 0.5	75.0 ± 0.4	80.0 ± 0.3
2	61.0 ± 0.5	68.0 ± 0.5	74.0 ± 0.4	70.0 ± 0.5	77.0 ± 0.4	84.0 ± 0.3
3	62.0 ± 0.4	70.0 ± 0.4	76.0 ± 0.4	72.0 ± 0.4	79.0 ± 0.4	87.0 ± 0.2
4	63.0 ± 0.4	72.0 ± 0.4	78.0 ± 0.3	74.0 ± 0.4	81.0 ± 0.3	90.0 ± 0.2
5	64.0 ± 0.4	73.0 ± 0.4	80.0 ± 0.3	76.0 ± 0.4	83.0 ± 0.3	92.0 ± 0.2
6	65.0 ± 0.4	74.0 ± 0.4	82.0 ± 0.3	77.0 ± 0.3	84.0 ± 0.3	94.0 ± 0.2
7	66.0 ± 0.4	75.0 ± 0.3	83.0 ± 0.3	78.0 ± 0.3	85.0 ± 0.3	95.0 ± 0.2
8	67.0 ± 0.4	76.0 ± 0.3	84.0 ± 0.3	79.0 ± 0.3	86.0 ± 0.3	96.0 ± 0.2
9	68.0 ± 0.4	77.0 ± 0.3	85.0 ± 0.3	80.0 ± 0.3	87.0 ± 0.3	97.0 ± 0.2
10	69.0 ± 0.4	78.0 ± 0.3	86.0 ± 0.3	81.0 ± 0.3	88.0 ± 0.3	99.0 ± 0.2

Tablo 9: Sistem Güvenilirliği İyileştirmesi (SRI): Yenilenebilir enerji kaynaklarının yoğun olduğu alçak gerilim dağıtım koşulları altında, beş bağımsız simülasyon çalışmasından elde edilen Sistem Güvenilirliği İyileştirmesinin (SRI) ortalaması ± standart sapması. Kısaltmalar: SRI, Sistem Güvenilirliği İyileştirmesi; CVC, Merkezi Gerilim Kontrolü; CMAC, Geleneksel Çoklu Ajan Kontrolü; RLVR, Takviyeli Öğrenme Tabanlı Gerilim Regülasyonu; DERC, Dağıtık Enerji Kaynağı Koordinasyonu; SBCM, Hassasiyet Tabanlı Sıkışıklık Yönetimi.

Önerilen çerçeve; FeederBW ve 236-bus LV veri setleri kullanılarak yenilenebilir enerji üretimi, yük talebi, voltaj ve tıkanıklığın farklı koşulları altında değerlendirilmiştir. Besleyici kabulü, voltaj uyumluluğu, tıkanıklığın azaltılması, orkestrasyon gecikmesi, yakınsama hızı, merkezi olmayan koordinasyon, yenilenebilir enerji uyumluluğu, voltaj hassasiyeti, tıkanıklık hassasiyeti, besleyici stabilitesi, yük dengeleme, yenilenebilir enerji kullanımı, karar doğruluğu ve sistem güvenilirliği analiz edilmiştir.

Bu ölçümler genelinde, önerilen çerçeve; FAR, VCI, CRR, CS, DCE, RAC, VSS, CSI, FSI, LBE, RUE, ADA ve SRI için en yüksek nihai değerleri, OL için ise en düşük değeri üretmiştir. Temel yöntemler aynı veri kümeleri, çalışma senaryoları, simülasyon ortamı, durdurma kriterleri ve değerlendirme metrikleri üzerinden değerlendirildiği için, bu karşılaştırmalar; voltaj ve tıkanıklık hassasiyeti değerlendirmesiyle birleştirilmiş iş birlikli çok ajanlı pekiştirmeli öğrenmenin, değerlendirilen merkezi ve dağıtık karşılaştırma yöntemlerine kıyasla adaptif besleyici kabulünü iyileştirdiği hipotezini desteklemiştir.

Sonuçlar, Dinamik Orkestrasyon Stratejisinin orkestrasyon gecikmesini azaltırken; besleyici kabulünü, voltaj uyumluluğunu, tıkanıklık azaltımını, yenilenebilir enerji entegrasyonunu, yük dengelemeyi, merkeziyetsiz koordinasyonu, karar doğruluğunu ve sistem güvenilirliğini iyileştirdiğini göstermiştir. Çerçeve ayrıca karşılaştırma yöntemlerinden daha hızlı bir şekilde yakınsamıştır. Değerlendirilen simülasyon koşulları altında bu bulgular; iş birlikçi, hassasiyet farkındalığına sahip, merkeziyetsiz pekiştirmeli öğrenmenin, yenilenebilir üretim belirsizliği ile değişen yük ve tıkanıklık koşulları altında düşük voltajlı besleyici orkestrasyonunu iyileştirebileceğine dair önerilen hipotezi desteklemiştir.

VERİ KULLANILABİLİRLİĞİ:

FeederBW veri seti https://doi.org/10.5281/zenodo.17831177 adresinden ve 236-Bus Alçak Gerilim Dağıtım Şebekesi veri seti https://doi.org/10.5281/zenodo.8274780 adresinden halka açık olarak erişilebilir durumdadır. Bu çalışma için geliştirilen Python uygulaması; simülasyon çerçevesi, ön işleme modülleri, çok etmenli pekiştirmeli öğrenme ortamı, model eğitim ve değerlendirme betikleri, yapılandırma dosyaları ve önerilen metodolojinin yeniden üretilmesi için gerekli giriş veri formatlarıyla birlikte Zenodo'ya kaydedilmiş olup https://doi.org/10.5281/zenodo.21423239 adresinden halka açık olarak erişilebilir durumdadır. Depo, bu çalışmada bildirilen metodolojinin ve deneylerin tekrarlanabilirliğini desteklemektedir.

Ek Dosya 1. Önerilen Dinamik Orkestrasyon Stratejisinin matematiksel türetimleri, algoritması ve uygulama detayları. Bu ek dosya; veri ön işleme, dinamik düşük gerilim şebekesi modelleme, çok ajanlı ortam başlatma, pekiştirmeli ajan öğrenimi, gerilim ve tıkanıklık hassasiyet değerlendirmesi, iş birliğine dayalı besleyici kabul orkestrasyonu ve performans değerlendirme metrikleri dahil olmak üzere önerilen çerçevenin her bir aşamasını destekleyen matematiksel formülasyonları sunmaktadır. Ayrıca, bu çalışmada kullanılan değerlendirme metriklerinin matematiksel tanımlarıyla birlikte, iş birliğine dayalı besleyici kabul orkestrasyon prosedürünü açıklayan Algoritma 1'i içermektedir.Bu dosyayı indirmek için lütfen buraya tıklayın.

Tartışma

Deneysel bulgular, önerilen Dinamik Orkestrasyon Stratejisinin; Merkezi Gerilim Kontrolü (CVC)³³, Geleneksel Çoklu Ajan Kontrolü (CMAC)²¹, Takviyeli Öğrenme Tabanlı Gerilim Regülasyonu (RLVR)²⁰, Dağıtık Enerji Kaynağı Koordinasyonu (DERC)²⁶ ve Duyarlılık Tabanlı Sıkışıklık Yönetimi (SBCM)³⁴ ile karşılaştırıldığında, merkeziyetsiz besleyici koordinasyonunu, yenilenebilir enerji entegrasyonunu, gerilim kararlılığını, sıkışıklık yönetimini ve düşük gecikmeli orkestrasyonu iyileştirdiğini göstermiştir. Değerlendirilen Besleyici Kabul Oranı (FAR), Gerilim Uyumluluk İndeksi (VCI), Sıkışıklık Azaltma Oranı (CRR), Merkeziyetsiz Koordinasyon Verimliliği (DCE), Yenilenebilir Kullanım Verimliliği (RUE), Adaptif Karar Doğruluğu (ADA) ve Sistem Güvenilirliği İyileştirmesi (SRI) parametrelerinin tamamında, önerilen çerçeve test edilen koşullar altında daha yüksek performans sergilemiştir. FeederBW ve 236-baralı alçak gerilim (AG) veri setleri kullanılarak elde edilen sonuçlar, iş birlikçi çoklu ajan takviyeli öğrenmenin gerilim ve sıkışıklık duyarlılık değerlendirmesiyle birleştirilmesinin, adaptif besleyici orkestrasyonunun verimliliğini ve hızını artırdığını göstermiştir.

Karşılaştırmalı analiz ayrıca, merkezi ve kural tabanlı koordinasyon yöntemlerinin, değişen besleyici koşulları altında daha yavaş orkestrasyon yanıtlarına, daha düşük yenilenebilir enerji kabul kapasitesine, azalmış adaptif koordinasyon verimliliğine ve daha sınırlı ölçeklenebilirliğe sahip olduğunu göstermiştir^33,34. RLVR ve SBCM, takviyeli öğrenme ve hassasiyet duyarlı tıkanıklık yönetimi bileşenleri nedeniyle diğer karşılaştırma yöntemlerinden daha iyi performans göstermiş olsa da, iş birlikçi ve merkeziyetsiz bir besleyici kabul orkestrasyon mekanizması sunmamışlardır. Buna karşılık, önerilen çerçeve; iş birlikçi akıllı ajanları, hassasiyet duyarlı besleyici önceliklendirmesini, adaptif orkestrasyon optimizasyonunu ve merkeziyetsiz politika öğrenimini birleştirmiştir. Daha hızlı yakınsama ve daha yüksek stabilite göstergeleri, bu birleşik yapının değişken yenilenebilir üretim, yük, voltaj ve tıkanıklık koşulları altında besleyici işletimini desteklediğini ortaya koymuştur.

Merkeziyetsiz çok ajanlı pekiştirmeli öğrenme mimarisi, karar verme sürecini tek bir merkezi kontrolcüye güvenmek yerine besleyici düzeyindeki ajanlar arasında dağıtmıştır. Dağıtım şebekesinin boyutu arttıkça, her bir ajan yerel hesaplamalar gerçekleştirmiş ve yalnızca komşu ajanların ihtiyaç duyduğu koordinasyon bilgilerini paylaşmıştır. Bu düzenleme, merkezi hesaplama darboğazlarını ve iletişim yükünü azaltarak ölçeklenebilirliği desteklemiştir³⁵. Bu nedenle çerçeve; daha yüksek yenilenebilir enerji penetrasyonuna, ek besleyici segmentlerine ve daha yüksek operasyonel karmaşıklığa sahip daha büyük şebekeler için uygulanabilir olabilir. Bununla birlikte, çok geniş ölçekli bir uygulama, dağıtık hesaplama kaynaklarının ve iletişim protokollerinin daha fazla optimize edilmesini gerektirecektir.

Çalışma ayrıca, düşük gerilim besleyici yönetimine merkeziyetsiz öğrenme tabanlı bir yaklaşım kazandırmıştır. Temel olarak statik işletme kurallarına veya merkezi optimizasyona dayalı geleneksel gerilim kontrolü ve tıkanıklık yönetimi yöntemlerinin aksine³³, önerilen strateji; gerilim duyarlılık değerlendirmesini, tıkanıklık farkındalıklı orkestrasyonu, pekiştirmeli politika optimizasyonunu, dinamik besleyici kabul sıralamasını ve iş birlikçi ajanlar arasındaki iletişimi entegre etmiştir. Bu entegrasyon, çok ajanlı pekiştirmeli öğrenmenin kullanımını, gerilim regülasyonu ve kaynak koordinasyonundan, yenilenebilir enerji kaynaklarının yoğun olduğu AG dağıtım şebekelerindeki adaptif besleyici kabul orkestrasyonuna kadar genişletmiştir.

Önerilen yöntem; kamu hizmetleri, akıllı şebeke operatörleri ve yenilenebilir enerji yönetim sistemleri için besleyici kabul yönetimini destekleyebilir. Bununla birlikte, pratik uygulamadan önce birkaç zorluğun aşılması gerekmektedir. İletişim gecikmeleri, özellikle büyük ölçekli ağlarda, dağıtık ajanlar arasındaki bilgi alışverişinin ve koordinasyonun hızını etkileyebilir. Ajan etkileşimlerini ve operasyonel verileri yetkisiz erişimden ve siber saldırılardan korumak için güvenli iletişim ve siber güvenlik önlemleri de gerekecektir. Mevcut Dağıtım Yönetim Sistemleri ile entegrasyon; kamu hizmeti iletişim protokolleri, denetleyici kontrol mimarileri ve operasyonel prosedürlerle birlikte çalışılabilirliği gerektirecektir. Bu nedenle pratik uygulama; düşük gecikmeli iletişim yapılarına, güvenli veri iletimine, standartlaştırılmış arayüzlere ve saha doğrulamasına bağlı olacaktır^36,37.

Çalışma, FeederBW ve 236-bus LV veri setlerine dayanması ve önceden tanımlanmış işletme ve iletişim koşulları altında simülasyon tabanlı doğrulama yapılmasıyla sınırlanmıştır. Bu ayarlar; gerçek şebeke ağlarında karşılaşılan topolojiyi, bozulmaları, iletişim hatalarını veya siber-fiziksel olayları tam olarak temsil etmeyebilir. Hesaplama karmaşıklığı, çok büyük ölçekli veya yüksek yenilenebilir enerji işletme koşulları altında daha belirgin hale gelebilir. Bu nedenle, gelecek çalışmaların çerçeveyi ek şebeke ölçekli veri setleri, gerçek dağıtım şebekeleri, donanım döngüde (hardware-in-the-loop) platformları ve saha ölçekli pilot kurulumlar kullanarak değerlendirmesi gerekmektedir. Çalışmalar, önerilen çerçevenin donanım döngüde platformları, gerçek şebeke ağları ve daha büyük dağıtım sistemleri kullanılarak doğrulanmasına odaklanacaktır. Ek olarak, gelecek çalışmalar, ölçeklenebilirliği ve operasyonel dayanıklılığı daha da artırmak için gelişmiş pekiştirmeli öğrenme mimarilerini ve iyileştirilmiş dağıtık koordinasyon stratejilerini inceleyecektir. Genel olarak simülasyon sonuçları, gerilim ve tıkanıklık duyarlılığı değerlendirmesi ile birleştirilmiş iş birlikçi çok etmenli pekiştirmeli öğrenmenin; fider kabulünü, gerilim uyumluluğunu, tıkanıklık azaltımını, yenilenebilir enerji entegrasyonunu, merkeziyetsiz koordinasyonu, yakınsamayı, gecikme süresini ve adaptif karar verme sürecini iyileştirebileceğini göstermiştir. Pratik ölçeklenebilirliği ve operasyonel güvenilirliği onaylamak için gerçek şebeke verileri, gerçekçi iletişim gecikmeleri, siber-fiziksel aksamalar ve donanım döngüde veya saha testi koşullarıyla ek testler yapılması gerekmektedir.

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
236-Bus Alçak Gerilim Dağıtım Şebekesi Veri Seti	Canizes et al.	DOI: 10.5281/zenodo.8274780	Önerilen çerçevenin ölçeklenebilirlik analizi ve büyük ölçekli doğrulaması için kullanılan genel karşılaştırma veri seti
Merkezi İşlem Birimi (CPU)	Intel Corporation	Intel Core i9-12900K (16-Core)	Simülasyon yönetimi ve ortam yürütme işlemleri için kullanılmıştır
Sıkışıklık Duyarlılık Analiz Modülü	Özel geliştirilmiş Modül	Zenodo DOI: 10.5281/zenodo.21423239	Gerçek zamanlı sıkışıklık duyarlılığı hesaplaması ve besleyici önceliklendirmesi yapar
CUDA Araç Seti	NVIDIA Corporation	CUDA 12.1	Hızlandırılmış PyTorch model eğitimi için kullanılan GPU hesaplama platformu
cuDNN Kütüphanesi	NVIDIA Corporation	cuDNN 9.3.0	CUDA ile birlikte kullanılan derin sinir ağı hızlandırma kütüphanesi
Özel Dinamik AG Şebeke Simülatörü	Özel geliştirilmiş Modül	Version 1.0	Dinamik besleyici orkestrasyon deneyleri için Python ve PyTorch kullanılarak geliştirilen yazar yapımı simülasyon platformu. Uygulama ayrıntıları Yöntemler ve Veri Kullanılabilirliği bölümlerinde sunulmuştur.
Veri İşleme Kütüphanesi	pandas Geliştirme Ekibi	pandas 2.2.2	Önişleme, özellik çıkarma, normalleştirme ve zaman serisi veri yönetimi için kullanılmıştır
Derin Öğrenme Çerçevesi	PyTorch Foundation	PyTorch 2.3.1	Çok ajanlı takviyeli öğrenme (MARL) model uygulaması, sinir ağı eğitimi ve politika optimizasyonu için kullanılmıştır
Dağıtık Ajan İletişim Modülü	Özel geliştirilmiş Çerçeve	Zenodo DOI: 10.5281/zenodo.21423239	Akıllı ajanlar arasında merkeziyetsiz iletişime ve iş birlikçi politika değişimine olanak tanır
FeederBW Veri Seti	Treutlein et al.	DOI: 10.5281/zenodo.17831177	Gerçek dünya alçak gerilim besleyici ölçümleri, yenilenebilir enerji üretimi ve işletme profillerini içeren genel veri seti
Grafik İşlem Birimi (GPU)	NVIDIA Corporation	GeForce RTX 3090, 24 GB GDDR6X	Sinir ağı eğitimi ve paralel hesaplama için kullanılan donanım hızlandırıcı
Çok Ajanlı Takviyeli Öğrenme Ortamı	Farama Foundation	Gym 0.26.2	İş birlikçi akıllı ajan etkileşimi ve eğitimi için özelleştirilmiş takviyeli öğrenme ortamı
Sayısal Hesaplama Kütüphanesi	NumPy Geliştiricileri	NumPy 1.26.4	Sayısal hesaplamalar, tensör manipülasyonu ve matris işlemleri için kullanılmıştır
İşletim Sistemi	Canonical Ltd.	Ubuntu 22.04.5 LTS (64-bit)	Tüm simülasyonlar ve takviyeli öğrenme deneyleri için kullanılan işletim sistemi
Python Programlama Dili	Python Software Foundation	Python 3.11.9	Algoritma uygulaması, simülasyon ve model geliştirme için kullanılan ana programlama dili
Sistem Belleği	Lenovo	64 GB DDR5 RAM	Büyük ölçekli MARL simülasyonu ve veri işleme için kullanılan kurulu sistem belleği.
Gerilim Kararlılığı İzleme Modülü	Özel geliştirilmiş Modül	Zenodo DOI: 10.5281/zenodo.21423239	Besleyici orkestrasyonu sırasında gerilim kararlılığını ve uyumluluğunu sürekli olarak değerlendirir