Bu çalışma, iş birlikli çok etmenli pekiştirmeli öğrenme kullanarak düşük gerilim besleyici kabulü için Dinamik Orkestrasyon Stratejisi sunmaktadır. Akıllı etmenler; besleyici işletimi, tıkanıklık yönetimi, gerilim kararlılığı ve belirsiz koşullar altında yenilenebilir enerji entegrasyonunu koordine eder. Yaklaşım, FeederBW ve 236-bus veri kümeleri kullanılarak gerçekleştirilen simülasyonlar aracılığıyla değerlendirilmiştir.
Bu içeriği görüntülemek için JoVE aboneliğiniz gereklidir. Giriş yapın veya ücretsiz denemenizi bugün başlatın.
Araştırma makalesi
FeederBW Veri Kümesi ve 236 Bara Alçak Gerilim Dağıtım Şebekesi Kullanarak Çok Ajanlı RL Tabanlı Dinamik Besleyici Kabul Orkestrasyonu
Bu makalede
Özet
Özet
Dağıtık yenilenebilir enerji kaynaklarının kapsamlı entegrasyonu ve alçak gerilim (AG) besleyicilerinin hızlı genişlemesi, besleyici kabulü ve tıkanıklık koordinasyonuyla ilgili operasyonel zorluklar yaratmıştır. Mevcut gerilim kontrolü ve besleyici yönetimi yaklaşımları, kesintili yenilenebilir enerji üretimi ve değişen şebeke koşulları altında sınırlı ölçeklenebilirliğe ve uyum yeteneğine sahip olabilir. Bu sınırlamaları gidermek için bu çalışma, çok etmenli pekiştirmeli öğrenme yaklaşımı dahilinde akıllı etmen iş birliğine dayalı bir Alçak Gerilim Besleyici Kabulü için Dinamik Orkestrasyon Çerçevesi önermektedir. Öncelikle gerilim stabilizasyonuna odaklanan gerilim kontrol stratejilerinin aksine, önerilen çerçeve; besleyici izleme, tıkanıklık yönetimi ve gerilim hassasiyeti tabanlı önceliklendirmeden sorumlu etmenlerin koordineli çalışması yoluyla dinamik besleyici kabulünü destekler. Etmenler, besleyici durumlarını bağımsız olarak gözlemlemiş, tıkanıklık ve gerilim hassasiyetlerini değerlendirmiş ve besleyici kabul kararları üzerinde iş birliği yapmıştır. Çerçeve, değişken yenilenebilir entegrasyon seviyeleri ve yük koşulları altında FeederBW veri seti ve 236-baralı alçak gerilim dağıtım şebekesi veri seti kullanılarak yapılan simülasyonlarla değerlendirilmiştir. Önerilen çerçeve, değerlendirilen merkezi koordinasyon yöntemlerinden daha iyi performans göstererek %97 Besleyici Kabul Oranı, %98 Gerilim Uyumluluk Endeksi, bildirilen donanım üzerinde orkestrasyon algoritmasının gerçek zamanlı yürütme süresi olarak ölçülen 98 ms orkestrasyon gecikmesi ve %98,5 yakınsama hızı elde etmiştir. Sonuçlar ayrıca, simüle edilen alçak gerilim dağıtım şebekesi koşulları altında iyileştirilmiş uyum yeteneği, operasyonel dayanıklılık ve merkezi olmayan karar verme verimliliğine işaret etmiştir.
Giriş
Modern güç sistemleri, artan elektrik talebi ve dağıtık üretimin giderek yaygınlaşması nedeniyle önemli operasyonel zorluklarla karşı karşıyadır. Elektrik arzı ve talebi arasındaki dengesizlikler veya dağıtık üretimdeki hızlı artışlar, kamu hizmetleri ve son kullanıcılar üzerinde finansal baskı oluşturabilir ve şebeke stabilitesini tehlikeye atabilir. Bu nedenle, geleneksel, merkezi kontrollü ve fosil yakıt tabanlı elektrik altyapısı, dağıtık ve yenilenebilir enerji odaklı bir tasarıma doğru kaymaktadır. Bu geçiş, daha uygun maliyetli ve çevreyle uyumlu enerji kaynaklarına erişimi artırmıştır. Ancak, fotovoltaik (PV) üretimin kesintili ve öngörülemez doğası, şebeke güvenilirliği konusunda endişeleri beraberinde getirmektedir1,2.
Küresel enerji dönüşümü; çevresel faydaları, ölçeklenebilirliği ve azalan maliyetleri nedeniyle PV kurulumlarını hızlandırmaktadır. Uluslararası Yenilenebilir Enerji Ajansı'na göre, PV kapasitesinin 2050 yılına kadar küresel elektrik arzının %22'sinden fazlasını oluşturması ve güneş PV'nin 2030 yılına kadar küresel elektrik arzına ana katkıda bulunan bir unsur haline gelmesi beklenmektedir3. Bu yaygın entegrasyon, özellikle operasyonel kararlılık ve güvenilirlik açısından geleneksel güç sistemleri için önemli zorluklar teşkil etmektedir. PV üretiminin kesikli ve sevk edilemez olması nedeniyle voltaj dalgalanması kritik bir sorundur ve bu etkiler, dağıtım ve iletim ağlarındaki penetrasyon arttıkça daha belirgin hale gelmektedir4.
Güneş ışınımındaki varyasyonlar PV çıkışını doğrudan etkiler ve hızlı voltaj değişimlerine yol açabilir. Bulut hareketleri, ani ışınım varyasyonları ve yük geçişleri, mevcut şebeke mimarilerinin yeterince karşılayamadığı voltaj dalgalanmalarına neden olabilir5. Geleneksel teknolojiler, merkezi ve nispeten istikrarlı şebeke konfigürasyonlarında etkili olsa da, giderek yaygınlaşan dağıtık ağlar için daha az uygundur. Hızlı çift yönlü voltaj değişimleri, özellikle yüksek PV penetrasyonu altında, geleneksel güç sistemlerinin kapasitesini aşabilir6. Kontrolsüz dalgalanmalar voltaj sınırlarını ihlal edebilir, hassas yükleri etkileyebilir ve şebeke güvenliğini tehlikeye atabilir.
Bu nedenle, akıllı yüklerin ve dağıtık kaynakların dağıtım şebekelerine entegrasyonu, daha gelişmiş kontrol stratejilerinin geliştirilmesini teşvik etmiştir. Dağıtık ekipmanları sürekli olarak izleyen ve koordine eden akıllı kontrol sistemleri, yüksek dağıtık üretimin olduğu alçak gerilim (AG) şebekelerindeki zorlukların azaltılmasına yardımcı olabilir7. Büyük ölçekli PV entegrasyonu, özellikle PV çıkışı düştüğünde ve termik ünitelerin bazen rampa hızı sınırlarını aşacak şekilde hızla yanıt vermesi gerektiğinde, termik üretim için operasyonel zorluklar yaratmaktadır8. Aynı zamanda, talep yanıtı (DR) programları uzun vadeli sürdürülebilirlik ile ekonomik fizibilite arasında bir denge kurmalıdır9.
Talep yanıtı (DR) programları, elektrik arz ve talebinin dengelenmesine yardımcı olurken dağıtık üretimin entegrasyonunu da destekleyebilir. Bu programlar, fiyat tabanlı DR veya teşvik tabanlı DR (IBDR) olarak kategorize edilir. Fiyat tabanlı DR, tüketicileri zamana göre değişen tarifelere yanıt olarak elektrik kullanımını değiştirmeye teşvik ederken; IBDR, talep edildiğinde tüketimi azaltmak için sabit veya değişken finansal teşvikler sağlar10. Ancak fiyat tabanlı DR, tüketicileri dalgalanan toptan satış fiyatlarına maruz bırakır ve şebeke işletmecisi perspektifinden sınırlı operasyonel esneklik sunar; bu durum riskten kaçınan katılımcıları caydırabilir11,12.
Çeşitli çalışmalar, PV bakımından zengin dağıtım sistemlerinde IBDR'yi incelemiştir. Bir çalışma, IBDR'nin yüksek PV penetrasyonu ile birleştirilmesinin zorluklarını ve faydalarını değerlendirmiş ancak hane düzeyindeki ev enerji yönetim sistemlerinden ziyade toplu güç kullanımına odaklanmıştır13. Bir diğer çalışma, hane halkı talebi açıkça modellenmemiş olsa da, voltaj sınırlarını korumak için fiyatlandırma sinyallerinin batarya çalışmasını dolaylı olarak kontrol ettiği teşvik tabanlı bir voltaj yönetim yöntemi önermiştir14. Teşvik ödemelerini belirlemek için geliştirilen bulanık mantık tabanlı bir yöntem, tüketici memnuniyetini ve yenilenebilir entegrasyon maliyetlerini dikkate almış ancak fider düzeyinde analize yer vermemiştir15. Termal ve yenilenebilir üretimi içeren, hem fiyat tabanlı hem de teşvik tabanlı DR'yi kapsayan uzun vadeli üretim planlaması da çalışılmıştır, ancak bu çalışmada kullanıcı konforu veya hane düzeyindeki talep hesaba katılmamıştır16.
Derin pekiştirmeli öğrenme (RL), konut tipi talebin yönetimi (DR) alanında da uygulanmıştır. Zaman bazlı tarifeler altında toplam yük kontrolü için derin RL yöntemleri önerilmiş olsa da, bu yöntemlerin genellenebilirliği küçük kullanıcı popülasyonları ve cihaz düzeyinde planlamanın eksikliği nedeniyle sınırlı kalmıştır17. DR ve voltaj kontrolünü birleştiren çok ajanlı bir pekiştirmeli öğrenme çerçevesi, yük tahmini için uzun kısa süreli bellek ağlarını kullanmış, ancak yük kısıtlamasından kaynaklanan müşteri memnuniyetsizliğini çözememiştir18. Diğer çalışmalar, konut tipi diğer yükleri dikkate almadan, bir Markov karar süreci kullanarak ticari binalardaki klima sistemleri için DR koordinasyonuna odaklanmıştır19. Mevcut derin RL voltaj kontrolü çalışmaları, genel olarak hem DR hem de PV entegrasyonunu bir arada dahil etmemiştir20,21.
Akıllı eviriciler, PV çıkışındaki ani ve düzensiz değişikliklere hızla yanıt verebilir22. Gerilim ihlalleri meydana geldiğinde, PV eviricileri milisaniyeler içinde hareket edebilirken, geleneksel cihazların birkaç saniyeye ihtiyacı olabilir23. Bazı çalışmalar, gerilim regülatörlerini koordine etmek için çok etmenli yaklaşımlar ve geleneksel gerilim kontrolcü eylemlerinin değiştirilmesi dahil olmak üzere, standart cihaz kontrol prosedürlerinde modifikasyonlar önermiştir24. Bununla birlikte, aynı konumda depolama ünitesi bulunmayan bağımsız PV üretimi, gündüz net ithalatını azaltsa bile, gerilim sapmalarını kötüleştirebilir ve akşam piklerini hafifletmez24,25. Ev tipi bataryalar, dağıtımları yerel talep ve üretimle koordine edilmezse, gündüz PV fazlalığı dönemlerinde tükenebilir ve gece elektrikli araç şarjı için kullanılamaz hale gelebilir26,27. Stokastik talep, kesintili üretim ve çeşitli depolama davranışlarının birleşik etkileri; kapasite yönetimini, varlık ömrünü ve dayanıklılığı dağıtım sistemi operatörleri için önemli endişeler haline getirmektedir28. Ev Enerji Yönetim Sistemleri, müşteri düzeyinde otomatik kontrolün uygulanması için potansiyel bir araç sağlar. RL, etmenlerin belirsizlikle başa çıkarken ve düşük gecikmeli kararlar verirken çevreyle etkileşim yoluyla kontrol stratejilerini öğrenebilmesi nedeniyle bu tür uygulamalar için oldukça uygundur.
Elektrikli araç rotalamasındaki ilerlemeler, derin RL'nin dinamik enerji kısıtlarını nasıl yönetebileceğini de göstermektedir. Heterojen filo tabanlı kapasiteli elektrikli araç rotalama problemi; çeşitli bir filo genelinde maksimum enerji harcamasını minimize ederken sürüş dinamiklerini, yol özelliklerini, kinetik direnci ve şarj verimliliğini kapsar29. Dinamik farkındalıklı bir derin pekiştirmeli öğrenme yöntemi, bu problemi özelleştirilmiş bir Markov karar süreci olarak çerçeveler ve bir kodlayıcı-güncelleyici-kod çözücü (encoder-updater-decoder) mimarisi kullanır. Bu tasarımda kodlayıcı, köşeler ve araçlar için role özgü temsiller geliştirir; güncelleyici, bağlamsal bilgiler değiştikçe araç belirteçlerini (tokens) rafine eder ve kod çözücü, adaptif karar vermeyi desteklemek için araç seçimini araca özgü köşe seçiminden ayırır. Benzer şekilde, alma-teslimat ve zaman pencereli enerji optimal bir elektrikli araç rotalama problemi; şarj davranışını, zamana bağlı sürüş dinamiklerini ve ayrıntılı rota bilgilerini içeren yüksek çözünürlüklü bir enerji tüketim modeli kullanır30. Heterojen dikkat güdümlü bir derin pekiştirmeli öğrenme çerçevesi, rotalama görevini bir Markov karar süreci olarak temsil eder; burada kodlayıcı depolar, müşteriler ve şarj istasyonları arasındaki role özgü etkileşimleri yakalar, kod çözücü ise durum geçişlerini ve zamansal uygulanabilirliği takip eder.
Bu gelişmelere rağmen, çoğu AG dağıtım yönetimi çalışması, yenilenebilir enerji belirsizliği altındaki dinamik fider kabul orkestrasyonundan ziyade gerilim stabilizasyonu ve reaktif güç optimizasyonuna vurgu yapmaktadır. Akıllı eviricilere ve makine öğrenimine dayalı dağıtık gerilim kontrol yöntemleri, genellikle karmaşık AG şebekelerindeki adaptif fider kabul kontrolünü veya tıkanıklık tabanlı orkestrasyonu ele almadan, gerilim kompanzasyonuna ve reaktif güç optimizasyonuna odaklanmaktadır. Benzer şekilde, DR için gerilim kısıtlı çok ajanlı pekiştirmeli öğrenme yaklaşımları; birbirine bağlı AG dağıtım sistemlerindeki iş birlikli fider kabul yönetimini, merkeziyetsiz tıkanıklık farkındalığına sahip orkestrasyonu veya düğüm düzeyinde kabul kontrolünü doğrudan ele almamaktadır. Çok ajanlı koordinasyona dayalı kooperatif gerilim regülasyon yöntemleri tipik olarak PV eviricilerini kullanarak gerilim sapmalarını ve kademe işlemlerini minimize etmektedir; ancak adaptif fider kabulünü, yenilenebilir enerji kaynaklı kabul istikrarsızlığını veya dinamik şebeke koşulları altındaki merkeziyetsiz orkestrasyonu dikkate almamaktadır.
Güncel dağıtık ve çok etmenli kaynak koordinasyon yöntemleri; tıkanıklık farkındalığı, zamansal adaptasyon ve ölçeklenebilirlik konularında da kısıtlamalarla karşı karşıyadır. Bu yöntemlerin çoğu, adaptif besleyici düzeyinde kabul ve voltaj farkındalıklı orkestrasyondan ziyade, aşırı yük analizine, dağıtık enerji kaynağı etkileşimlerine veya tarife odaklı enerji yönetimine vurgu yapmaktadır. Kısmi merkezileşmeye ve statik önceliklere olan bağımlılıkları; merkeziyetsiz karar verme sürecini, tıkanıklık yayılımına verilen hızlı yanıtı ve yenilenebilir enerji değişkenliğine uyumu daha da kısıtlayabilmektedir. Bu nedenle, FeederBW ve 236 bara düşük gerilimli (LV) dağıtım şebekesi gibi büyük ölçekli veri kümelerini kullanan adaptif besleyici kabul yönetimi için, kooperatif etmen koordinasyonunu voltaj ve tıkanıklık hassasiyeti analiziyle birleştiren, tamamen merkeziyetsiz ve takviyeli öğrenme tabanlı bir çerçeveye ihtiyaç duyulmaktadır.
Bu çalışmada, besleyici kabulü; bir AG besleyicisinin şebeke güvenliğini, voltaj uyumluluğunu, termal yükleme sınırlarını ve operasyonel güvenilirliği korurken ek dağıtık enerji kaynaklarını veya elektriksel yükleri karşılayıp karşılayamayacağını belirlemeye yönelik adaptif operasyonel süreci ifade eder. Besleyici kabulü için operasyonel sınır; yeni besleyici bağlantıları kabul edilmeden veya önceliklendirilmeden önce besleyici kapasitesinin, voltaj hassasiyetinin, tıkanıklık koşullarının ve yenilenebilir enerji değişkenliğinin değerlendirilmesini içerir. Voltaj profillerini düzenleyen geleneksel voltaj kontrolünden, kaynak işletimini yöneten dağıtık enerji kaynağı koordinasyonundan veya şebeke aşırı yüklenmelerini azaltan tıkanıklık yönetiminden farklı olarak besleyici kabulü; yenilenebilir enerji açısından zengin koşullar altında dinamik, merkezi olmayan ve adaptif bir orkestrasyonu desteklemek için bu fonksiyonları iş birlikçi bir çok etmenli pekiştirmeli öğrenme çerçevesi içinde entegre eder.
Bu çalışmanın amacı, değişen işletme koşulları ve yenilenebilir enerji belirsizliği altında, Alçak Gerilim Besleyici Kabulü için iş birlikli akıllı ajan tabanlı bir Dinamik Orkestrasyon Stratejisi geliştirmektir. Önerilen çerçeve; besleyici durumlarını, gerilim duyarlılığını, tıkanıklık duyarlılığını ve kabul kapasitesini dinamik olarak değerlendirerek merkeziyetsiz besleyici kabul orkestrasyonu gerçekleştirir ve böylece statik gerilim kontrol yöntemlerinin ötesinde adaptif önceliklendirme ve karar verme mekanizmalarını mümkün kılar. FeederBW veri seti ve 236-baralı AG dağıtım şebekesi veri seti kullanılarak, çalışma aynı zamanda büyük ölçekli AG sistemleri için ölçeklenebilir bir çok ajanlı takviyeli öğrenme mimarisi geliştirmektedir. Takviye tabanlı öğrenme ve her simüle edilen işletme aralığında gerçekleştirilen düşük gecikmeli iş birlikli optimizasyon yoluyla çerçeve; tıkanıklık yayılımını azaltmak, gerilim uyumluluğunu artırmak, orkestrasyon gecikmesini düşürmek ve merkeziyetsiz koordinasyon verimliliğini yükseltmek üzere tasarlanmıştır.
Bu çerçeve; statik voltaj kontrolü tabanlı besleyici yönetim stratejilerinin yerini alan dinamik bir AG besleyici kabul orkestrasyon yaklaşımı; yenilenebilir enerji belirsizliği ve değişken yük koşulları için merkeziyetsiz bir çok etmenli pekiştirmeli öğrenme mimarisi; düşük gecikme koşullarına ve dinamik besleyici önceliklendirmesine dayalı merkeziyetsiz kabul yönetimi; kritik besleyicileri belirlemek ve kabul kararlarını önceliklendirmek için ortak voltaj ve tıkanıklık duyarlılık indeksleri; komşu etmenler arasında iş birlikçi iletişim; besleyici kararlılığını, tıkanıklık gidermeyi, voltaj uyumluluğunu ve yakınsamayı iyileştirmek için sürekli pekiştirmeli öğrenme tabanlı politika optimizasyonu ve FeederBW ile 236-bara AG veri setlerini kullanan büyük ölçekli simülasyon tabanlı doğrulama sunmaktadır. Karşılaştırmalı sonuçlar; geleneksel merkezi koordinasyon yöntemlerine kıyasla iyileştirilmiş besleyici kabulü, tıkanıklık giderme, orkestrasyon gecikmesi, yakınsama hızı ve voltaj uyumluluğuna işaret etmektedir.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Protokol
Bu araştırmada insan denekler, omurgalı hayvanlar, insan dokuları veya hayvan dokuları kullanılmamıştır. Çalışmada yalnızca kamuya açık veri setleri (FeederBW veri seti ve 236-bara Alçak Gerilim Dağıtım Şebekesi veri seti) ve bilgisayar tabanlı simülasyonlar kullanılmıştır. Bu nedenle, bu çalışma için kurumsal inceleme kurulu (IRB), etik veya bilgilendirilmiş onam onayı gerekmemiştir.
Ajan İşbirliğine Dayalı Alçak Gerilim Besleyici Kabulü için Dinamik Orkestrasyon Stratejisi, yenilenebilir enerji kaynaklarının yoğun olduğu işletme koşulları için çok ajanlı pekiştirmeli öğrenme (MARL) kullanılarak geliştirilmiştir. Besleyici durumlarını, dağıtılmış enerji kaynaklarını, gerilime duyarlı bölgeleri ve tıkanıklık koşullarını temsil eden dinamik bir ağ modeli oluşturmak amacıyla FeederBW ve 236-bara alçak gerilim veri setleri ön işlemden geçirilmiş, normalize edilmiş ve zamansal olarak senkronize edilmiştir. Yerel gerilimi, tıkanıklığı, yenilenebilir üretim belirsizliğini ve besleyici kabul kapasitesini izlemek, komşu ajanlarla bilgi alışverişinde bulunmak ve merkezi olmayan pekiştirmeli öğrenme aracılığıyla orkestrasyon politikalarını güncellemek için besleyici bölümlerine ve ağ eklem noktalarına akıllı ajanlar atanmıştır. Ödül fonksiyonu, tıkanıklığı, gerilim kararsızlığını ve koordinasyon gecikmelerini sınırlarken besleyici kabulünü iyileştirmek üzere tasarlanmıştır. Gerilim, besleyici yükü, trafo yükü ve tıkanıklık kısıtları dikkate alınmış; üç fazlı dengesiz çalışma, gelişmiş fotovoltaik evirici kontrolü ve reaktif güç kompanzasyonu ise açıkça modellenmemiştir. Genel çerçeve Şekil 1'de gösterilmiştir. Bu çalışmada kullanılan araştırma araçları Materyaller Tablosu'nda listelenmiştir.
Şekil 1: Önerilen çerçevenin mimarisi. Akıllı ajanlar, pekiştirmeli öğrenme, tıkanıklık analizi ve adaptif besleyici koordinasyonunu içeren Dinamik Orkestrasyon Çerçevesinin şeması. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
1. Veri toplama
Veriler, FeederBW veri setinden31 ve 236-bara düşük gerilim (LV) dağıtım veri setinden32 elde edilmiştir. Bu veri setleri; dağıtık orkestrasyon ve pekiştirmeli ajan öğrenimi için gerekli olan besleyici topolojisi, gerilim koşulları, yenilenebilir enerji üretim davranışı, yük talebi, tıkanıklık ve dinamik çalışma profilleri hakkında bilgiler içerdikleri için seçilmiştir.
FeederBW veri seti, temel olarak alçak gerilim (AG) şebekelerindeki besleyici çalışmasını, yenilenebilir enerji kesintilerini, gerilim sapmasını ve tıkanıklık yayılımını modellemek için kullanılmıştır. Bu veri seti; adaptif koordinasyon analizini destekleyen besleyici çalışma verilerini, dağıtık üretim davranışlarını, düğüm gerilimi ölçümlerini ve yük dalgalanmalarını içermektedir. 236 bara sahip AG veri seti ise ölçeklenebilirliği ve merkezi olmayan koordinasyonu değerlendirmek için kullanılmıştır. Bu veri seti; bara bağlantı bilgilerini, besleyici yükleme koşullarını, düğüm gerilimi özelliklerini, dağıtık yenilenebilir enerji penetrasyonunu ve tıkanıklığa duyarlı çalışma durumlarını içermektedir. Birlikte, bu iki veri seti yüksek yenilenebilir enerji penetrasyonu koşulları altında besleyici düzeyinde ve geniş ölçekli analizleri desteklemiştir. Veri seti özellikleri ve bunların çerçevedeki amaçları Tablo 1'de özetlenmiştir.
| Veri Seti Adı | Veri Seti Türü | Düğüm/Bar Sayısı | Veri Öznitelikleri | Önerilen Çalışmadaki Amacı |
| FeederBW Dataset | Alçak Gerilim Besleme Operasyonel Veri Seti | Çoklu besleme düğümleri | Gerilim profilleri, yenilenebilir üretim, yük talebi, tıkanıklık durumları, besleme operasyonel davranışı | düşük gecikmeli besleme orkestrasyonu, tıkanıklık analizi, adaptif kabul önceliklendirmesi |
| 236-bus LV Dataset | Büyük Ölçekli Alçak Gerilim Dağıtım Veri Seti | 236 bar | Bar topolojisi, besleme yüklemesi, gerilim hassasiyeti, yenilenebilir enerji penetrasyonu, tıkanıklık dinamikleri | Ölçeklenebilirlik doğrulaması, merkeziyetsiz koordinasyon değerlendirmesi, büyük ölçekli orkestrasyon analizi |
Tablo 1: Veri seti özellikleri. Veri setlerinin, operasyonel özniteliklerinin ve önerilen düşük voltajlı orkestrasyon çerçevesindeki amaçlarının açıklaması.
2. Veri ön işleme
Tutarlılığı, zamansal hizalamayı ve pekiştirmeli öğrenme kararlılığını artırmak için elde edilen veri setleri ön işlemeden geçirilmiştir. Eksik girişler, hatalı ölçümler, yinelenen kayıtlar ve tutarsız besleyici verileri, istatistiksel ön işleme prosedürleri kullanılarak filtrelenmiştir. Bu adım; besleyici çalışma verileri, yenilenebilir üretim profilleri, gerilim ölçümleri ve tıkanıklık durumu verileri arasındaki tutarlılığı korumak için uygulanmıştır. Tüm operasyonel değişkenler, giriş özelliklerinin ajan öğrenimi için uygun ortak bir ölçeğe dönüştürülmesi amacıyla min–max normalizasyonuna tabi tutulmuştur. Normalize edilen değişkenler arasında besleyici gerilimi, aktif güç talebi, yenilenebilir üretim, tıkanıklık durumu ve besleyici kabul kapasitesi yer almıştır. Ön işleme prosedürünün matematiksel formülasyonu Ek Dosya 1 (Bölüm 1)'de sunulmuştur.
3. Dinamik düşük voltajlı ağ modellemesi
Veri toplama ve ön işleme işlemlerinin ardından, değişen yük ve üretim koşulları altında, yüksek oranda yenilenebilir üretimin bulunduğu bir dağıtım sisteminin davranışını simüle etmek için dinamik bir AG şebeke modeli oluşturulmuştur. Model; besleyici topolojisini, dağıtılmış enerji kaynağı davranışını, voltaja duyarlı bölgeleri ve tıkanıklık yayılımını dinamik olarak izlemiştir.
Statik bir ağ temsilinin aksine, model; yenilenebilir enerji kesintilerine, tüketici talebine ve tıkanıklık koşullarına göre besleyici davranışını günceller. Bus'ların, transformatörlerin, dağıtık yenilenebilir kaynakların ve yüklerin ağ düğümleri olarak temsil edildiği birbirine bağlı besleyiciler oluşturmak için FeederBW ve 236-bus LV veri setleri kullanılmıştır. Her besleyici düğümü; gerilim büyüklüğü, aktif güç talebi, yenilenebilir enerji üretimi, besleyici yükleme durumu ve tıkanıklık durumu hakkında güncellenmiş bilgiler sağlamıştır. Bu değişkenler, akıllı ajanlar tarafından besleyici davranışını izlemek ve merkezi olmayan orkestrasyon kararları vermek için kullanılmıştır. Ağ modeli ayrıca, sürekli hassasiyet analizi yoluyla hassas bölgelerin tanımlanmasını ve besleyici kabul önceliklendirmesini de desteklemiştir.
AG dağıtım şebekesi; bara istasyonları, besleme hatları, transformatörler, yenilenebilir kaynaklar ve tüketici-yük düğümlerini içeren grafik tabanlı bir ağ olarak temsil edilmiştir. Ağ modelinin ayrıntılı matematiksel türevleri Ek Dosya 1(Bölüm 2)'de verilmiştir. Dinamik ağ durumu ve tıkanıklık indeksi sürekli olarak izlenmiştir. Tıkanıklık indeksi [0,1] aralığına normalize edilmiş ve tıkanıklık indeksi 0,80 değerini aştığında iş birlikli besleyici kabul orkestrasyonu başlatılmıştır.
4. Çok Ajanlı Ortam Başlatma
Dinamik AG şebeke modeli oluşturulduktan sonra, merkezi olmayan besleyici kabulünü desteklemek amacıyla çok ajanlı ortam başlatılmıştır. Akıllı ajanlar; AG şebekesi içindeki besleyici segmentlerine, dağıtık enerji kaynağı bağlantı noktalarına, trafo konumlarına ve tıkanıklığa eğilimli düğümlere atanmıştır.
Her bir ajan; yerel besleyici çalışmasını izleyen, komşu ajanlarla bilgi alışverişinde bulunan ve adaptif orkestrasyon eylemleri gerçekleştiren bağımsız bir karar verme birimi olarak görev yapmıştır. Ajanlar; voltaj hassasiyeti, yenilenebilir enerji penetrasyonu, tıkanıklık seviyesi ve besleyici önemine göre temel besleyici düğümlerine atanmıştır. AG şebekesi; ajanların besleyici voltajını, aktif güç talebini, yenilenebilir üretim değişimini, tıkanıklık durumunu ve besleyici kabul kapasitesini sürekli olarak izlediği ajan tabanlı bir ortam olarak yapılandırılmıştır. Çok ajanlı ortamın matematiksel formülasyonu Ek Dosya 1(Bölüm 3) içinde sunulmuştur.
5. Pekiştime odaklı ajan öğrenimi
Çok ajanlı ortamın başlatılmasının ardından, ajanların değişen AG işletme koşullarıyla etkileşime girerek besleyici düzenleme politikalarını öğrenmelerini sağlamak için pekiştirmeli öğrenme uygulanmıştır. Her etkileşim sırasında bir ajan, mevcut besleyici durumunu gözlemlemiş, bir düzenleme eylemi seçmiş ve bir ödül veya ceza almıştır. Merkeziyetsiz öğrenme süreci, ajanların yenilenebilir üretim belirsizliğine, değişen tıkanıklık koşullarına, voltaj varyasyonuna ve besleyici kabul kapasitesindeki değişikliklere uyum sağlamasına olanak tanımıştır. Her ajan, öğrendiği politikaya göre bir düzenleme eylemi seçmiştir. İlgili matematiksel türetmeler Ek Dosya 1(Bölüm 4)'de sunulmuştur.
Toplam 64 akıllı ajan konuşlandırılmıştır. Besleyici topolojisi, yenilenebilir enerji penetrasyon seviyesi, voltaj hassasiyeti ve tıkanıklık şiddetine bağlı olarak her bir ajan; bir besleyici segmentine, trafo sahasına, dağıtık enerji kaynağı bağlantı noktasına veya tıkanıklığa duyarlı bir şebeke düğümüne atanmıştır. Makul hesaplama karmaşıklığını korurken, merkezi olmayan konuşlandırma, 236 bara düşük gerilimli dağıtım şebekesi boyunca kooperatif izleme ve adaptif besleyici kabulüne olanak sağlamıştır. Her ajan; voltaj genliği, besleyici yük talebi, yenilenebilir üretim, tıkanıklık durumu ve besleyici kabul kapasitesinden oluşan beş boyutlu bir durum vektörünü gözlemlemiştir. Eylem alanı beş orkestrasyon eyleminden oluşmaktadır: besleyici kabul önceliklendirmesi, tıkanıklık giderme, yenilenebilir koordinasyonu, yük dengeleme ve voltaj kontrolü. Kooperatif karar verme süreci, her ajanın hassasiyet indekslerini ve yerel çalışma bilgilerini yalnızca komşu besleyici ajanlarla paylaştığı, merkezi olmayan bir komşuluk iletişim topolojisi aracılığıyla desteklenmiştir.
128 ve 64 nöron içeren iki gizli katmana sahip tam bağlantılı bir sinir ağı kullanılarak Q-öğrenme tabanlı bir MARL yöntemi uygulanmıştır. Gizli katmanlarda doğrusal doğrultulmuş birim (ReLU) aktivasyonu uygulanmıştır. Ağ parametreleri, 0.001 öğrenme oranı ve 0.99 indirim faktörü ile Adam optimize edici kullanılarak optimize edilmiştir. 64'lük bir mini-batch boyutu kullanılmış ve deneyim tekrarı (experience-replay) tamponu 100.000 geçiş kapasitesine sahip olmuştur. Önceki 20 bölüm boyunca kümülatif ödülün hareketli ortalaması, 10 ardışık değerlendirme penceresi boyunca %0,1'den daha az değiştiğinde eğitimin yakınsadığı kabul edilmiştir. Bu kriter karşılanmadığında, eğitim maksimum 500 bölüme ulaşıncaya kadar devam etmiştir. Takviyeli öğrenme iş akışı Şekil 2'de gösterilmiştir.
Şekil 2: Pekiştirmeli öğrenme temelli ajan öğrenim akış şeması.Merkezi olmayan besleyici koordinasyonu ve karar optimizasyonu için pekiştirme temelli ajan öğrenme sürecini gösteren akış şeması. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Öğrenme süreci; LV dağıtım ortamının, ajan durumlarının ve öğrenme parametrelerinin başlatılmasıyla başlamıştır. Akıllı ajanlar; besleyici bölgelerine, dağıtık enerji kaynağı konumlarına ve tıkanmaya eğilimli baralara yerleştirilmiştir. Ardından gözlem alanı, öğrenme oranı, keşif stratejisi, ödül faktörleri ve politika fonksiyonları tanımlanmıştır. Her etkileşim adımında, her bir ajan kendisine atanan besleyici bölgesinin mevcut durumunu gözlemlemiştir. Durum; düğüm gerilim büyüklüğü, besleyici yük talebi, yenilenebilir üretim özellikleri, tıkanıklık seviyesi ve besleyici kabul kapasitesinden oluşmuştur. Bu gözlemler, orkestrasyon karar verme mekanizmasında kullanılan çevresel durumu oluşturmuştur. Her ajan, pekiştirmeli öğrenme politikasına göre bir eylem seçmiştir. Mevcut eylemler arasında besleyici kabul önceliklendirme, tıkanıklık yönetimi, yenilenebilir enerji koordinasyonu, yük dengeleme ve gerilim yönetimi yer almıştır. Seçilen eylem dinamik LV ortamına uygulanmış ve ardından besleyici durumu güncellenmiştir.
Her işlemden sonra bir ödül hesaplanmıştır. Seçilen işlemin besleyici kabulünü iyileştirdiği, tıkanıklık yayılımını önlediği, voltaj uyumluluğunu koruduğu veya ağ kararlılığını artırdığı durumlarda pozitif bir ödül atanmıştır. İşlemin besleyici aşırı yüklenmesine, voltaj ihlallerine veya koordinasyon gecikmelerine yol açtığı veya bunları önlemede başarısız olduğu durumlarda ise bir ceza uygulanmıştır. Hesaplanan ödül, pekiştirmeli optimizasyon yoluyla ajanın değer fonksiyonunu ve karar politikasını güncellemek için kullanılmıştır. Gözlem, işlem seçimi, ortam geçişi, ödül hesaplaması ve politika güncelleme sekansı, durdurma kriteri karşılanana kadar tekrarlanmıştır.
6. Gerilim ve tıkanıklık duyarlılığı değerlendirmesi
Pekiştirmeli öğrenme sonrası, hassas besleyici bölgelerini belirlemek ve yenilenebilir enerji belirsizliği altında dinamik besleyici kabul kararlarını desteklemek amacıyla voltaj ve tıkanıklık hassasiyetleri değerlendirilmiştir.
Her çalışma aralığında, besleyici gücü, yenilenebilir üretim ve yük talebindeki değişikliklerin düğüm gerilimi ve ağ tıkanıklığı üzerindeki etkileri belirlenmiştir. Gerilim ve tıkanıklık duyarlılık indeksleri, yalnızca statik ağ koşullarından türetilmek yerine, simüle edilen her çalışma aralığında yeniden hesaplanmıştır. Her besleyici düğümü için duyarlılık indeksleri; güncel ağ koşulları, yenilenebilir üretim varyasyonu ve besleyici yükleme durumuna göre güncellenmiştir. Elde edilen değerler; besleyici kabulü, tıkanıklık yönetimi ve gerilim kontrol işlemleri için besleyici düğümlerini sıralamak amacıyla kullanılmıştır.
Gerilim duyarlılık indeksi, aktif güç akışındaki değişikliğin sonucunda meydana gelen düğüm gerilimi değişimini nicelleştirmiştir. Gerilim ve tıkanıklık duyarlılık indeksleri hesaplandıktan sonra, besleyici kabulünün adaptif önceliklendirmesi için birleşik bir duyarlılık puanında birleştirilmiştir. Birleşik puanlama yöntemi Ek Dosya 1(Bölüm 5)'de açıklanmıştır. Daha yüksek duyarlılık puanına sahip besleyici düğümlerine; tıkanıklığın giderilmesi, besleyici kabul düzeltmesi ve gerilim regülasyonu işlemleri sırasında daha yüksek orkestrasyon öncelikleri atanmıştır. Duyarlılık puanları her çalışma aralığında yeniden hesaplanmış ve iş birlikçi iletişim ortamı aracılığıyla komşu ajanlarla paylaşılmıştır.
7. Her bir simüle edilen çalışma aralığında iş birlikçi kabul orkestrasyonu ve adaptif karar optimizasyonu
Hassasiyet değerlendirmesinin ardından, merkeziyetsiz ajanların yenilenebilir enerji belirsizliği ve dinamik tıkanıklık koşulları altında koordineli besleyici kabul kararları verebilmesini sağlamak için iş birliğine dayalı kabul orkestrasyonu gerçekleştirilmiştir. Ajanlar yerel besleyici durumlarını, hassasiyet indekslerini, tıkanıklık uyarılarını ve işletme önceliklerini karşılıklı olarak paylaşmışlardır. Her bir ajan, genel şebeke stabilitesini desteklemek amacıyla komşu ajanlarla koordinasyon kurarken, kendi yerel besleyici durumunu bağımsız olarak değerlendirmiştir.
Besleyici kabulü; voltaj hassasiyeti, tıkanıklık şiddeti, yenilenebilir üretim değişkenliği ve mevcut besleyici kapasitesine göre önceliklendirilmiştir. Yerel hassasiyet duyarlı gözlemler ajanlar arasında toplanmış ve koordineli besleyici kabul eylemleri oluşturulmuştur. İş birlikçi orkestrasyon sürecinin matematiksel formülasyonu Ek Dosya 1 (Bölüm 6)'de sunulmuştur. Dinamik AG şebeke ortamı, Ek Dosya 1 (Algoritma 1)'de açıklandığı üzere, besleyici bölgelerine, yenilenebilir enerji entegrasyon noktalarına ve tıkanıklığa meyilli baralara yerleştirilmiş iş birlikçi ajanlarla kurulmuştur. Her işletme aralığında, her ajan; voltaj genliği, yenilenebilir üretim değişimi, besleyici yüklemesi, tıkanıklık düzeyi ve besleyici kabul kapasitesi dahil olmak üzere yerel besleyici parametrelerini gözlemlemiştir.
Gerilim kararsızlığına veya tıkanıklık yayılımına yatkın besleyici bölgelerini belirlemek için gerilim hassasiyeti ve tıkanıklık hassasiyeti indeksleri hesaplanmıştır. Bu indeksler, besleyici kabulünü ve koordinasyon önceliğini belirleyen genel bir besleyici hassasiyet puanında birleştirilmiştir. Yerel durum bilgileri, tıkanıklık seviyeleri, gerilim kararsızlığı göstergeleri ve kabul öncelikleri komşu ajanlar arasında paylaşılmıştır. Her bir ajan, yerel gözlemlere ve paylaşılan bilgilere dayanarak uygun bir adaptif koordinasyon eylemi seçmiş ve uygulamıştır. Her eylemden sonra; besleyici kararlılığı, tıkanıklık azalması, gerilim uyumluluğu ve besleyici kabul verimliliğine göre dinamik AG şebeke ortamından pekiştirmeli geri bildirim alınmıştır. Bu geri bildirim, pekiştirme tabanlı optimizasyon yoluyla her bir ajanın politikasını güncellemek için kullanılmıştır. Global koordinasyon amaç fonksiyonu, ajan popülasyonu genelinde adaptif optimizasyon için eş zamanlı olarak koordineli geri bildirim sağlamıştır. Politika güncellemeleri, ajan politikaları optimal bir merkeziyetsiz koordinasyon stratejisine yakınsayana kadar devam etmiştir.
8. Büyük ölçekli doğrulama
Dinamik Orkestrasyon Stratejisi, yüksek yenilenebilir enerji penetrasyonuna sahip işletim senaryoları altında FeederBW veri seti ve 236 bara sahip AG dağıtım şebekesi veri seti kullanılarak doğrulanmıştır. Doğrulama işlemi, merkezi olmayan orkestrasyon çerçevesinin; birbirine bağlı AG dağıtım sistemlerindeki dinamik besleyici kabulünü, yenilenebilir enerji kesintilerini, tıkanıklık yayılımını ve voltaj istikrarsızlığını yönetme yeteneğini değerlendirmiştir. Değerlendirilen işletim senaryoları; yüksek yenilenebilir penetrasyonu, değişen yük talebi, dinamik tıkanıklık yayılımı, voltaja duyarlı koşullar ve değişken besleyici kabul kapasitesini içermektedir.
Çerçeve performansı; besleyici kabul oranı, voltaj uyum indeksi, tıkanıklık azaltma oranı, orkestrasyon gecikmesi, yakınsama hızı, merkeziyetsiz koordinasyon verimliliği ve yenilenebilir enerji uyum kapasitesi kullanılarak değerlendirilmiştir. Bu ölçütler ölenebilirlik, sağlamlık, uyarlanabilirlik ve koordinasyon performansını değerlendirmek için kullanılmıştır. Önerilen çerçeve, aynı ağ konfigürasyonları altında geleneksel merkezi besleyici orkestrasyon yaklaşımları ile karşılaştırılmıştır. Karşılaştırma yöntemlerine eşdeğer veri setleri, çalışma senaryoları, değerlendirme koşulları ve performans ölçütleri uygulanmıştır.
Tablo 2; deneysel doğrulama için kullanılan veri kümelerini, çalışma koşullarını, orkestrasyon ortamlarını ve performans değişkenlerini özetlemektedir. FeederBW veri kümesi; besleyici çalışma dinamiklerini, yenilenebilir enerji kesintilerini, tıkanıklık gelişimini, konut yük değişimini ve AG besleyici koşulları altındaki gerilim dalgalanmalarını değerlendirmek için kullanılmıştır. 236-baralı AG veri kümesi, daha büyük bir birbirine bağlı ağda merkeziyetsiz orkestrasyonu değerlendirmek için kullanılmıştır. Mimari; yenilenebilir üretim, yük talebi, gerilim ve tıkanıklığın değişken olduğu koşullar altında doğrulanmıştır. Merkeziyetsiz koordinasyon ve pekiştirmeli öğrenme tabanlı politika optimizasyonu, akıllı ajanlar arasında ortaklaşa değerlendirilmiştir.
Yenilenebilir enerji sistemlerinde, dinamik çalışma koşulları altındaki performansı nicelendirmek için besleyici kabul oranı, voltaj uyumluluk indeksi, tıkanıklık azaltma oranı, yakınsama hızı ve orkestrasyon gecikmesi kullanılmıştır.
| Deneysel Parametre | FeederBW Veri Seti | 236-bara AG Veri Seti | Validasyon Amacı |
| Ağ Tipi | Alçak Gerilim Besleme Şebekesi | Büyük Ölçekli AG Dağıtım Şebekesi | Dinamik orkestrasyon değerlendirmesi |
| Düğüm/Bar Sayısı | Çoklu besleyici düğümler | 236 otobüs | Ölçeklenebilirlik analizi |
| Yenilenebilir Enerji Entegrasyonu | PV ve dağıtık yenilenebilir kaynaklar | Yüksek yenilenebilir enerji penetrasyonuna sahip veri yolları | Yenilenebilir belirsizlik doğrulaması |
| Yük Talep Davranışı | Dinamik konut yük profilleri | Büyük ölçekli besleyici yük varyasyonları | Adaptif yük orkestrasyonu |
| Sıkışıklık Senaryoları | Besleyici aşırı yükleme ve tıkanıklık durumları | Çok hatlı tıkanıklık yayılımı | Sıkışıklık azaltma analizi |
| Voltaj Koşulları | Voltaj dalgalanma profilleri | Voltaj duyarlı veri yolu koşulları | Voltaj uyumluluk değerlendirmesi |
| Akıllı Ajanlar | Dağıtılmış besleyici ajanlar | Büyük ölçekli iş birlikçi ajanlar | Merkeziyetsiz koordinasyon analizi |
| Öğrenme Ortamı | Pekiştirmeli sürüklü orkestrasyon | Çok ajanlı adaptif öğrenme | Politika optimizasyonu doğrulaması |
| Simülasyon Koşulları | Dinamik yenilenebilir değişkenlik | Büyük ölçekli dinamik operasyon | düşük gecikmeli orkestrasyon testi |
| Performans Metrikleri | Kabul oranı, tıkanıklık azaltma | Voltaj uyumluluğu, yakınsama hızı | Genel orkestrasyon performansı |
Tablo 2: Büyük ölçekli deneysel doğrulama. Ölçeklenebilirliği, yenilenebilir enerji belirsizliğini ve merkezi olmayan koordinasyonu değerlendirmek için kullanılan deneysel ayarlar.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Sonuçlar
Stokastik öğrenmenin etkisini azaltmak için tüm deneyler, farklı rastgele başlangıç değerleri (seed) kullanılarak beş kez gerçekleştirilmiştir. Ortalama değerler bu beş çalıştırma üzerinden hesaplanmıştır. Tüm yöntemler için aynı veri kümeleri, simülasyon parametreleri, hiperparametreler, durdurma kriterleri ve değerlendirme prosedürleri kullanılmıştır. Karşılaştırma yöntemleri olarak Merkezi Gerilim Kontrolü (CVC)33, Geleneksel Çok Ajanlı Kontrol (CMAC)21, Takviyeli Öğrenm...
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Tartışma
Deneysel bulgular, önerilen Dinamik Orkestrasyon Stratejisinin; Merkezi Gerilim Kontrolü (CVC)33, Geleneksel Çoklu Ajan Kontrolü (CMAC)21, Takviyeli Öğrenme Tabanlı Gerilim Regülasyonu (RLVR)20, Dağıtık Enerji Kaynağı Koordinasyonu (DERC)26 ve Duyarlılık Tabanlı Sıkışıklık Yönetimi (SBCM)34 ile karşılaştırıldığında, merkeziyetsiz besleyici koordinasyonunu, yenilenebilir enerji entegrasyonunu, gerilim ka...
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Açıklamalar
Yazarlar, herhangi bir çıkar çatışması olmadığını beyan ederler.
Teşekkürler
Bu araştırma, Guangdong Power Grid Company'nin Guangzhou Güç Kaynağı Bürosu tarafından “Süreç Otomasyonuna Dayalı Alçak Gerilim Ölçüm Ekipmanlarının Otomatik Kabul Teknolojisi Araştırması” (Proje Kodu: 030100KC24120100) projesi aracılığıyla desteklenmiştir.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Malzemeler
| Ad | Şirket | Katalog numarası | Yorumlar |
|---|---|---|---|
| 236-Bus Alçak Gerilim Dağıtım Şebekesi Veri Seti | Canizes et al. | DOI: 10.5281/zenodo.8274780 | Önerilen çerçevenin ölçeklenebilirlik analizi ve büyük ölçekli doğrulaması için kullanılan genel karşılaştırma veri seti |
| Merkezi İşlem Birimi (CPU) | Intel Corporation | Intel Core i9-12900K (16-Core) | Simülasyon yönetimi ve ortam yürütme işlemleri için kullanılmıştır |
| Sıkışıklık Duyarlılık Analiz Modülü | Özel geliştirilmiş Modül | Zenodo DOI: 10.5281/zenodo.21423239 | Gerçek zamanlı sıkışıklık duyarlılığı hesaplaması ve besleyici önceliklendirmesi yapar |
| CUDA Araç Seti | NVIDIA Corporation | CUDA 12.1 | Hızlandırılmış PyTorch model eğitimi için kullanılan GPU hesaplama platformu |
| cuDNN Kütüphanesi | NVIDIA Corporation | cuDNN 9.3.0 | CUDA ile birlikte kullanılan derin sinir ağı hızlandırma kütüphanesi |
| Özel Dinamik AG Şebeke Simülatörü | Özel geliştirilmiş Modül | Version 1.0 | Dinamik besleyici orkestrasyon deneyleri için Python ve PyTorch kullanılarak geliştirilen yazar yapımı simülasyon platformu. Uygulama ayrıntıları Yöntemler ve Veri Kullanılabilirliği bölümlerinde sunulmuştur. |
| Veri İşleme Kütüphanesi | pandas Geliştirme Ekibi | pandas 2.2.2 | Önişleme, özellik çıkarma, normalleştirme ve zaman serisi veri yönetimi için kullanılmıştır |
| Derin Öğrenme Çerçevesi | PyTorch Foundation | PyTorch 2.3.1 | Çok ajanlı takviyeli öğrenme (MARL) model uygulaması, sinir ağı eğitimi ve politika optimizasyonu için kullanılmıştır |
| Dağıtık Ajan İletişim Modülü | Özel geliştirilmiş Çerçeve | Zenodo DOI: 10.5281/zenodo.21423239 | Akıllı ajanlar arasında merkeziyetsiz iletişime ve iş birlikçi politika değişimine olanak tanır |
| FeederBW Veri Seti | Treutlein et al. | DOI: 10.5281/zenodo.17831177 | Gerçek dünya alçak gerilim besleyici ölçümleri, yenilenebilir enerji üretimi ve işletme profillerini içeren genel veri seti |
| Grafik İşlem Birimi (GPU) | NVIDIA Corporation | GeForce RTX 3090, 24 GB GDDR6X | Sinir ağı eğitimi ve paralel hesaplama için kullanılan donanım hızlandırıcı |
| Çok Ajanlı Takviyeli Öğrenme Ortamı | Farama Foundation | Gym 0.26.2 | İş birlikçi akıllı ajan etkileşimi ve eğitimi için özelleştirilmiş takviyeli öğrenme ortamı |
| Sayısal Hesaplama Kütüphanesi | NumPy Geliştiricileri | NumPy 1.26.4 | Sayısal hesaplamalar, tensör manipülasyonu ve matris işlemleri için kullanılmıştır |
| İşletim Sistemi | Canonical Ltd. | Ubuntu 22.04.5 LTS (64-bit) | Tüm simülasyonlar ve takviyeli öğrenme deneyleri için kullanılan işletim sistemi |
| Python Programlama Dili | Python Software Foundation | Python 3.11.9 | Algoritma uygulaması, simülasyon ve model geliştirme için kullanılan ana programlama dili |
| Sistem Belleği | Lenovo | 64 GB DDR5 RAM | Büyük ölçekli MARL simülasyonu ve veri işleme için kullanılan kurulu sistem belleği. |
| Gerilim Kararlılığı İzleme Modülü | Özel geliştirilmiş Modül | Zenodo DOI: 10.5281/zenodo.21423239 | Besleyici orkestrasyonu sırasında gerilim kararlılığını ve uyumluluğunu sürekli olarak değerlendirir |
Kaynaklar
- Ahmed F, et al. A multi-agent reinforcement learning framework for voltage-constrained incentive demand response in PV-rich low-voltage distribution systems. IEEE Access. 2026;14:45410–22.
- Lamsal D, Sreeram V, Mishra Y, Kumar DS. Smoothing control strategy of wind and photovoltaic output power fluctuation by considering the state of health of battery energy storage system. IET Renew Power Gener. 2019;13:578–86.
- Allahmoradi S, et al. Data-driven Volt/VAR optimization for modern distribution networks: A review. IEEE Access. 2024;12:71184–204.
- O'Connell N, Pinson P, Madsen H, O'Malley M. Benefits and challenges of electrical demand response: A critical review. Renew Sustain Energy Rev. 2014;39:686–99.
- Hossain MS, Madlool NA, Al-Fatlawi AW, El Haj Assad M. High penetration of solar photovoltaic structure on the grid system disruption: An overview of technology advancement. Sustainability. 2023;15:1174. https://doi.org/10.3390/su15021174
- Rahmouni A. Impact of static reactive power compensator (SVC) on the power grid. WSEAS Trans Electron. 2020;11:96–104.
- Chandran CV, et al. Application of demand response to improve voltage regulation with high DG penetration. Electr Power Syst Res. 2020;189:106722. https://doi.org/10.1016/j.epsr.2020.106722
- Wang Q, et al. A demand response strategy in high photovoltaic penetration power systems considering the thermal ramp rate limitation. IEEE Access. 2019;7:163814–22.
- Wang Z, et al. How to effectively implement an incentive-based residential electricity demand response policy? Experience from large-scale trials and matching questionnaires. Energy Policy. 2020;141:111450. https://doi.org/10.1016/j.enpol.2020.111450
- van Tilburg J, Siebert LC, Cremer JL. MARL-iDR: Multi-agent reinforcement learning for incentive-based residential demand response. arXiv. 2023. https://arxiv.org/abs/2304.04086
- Bahrami S, Chen YC, Wong VWS. Deep reinforcement learning for demand response in distribution networks. IEEE Trans Smart Grid. 2021;12:1496–506.
- Li J, et al. Model-free reinforcement learning economic dispatch algorithms for price-based residential demand response management system. IEEE Trans Ind Cyber-Phys Syst. 2023;1:123–35.
- Zheng S, et al. Incentive-based integrated demand response for multiple energy carriers under complex uncertainties and double coupling effects. Appl Energy. 2021;283:116254. https://doi.org/10.1016/j.apenergy.2020.116254
- Nainar K, Pillai JR, Bak-Jensen B. Incentive price-based demand response in active distribution grids. Appl Sci. 2020;11:1–17.
- Nguyen Duc T, et al. Impact of renewable energy integration on a novel method for pricing incentive payments of incentive-based demand response program. IET Gener Transm Distrib. 2022;16:1648–67.
- Pourramezan A, Samadi M. A novel approach for incorporating incentive-based and price-based demand response programs in long-term generation investment planning. Int J Electr Power Energy Syst. 2022;142:108315. https://doi.org/10.1016/j.ijepes.2022.108315
- Mathew A, Roy A, Mathew J. Intelligent residential energy management system using deep reinforcement learning. IEEE Syst J. 2020;14:5362–72.
- Khan DA, Arshad A, Lehtonen M, Mahmoud K. Combined DR pricing and voltage control using reinforcement learning based multi-agents and load forecasting. IEEE Access. 2022;10:130839-49.
- Zhang X, et al. An edge-cloud integrated solution for buildings demand response using reinforcement learning. IEEE Trans Smart Grid. 2021;12:420–31.
- Duan J, et al. Deep-reinforcement-learning-based autonomous voltage control for power grid operations. IEEE Trans Power Syst. 2020;35:814–7.
- Wang S, et al. A data-driven multi-agent autonomous voltage control framework using deep reinforcement learning. IEEE Trans Power Syst. 2020;35:4644–54.
- Turitsyn K, Sulc P, Backhaus S, Chertkov M. Options for control of reactive power by distributed photovoltaic generators. Proc IEEE. 2011;99:1063–73.
- Bedawy A, et al. Optimal voltage control strategy for voltage regulators in active unbalanced distribution systems using multi-agents. IEEE Trans Power Syst. 2020;35:1023–35.
- Bedawy A, Yorino N, Mahmoud K. Management of voltage regulators in unbalanced distribution networks using voltage/tap sensitivity analysis. Presented at: International Conference on Innovative Trends in Computer Engineering (ITCE); Aswan, Egypt; 2018. https://doi.org/10.1109/itce.2018.8316651
- Smith O, et al. The effect of renewable energy incorporation on power grid stability and resilience. Sci Adv. 2022;8:eabj6734. https://doi.org/10.1126/sciadv.abj6734
- Charbonnier F, Morstyn T, McCulloch MD. Scalable multi-agent reinforcement learning for distributed control of residential energy flexibility. Applied Energy. 2022;314:118825. doi:10.1016/j.apenergy.2022.118825
- Dugan J, Mohagheghi S, Kroposki B. Application of mobile energy storage for enhancing power grid resilience: A review. Energies. 2021;14:6476. https://doi.org/10.3390/en14206476
- Panossian N, et al. Challenges and opportunities of integrating electric vehicles in electricity distribution systems. Curr Sustain Renew Energy Rep. 2022;9:27–40.
- Guan Q, et al. Dynamic-aware deep reinforcement learning for heterogeneous fleet-based capacitated electric vehicle routing problems. Applied Energy. 2026;413:127757. https://doi.org/10.1016/j.apenergy.2026.127757
- Guan Q, et al. Heterogeneous attention-driven deep reinforcement learning for solving EVRPs with pickup-delivery and time windows. Applied Energy. 2026;407:127355. https://doi.org/10.1016/j.apenergy.2026.127355
- Treutlein M, et al. Real-world energy data of 200 feeders from low-voltage grids with metadata in Germany over two years (Version v1.0) [Data set]. Zenodo; 2025. https://doi.org/10.5281/zenodo.17831177
- Canizes B, Castro F, Silveira V, Vale Z. 236-Bus Low Voltage Distribution Network Data [Data set]. Zenodo; 2023. https://doi.org/10.5281/zenodo.8274780
- Xi, Haikuo & Chen, Can & Bai, Xuesong & Ma, Yuan & Ding, Jiachao & Chen, Qifang. (2024). Centralized and decentralized combined voltage control for distribution network with high penetration PV connected. Journal of Physics: Conference Series. 2771. 012040. 10.1088/1742-6596/2771/1/012040.
- Singh AK, Parida SK. Congestion management with distributed generation and its impact on electricity market. International Journal of Electrical Power & Energy Systems. 2013;48:39–47. doi:10.1016/j.ijepes.2012.11.025.
- Gooi HB, Wang T, Tang Y. Edge intelligence for smart grid: A survey on application potentials. CSEE Journal of Power and Energy Systems. 2023;9(5):1623–1640. https://doi.org/10.17775/CSEEJPES.2022.02210
- Molokomme DN, Onumanyi AJ, Abu-Mahfouz AM. Edge intelligence in smart grids: A survey on architectures, offloading models, cyber security measures, and challenges. Journal of Sensor and Actuator Networks. 2022;11(3):47. https://doi.org/10.3390/jsan11030047
- Chang Z, Liu S, Xiong X, Cai Z, Tu G. A survey of recent advances in edge-computing-powered artificial intelligence of things. IEEE Internet of Things Journal. 2021;8(18):13849–13875.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.