본 연구는 협력적 다중 에이전트 강화 학습을 이용한 저압 배전선 수용을 위한 동적 오케스트레이션 전략을 제시합니다. 지능형 에이전트들은 불확실한 조건 하에서 배전선 운용, 혼잡 관리, 전압 안정성 및 재생 에너지 통합을 조정합니다. 이 접근 방식은 FeederBW 및 236-bus 데이터셋을 이용한 시뮬레이션을 통해 평가되었습니다.
연구 논문
FeederBW 데이터셋 및 236-버스 저압 배전망을 이용한 다중 에이전트 강화학습 기반의 동적 피더 수용 오케스트레이션
이 논문에서
요약
초록
분산 재생 에너지원의 광범위한 통합과 저압(LV) 피더의 급격한 확장은 피더 수용 및 혼잡 조정과 관련된 운영상의 과제를 야기했습니다. 기존의 전압 제어 및 피더 관리 방식은 간헐적인 재생 에너지 발전과 변화하는 네트워크 조건 하에서 확장성과 적응성이 제한적일 수 있습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 다중 에이전트 강화 학습 접근 방식 내의 지능형 에이전트 협업을 기반으로 한 저압 피더 수용을 위한 동적 오케스트레이션 프레임워크를 제안합니다. 전압 안정화에 주로 집중하는 전압 제어 전략과 달리, 제안된 프레임워크는 피더 모니터링, 혼잡 관리 및 전압 민감도 기반 우선순위 지정을 담당하는 에이전트들의 협동 운영을 통해 동적 피더 수용을 지원합니다. 각 에이전트는 피더 상태를 독립적으로 관찰하고, 혼잡도와 전압 민감도를 평가하며, 피더 수용 결정에 대해 협업했습니다. 본 프레임워크는 다양한 재생 에너지 통합 수준과 부하 조건 하에서 FeederBW 데이터셋과 236-bus 저압 배전망 데이터셋을 이용한 시뮬레이션을 통해 평가되었습니다. 제안된 프레임워크는 피더 수용률 97%, 전압 준수 지수 98%, 보고된 하드웨어에서의 오케스트레이션 알고리즘 실제 실행 시간으로 측정된 오케스트레이션 지연 시간 98 ms, 그리고 수렴 속도 98.5%를 달성하여, 평가된 중앙 집중식 조정 방법보다 우수한 성능을 보였습니다. 또한 결과는 시뮬레이션된 저압 배전망 조건에서 적응성, 운영 복원력 및 분산 의사 결정 효율성이 향상되었음을 나타냈습니다.
서론
현대 전력 시스템은 전력 수요의 증가와 분산 전원의 사용 확대라는 중대한 운영상의 과제에 직면해 있습니다. 전력 공급과 수요 사이의 불균형이나 분산 전원의 급격한 증가는 유틸리티 기업과 최종 사용자의 경제적 부담을 초래하고 그리드 안정성을 위협할 수 있습니다. 이에 따라 기존의 중앙 집중형 화석 연료 기반 전력 인프라는 분산형 재생 에너지 기반 설계로 전환되고 있습니다. 이러한 전환을 통해 더 저렴하고 환경적으로 지속 가능한 에너지원에 대한 접근성이 향상되었습니다. 하지만 태양광(PV) 발전의 간헐적이고 예측 불가능한 특성은 그리드 신뢰성에 대한 우려를 불러일으킵니다1,2.
전 세계적인 에너지 전환으로 인해 환경적 이점, 확장성 및 비용 감소 덕분에 태양광(PV) 보급이 가속화되고 있습니다. 국제재생에너지기구(International Renewable Energy Agency)에 따르면, PV 용량은 2050년까지 전 세계 전력 공급의 22% 이상을 차지할 것으로 예상되며, 태양광 PV는 2030년까지 전 세계 전력 공급의 주요 기여자가 될 것으로 전망됩니다3. 이러한 광범위한 통합은 기존 전력 시스템, 특히 운전 안정성과 신뢰성 측면에서 상당한 과제를 제기합니다. PV 발전은 간헐적이며 제어가 불가능하기 때문에 전압 변동이 심각한 문제이며, 배전 및 송전 네트워크 전반에 걸쳐 보급률이 높아질수록 그 영향이 더욱 두드러집니다4.
태양 복사 조도의 변화는 PV 출력에 직접적인 영향을 미치며 급격한 전압 변화를 일으킬 수 있습니다. 구름의 이동, 갑작스러운 복사 조도 변화 및 부하 과도 현상은 기존의 그리드 아키텍처로는 적절히 수용할 수 없는 전압 변동을 초래할 수 있습니다5. 기존 기술들은 집중형이며 상대적으로 안정적인 그리드 구성에서는 효과적이었으나, 점점 더 분산되는 네트워크에는 적합하지 않습니다. 특히 PV 보급률이 높은 상황에서 급격한 양방향 전압 변화는 기존 전력 시스템의 처리 능력을 초과할 수 있습니다6. 제어되지 않은 변동은 전압 제한치를 위반하고 민감한 부하에 영향을 주며 그리드 안전성을 저해할 수 있습니다.
따라서 배전망에 스마트 부하와 분산 자원을 통합함에 따라 더 진보된 제어 전략의 개발이 촉진되었습니다. 분산 설비를 지속적으로 모니터링하고 조정하는 지능형 제어 시스템은 분산 발전 비중이 높은 저압(LV) 망에서 발생하는 문제들을 완화하는 데 도움이 될 수 있습니다7. 대규모 PV 통합은 또한 화력 발전의 운영상 어려움을 초래하며, 특히 PV 출력이 감소하여 화력 발전 유닛이 빠르게 대응해야 할 때 때로는 램프율(ramp-rate) 제한을 초과하기도 합니다8. 동시에 수요 반응(DR) 프로그램은 장기적인 지속 가능성과 경제적 타당성 사이의 균형을 맞추어야 합니다9.
DR 프로그램은 분산 전원의 통합을 지원하는 동시에 전력의 공급과 수요의 균형을 맞추는 데 도움을 줄 수 있습니다. 이러한 프로그램은 가격 기반 DR 또는 인센티브 기반 DR(IBDR)로 분류됩니다. 가격 기반 DR은 소비자가 시간대별 변동 요금에 반응하여 전력 사용량을 조정하도록 유도하는 반면, IBDR은 요청 시 소비량을 줄이는 대가로 고정 또는 가변적인 경제적 인센티브를 제공합니다10. 그러나 가격 기반 DR은 소비자를 변동성이 큰 도매 가격에 노출시키며, 전력 회사 관점에서 운영 유연성이 제한적이어서 위험 회피 성향이 강한 참여자의 참여를 저해할 수 있습니다11,12.
여러 연구에서 PV 비중이 높은 배전 시스템에서의 IBDR을 조사해 왔습니다. 한 연구에서는 높은 PV 보급률과 IBDR을 결합했을 때의 과제와 이점을 평가하였으나, 가구 수준의 가정 에너지 관리 시스템보다는 총 전력 사용량에 초점을 맞추었습니다13. 또 다른 연구에서는 가격 신호를 통해 배터리 작동을 간접적으로 제어하여 전압 제한을 유지하는 인센티브 기반 전압 관리 방법을 제안하였으나, 가구 수요가 명시적으로 모델링되지는 않았습니다14. 소비자 만족도와 재생 에너지 통합 비용을 고려하여 인센티브 지급액을 결정하는 퍼지 논리 기반 방법이 제시되었지만, 피더 수준의 분석은 포함되지 않았습니다15. 화력 및 재생 에너지 발전을 포함하여 가격 기반 및 인센티브 기반 DR을 모두 통합한 장기 발전 계획에 관한 연구도 수행되었으나, 사용자의 쾌적함이나 가구 수준의 수요는 고려되지 않았습니다16.
심층 강화 학습(RL) 또한 주거용 수요 반응(DR)에 적용되어 왔습니다. 시간대별 요금제 하에서의 통합 부하 제어를 위한 심층 RL 방법들이 제안되었으나, 적은 사용자 수와 가전제품 수준의 스케줄링 부재로 인해 일반화 가능성이 제한적이었습니다17. DR과 전압 제어를 결합한 다중 에이전트 강화 학습 프레임워크에서는 부하 예측을 위해 장단기 메모리(LSTM) 네트워크를 사용하였으나, 부하 제한으로 인한 고객 불만족 문제는 해결하지 못했습니다18. 다른 연구에서는 다른 주거용 부하는 고려하지 않은 채, 마르코프 결정 과정을 사용하여 상업용 건물의 에어컨 시스템에 대한 DR 조정에 집중했습니다19. 기존의 심층 RL 전압 제어 연구들은 일반적으로 DR과 PV 통합을 동시에 고려하지 않았습니다20,21.
스마트 인버터는 PV 출력의 갑작스럽고 불규칙한 변화에 신속하게 반응할 수 있습니다22. 전압 위반이 발생했을 때, PV 인버터는 밀리초 단위로 작동할 수 있는 반면, 기존 장치들은 수 초가 소요될 수 있습니다23. 일부 연구에서는 전압 조정기를 조정하기 위한 다중 에이전트 접근 방식과 기존 전압 제어기 동작의 수정을 포함하여, 표준 장치 제어 절차의 변경을 제안해 왔습니다24. 그럼에도 불구하고, 에너지 저장 장치가 함께 설치되지 않은 독립형 PV 발전은 낮 시간의 순 수입량을 줄일 수는 있지만, 전압 변동을 악화시키고 저녁 시간의 피크 부하를 완화하지 못합니다24,25. 가정용 배터리의 경우, 지역 수요 및 발전과 연계하여 송전을 조정하지 않으면 낮 시간의 PV 잉여 기간 동안 소모되어 야간 전기차 충전에 사용할 수 없게 될 수 있습니다26,27. 확률적 수요, 간헐적 발전, 그리고 다양한 저장 장치 동작의 결합된 영향으로 인해 용량 관리, 자산 수명 및 회복 탄력성은 배전 시스템 운영자에게 중요한 관심사가 됩니다28. 홈 에너지 관리 시스템은 고객 수준에서 자동 제어를 구현할 수 있는 하나의 잠재적인 수단을 제공합니다. RL은 에이전트가 환경과의 상호작용을 통해 제어 전략을 학습하면서 불확실성을 처리하고 저지연 결정을 내릴 수 있으므로 이러한 응용 분야에 매우 적합합니다.
전기차 경로 최적화의 발전은 심층 강화 학습(deep RL)이 동적인 에너지 제약 조건을 어떻게 관리할 수 있는지를 보여줍니다. 이기종 차량 함대 기반의 용량 제한 전기차 경로 최적화 문제(heterogeneous fleet-based capacitated electric-vehicle routing problem)는 다양한 차량 함대 전체의 최대 에너지 소비를 최소화하는 동시에, 주행 역학, 도로 특성, 운동 저항 및 충전 효율을 통합하여 고려합니다29. 동적 인식 심층 강화 학습 방법은 이 문제를 맞춤형 마르코프 결정 과정(Markov decision process)으로 정립하고 인코더-업데이터-디코더 아키텍처를 사용합니다. 이 설계에서 인코더는 정점과 차량에 대해 역할별 표현을 개발하고, 업데이트서는 문맥 정보가 변경됨에 따라 차량 토큰을 정밀화하며, 디코더는 적응형 의사결정을 지원하기 위해 차량 선택과 차량별 정점 선택을 분리합니다. 마찬가지로, 픽업-배송 및 시간 창(time windows) 조건이 포함된 에너지 최적 전기차 경로 최적화 문제는 충전 동작, 시간 의존적 주행 역학 및 상세 경로 정보가 포함된 고해상도 에너지 소비 모델을 사용합니다30. 이기종 어텐션 기반 심층 강화 학습 프레임워크는 경로 최적화 과제를 마르코프 결정 과정으로 표현하며, 여기서 인코더는 차량 기지, 고객 및 충전소 간의 역할별 상호작용을 포착하고, 디코더는 상태 전이와 시간적 타당성을 추적합니다.
이러한 발전에도 불구하고, 대부분의 저압(LV) 배전 관리 연구는 재생 에너지의 불확실성 하에서의 동적 피더 수용 조율보다는 전압 안정화와 무효 전력 최적화에 중점을 두고 있습니다. 지능형 인버터와 머신 러닝 기반의 분산 전압 제어 방법들은 일반적으로 전압 보상과 무효 전력 최적화에 집중하며, 복잡한 LV 네트워크에서의 적응형 피더 수용 제어 또는 혼잡 기반 조율 문제는 다루지 않습니다. 마찬가지로, DR을 위한 전압 제약 기반의 다중 에이전트 강화 학습 접근 방식은 상호 연결된 LV 배전 시스템에서 협력적 피더 수용 관리, 분산형 혼잡 인지 조율 또는 노드 수준의 입입 제어를 직접적으로 다루지 않습니다. 다중 에이전트 협조 기반의 전압 조절 방법들은 통상적으로 PV 인버터를 사용하여 전압 편차와 탭 동작을 최소화하지만, 적응형 피더 수용, 재생 에너지 관련 수용 불안정성 또는 동적 네트워크 조건 하에서의 분산형 조율은 고려하지 않습니다.
현재의 분산 및 멀티 에이전트 자원 조정 방식 또한 혼잡 인지, 시간적 적응성 및 확장성 측면에서 한계가 있습니다. 대부분의 방식은 적응형 피더 레벨 수용 및 전압 인지 오케스트레이션보다는 과부하 분석, 분산 에너지 자원 상호작용 또는 요금제 기반 에너지 관리에 중점을 둡니다. 이러한 방식들이 부분적 중앙 집중화와 정적 우선순위에 의존한다는 점은 분산된 의사 결정, 혼잡 전파에 대한 신속한 대응 및 재생 에너지 변동성에 대한 적응력을 더욱 제한할 수 있습니다. 따라서 FeederBW 및 236-버스 LV 배전망과 같은 대규모 데이터 세트를 활용한 적응형 피더 수용 관리를 위해, 협력적 에이전트 조정과 전압 및 혼잡 민감도 분석을 결합한 완전 분산형 강화 학습 기반 프레임워크가 필요합니다.
본 연구에서 피더 수용(feeder acceptance)이란 네트워크 보안, 전압 준수, 열 부하 제한 및 운전 신뢰성을 유지하면서 LV 피더가 추가적인 분산 에너지 자원 또는 전기 부하를 수용할 수 있는지 결정하는 적응형 운전 프로세스를 의미합니다. 피더 수용을 위한 운전 경계에는 새로운 피더 연결을 수용하거나 우선순위를 정하기 전, 피더 용량, 전압 민감도, 혼잡 상태 및 재생 에너지 변동성을 평가하는 과정이 포함됩니다. 전압 프로파일을 조절하는 기존의 전압 제어, 자원 운전을 관리하는 분산 에너지 자원 조정, 또는 네트워크 과부하를 완화하는 혼잡 관리와 달리, 피더 수용은 이러한 기능들을 협력적 다중 에이전트 강화 학습 프레임워크 내에서 통합하여 재생 에너지가 풍부한 조건 하에서 동적이고 분산된 적응형 오케스트레이션을 지원합니다.
본 연구의 목적은 변화하는 운전 조건과 재생 에너지의 불확실성 하에서 저압 배전선로 수용을 위한 협력적 지능형 에이전트 기반의 동적 오케스트레이션 전략(Dynamic Orchestration Strategy)을 개발하는 것입니다. 제안된 프레임워크는 배전선로 상태, 전압 감도, 혼잡 감도 및 수용 용량을 동적으로 평가하여 분산형 배전선로 수용 오케스트레이션을 수행하며, 이를 통해 정적인 전압 제어 방식을 넘어 적응형 우선순위 지정 및 의사결정을 가능하게 합니다. 본 연구에서는 FeederBW 데이터셋과 236-bus 저압 배전망 데이터셋을 사용하여 대규모 저압 시스템을 위한 확장 가능한 다중 에이전트 강화 학습 아키텍처를 개발합니다. 강화 학습 기반의 학습과 각 시뮬레이션 운전 간격에서 수행되는 저지연 협력 최적화를 통해, 본 프레임워크는 혼잡 전파를 줄이고 전압 준수율을 높이며, 오케스트레이션 지연 시간을 단축하고 분산 조정 효율성을 증대시키도록 설계되었습니다.
본 프레임워크는 정적인 전압 제어 기반의 피더 관리 전략을 대체하는 동적인 LV 피더 수락 오케스트레이션 접근 방식, 재생 에너지의 불확실성과 가변적인 부하 조건을 위한 분산형 멀티 에이전트 강화 학습 아키텍처, 저지연 조건 및 동적 피더 우선순위 지정을 기반으로 한 분산형 수락 관리, 임계 피더 식별 및 수락 결정 우선순위 지정을 위한 통합 전압 및 혼잡 민감도 지수, 인접 에이전트 간의 협력적 통신, 피더 안정성, 혼잡 완화, 전압 준수 및 수렴도를 향상시키기 위한 지속적인 강화 학습 기반 정책 최적화, 그리고 FeederBW 및 236-bus LV 데이터셋을 이용한 대규모 시뮬레이션 기반 검증을 제공합니다. 비교 결과, 기존의 중앙 집중식 조정 방식 대비 피더 수락률, 혼잡 완화, 오케스트레이션 지연, 수렴 속도 및 전압 준수 측면에서 개선된 성능을 보였습니다.
프로토콜
본 연구에서는 인간 피험자, 척추 동물, 인간 조직 또는 동물 조직을 사용하지 않았습니다. 본 연구에는 공개적으로 접근 가능한 데이터셋(FeederBW 데이터셋 및 236-bus 저전압 배전망 데이터셋)과 컴퓨터 기반 시뮬레이션만이 사용되었습니다. 따라서 본 연구는 기관생명윤리위원회(IRB), 윤리적 승인 또는 고지된 동의 승인을 필요로 하지 않았습니다.
에이전트 협업 기반의 저압 배전선 수용능력 동적 오케스트레이션 전략은 재생 에너지 비중이 높은 운전 조건을 위해 다중 에이전트 강화 학습(MARL)을 이용하여 개발되었습니다. FeederBW 및 236-버스 저압 데이터셋을 전처리, 정규화 및 시간적으로 동기화하여 배전선 상태, 분산 에너지 자원, 전압 민감 지역 및 혼잡 조건을 나타내는 동적 네트워크 모델을 구축하였습니다. 지능형 에이전트를 배전선 구간과 네트워크 접속점에 배치하여 국부 전압, 혼잡도, 재생 에너지 발전 불확실성 및 배전선 수용능력을 모니터링하고, 인접 에이전트와 정보를 교환하며, 분산 강화 학습을 통해 오케스트레이션 정책을 업데이트하도록 하였습니다. 보상 함수는 혼잡, 전압 불안정성 및 조정 지연을 제한하는 동시에 배전선 수용능력을 향상시키도록 설계되었습니다. 전압, 배전선 부하, 변압기 부하 및 혼잡 제약 조건은 고려되었으나, 3상 불평형 운전, 고급 태양광 인버터 제어 및 무효 전력 보상은 명시적으로 모델링하지 않았습니다. 전체 프레임워크는 그림 1에 나와 있습니다. 본 연구에 사용된 연구 도구들은 재료 표에 나열되어 있습니다.
그림 1: 제안된 프레임워크의 아키텍처. 지능형 에이전트, 강화 학습, 혼잡 분석 및 적응형 피더 조정을 통합한 동적 오케스트레이션 프레임워크의 개요도. 여기를 클릭하여 이 그림의 확대 버전을 확인하십시오.
1. 데이터 수집
데이터는 FeederBW 데이터셋31과 236-bus LV 배전 데이터셋32에서 수집되었습니다. 이 데이터셋들은 피더 토폴로지, 전압 조건, 재생 에너지 발전 동작, 부하 수요, 혼잡 및 분산형 오케스트레이션과 강화 학습 기반 에이전트 학습에 필요한 동적 운전 프로필에 관한 정보를 포함하고 있어 선정되었습니다.
FeederBW 데이터셋은 주로 LV 그리드의 피더 운용, 신재생 에너지의 간헐성, 전압 편차 및 정체 전파를 모델링하는 데 사용되었습니다. 여기에는 적응형 오케스트레이션 분석을 지원하는 피더 운용 데이터, 분산 발전 동작, 노드 전압 측정치 및 부하 변동이 포함되었습니다. 236-버스 LV 데이터셋은 확장성과 분산 조정 능력을 평가하는 데 사용되었습니다. 여기에는 버스 연결 정보, 피더 부하 조건, 노드 전압 특성, 분산 신재생 에너지 보급률 및 정체에 민감한 운용 케이스가 포함되었습니다. 이 두 데이터셋은 함께 작용하여 신재생 에너지 보급률이 높은 조건에서 피더 수준 및 대규모 분석을 지원했습니다. 데이터셋의 특성과 프레임워크 내에서의 목적은 표 1에 요약되어 있습니다.
| 데이터 세트 이름 | 데이터세트 유형 | 노드/버스 수 | 데이터 속성 | 제안된 연구의 목적 |
| FeederBW 데이터셋 | 저전압 피더 운전 데이터셋 | 다중 피더 노드 | 전압 프로파일, 재생 에너지 발전, 부하 수요, 혼잡 상태, 피더 운전 동작 | 저지연 피더 오케스트레이션, 혼잡 분석, 적응형 수락 우선순위 지정 |
| 236-모선 저압 데이터셋 | 대규모 저전압 배전 데이터셋 | 236대의 버스 | 버스 토폴로지, 피더 부하, 전압 민감도, 재생 에너지 보급률, 혼잡 역학 | 확장성 검증, 분산 조정 평가, 대규모 오케스트레이션 분석 |
표 1: 데이터셋 특성. 제안된 저전압 오케스트레이션 프레임워크 내에서의 데이터셋, 운영 속성 및 그 목적에 대한 설명.
2. 데이터 전처리
획득한 데이터셋은 일관성, 시간적 정렬 및 강화 학습 안정성을 향상시키기 위해 전처리되었습니다. 누락된 항목, 잘못된 측정값, 중복 기록 및 일관성 없는 배전선 데이터를 통계적 전처리 절차를 사용하여 필터링하였습니다. 이 단계는 배전선 운전 데이터, 재생 에너지 발전 프로필, 전압 측정값 및 혼잡 상태 데이터 간의 일관성을 유지하기 위해 수행되었습니다. 모든 운전 변수는 에이전트 학습에 적합한 공통 척도로 입력 특성이 변환되도록 min–max 정규화되었습니다. 정규화된 변수에는 배전선 전압, 유효 전력 수요, 재생 에너지 발전, 혼잡 상태 및 배전선 수용 능력이 포함되었습니다. 전처리 절차의 수학적 공식은 부록 파일 1 (섹션 1)에 제공되어 있습니다.
3. 동적 저전압 네트워크 모델링
데이터 수집 및 전처리가 완료된 후, 다양한 부하 및 발전 조건하에서 재생 에너지 발전 비율이 높은 배전 시스템의 동작을 시뮬레이션하기 위해 동적 LV 네트워크 모델을 구축하였습니다. 이 모델은 피더 토폴로지, 분산 에너지 자원의 동작, 전압 민감 지역 및 혼잡 전파를 동적으로 추적하였습니다.
정적인 네트워크 표현과 달리, 본 모델은 재생 에너지의 간헐성, 소비자 수요 및 혼잡 상태에 따라 피더(feeder) 동작을 업데이트합니다. FeederBW 및 236-bus LV 데이터셋을 사용하여 모선, 변압기, 분산 재생 에너지원 및 부하가 네트워크 노드로 표현된 상호 연결된 피더를 구성했습니다. 각 피더 노드는 전압 크기, 유효 전력 수요, 재생 에너지 발전량, 피더 부하 상태 및 혼잡 상태에 대한 업데이트된 정보를 제공했습니다. 지능형 에이전트는 이러한 변수들을 사용하여 피더 동작을 모니터링하고 분산형 오케스트레이션 결정을 내렸습니다. 또한, 네트워크 모델은 지속적인 민감도 분석을 통해 민감 지역 식별 및 피더 수용 우선순위 지정을 지원했습니다.
LV 배전망은 버스 스테이션, 피더 라인, 변압기, 재생 에너지원 및 소비자 부하 노드를 포함하는 그래프 기반 네트워크로 표현되었습니다. 네트워크 모델에 대한 세부적인 수학적 유도 과정은 보충 파일 1(섹션 2)에 제공되어 있습니다. 동적 네트워크 상태와 혼잡 지수는 지속적으로 모니터링되었습니다. 혼잡 지수는 [0,1] 범위로 정규화되었으며, 혼잡 지수가 0.80을 초과할 때 협력적 피더 수용 오케스트레이션이 시작되었습니다.
4. 다중 에이전트 환경 초기화
동적 LV 네트워크 모델이 구축된 후, 분산형 피더 수용을 지원하기 위해 멀티 에이전트 환경을 초기화하였습니다. 지능형 에이전트는 LV 네트워크 내의 피더 세그먼트, 분산 에너지 자원 연결 지점, 변압기 위치 및 혼잡 가능 노드에 각각 할당되었습니다.
각 에이전트는 로컬 피더 운전을 모니터링하고, 인접 에이전트와 정보를 교환하며, 적응형 오케스트레이션 작업을 수행하는 독립적인 의사 결정 엔티티로 작동했습니다. 에이전트는 전압 민감도, 재생 에너지 보급률, 혼잡 수준 및 피더 중요도에 따라 주요 피더 노드에 할당되었습니다. LV 네트워크는 에이전트가 피더 전압, 유효 전력 수요, 재생 에너지 발전 변동, 혼잡 상태 및 피더 수용 용량을 지속적으로 모니터링하는 에이전트 기반 환경으로 구성되었습니다. 멀티 에이전트 환경의 수학적 공식은 Supplementary File 1(Section 3)에 제공되어 있습니다.
5. 강화 학습 기반 에이전트 학습
멀티 에이전트 환경의 초기화 이후, 에이전트가 변화하는 저압(LV) 운전 조건과의 상호작용을 통해 피더 오케스트레이션 정책을 학습할 수 있도록 강화 학습이 구현되었습니다. 각 상호작용 동안, 에이전트는 현재의 피더 상태를 관찰하고, 오케스트레이션 동작을 선택하며, 이에 따른 보상 또는 패널티를 받았습니다. 분산 학습 프로세스를 통해 에이전트는 재생 에너지 발전의 불확실성, 변화하는 혼잡 상태, 전압 변동 및 피더 수용 용량의 변화에 적응할 수 있었습니다. 각 에이전트는 학습된 정책에 따라 오케스트레이션 동작을 선택했습니다. 관련 수학적 유도 과정은 보조 파일 1(섹션 4)에 제공됩니다.
총 64개의 지능형 에이전트가 배치되었습니다. 피더 토폴로지, 재생 에너지 침투 수준, 전압 민감도 및 혼잡 심각도에 따라, 각 에이전트는 피더 세그먼트, 변압기 지점, 분산 에너지 자원 연결점 또는 혼잡 민감 네트워크 노드에 할당되었습니다. 합리적인 계산 복잡성을 유지하면서, 이러한 분산 배치를 통해 236-버스 저압 배전망 전체에서 협동 모니터링 및 적응형 피더 수용이 가능해졌습니다. 각 에이전트는 전압 크기, 피더 부하 수요, 재생 에너지 발전량, 혼잡 상태 및 피더 수용 용량으로 구성된 5차원 상태 벡터를 관찰했습니다. 행동 공간은 피더 수용 우선순위 지정, 혼잡 완화, 재생 에너지 조정, 부하 분산 및 전압 제어의 다섯 가지 오케스트레이션 행동으로 구성되었습니다. 협동적 의사 결정은 각 에이전트가 인접한 피더 에이전트와만 민감도 지수 및 국부 동작 정보를 교환하는 분산형 이웃 통신 토폴로지를 통해 지원되었습니다.
128개와 64개의 뉴런을 포함하는 두 개의 은닉층을 갖는 완전 연결 신경망을 사용하여 Q-러닝 기반의 MARL 방법이 구현되었다. 은닉층에는 ReLU(Rectified linear unit) 활성화 함수가 적용되었다. 네트워크 파라미터는 학습률 0.001과 할인 계수 0.99의 Adam 옵티마이저를 사용하여 최적화되었다. 미니 배치 크기는 64로 설정하였으며, 경험 재현 버퍼의 용량은 100,000개의 트랜지션이었다. 이전 기간 동안의 누적 보상 이동 평균이 20개 에피소드 ~미만으로 변경됨 0.1% ~을 위해/위하여 10회의 연속적인 평가 창이 기준이 충족되지 않은 경우, 최대 다음 수치까지 훈련을 계속했습니다. 500개 에피소드 달성되었습니다. 강화 학습 워크플로우는 다음에서 보여줍니다. 그림 2.
그림 2: 강화 학습 기반 에이전트 학습의 흐름도.분산형 피더 오케스트레이션 및 결정 최적화를 위한 강화 학습 기반 에이전트 학습 프로세스를 나타내는 흐름도. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.
학습 과정은 LV 배전 환경, 에이전트 상태 및 학습 파라미터의 초기화와 함께 시작되었습니다. 지능형 에이전트들은 피더 지역, 분산 에너지 자원 위치 및 혼잡 발생 가능성이 높은 모선에 배치되었습니다. 이어서 관찰 공간, 학습률, 탐색 전략, 보상 요인 및 정책 함수를 정의하였습니다. 각 상호작용 단계에서 모든 에이전트는 할당된 피더 지역의 현재 상태를 관찰하였습니다. 상태는 노드 전압 크기, 피더 부하 수요, 재생 에너지 발전 특성, 혼잡 수준 및 피더 수용 용량으로 구성되었습니다. 이러한 관찰 값들은 오케스트레이션 의사결정에 사용되는 환경 상태를 형성하였습니다. 각 에이전트는 자신의 강화 학습 정책에 따라 행동을 선택하였습니다. 가능한 행동에는 피더 수용 우선순위 지정, 혼잡 관리, 재생 에너지 조정, 부하 분산 및 전압 관리가 포함되었습니다. 선택된 행동이 동적 LV 환경에 적용된 후, 피더 상태가 업데이트되었습니다.
각 동작 이후에 보상을 계산하였습니다. 선택한 동작이 피더 수용도를 개선하거나, 혼잡 전파를 방지하거나, 전압 준수 상태를 유지하거나, 네트워크 안정성을 향상시킨 경우 양의 보상을 할당하였습니다. 동작의 결과로 피더 과부하, 전압 위반 또는 오케스트레이션 지연이 발생하거나 이를 방지하지 못한 경우에는 패널티를 적용하였습니다. 계산된 보상은 강화 최적화를 통해 에이전트의 가치 함수와 결정 정책을 업데이트하는 데 사용되었습니다. 관찰, 동작 선택, 환경 전이, 보상 계산 및 정책 업데이트 시퀀스는 정지 기준이 충족될 때까지 반복되었습니다.
6. 전압 및 혼잡 민감도 평가
강화 학습 이후, 취약한 피더 지역을 식별하고 재생 에너지의 불확실성 하에서 동적인 피더 수용 결정을 지원하기 위해 전압 및 혼잡 민감도를 평가하였습니다.
각 운전 간격마다 피더 전력, 재생 에너지 발전 및 부하 수요의 변화가 노드 전압과 네트워크 혼잡에 미치는 영향을 결정하였습니다. 전압 및 혼잡 민감도 지수를 재계산하였습니다. 각 시뮬레이션 작동 간격마다 단순히 정적인 네트워크 상태에서만 도출되는 것이 아니라, 각 피더 노드의 민감도 지수는 현재의 네트워크 상태, 재생 에너지 발전 변동성 및 피더 부하 상태를 기반으로 업데이트되었습니다. 산출된 값은 피더 수용, 혼잡 관리 및 전압 제어 조치를 위한 피더 노드의 우선순위를 정하는 데 사용되었습니다.
전압 민감도 지수는 유효 전력 흐름의 변화로 인해 발생하는 노드 전압의 변화량을 정량화한 것입니다. 전압 및 혼잡 민감도 지수를 계산한 후, 이를 결합하여 피더 수용의 적응형 우선순위 지정을 위한 복합 민감도 점수를 산출하였습니다. 복합 점수 산출 방법은 보충 파일 1(섹션 5)에 기술되어 있습니다. 민감도 점수가 높은 피더 노드일수록 혼잡 완화, 피더 수용 보정 및 전압 조정 작업 중에 더 높은 오케스트레이션 우선순위를 할당받았습니다. 민감도 점수는 각 운전 간격마다 다시 계산되었으며, 협력 통신 환경을 통해 인접 에이전트와 공유되었습니다.
7. 각 시뮬레이션 작동 간격에서의 협력적 수용 오케스트레이션 및 적응형 결정 최적화
민감도 평가 후, 재생 에너지의 불확실성과 동적 혼잡 조건 하에서 분산 에이전트들이 조정된 피더 수용 결정을 내릴 수 있도록 협력적 수용 오케스트레이션을 수행하였습니다. 에이전트들은 로컬 피더 상태, 민감도 지수, 혼잡 경고 및 운영 우선순위를 교환하였습니다. 각 에이전트는 인접 에이전트와 협력하여 전체 네트워크 안정성을 지원하는 동시에 자신의 로컬 피더 상태를 독립적으로 평가하였습니다.
피더 수용은 전압 민감도, 혼잡 심각도, 재생 에너지 발전 변동성 및 가용 피더 용량에 따라 우선순위가 지정되었습니다. 에이전트 간에 로컬 민감도 인식 관측치가 집계되었으며, 조정된 피더 수용 동작이 생성되었습니다. 협력적 오케스트레이션 프로세스의 수학적 공식은 보충 파일 1 (섹션 6)에 제공됩니다. 동적 LV 네트워크 환경은 보충 파일 1 (알고리즘 1)에 기술된 대로 피더 영역, 재생 에너지 통합 지점 및 혼잡 발생 가능 버스에 배치된 협력 에이전트들과 함께 구축되었습니다. 각 운전 간격마다 각 에이전트는 전압 크기, 재생 에너지 발전 변동, 피더 부하, 혼잡 수준 및 피더 수용 용량을 포함한 로컬 피더 파라미터를 관측하였습니다.
이후 전압 민감도 및 혼잡 민감도 지수를 계산하여 전압 불안정성이나 혼잡 전파에 취약한 피더 영역을 식별하였습니다. 이러한 지수들을 결합하여 피더 수용 및 오케스트레이션 우선순위를 결정하는 종합 피더 민감도 점수를 산출하였습니다. 지역 상태 정보, 혼잡 수준, 전압 불안정 지표 및 수용 우선순위가 인접 에이전트 간에 교환되었습니다. 각 에이전트는 지역 관찰 결과와 공유된 정보를 바탕으로 적응형 오케스트레이션 동작을 선택하고 실행하였습니다. 각 동작 이후, 피더 안정성, 혼잡 감소, 전압 준수 및 피더 수용 효율에 따라 동적 저압(LV) 네트워크 환경으로부터 강화 피드백을 얻었습니다. 이 피드백은 강화 학습 기반 최적화를 통해 각 에이전트의 정책을 업데이트하는 데 사용되었습니다. 전역 오케스트레이션 목적 함수는 에이전트 집단 전반의 적응형 최적화를 위한 협력적 피드백을 동시에 제공하였습니다. 정책 업데이트는 에이전트 정책이 최적의 분산 오케스트레이션 전략으로 수렴될 때까지 계속되었습니다.
8. 대규모 검증
동적 오케스트레이션 전략(Dynamic Orchestration Strategy)은 재생 에너지 침투율이 높은 운전 시나리오 하에서 FeederBW 데이터셋과 236-버스 저압(LV) 배전망 데이터셋을 사용하여 검증되었습니다. 본 검증에서는 상호 연결된 저압(LV) 배전 시스템 내에서 동적 피더 수용, 재생 에너지의 간헐성, 혼잡 전파 및 전압 불안정성을 관리하는 분산형 오케스트레이션 프레임워크의 능력을 평가하였습니다. 평가된 운전 시나리오에는 높은 재생 에너지 침투율, 부하 수요 변화, 동적 혼잡 전파, 전압 민감 조건 및 가변적인 피더 수용 용량이 포함되었습니다.
프레임워크 성능은 피더 수용률, 전압 준수 지수, 혼잡 감소율, 오케스트레이션 지연 시간, 수렴 속도, 분산 조정 효율성 및 재생 에너지 수용 능력을 사용하여 평가되었습니다. 이러한 지표들은 확장성, 강건성, 적응성 및 조정 성능을 평가하는 데 사용되었습니다. 제안된 프레임워크를 동일한 네트워크 구성 하에서 기존의 중앙 집중식 피더 오케스트레이션 방식과 비교하였습니다. 비교 방법에는 동일한 데이터 세트, 운전 시나리오, 평가 조건 및 성능 지표가 적용되었습니다.
표 2는 실험적 검증에 사용된 데이터셋, 운전 조건, 오케스트레이션 환경 및 성능 변수를 요약하여 보여줍니다. FeederBW 데이터셋은 LV 배전선 조건에서의 피더 운전 역학, 재생 에너지의 간헐성, 혼잡 발생, 주거용 부하 변동 및 전압 변동을 평가하는 데 사용되었습니다. 236-bus LV 데이터셋은 더 큰 상호 연결 네트워크에서의 분산형 오케스트레이션을 평가하는 데 사용되었습니다. 해당 아키텍처는 재생 에너지 발전, 부하 수요, 전압 및 혼잡의 다양한 조건 하에서 검증되었습니다. 분산형 조정과 강화 학습 기반의 정책 최적화는 지능형 에이전트 전반에 걸쳐 통합적으로 평가되었습니다.
재생 에너지 시스템의 동적 운전 조건하에서 성능을 정량화하기 위해 피더 수용률, 전압 컴플라이언스 지수, 혼잡 감소율, 수렴 속도 및 오케스트레이션 지연 시간을 사용하였습니다.
| 실험 파라미터 | FeederBW 데이터셋 | 236-모선 저압 데이터셋 | 밸리데이션 목적 |
| 네트워크 유형 | 저전압 배전망 | 대규모 저압 배전망 | 동적 오케스트레이션 평가 |
| 노드/버스 수 | 다중 피더 노드 | 236대의 버스 | 확장성 분석 |
| 신재생 에너지 통합 | 태양광 발전 및 분산형 재생 에너지원 | 높은 재생에너지 침투율 버스 | 재생 에너지 불확실성 검증 |
| 부하 수요 행태 | 동적 주거 부하 프로필 | 대규모 피더 부하 변동 | 적응형 부하 오케스트레이션 |
| 혼잡 시나리오 | 피더 과부하 및 혼잡 상태 | 멀티 버스 혼잡 전파 | 혼잡 완화 분석 |
| 전압 조건 | 전압 변동 프로파일 | 전압 민감형 버스 조건 | 전압 컴플라이언스 평가 |
| 지능형 에이전트 | 분산형 피더 에이전트 | 대규모 협업 에이전트 | 분산형 조정 분석 |
| 학습 환경 | 강화 학습 기반 오케스트레이션 | 다중 에이전트 적응형 학습 | 정책 최적화 검증 |
| 시뮬레이션 조건 | 동적 재생 에너지 변동성 | 대규모 동적 운전 | 저지연 오케스트레이션 테스트 |
| 성능 지표 | 수락률, 혼잡 감소 | 전압 컴플라이언스, 수렴 속도 | 전반적인 오케스트레이션 성능 |
표 2: 대규모 실험 검증. 확장성, 재생 에너지의 불확실성 및 분산형 조정 능력을 평가하는 데 사용된 실험 설정.
결과
확률적 학습의 영향을 줄이기 위해 서로 다른 무작위 시드를 사용하여 모든 실험을 5회 실시하였습니다. 5회 실행 결과의 평균값을 계산하였습니다. 모든 방법론에 대해 동일한 데이터셋, 시뮬레이션 파라미터, 하이퍼파라미터, 정지 기준 및 평가 절차를 적용하였습니다. 비교 방법으로는 Centralized Voltage Control (CVC)33, Conventional Multi-Agent Control (CMAC)21, Reinforcement Learning-Based Voltage Regulation (RLVR)20, Distributed Energy Resource Coordination (DERC)26, 그리고 Sensitivity-Based Congestion Management (SBCM)34가 사용되었습니다.
일원 분산 분석(one-way ANOVA)을 사용하여, 제안된 프레임워크와 베이스라인 기법(CVC, CMAC, RLVR, DERC 및 SBCM) 간의 통계적 비교를 각 평가 지표별로 독립적으로 수행하였습니다. ANOVA 결과 통계적으로 유의미한 차이가 나타난 경우, 쌍별 비교를 위해 Tukey의 정직 유의차(HSD) 사후 검정을 적용하였습니다. 통계적 유의성의 임계값은 p < 0.001로 설정하였습니다. 모든 통계 분석은 일원 분산 분석을 통해 수행되었으며, 필요한 경우 유의미한 차이에 대한 사후 검정을 실시하였습니다. 일원 ANOVA는 statsmodels.stats.anova 모듈을 사용하여 진행하였습니다. 각 접근 방식에 대해 5회 독립적으로 시뮬레이션을 실행하여 얻은 최종 수렴 성능 값을 통계적 유의성 검정에 사용하였습니다. 중간 학습 에피소드는 학습 과정을 시각화하기 위한 목적으로 사용되었으며, 통계적 유의성 검정은 실시하지 않았습니다.
데이터 수집
FeederBW 및 236-버스 저압(LV) 배전 데이터셋은 상호 보완적인 운전 조건 하에서 제안된 프레임워크의 평가를 지원하였습니다. FeederBW 데이터셋은 전압, 분산 재생 에너지 발전, 부하 수요, 혼잡 상태 및 피더 수용 동작을 포함한 시계열 피더 정보를 제공하였습니다. 이는 동적 피더 운전, 재생 에너지의 간헐성, 주거용 부하 변동, 혼잡 전파 및 전압 변동을 평가하는 데 사용되었습니다.
236-모선 LV 배전 데이터셋은 236개의 상호 연결된 모선을 포함하고 있으며, 피더 토폴로지, 전압 민감 지역, 재생 에너지 보급 조건, 조류 상태 및 혼잡 전파 시나리오를 포함하였습니다. 이는 더 큰 규모의 상호 연결된 배전망에서 분산 협조, 적응형 오케스트레이션 및 확장성을 평가하는 데 사용되었습니다. 표 3 및 표 4에 실험 검증 조건과 시뮬레이션 환경을 요약하여 나타내었습니다.
| 밸리데이션 파라미터 | 설명 |
| 사용된 데이터 세트 | FeederBW 데이터셋 및 236-모선 저압(LV) 데이터셋 |
| 네트워크 환경 | 재생에너지 비중이 높은 동적 저압 배전 계통 |
| 재생 가능 에너지원 | 분산형 태양광(PV) 및 신재생 발전기 |
| 학습 프레임워크 | 다중 에이전트 강화 학습 (MARL) |
| 조정 전략 | 협력적 분산 오케스트레이션 |
| 운용 시나리오 | 재생 가능 에너지의 간헐성, 부하 변동, 혼잡 전파 |
| 지능형 에이전트 수 | 64개의 분산형 피더 레벨 협업 에이전트 |
| 밸리데이션 목적 | 적응형 피더 수용 최적화 |
| 평가 과정 | 실시간 오케스트레이션 및 감도 인식 조정 |
| 비교 분석 | 기존의 중앙 집중식 조정 방식과 비교하여 |
표 3: 환경 검증 파라미터. 동적 저전압 작동 조건하에서 적응형 오케스트레이션을 평가하는 데 사용된 검증 파라미터.
| 시뮬레이션 구성 요소 | 구성 |
| 프로세서 환경 | 고성능 멀티코어 프로세싱 시스템 |
| 프로그래밍 프레임워크 | Python 3.11.9 |
| 학습 프레임워크 | 다중 에이전트 강화 학습 (Multi-Agent Reinforcement Learning, MARL) |
| 학습 알고리즘 | Q-learning 기반 다중 에이전트 강화 학습 |
| 신경망 구조 | 두 개의 은닉층(각 128개 및 64개 뉴런, ReLU 활성화 함수)을 갖춘 완전 연결 신경망 |
| 최적화 도구 | Adam 옵티마이저 |
| 학습률 (α) | 0.001 |
| 할인 인자 (γ) | 0.99 |
| 재생 기전 | 경험 재생 버퍼 (용량: 100,000 transition) |
| 미니배치 크기 | 64 |
| 탐색 정책 | ε-greedy 탐색 (ε 값을 1.0에서 0.01까지 감소시킴) |
| 훈련 에피소드 | 500 |
| 중단 기준 | 최대 학습 에피소드 도달 또는 누적 보상의 수렴 |
| 네트워크 모델링 | 동적 저압 배전망 시뮬레이션 |
| 재생 가능 시뮬레이션 | 가변 재생 에너지 발전 프로필 |
| 에이전트 협업 | 분산 협업 통신 |
| 데이터 처리 | 실시간 동기화 피더 상태 처리 |
| 최적화 방법 | 강화 학습 기반 적응형 정책 학습 |
| 실험 플랫폼 | FeederBW 데이터셋 및 236-버스 저압(LV) 배전망 데이터셋을 이용한 대규모 시뮬레이션 |
| 성능 모니터링 | 피더 수용률(FAR), 전압 준수 지수(VCI), 혼잡 완화율(CRR), 오케스트레이션 지연 시간(OL), 수렴 속도(CS) 및 분산 조정 효율성(DCE) |
| 보상 가중치 (β) | 0.3 |
| 보상 가중치 (δ) | 0.25 |
| 목표 가중치 (ω₁) | 0.30 (피더 수용) |
| 목적 가중치 (ω₂) | 0.25 (혼잡 완화) |
| 목적 가중치 (ω₃) | 0.25 (전압 컴플라이언스) |
| 목표 가중치 (ω₄) | 0.20 (오케스트레이션 지연 시간) |
| 정책 학습률 (η) | 0.001 |
| 정규화 / 균형 매개변수 (λ) | 0.1 |
표 4: 시뮬레이션 환경. 강화 학습 기반의 피더 오케스트레이션 실험에 사용된 시뮬레이션 설정.
데이터 전처리
동기화 및 정규화된 데이터는 제안된 프레임워크와 베이스라인 방법 간의 일관된 비교를 가능하게 했습니다. 모든 평가에는 동일하게 전처리된 피더 상태, 재생 에너지 발전 프로필, 부하 수요 조건, 전압 조건 및 혼잡 시나리오가 사용되었습니다. 이러한 공통 입력 구조는 데이터셋 준비로 인해 발생하는 차이를 줄였으며, 관찰된 성능 차이가 평가 대상인 오케스트레이션 방법과 연관될 수 있도록 하였습니다.
동적 저전압 네트워크 모델링
동적 LV 네트워크 모델은 변화하는 재생 에너지 발전, 소비자 수요, 전압 조건, 피더 부하 및 혼잡 전파를 나타냈습니다. 이러한 조건 하에서, 제안된 프레임워크는 전압 민감 및 혼잡 민감 운전 상태에 대응하면서 피더 수용성을 유지했습니다. 이 모델은 변동하는 재생 에너지 발전, 변화하는 소비자 부하 및 혼잡이 발생하기 쉬운 네트워크 조건 하에서의 평가를 지원했습니다. 이러한 모든 조건에서, 협력 에이전트들은 중앙 집중식 제어 없이 피더 우선순위 지정, 전압 의존적 조정, 혼잡 완화 및 재생 에너지 수용을 수행했습니다.
다중 에이전트 환경 초기화
분산형 에이전트 배치는 피더 지역과 네트워크 접점 전반에 걸친 국부적 관찰 및 협동적 의사결정을 지원했습니다. 에이전트들은 오케스트레이션 동작을 독립적으로 선택하는 동시에, 인접한 에이전트들과 피더 상태 정보 및 민감도 측정값을 교환했습니다. 관찰된 협동 동작은 이러한 분산형 배치가 피더 우선순위 지정, 부하 조정, 전압 관리 및 혼잡 대응을 지원함을 보여주었습니다. 또한, 분산형 구성은 단일 중앙 집중식 제어기에 대한 의존도를 낮추고 더 큰 규모의 236-bus 네트워크 전반에 걸친 협동 운전을 지원했습니다.
강화 학습 기반 에이전트 학습
강화 학습 기반 정책은 훈련 기간 동안 피더 수용, 전압 준수, 혼잡 감소, 오케스트레이션 지연 시간 및 수렴 속도 측면에서 개선되었습니다. 그림 3은 제안된 프레임워크의 피더 수용률(FAR)을 CVC, CMAC, RLVR, DERC 및 SBCM과 비교한 것입니다. CVC는 가장 낮은 FAR을 기록했으며, 62%에서 70%로 증가했습니다. CMAC과 DERC는 각각 75%와 78%의 최대 FAR 값에 도달했습니다. RLVR과 SBCM은 각각 83%와 81%에 도달했습니다. 제안된 프레임워크는 FAR을 훈련 초기 단계의 72%에서 후기 단계의 97%까지 증가시켰습니다. 이 결과는 협력적 강화 학습 프로세스가 재생 에너지의 불확실성과 변화하는 저압(LV) 운전 조건 하에서 적응형 피더 수용을 지원함을 보여주었습니다.
그림 3: 피더 수용률 (FAR). 제안된 프레임워크와 기존 피더 조정 방법 간의 FAR 비교. 값은 5회의 독립적인 시뮬레이션 실행을 통해 제안된 프레임워크와 각 기준 방법을 비교하여 평균 ± SD로 나타냄. 통계적 유의성은 95% 신뢰 구간에서 p < 0.001로 평가됨. 약어: FAR, Feeder Acceptance Rate (피더 수용률); CVC, Centralized Voltage Control (중앙 집중식 전압 제어); CMAC, Conventional Multi-Agent Control (기존 다중 에이전트 제어); RLVR, Reinforcement Learning-Based Voltage Regulation (강화 학습 기반 전압 조절); DERC, Distributed Energy Resource Coordination (분산 에너지 자원 조정); SBCM, Sensitivity-Based Congestion Management (민감도 기반 혼잡 관리). 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 4는 전압 준수 지수(Voltage Compliance Index, VCI)를 나타냅니다. CVC는 70%에서 77%로 증가한 반면, CMAC와 DERC는 각각 약 81%와 84%에 도달했습니다. RLVR과 SBCM은 각각 88%와 86%에 도달했습니다. 제안된 프레임워크는 초기 학습 단계의 78%에서 수렴 시 약 98%까지 증가했습니다. 더 높은 VCI는 제안된 방식이 간헐적인 재생 에너지 발전 및 변화하는 부하 수요 조건 하에서 비교 방법들보다 전압 준수 상태를 더 효과적으로 유지했음을 나타냅니다.
그림 4: 전압 준수 지수(Voltage Compliance Index, VCI). 동적 저전압 운전 조건에서의 VCI 비교 분석. 값은 5회의 독립적인 시뮬레이션 실행을 통해 제안된 프레임워크와 각 베이스라인 방법을 비교하여 평균 ± SD로 표시하였으며, 95% 신뢰 구간과 통계적 유의성은 p < 0.001에서 평가되었다. 약어: VCI, Voltage Compliance Index; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. 여기를 클릭하여 이 그림의 더 큰 버전을 확인하십시오.
그림 5의 VCI 히트맵은 학습 에피소드에 따른 전압 컴플라이언스의 진행 과정을 보여주었습니다. 제안된 프레임워크는 후기 반복 단계에서 95%에서 98% 사이의 값을 달성했습니다. CVC는 70%에서 77% 사이를 유지한 반면, RLVR과 SBCM은 각각 약 88%와 86%에 도달했습니다. 따라서 히트맵을 통해 제안된 프레임워크가 학습 후기 단계에서 가장 높은 전압 컴플라이언스 성능을 유지했음을 알 수 있었습니다.
그림 5: 전압 준수 지수 (VCI) 히트맵. 학습 반복 횟수 및 피더 조정 방법에 따른 VCI 성능을 나타내는 히트맵. 색상 척도는 전압 준수 지수의 크기를 나타내며, 밝은 색은 낮은 VCI 값을, 어두운 색은 높은 VCI 값을 나타낸다. 약어: VCI, Voltage Compliance Index; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. 이 그림의 확대 버전을 보려면 여기를 클릭하십시오.
표 5는 혼잡 감소율(CRR)을 나타냅니다. CVC는 48%에서 63%로 증가했습니다. CMAC과 DERC는 각각 약 73%와 75%에 도달한 반면, RLVR은 80%, SBCM은 82%에 도달했습니다. 제안된 프레임워크는 학습 시작 시점의 64%에서 수렴 후 약 96%까지 증가했습니다. 비교 방법들의 최종 값과 대비하여, 제안된 프레임워크는 CVC보다 약 33%, CMAC보다 23%, RLVR보다 16%, DERC보다 21%, SBCM보다 14% CRR을 개선했습니다. 이러한 관찰 결과는 협업 오케스트레이션 정책이 중앙 집중식, 기존 멀티 에이전트, 전압 조절, 분산 자원 및 민감도 기반의 비교 방법들보다 혼잡 전파를 더 효과적으로 감소시켰음을 보여주었습니다. 그림 6은 오케스트레이션 지연 시간(OL)을 비교합니다. 보고된 오케스트레이션 지연 시간은 보고된 하드웨어 플랫폼에서의 시뮬레이션 동안 제안된 오케스트레이션 알고리즘에 요구되는 측정된 실제 실행 시간(wall-clock execution time)에 해당합니다. 이는 배포된 배전망의 물리적 운전 시간으로 해석되어서는 안 됩니다. 제안된 프레임워크는 OL을 220 ms에서 98 ms로 단축했습니다. 수렴 시점에서 CVC, CMAC, RLVR, DERC, SBCM은 각각 283 ms, 253 ms, 215 ms, 242 ms, 205 ms의 지연 시간을 나타냈습니다. 따라서 제안된 프레임워크는 CVC, CMAC, RLVR, DERC 및 SBCM 대비 지연 시간을 각각 약 65%, 61%, 54%, 59%, 52% 단축했습니다. 더 낮은 지연 시간은 분산 협업을 통해 피더 오케스트레이션에 대한 더 빠른 의사결정이 가능함을 나타냅니다.
| 훈련 반복 | CVC (%)(평균 ± 표준편차) | CMAC (%)(평균 ± 표준편차) | RLVR (%)(평균 ± 표준편차) | DERC (%)(평균 ± 표준편차) | SBCM (%)(평균 ± 표준편차) | 제안된 방법 (%)(평균 ± 표준편차) |
| 1 | 48.0 ± 0.5 | 52.0 ± 0.5 | 56.0 ± 0.4 | 54.0 ± 0.5 | 58.0 ± 0.4 | 64.0 ± 0.3 |
| 2 | 50.0 ± 0.5 | 54.0 ± 0.5 | 59.0 ± 0.4 | 56.0 ± 0.5 | 61.0 ± 0.4 | 68.0 ± 0.3 |
| 3 | 52.0 ± 0.5 | 57.0 ± 0.4 | 62.0 ± 0.4 | 59.0 ± 0.5 | 64.0 ± 0.4 | 72.0 ± 0.3 |
| 4 | 54.0 ± 0.4 | 60.0 ± 0.4 | 65.0 ± 0.4 | 62.0 ± 0.4 | 67.0 ± 0.4 | 76.0 ± 0.2 |
| 5 | 56.0 ± 0.4 | 62.0 ± 0.4 | 68.0 ± 0.3 | 64.0 ± 0.4 | 70.0 ± 0.3 | 80.0 ± 0.2 |
| 6 | 58.0 ± 0.4 | 65.0 ± 0.4 | 71.0 ± 0.3 | 67.0 ± 0.4 | 73.0 ± 0.3 | 84.0 ± 0.2 |
| 7 | 60.0 ± 0.4 | 67.0 ± 0.4 | 74.0 ± 0.3 | 69.0 ± 0.3 | 76.0 ± 0.3 | 87.0 ± 0.2 |
| 8 | 61.0 ± 0.4 | 69.0 ± 0.3 | 76.0 ± 0.3 | 71.0 ± 0.3 | 78.0 ± 0.3 | 90.0 ± 0.2 |
| 9 | 62.0 ± 0.4 | 71.0 ± 0.3 | 78.0 ± 0.3 | 73.0 ± 0.3 | 80.0 ± 0.3 | 93.0 ± 0.2 |
| 10 | 63.0 ± 0.4 | 73.0 ± 0.3 | 80.0 ± 0.3 | 75.0 ± 0.3 | 82.0 ± 0.3 | 96.0 ± 0.2 |
표 5: 혼잡 완화율 (CRR): 제안된 프레임워크와 기존 피더 오케스트레이션 방법을 비교한 5회의 독립적인 시뮬레이션 실행에서 얻은 혼잡 완화율(CRR)의 평균 ± 표준편차. 약어: CRR, 혼잡 완화율; CVC, 중앙 집중식 전압 제어; CMAC, 기존 다중 에이전트 제어; RLVR, 강화 학습 기반 전압 조정; DERC, 분산 에너지 자원 조정; SBCM, 감도 기반 혼잡 관리.
그림 6: 오케스트레이션 지연 시간(OL). 적응형 분산 피더 협응 중 오케스트레이션 지연 시간의 비교 분석. 제안된 프레임워크를 각 베이스라인 방법과 5회의 독립적인 시뮬레이션 실행을 통해 비교하여 평균 ± SD로 나타내었으며, 95% 신뢰 구간과 통계적 유의성은 p < 0.001에서 평가되었다. 약어: OL, Orchestration Latency; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 7은 수렴 속도(Convergence Speed, CS)를 나타냅니다. CVC는 20회의 훈련 에피소드 후 42%에서 67%로 증가했습니다. CMAC과 DERC는 각각 약 74%와 79%에 도달했습니다. RLVR은 87%에 도달했으며, SBCM은 약 90%에 도달했습니다. 제안된 프레임워크는 첫 번째 에피소드의 58%에서 수렴 시 98.5%까지 증가했으며, 10번째 에피소드까지 93%를 초과했습니다. 제안된 프레임워크는 최종 수렴 성능 면에서 CVC보다 31.5%, CMAC보다 24.5%, RLVR보다 11.5%, DERC보다 19.5%, 그리고 SBCM보다 8.5% 향상되었습니다. 이러한 결과는 제안된 정책이 비교 방법들보다 더 빠르게 안정적인 오케스트레이션 성능에 도달했음을 보여줍니다.
그림 7: 수렴 속도 (CS). 평가된 방법들에 따른 적응형 학습 효율성과 오케스트레이션 수렴 속도를 보여주는 수렴 곡선. 약어: CS, Convergence Speed; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.
협업적 수용 오케스트레이션 및 저지연 적응형 결정 최적화
그림 8 분산 협업 효율성(Decentralized Coordination Efficiency, DCE)을 제시한다. CVC는 68%로 가장 낮은 DCE를 기록했다. CMAC는 75%, DERC는 79%, RLVR은 84%, SBCM은 88%에 도달했다. 제안된 프레임워크는 97%의 DCE를 달성했다. 제안된 프레임워크는 CVC보다 29%포인트, CMAC보다 22%포인트, RLVR보다 13%포인트, DERC보다 18%포인트, SBCM보다 9%포인트 더 높았다. 이 결과는 지역 정보 교환, 인접 에이전트 협업 및 분산 정책 최적화가 비교 방법들보다 더 효과적인 협업을 지원함을 보여주었다.
그림 8: 분산 협업 효율성 (DCE). 지능형 에이전트 간 협업 중 DCE의 비교 분석. 제안된 프레임워크를 각 베이스라인 방법과 5회의 독립적인 시뮬레이션 실행을 통해 비교하여 평균 ± SD로 나타냈으며, 95% 신뢰 구간 및 통계적 유의성은 p < 0.001에서 평가되었다. 약어: DCE, Decentralized Coordination Efficiency; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.
그림 9 및 표 6 은 재생 에너지 수용 능력(Renewable Accommodation Capability, RAC)을 나타냅니다. CVC는 52%에서 63%로 증가했습니다. CMAC와 DERC는 각각 약 72%와 76%에 도달했습니다. RLVR은 약 83%에 도달했고, SBCM은 86%에 도달했습니다. 제안된 프레임워크는 학습 시작 시 70%에서 수렴 시 97%까지 증가했습니다. 제안된 프레임워크는 CVC보다 34Percentage 포인트, CMAC보다 25Percentage 포인트, RLVR보다 14Percentage 포인트, DERC보다 21Percentage 포인트, 그리고 SBCM보다 11Percentage 포인트 더 높았습니다. 이러한 결과는 제안된 오케스트레이션 접근 방식이 피더 운전, 전압 성능 및 혼잡 인지 상태를 유지하면서 더 높은 비율의 재생 에너지 발전을 수용했음을 보여줍니다.
그림 9: 재생 에너지 수용 능력(RAC). 재생 에너지 풍부 피더 시스템에서의 RAC 비교 분석. 값은 5회의 독립적인 시뮬레이션 실행을 통해 제안된 프레임워크와 각 기준 방법을 비교하여 평균 ± 표준편차(SD)로 표시했으며, 95% 신뢰 구간과 통계적 유의성은 p < 0.001에서 평가되었다. 약어: RAC, Renewable Accommodation Capability; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. 여기를 클릭하여 이 그림의 더 큰 버전을 확인하십시오.
| 훈련 반복 | CVC (%) (평균 ± 표준편차) | CMAC (%) (평균 ± 표준편차) | RLVR (%) (평균 ± 표준편차) | DERC (%) (평균 ± 표준편차) | SBCM (%) (평균 ± 표준편차) | 제안된 방법 (%) (평균 ± 표준편차) |
| 1 | 52.0 ± 0.5 | 58.0 ± 0.5 | 64.0 ± 0.4 | 60.0 ± 0.5 | 66.0 ± 0.4 | 70.0 ± 0.3 |
| 2 | 54.0 ± 0.5 | 60.0 ± 0.5 | 67.0 ± 0.4 | 62.0 ± 0.5 | 69.0 ± 0.4 | 74.0 ± 0.3 |
| 3 | 55.0 ± 0.4 | 62.0 ± 0.4 | 70.0 ± 0.4 | 64.0 ± 0.4 | 72.0 ± 0.4 | 78.0 ± 0.3 |
| 4 | 57.0 ± 0.4 | 64.0 ± 0.4 | 73.0 ± 0.3 | 66.0 ± 0.4 | 75.0 ± 0.3 | 82.0 ± 0.2 |
| 5 | 58.0 ± 0.4 | 66.0 ± 0.4 | 75.0 ± 0.3 | 68.0 ± 0.4 | 77.0 ± 0.3 | 86.0 ± 0.2 |
| 6 | 59.0 ± 0.4 | 67.0 ± 0.4 | 77.0 ± 0.3 | 70.0 ± 0.3 | 79.0 ± 0.3 | 89.0 ± 0.2 |
| 7 | 60.0 ± 0.4 | 68.0 ± 0.3 | 79.0 ± 0.3 | 72.0 ± 0.3 | 81.0 ± 0.3 | 91.0 ± 0.2 |
| 8 | 61.0 ± 0.4 | 69.0 ± 0.3 | 80.0 ± 0.3 | 73.0 ± 0.3 | 83.0 ± 0.3 | 93.0 ± 0.2 |
| 9 | 62.0 ± 0.4 | 70.0 ± 0.3 | 81.0 ± 0.3 | 74.0 ± 0.3 | 84.0 ± 0.3 | 95.0 ± 0.2 |
| 10 | 63.0 ± 0.4 | 72.0 ± 0.3 | 83.0 ± 0.3 | 76.0 ± 0.3 | 86.0 ± 0.3 | 97.0 ± 0.2 |
표 6: 재생 에너지 수용 능력 (RAC): 제안된 프레임워크와 기준 피더 오케스트레이션 방법들을 비교한 5회의 독립적인 시뮬레이션 실행에서 얻은 재생 에너지 수용 능력 (RAC)의 평균 ± 표준편차. 약어: RAC, Renewable Accommodation Capability; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management.
전압 및 혼잡도 민감도 평가
그림 10 전압 민감도 안정성(Voltage Sensitivity Stability, VSS)을 나타냅니다. CVC는 60%에서 69%로 증가했습니다. CMAC과 DERC는 각각 약 76%와 78%에 도달했으며, RLVR은 84%에 도달했습니다. 제안된 프레임워크는 초기 학습 단계의 74%에서 수렴 후 98%로 증가했습니다. 제안된 프레임워크는 CVC보다 29%포인트, CMAC보다 22%포인트, RLVR보다 14%포인트, DERC보다 20%포인트, 그리고 SBCM보다 12%포인트 더 높았습니다. 이러한 결과는 민감도 인식 프레임워크가 재생 에너지의 간헐성, 가변적인 부하 수요 및 동적 혼잡 상황에서도 더 강력한 전압 민감도 배전선 성능을 유지함을 보여주었습니다.
그림 10: 전압 감도 안정성(VSS). 적응형 전압 인식 피더 오케스트레이션 중 전압 감도 안정성에 대한 비교 분석. 값은 제안된 프레임워크를 5회의 독립적인 시뮬레이션 실행을 통해 각 베이스라인 방법과 비교하여 평균 ± SD로 표시하였으며, 95% 신뢰 구간과 통계적 유의성은 p < 0.001에서 평가되었다. 약어: VSS, Voltage Sensitivity Stability; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 11 은 혼잡 민감도 지수(CSI)를 나타냅니다. CVC는 52%에서 63%로 증가했습니다. CMAC와 DERC는 각각 72%와 76%에 도달했습니다. RLVR은 약 83%에 도달했으며, SBCM은 약 86%에 도달했습니다. 제안된 프레임워크는 초기 학습 단계의 72%에서 학습 종료 시점의 약 98%까지 증가했습니다. 제안된 프레임워크는 CVC보다 약 35% 포인트, CMAC보다 26% 포인트, RLVR보다 15% 포인트, DERC보다 22% 포인트, 그리고 SBCM보다 12% 포인트 더 높았습니다. 히트맵은 제안된 접근 방식이 후기 학습 에피소드 동안 가장 높은 혼잡 민감도 성능을 유지했음을 보여주었습니다.
그림 11: 혼잡 민감도 지수(CSI) 히트맵. 학습 단계 및 피더 협조 방법별 혼잡 민감도 성능을 보여주는 히트맵. 색상 척도는 혼잡 민감도 지수의 크기를 나타내며, 밝은 색은 낮은 CSI 값을, 어두운 색은 높은 CSI 값을 나타낸다. 약어: CSI, Congestion Sensitivity Index; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. 여기를 클릭하여 이 그림의 더 큰 버전을 확인하십시오.
대규모 검증
그림 12 및 표 7 피더 안정성 지수(Feeder Stability Index, FSI)를 제시한다. CVC는 평균 64.7%의 FSI를 기록한 반면, CMAC와 DERC는 각각 평균 72.5%와 76.0%를 기록했다. RLVR은 평균 81.5%의 FSI를 나타냈다. 제안된 프레임워크는 전압 안정성 97%, 혼잡 제어 96%, 재생 에너지 통합 용량 95%, 부하 분산 효율 94%, 협조 효율 98%, 응답 속도 97%를 달성했다. 이러한 구성 요소 값들을 통해 약 96.2%의 평균 FSI가 산출되었다. 제안된 프레임워크는 평균 FSI를 CVC 대비 약 31.5%포인트, CMAC 대비 23.7%포인트, RLVR 대비 14.7%포인트, DERC 대비 20.2%포인트, SBCM 대비 11.7%포인트 향상시켰다. 균형 잡힌 구성 요소 값들은 해당 프레임워크가 전압 안정성, 혼잡 관리, 재생 에너지 통합, 부하 분산, 협조 효율 및 응답 속도 전반에 걸쳐 성능을 유지했음을 보여주었다. 매 시뮬레이션 실행 시, 전압 안정성, 혼잡 제어, 재생 에너지 통합, 부하 분산, 협조 효율, 응답 속도라는 6가지 성능 구성 요소의 산술 평균을 사용하여 전체 FSI를 결정했다. 언급된 평균 및 표준 편차를 계산하기 위해 5회의 개별 시뮬레이션 실행을 수행했다.
그림 12: Feeder Stability Index (FSI). 전압 안정성, 혼잡 제어, 재생 에너지 통합, 부하 분산, 조정 효율성 및 응답 속도의 6가지 성능 구성 요소에 대해 제안된 프레임워크와 기준 방법들의 Feeder Stability Index를 비교한 레이더 차트이다. 값이 높을수록 각 구성 요소의 성능이 더 좋음을 나타낸다. 약어: FSI, Feeder Stability Index; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. 여기를 클릭하여 이 그림의 더 큰 버전을 확인하십시오.
| 평가 파라미터 | CVC (%) (평균 ± 표준편차) | CMAC (%) (평균 ± 표준편차) | RLVR (%) (평균 ± 표준편차) | DERC (%) (평균 ± 표준편차) | SBCM (%) (평균 ± 표준편차) | 제안된 방법 (%) (평균 ± 표준편차) |
| 전압 안정성 | 68.0 ± 0.6 | 74.0 ± 0.5 | 82.0 ± 0.4 | 77.0 ± 0.5 | 86.0 ± 0.3 | 97.0 ± 0.2 |
| 혼잡 제어 | 64.0 ± 0.6 | 71.0 ± 0.5 | 79.0 ± 0.4 | 74.0 ± 0.5 | 84.0 ± 0.3 | 96.0 ± 0.2 |
| 재생 에너지 통합 | 62.0 ± 0.5 | 70.0 ± 0.5 | 81.0 ± 0.4 | 76.0 ± 0.4 | 83.0 ± 0.3 | 95.0 ± 0.2 |
| 부하 분산 | 66.0 ± 0.5 | 73.0 ± 0.4 | 80.0 ± 0.4 | 75.0 ± 0.4 | 82.0 ± 0.3 | 94.0 ± 0.2 |
| 조정 효율성 | 65.0 ± 0.5 | 75.0 ± 0.4 | 83.0 ± 0.3 | 78.0 ± 0.4 | 87.0 ± 0.3 | 98.0 ± 0.2 |
| 응답 속도 | 63.0 ± 0.5 | 72.0 ± 0.4 | 84.0 ± 0.3 | 76.0 ± 0.4 | 85.0 ± 0.3 | 97.0 ± 0.2 |
| 평균 FSI 점수 | 64.7 ± 0.5 | 72.5 ± 0.5 | 81.5 ± 0.4 | 76.0 ± 0.4 | 84.5 ± 0.3 | 96.2 ± 0.2 |
표 7: 피더 안정성 지수 (FSI): 전압 안정성, 혼잡 제어, 재생 에너지 통합, 부하 분산, 조정 효율성 및 응답 속도를 기반으로 한 5회의 독립적인 시뮬레이션 실행에서 얻은 피더 안정성 지수(FSI)의 평균 ± 표준편차. 약어: FSI, Feeder Stability Index; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management.
그림 13 부하 분산 효율(Load Balancing Efficiency, LBE)을 제시합니다. CVC는 균형 잡힌 부하 분산 42%, 중간 정도의 부하 안정성 18%, 동적 적응형 분산 8%를 포함하여 약 68%의 전체 LBE를 달성했습니다. CMAC과 DERC는 각각 약 80%와 86%의 전체 수치를 달성했습니다. RLVR은 약 92%, SBCM은 약 96%에 도달했습니다. 제안된 프레임워크는 균형 잡힌 부하 분산 72%, 중간 정도의 부하 안정성 20%, 동적 적응형 분산 6%를 포함하여 약 98%의 전체 LBE를 달성했습니다. 이 결과는 제안된 접근 방식이 평가된 방법들 중 가장 높은 전체 부하 분산 성능을 유지했음을 보여주었습니다.
그림 13: 부하 분산 효율(Load Balancing Efficiency, LBE). 제안된 프레임워크와 베이스라인 방법들의 부하 분산 효율(Load Balancing Efficiency)을 비교한 누적 막대 그래프. 각 누적 막대는 세 가지 성능 구성 요소로 이루어져 있습니다: 균형 잡힌 하중 분산, 중등도 부하 안정성, 및 동적 적응형 균형 조절, 이들의 합산 값은 각 방법의 전체 LBE를 나타내며, 총값이 높을수록 부하 분산 성능이 더 우수함을 의미합니다.. 약어: LBE, 부하 분산 효율; CVC, 중앙 집중식 전압 제어; CMAC, 기존 다중 에이전트 제어; RLVR, 강화 학습 기반 전압 조정; DERC, 분산 에너지 자원 조정; SBCM, 민감도 기반 혼잡 관리. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 14 재생 가능 에너지 이용 효율(RUE)을 나타냅니다. CVC는 50%에서 61%로 증가했습니다. CMAC과 DERC는 각각 70%와 75%에 도달했습니다. RLVR은 82%, SBCM은 86%에 도달했습니다. 제안된 프레임워크는 초기 학습 단계의 72%에서 수렴 시 약 98%까지 증가했습니다. 제안된 프레임워크는 CVC보다 약 37퍼센트 포인트, CMAC보다 28퍼센트 포인트, RLVR보다 16퍼센트 포인트, DERC보다 23퍼센트 포인트, SBCM보다 12퍼센트 포인트 더 높았습니다. 더 높은 RUE는 제안된 오케스트레이션 정책이 부하 및 혼잡 조건이 변화하는 상황에서 가용 재생 에너지 발전량을 더 높은 비율로 사용했음을 보여주었습니다.
그림 14: 재생 가능 이용 효율(Renewable Utilization Efficiency, RUE). 저전압 배전선로 오케스트레이션 중 RUE의 비교 분석. 제안된 프레임워크를 각 베이스라인 방법과 5회의 독립적인 시뮬레이션 실행을 통해 비교하여 결과값을 평균 ± 표준편차(SD)로 나타내었으며, 95% 신뢰 구간 및 통계적 유의성을 다음 기준으로 평가함 p < 0.001약어: RUE, 재생 가능 이용 효율; CVC, 중앙 집중식 전압 제어; CMAC, 기존 다중 에이전트 제어; RLVR, 강화 학습 기반 전압 조정; DERC, 분산 에너지 자원 조정; SBCM, 민감도 기반 혼잡 관리. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.
그림 15 와 표 8 은 적응형 결정 정확도(ADA)를 나타냅니다. 제안된 프레임워크는 78%에서 99%로 증가하였습니다. CVC, CMAC, RLVR, DERC 및 SBCM은 각각 68%, 76%, 86%, 79% 및 88%로 수렴하였습니다. 제안된 프레임워크는 CVC보다 약 31% 포인트, CMAC보다 23% 포인트, RLVR보다 13% 포인트, DERC보다 20% 포인트, SBCM보다 11% 포인트 더 높았습니다. 더 높은 ADA는 협업 에이전트가 재생 에너지 풍부한 LV 운전 조건 하에서 더 정확한 오케스트레이션 결정을 선택했음을 나타냅니다.
그림 15: 적응형 결정 정확도 (ADA). 제안된 오케스트레이션 프레임워크와 베이스라인 방법들의 ADA 비교 분석. 값은 5회의 독립적인 시뮬레이션 실행을 통해 제안된 프레임워크와 각 베이스라인 방법을 비교하여 평균 ± SD로 표시하였으며, 95% 신뢰 구간과 통계적 유의성은 p < 0.001에서 평가됨. 약어: ADA, 적응형 결정 정확도; CVC, 중앙 집중식 전압 제어; CMAC, 기존 다중 에이전트 제어; RLVR, 강화 학습 기반 전압 조절; DERC, 분산 에너지 자원 조정; SBCM, 민감도 기반 혼잡 관리. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
| 훈련 에포크 | CVC (%) (평균 ± 표준편차) | CMAC (%) (평균 ± 표준편차) | RLVR (%) (평균 ± 표준편차) | DERC (%) (평균 ± 표준편차) | SBCM (%) (평균 ± 표준편차) | 제안된 방법 (%) (평균 ± 표준편차) |
| 1 | 58.0 ± 0.5 | 64.0 ± 0.5 | 70.0 ± 0.4 | 66.0 ± 0.5 | 72.0 ± 0.4 | 78.0 ± 0.3 |
| 2 | 60.0 ± 0.5 | 66.0 ± 0.5 | 73.0 ± 0.4 | 68.0 ± 0.5 | 75.0 ± 0.4 | 82.0 ± 0.3 |
| 3 | 61.0 ± 0.4 | 68.0 ± 0.4 | 76.0 ± 0.4 | 70.0 ± 0.4 | 78.0 ± 0.4 | 86.0 ± 0.2 |
| 4 | 62.0 ± 0.4 | 70.0 ± 0.4 | 78.0 ± 0.3 | 72.0 ± 0.4 | 80.0 ± 0.3 | 89.0 ± 0.2 |
| 5 | 63.0 ± 0.4 | 71.0 ± 0.4 | 80.0 ± 0.3 | 74.0 ± 0.4 | 82.0 ± 0.3 | 91.0 ± 0.2 |
| 6 | 64.0 ± 0.4 | 72.0 ± 0.4 | 82.0 ± 0.3 | 75.0 ± 0.3 | 84.0 ± 0.3 | 93.0 ± 0.2 |
| 7 | 65.0 ± 0.4 | 73.0 ± 0.3 | 83.0 ± 0.3 | 76.0 ± 0.3 | 85.0 ± 0.3 | 95.0 ± 0.2 |
| 8 | 66.0 ± 0.4 | 74.0 ± 0.3 | 84.0 ± 0.3 | 77.0 ± 0.3 | 86.0 ± 0.3 | 96.0 ± 0.2 |
| 9 | 67.0 ± 0.4 | 75.0 ± 0.3 | 85.0 ± 0.3 | 78.0 ± 0.3 | 87.0 ± 0.3 | 97.0 ± 0.2 |
| 10 | 68.0 ± 0.4 | 76.0 ± 0.3 | 86.0 ± 0.3 | 79.0 ± 0.3 | 88.0 ± 0.3 | 99.0 ± 0.2 |
표 8: 적응형 결정 정확도 (ADA): 제안된 지능형 피더 오케스트레이션 프레임워크와 베이스라인 방법을 비교한 5회 독립 시뮬레이션 실행의 적응형 결정 정확도 (ADA) 평균 ± 표준편차. 약어: ADA, 적응형 결정 정확도; CVC, 중앙 집중식 전압 제어; CMAC, 전통적 다중 에이전트 제어; RLVR, 강화 학습 기반 전압 조정; DERC, 분산 에너지 자원 조정; SBCM, 민감도 기반 혼잡 관리.
표 9는 시스템 신뢰성 개선(SRI) 결과를 보여줍니다. CVC는 60%에서 69%로 증가했습니다. CMAC는 약 78%, DERC는 약 81%, RLVR은 약 86%, 그리고 SBCM은 약 88%에 도달했습니다. 제안된 프레임워크는 초기 학습 단계의 80%에서 수렴 시 약 99%까지 증가했습니다. 제안된 프레임워크는 CVC보다 약 30%포인트, CMAC보다 21%포인트, RLVR보다 13%포인트, DERC보다 18%포인트, 그리고 SBCM보다 11%포인트 더 높았습니다. 이러한 더 높은 SRI는 제안된 프레임워크가 비교 방법들보다 피더 연속성, 전압 안정성, 혼잡 제어 및 적응형 재생 에너지 통합을 더 효과적으로 유지했음을 보여줍니다.
| 훈련 반복 횟수 | CVC (%) (평균 ± 표준편차) | CMAC (%) (평균 ± 표준편차) | RLVR (%) (평균 ± 표준편차) | DERC (%) (평균 ± 표준편차) | SBCM (%) (평균 ± 표준편차) | 제안된 방법 (%) (평균 ± 표준편차) |
| 1 | 60.0 ± 0.5 | 66.0 ± 0.5 | 72.0 ± 0.4 | 68.0 ± 0.5 | 75.0 ± 0.4 | 80.0 ± 0.3 |
| 2 | 61.0 ± 0.5 | 68.0 ± 0.5 | 74.0 ± 0.4 | 70.0 ± 0.5 | 77.0 ± 0.4 | 84.0 ± 0.3 |
| 3 | 62.0 ± 0.4 | 70.0 ± 0.4 | 76.0 ± 0.4 | 72.0 ± 0.4 | 79.0 ± 0.4 | 87.0 ± 0.2 |
| 4 | 63.0 ± 0.4 | 72.0 ± 0.4 | 78.0 ± 0.3 | 74.0 ± 0.4 | 81.0 ± 0.3 | 90.0 ± 0.2 |
| 5 | 64.0 ± 0.4 | 73.0 ± 0.4 | 80.0 ± 0.3 | 76.0 ± 0.4 | 83.0 ± 0.3 | 92.0 ± 0.2 |
| 6 | 65.0 ± 0.4 | 74.0 ± 0.4 | 82.0 ± 0.3 | 77.0 ± 0.3 | 84.0 ± 0.3 | 94.0 ± 0.2 |
| 7 | 66.0 ± 0.4 | 75.0 ± 0.3 | 83.0 ± 0.3 | 78.0 ± 0.3 | 85.0 ± 0.3 | 95.0 ± 0.2 |
| 8 | 67.0 ± 0.4 | 76.0 ± 0.3 | 84.0 ± 0.3 | 79.0 ± 0.3 | 86.0 ± 0.3 | 96.0 ± 0.2 |
| 9 | 68.0 ± 0.4 | 77.0 ± 0.3 | 85.0 ± 0.3 | 80.0 ± 0.3 | 87.0 ± 0.3 | 97.0 ± 0.2 |
| 10 | 69.0 ± 0.4 | 78.0 ± 0.3 | 86.0 ± 0.3 | 81.0 ± 0.3 | 88.0 ± 0.3 | 99.0 ± 0.2 |
표 9: 시스템 신뢰도 향상(SRI): 재생 에너지 비중이 높은 저압 배전 조건에서 5회의 독립적인 시뮬레이션 실행을 통해 얻은 시스템 신뢰도 향상(SRI)의 평균 ± 표준편차. 약어: SRI, System Reliability Improvement; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management.
제안된 프레임워크는 FeederBW 및 236-bus LV 데이터셋을 사용하여 재생 에너지 발전, 부하 수요, 전압 및 혼잡의 다양한 조건 하에서 평가되었습니다. 피더 수용성, 전압 준수, 혼잡 감소, 오케스트레이션 지연 시간, 수렴 속도, 분산 조정, 재생 에너지 수용, 전압 민감도, 혼잡 민감도, 피더 안정성, 부하 분산, 재생 에너지 활용도, 결정 정확도 및 시스템 신뢰성을 평가하였습니다.
이러한 지표 전반에 걸쳐, 제안된 프레임워크는 FAR, VCI, CRR, CS, DCE, RAC, VSS, CSI, FSI, LBE, RUE, ADA, SRI에서 가장 높은 최종 값을 나타냈으며, OL에서는 가장 낮은 값을 기록했습니다. 베이스라인 방법들이 동일한 데이터셋, 운영 시나리오, 시뮬레이션 환경, 중단 기준 및 평가 지표를 통해 평가되었으므로, 이러한 비교 결과는 전압 및 혼잡 민감도 평가와 결합된 협력적 다중 에이전트 강화 학습이 평가된 중앙 집중형 및 분산형 비교 방법들에 비해 적응형 피더 수용성을 향상시킨다는 가설을 뒷받침합니다.
분석 결과, 동적 오케스트레이션 전략(Dynamic Orchestration Strategy)은 오케스트레이션 지연 시간을 줄이는 동시에 피더 수용성, 전압 준수, 혼잡 완화, 재생 에너지 수용, 부하 분산, 분산형 조정, 결정 정확도 및 시스템 신뢰성을 향상시킨 것으로 나타났습니다. 또한, 이 프레임워크는 비교 방법들보다 더 빠르게 수렴했습니다. 평가된 시뮬레이션 조건 하에서 이러한 결과는 재생 에너지 발전의 불확실성과 부하 및 혼잡 조건의 변화 속에서 협력적이고 민감도를 인식하는 분산형 강화 학습이 저압 피더 오케스트레이션을 개선할 수 있다는 제안된 가설을 뒷받침했습니다.
데이터 가용성:
FeederBW 데이터셋은 https://doi.org/10.5281/zenodo.17831177에서, 236-Bus 저압 배전망 데이터셋은 https://doi.org/10.5281/zenodo.8274780에서 공개적으로 이용 가능합니다. 본 연구를 위해 개발된 Python 구현체는 시뮬레이션 프레임워크, 전처리 모듈, 다중 에이전트 강화 학습 환경, 모델 학습 및 평가 스크립트, 설정 파일, 그리고 제안된 방법론을 재현하는 데 필요한 입력 데이터 형식을 포함하며, Zenodo에 저장되어 https://doi.org/10.5281/zenodo.21423239에서 공개적으로 이용 가능합니다. 해당 저장소는 본 연구에서 보고된 방법론과 실험의 재현성을 지원합니다.
보충 파일 1. 제안된 동적 오케스트레이션 전략(Dynamic Orchestration Strategy)의 수학적 유도, 알고리즘 및 구현 세부 사항. 이 보충 파일은 데이터 전처리, 동적 저전압 네트워크 모델링, 다중 에이전트 환경 초기화, 강화 학습 기반 에이전트 학습, 전압 및 혼잡 민감도 평가, 협업 피더 수용 오케스트레이션, 그리고 성능 평가 지표를 포함하여 제안된 프레임워크의 각 단계로 구성된 수학적 공식들을 제공합니다. 또한, 협업 피더 수용 오케스트레이션 절차를 설명하는 알고리즘 1과 본 연구에 사용된 평가 지표의 수학적 정의가 포함되어 있습니다.여기를 클릭하여 파일을 다운로드하십시오.
토론
실험 결과, 제안된 동적 오케스트레이션 전략(Dynamic Orchestration Strategy)은 중앙 집중식 전압 제어(CVC)33, 전통적 멀티 에이전트 제어(CMAC)21, 강화 학습 기반 전압 조정(RLVR)20, 분산 에너지 자원 조정(DERC)26 및 감도 기반 혼잡 관리(SBCM)34와 비교하여 분산형 피더 조정, 재생 에너지 통합, 전압 안정성, 혼잡 관리 및 저지연 오케스트레이션 성능이 향상된 것으로 나타났다. 평가된 피더 수용률(FAR), 전압 준수 지수(VCI), 혼잡 감소율(CRR), 분산 조정 효율(DCE), 재생 에너지 이용 효율(RUE), 적응형 결정 정확도(ADA) 및 시스템 신뢰성 향상(SRI) 전반에 걸쳐, 제안된 프레임워크는 테스트 조건 하에서 더 높은 성능을 달성했다. FeederBW 및 236-버스 저압(LV) 데이터셋을 사용하여 얻은 결과는 협력적 멀티 에이전트 강화 학습을 전압 및 혼잡 감도 평가와 결합함으로써 적응형 피더 오케스트레이션의 효율성과 속도가 향상되었음을 보여주었다.
비교 분석 결과, 중앙 집중식 및 규칙 기반 조정 방법은 피더 조건이 변화할 때 오케스트레이션 응답 속도가 더 느리고, 재생 에너지 수용 능력이 낮으며, 적응형 조정 효율성이 떨어지고, 확장성이 더 제한적인 것으로 나타났다33,34. RLVR 및 SBCM은 강화 학습 및 민감도 인식 혼잡 관리 구성 요소 덕분에 다른 비교 방법보다 성능이 우수했지만, 협력적이고 분산된 피더 수용 오케스트레이션 메커니즘을 제공하지는 못했다. 반면, 제안된 프레임워크는 협력적 지능형 에이전트, 민감도 인식 피더 우선순위 지정, 적응형 오케스트레이션 최적화 및 분산 정책 학습을 결합하였다. 더 빠른 수렴 속도와 더 높은 안정성 지표는 이러한 결합 구조가 가변적인 재생 에너지 발전, 부하, 전압 및 혼잡 조건 하에서의 피더 운용을 지원함을 시사했다.
분산형 다중 에이전트 강화 학습 아키텍처는 단일 중앙 제어기에 의존하는 대신 피더 레벨 에이전트 간에 의사결정을 분산시켰습니다. 배전망의 규모가 커짐에 따라 개별 에이전트는 로컬 연산을 수행하고 인접 에이전트에 필요한 조정 정보만을 교환하였습니다. 이러한 구성은 중앙 집중식 계산 병목 현상과 통신 오버헤드를 줄여 확장성을 지원하였습니다35. 따라서 이 프레임워크는 더 높은 재생 에너지 보급률, 추가적인 피더 세그먼트 및 더 높은 운영 복잡성을 가진 더 큰 네트워크에 적용 가능할 것입니다. 다만, 매우 대규모로 배포하려면 분산 컴퓨팅 자원과 통신 프로토콜의 추가적인 최적화가 필요할 것입니다.
본 연구는 저압 배전선로 관리를 위한 분산 학습 기반 접근 방식을 제시하였습니다. 정적 운전 규칙이나 중앙 집중식 최적화에 주로 기반한 기존의 전압 제어 및 혼잡 관리 방법33과 달리, 제안된 전략은 전압 민감도 평가, 혼잡 인지 오케스트레이션, 강화 학습 기반 정책 최적화, 동적 배전선 수용 순위 지정 및 협력 에이전트 간 통신을 통합하였습니다. 이러한 통합을 통해 다중 에이전트 강화 학습의 활용 범위를 전압 조정 및 자원 조정에서 재생 에너지 비중이 높은 저압 배전망의 적응형 배전선 수용 오케스트레이션까지 확장하였습니다.
제안된 방법은 유틸리티, 스마트 그리드 운영자 및 신재생 에너지 관리 시스템의 피더 수용량 관리(feeder-acceptance management)를 지원할 수 있습니다. 그럼에도 불구하고, 실제 구현에 앞서 몇 가지 과제가 해결되어야 합니다. 통신 지연은 특히 대규모 네트워크에서 분산 에이전트 간의 정보 교환 및 조정 속도에 영향을 미칠 수 있습니다. 또한, 에이전트 간의 상호작용과 운영 데이터를 무단 액세스 및 사이버 공격으로부터 보호하기 위해 보안 통신 및 사이버 보안 조치가 필요할 것입니다. 기존 배전 관리 시스템(Distribution Management Systems)과의 통합을 위해서는 유틸리티 통신 프로토콜, 감독 제어 아키텍처 및 운영 절차와의 상호 운용성이 요구될 것입니다. 따라서 실제 구현은 저지연 통신 구조, 보안 데이터 전송, 표준화된 인터페이스 및 현장 검증에 달려 있습니다36,37.
본 연구는 FeederBW 및 236-버스 저압(LV) 데이터셋에 의존했다는 점과 미리 정의된 운전 및 통신 조건하에서 시뮬레이션 기반의 검증을 수행했다는 점에서 한계가 있다. 이러한 설정은 실제 전력망에서 발생하는 토폴로지, 교란, 통신 장애 또는 사이버-물리적 이벤트를 완전히 반영하지 못할 수 있다. 또한, 매우 대규모이거나 재생 에너지 비중이 높은 운전 조건에서는 계산 복잡성이 더욱 심화될 수 있다. 따라서 향후 연구에서는 추가적인 전력 회사 규모의 데이터셋, 실제 배전망, HIL(Hardware-in-the-loop) 플랫폼 및 현장 규모의 파일럿 설비를 사용하여 본 프레임워크를 평가해야 한다. 특히 HIL 플랫폼, 실제 전력망 및 더 큰 규모의 배전 시스템을 통해 제안된 프레임워크를 검증하는 데 집중할 것이다. 아울러, 향후 연구에서는 확장성과 운전 강건성을 더욱 향상시키기 위해 고급 강화 학습 아키텍처와 개선된 분산 협력 전략을 조사할 예정이다. 종합적으로, 시뮬레이션 결과는 전압 및 혼잡 민감도 평가와 결합된 협력적 다중 에이전트 강화 학습이 피더 수용성, 전압 준수, 혼잡 완화, 재생 에너지 통합, 분산 협력, 수렴성, 지연 시간 및 적응형 의사 결정을 개선할 수 있음을 보여주었다. 실제 전력 데이터, 현실적인 통신 지연, 사이버-물리적 중단, 그리고 HIL 또는 현장 테스트 조건에서의 추가적인 시험을 통해 실질적인 확장성과 운전 신뢰성을 확인하는 과정이 필요하다.
공개 사항
저자들은 상충하는 이해관계가 없음을 선언합니다.
감사의 글
본 연구는 Guangdong Power Grid Company의 Guangzhou Power Supply Bureau가 지원하는 “공정 자동화 기반 저압 계량 장비의 자동 수락 기술 연구”(프로젝트 코드: 030100KC24120100) 프로젝트를 통해 지원되었습니다.
재료
| 이름 | 회사 | 카탈로그 번호 | 댓글 |
|---|---|---|---|
| 236-버스 저압 배전망 데이터셋 | Canizes 외. | DOI: 10.5281/zenodo.8274780 | 제안된 프레임워크의 확장성 분석 및 대규모 검증에 사용된 공개 벤치마크 데이터셋 |
| 중앙 처리 장치 (CPU) | Intel Corporation | Intel Core i9-12900K (16코어) | 시뮬레이션 관리 및 환경 실행에 사용됨 |
| 혼잡 민감도 분석 모듈 | 자체 개발 모듈 | Zenodo DOI: 10.5281/zenodo.21423239 | 실시간 혼잡 민감도 계산 및 피더 우선순위 지정을 수행함 |
| CUDA 툴킷 | NVIDIA Corporation | CUDA 12.1 | 가속화된 PyTorch 모델 학습에 사용된 GPU 컴퓨팅 플랫폼 |
| cuDNN 라이브러리 | NVIDIA Corporation | cuDNN 9.3.0 | CUDA와 함께 사용되는 심층 신경망 가속 라이브러리 |
| 사용자 정의 동적 저전압(LV) 네트워크 시뮬레이터 | 자체 개발 모듈 | 버전 1.0 | 동적 피더 오케스트레이션(dynamic feeder orchestration) 실험을 위해 Python과 PyTorch를 사용하여 구현한 저자 개발 시뮬레이션 플랫폼입니다. 구현 세부 사항은 방법(Methods) 및 데이터 가용성(Data Availability) 섹션에 제공되어 있습니다. |
| 데이터 처리 라이브러리 | pandas 개발팀 | pandas 2.2.2 | 전처리, 특징 추출, 정규화 및 시계열 데이터 관리에 사용됨 |
| 딥러닝 프레임워크 | PyTorch 재단 | PyTorch 2.3.1 | 다중 에이전트 강화 학습(MARL) 모델 구현, 신경망 훈련 및 정책 최적화에 사용됨 |
| 분산 에이전트 통신 모듈 | 자체 개발한 프레임워크 | Zenodo DOI: 10.5281/zenodo.21423239 | 지능형 에이전트 간의 분산형 통신 및 협력적 정책 교환을 가능하게 함 |
| FeederBW 데이터셋 | Treutlein 외. | DOI: 10.5281/zenodo.17831177 | 실제 저압 배전선로 측정값, 재생 에너지 발전량 및 운전 프로필을 포함하는 공개 데이터 세트 |
| 그래픽 처리 장치 (GPU) | NVIDIA Corporation | GeForce RTX 3090, 24 GB GDDR6X | 신경망 훈련 및 병렬 연산에 사용되는 하드웨어 가속기 |
| 다중 에이전트 강화 학습 환경 | Farama Foundation | Gym 0.26.2 | 협업 지능형 에이전트 상호작용 및 학습을 위한 맞춤형 강화학습 환경 |
| 수치 계산 라이브러리 | NumPy 개발자 | NumPy 1.26.4 | 수치 계산, 텐서 조작 및 행렬 연산에 사용됨 |
| 운영 체제 | Canonical Ltd. | Ubuntu 22.04.5 LTS (64비트) | 모든 시뮬레이션 및 강화 학습 실험에 사용된 운영 체제 |
| Python 프로그래밍 언어 | Python Software Foundation | Python 3.11.9 | 알고리즘 구현, 시뮬레이션 및 모델 개발에 사용된 주요 프로그래밍 언어 |
| 시스템 메모리 | Lenovo | 64 GB DDR5 RAM | 대규모 MARL 시뮬레이션 및 데이터 처리를 위해 사용된 설치 시스템 메모리. |
| 전압 안정성 모니터링 모듈 | 자체 개발 모듈 | Zenodo DOI: 10.5281/zenodo.21423239 | 피더 오케스트레이션 중 전압 안정성과 준수 여부를 지속적으로 평가함 |
참고문헌
- Ahmed F, et al. A multi-agent reinforcement learning framework for voltage-constrained incentive demand response in PV-rich low-voltage distribution systems. IEEE Access. 2026;14:45410–22.
- Lamsal D, Sreeram V, Mishra Y, Kumar DS. Smoothing control strategy of wind and photovoltaic output power fluctuation by considering the state of health of battery energy storage system. IET Renew Power Gener. 2019;13:578–86.
- Allahmoradi S, et al. Data-driven Volt/VAR optimization for modern distribution networks: A review. IEEE Access. 2024;12:71184–204.
- O'Connell N, Pinson P, Madsen H, O'Malley M. Benefits and challenges of electrical demand response: A critical review. Renew Sustain Energy Rev. 2014;39:686–99.
- Hossain MS, Madlool NA, Al-Fatlawi AW, El Haj Assad M. High penetration of solar photovoltaic structure on the grid system disruption: An overview of technology advancement. Sustainability. 2023;15:1174. https://doi.org/10.3390/su15021174
- Rahmouni A. Impact of static reactive power compensator (SVC) on the power grid. WSEAS Trans Electron. 2020;11:96–104.
- Chandran CV, et al. Application of demand response to improve voltage regulation with high DG penetration. Electr Power Syst Res. 2020;189:106722. https://doi.org/10.1016/j.epsr.2020.106722
- Wang Q, et al. A demand response strategy in high photovoltaic penetration power systems considering the thermal ramp rate limitation. IEEE Access. 2019;7:163814–22.
- Wang Z, et al. How to effectively implement an incentive-based residential electricity demand response policy? Experience from large-scale trials and matching questionnaires. Energy Policy. 2020;141:111450. https://doi.org/10.1016/j.enpol.2020.111450
- van Tilburg J, Siebert LC, Cremer JL. MARL-iDR: Multi-agent reinforcement learning for incentive-based residential demand response. arXiv. 2023. https://arxiv.org/abs/2304.04086
- Bahrami S, Chen YC, Wong VWS. Deep reinforcement learning for demand response in distribution networks. IEEE Trans Smart Grid. 2021;12:1496–506.
- Li J, et al. Model-free reinforcement learning economic dispatch algorithms for price-based residential demand response management system. IEEE Trans Ind Cyber-Phys Syst. 2023;1:123–35.
- Zheng S, et al. Incentive-based integrated demand response for multiple energy carriers under complex uncertainties and double coupling effects. Appl Energy. 2021;283:116254. https://doi.org/10.1016/j.apenergy.2020.116254
- Nainar K, Pillai JR, Bak-Jensen B. Incentive price-based demand response in active distribution grids. Appl Sci. 2020;11:1–17.
- Nguyen Duc T, et al. Impact of renewable energy integration on a novel method for pricing incentive payments of incentive-based demand response program. IET Gener Transm Distrib. 2022;16:1648–67.
- Pourramezan A, Samadi M. A novel approach for incorporating incentive-based and price-based demand response programs in long-term generation investment planning. Int J Electr Power Energy Syst. 2022;142:108315. https://doi.org/10.1016/j.ijepes.2022.108315
- Mathew A, Roy A, Mathew J. Intelligent residential energy management system using deep reinforcement learning. IEEE Syst J. 2020;14:5362–72.
- Khan DA, Arshad A, Lehtonen M, Mahmoud K. Combined DR pricing and voltage control using reinforcement learning based multi-agents and load forecasting. IEEE Access. 2022;10:130839-49.
- Zhang X, et al. An edge-cloud integrated solution for buildings demand response using reinforcement learning. IEEE Trans Smart Grid. 2021;12:420–31.
- Duan J, et al. Deep-reinforcement-learning-based autonomous voltage control for power grid operations. IEEE Trans Power Syst. 2020;35:814–7.
- Wang S, et al. A data-driven multi-agent autonomous voltage control framework using deep reinforcement learning. IEEE Trans Power Syst. 2020;35:4644–54.
- Turitsyn K, Sulc P, Backhaus S, Chertkov M. Options for control of reactive power by distributed photovoltaic generators. Proc IEEE. 2011;99:1063–73.
- Bedawy A, et al. Optimal voltage control strategy for voltage regulators in active unbalanced distribution systems using multi-agents. IEEE Trans Power Syst. 2020;35:1023–35.
- Bedawy A, Yorino N, Mahmoud K. Management of voltage regulators in unbalanced distribution networks using voltage/tap sensitivity analysis. Presented at: International Conference on Innovative Trends in Computer Engineering (ITCE); Aswan, Egypt; 2018. https://doi.org/10.1109/itce.2018.8316651
- Smith O, et al. The effect of renewable energy incorporation on power grid stability and resilience. Sci Adv. 2022;8:eabj6734. https://doi.org/10.1126/sciadv.abj6734
- Charbonnier F, Morstyn T, McCulloch MD. Scalable multi-agent reinforcement learning for distributed control of residential energy flexibility. Applied Energy. 2022;314:118825. doi:10.1016/j.apenergy.2022.118825
- Dugan J, Mohagheghi S, Kroposki B. Application of mobile energy storage for enhancing power grid resilience: A review. Energies. 2021;14:6476. https://doi.org/10.3390/en14206476
- Panossian N, et al. Challenges and opportunities of integrating electric vehicles in electricity distribution systems. Curr Sustain Renew Energy Rep. 2022;9:27–40.
- Guan Q, et al. Dynamic-aware deep reinforcement learning for heterogeneous fleet-based capacitated electric vehicle routing problems. Applied Energy. 2026;413:127757. https://doi.org/10.1016/j.apenergy.2026.127757
- Guan Q, et al. Heterogeneous attention-driven deep reinforcement learning for solving EVRPs with pickup-delivery and time windows. Applied Energy. 2026;407:127355. https://doi.org/10.1016/j.apenergy.2026.127355
- Treutlein M, et al. Real-world energy data of 200 feeders from low-voltage grids with metadata in Germany over two years (Version v1.0) [Data set]. Zenodo; 2025. https://doi.org/10.5281/zenodo.17831177
- Canizes B, Castro F, Silveira V, Vale Z. 236-Bus Low Voltage Distribution Network Data [Data set]. Zenodo; 2023. https://doi.org/10.5281/zenodo.8274780
- Xi, Haikuo & Chen, Can & Bai, Xuesong & Ma, Yuan & Ding, Jiachao & Chen, Qifang. (2024). Centralized and decentralized combined voltage control for distribution network with high penetration PV connected. Journal of Physics: Conference Series. 2771. 012040. 10.1088/1742-6596/2771/1/012040.
- Singh AK, Parida SK. Congestion management with distributed generation and its impact on electricity market. International Journal of Electrical Power & Energy Systems. 2013;48:39–47. doi:10.1016/j.ijepes.2012.11.025.
- Gooi HB, Wang T, Tang Y. Edge intelligence for smart grid: A survey on application potentials. CSEE Journal of Power and Energy Systems. 2023;9(5):1623–1640. https://doi.org/10.17775/CSEEJPES.2022.02210
- Molokomme DN, Onumanyi AJ, Abu-Mahfouz AM. Edge intelligence in smart grids: A survey on architectures, offloading models, cyber security measures, and challenges. Journal of Sensor and Actuator Networks. 2022;11(3):47. https://doi.org/10.3390/jsan11030047
- Chang Z, Liu S, Xiong X, Cai Z, Tu G. A survey of recent advances in edge-computing-powered artificial intelligence of things. IEEE Internet of Things Journal. 2021;8(18):13849–13875.