このコンテンツを表示するには、JoVEへの購読が必要です。 または、無料トライアルをお申し込みください。

研究記事

FeederBWデータセットおよび236バス低圧配電ネットワークを用いた、マルチエージェント強化学習に基づく動的フィーダー受入オーケストレーション

72 回視聴

⸱

DOI:

10.3791/72365

⸱

2026年9月8日

 ,  ,  ,  ,  , 
1Metrology Center, Guangzhou Power Supply Bureau, Guangdong Power Grid Co., Ltd.

この記事について

サマリー

本研究では、協調的マルチエージェント強化学習を用いた低圧配電線受入のための動的オーケストレーション戦略を提示します。インテリジェントエージェントが、不確実な条件下で配電線運用、混雑管理、電圧安定性、および再生可能エネルギーの統合を調整します。このアプローチは、FeederBWおよび236-busデータセットを用いたシミュレーションを通じて評価されました。

要約

分散型再生可能エネルギー源の広範な統合と低圧（LV）配電線の急速な拡大により、配電線の受入および混雑調整に関する運用上の課題が生じています。既存の電圧制御および配電線管理手法は、断続的な再生可能エネルギー発電やネットワーク条件の変化において、拡張性と適応性が限定的である可能性があります。これらの制限に対処するため、本研究では、マルチエージェント強化学習アプローチにおけるインテリジェントエージェントの協調に基づいた、低圧配電線受入のための動的オーケストレーションフレームワークを提案します。主に電圧安定化に焦点を当てた電圧制御戦略とは異なり、提案するフレームワークは、配電線監視、混雑管理、および電圧感度に基づく優先順位付けを担うエージェントの協調動作を通じて、動的な配電線受入をサポートします。各エージェントは独立して配電線の状態を観測し、混雑状況と電圧感度を評価して、配電線受入の決定について協調しました。このフレームワークは、FeederBWデータセットおよび236バス低圧配電ネットワークデータセットを用い、さまざまな再生可能エネルギー統合レベルおよび負荷条件下でのシミュレーションを通じて評価されました。提案したフレームワークは、配電線受入率97%、電圧準拠指数98%、報告されたハードウェア上でのオーケストレーションアルゴリズムの実実行時間として測定されたオーケストレーション遅延98 ms、および収束速度98.5%を達成し、評価した集中型協調手法を上回る性能を示しました。また、結果は、シミュレーションした低圧配電ネットワーク条件下において、適応性、運用のレジリエンス、および分散型意思決定の効率が向上したことを示しました。

概要

現代の電力システムは、電力需要の増大と分散型電源の利用拡大により、運用上の重大な課題に直面しています。電力の供給と需要の不均衡や、分散型電源の急激な増加は、公益事業体やエンドユーザーに経済的負担を強いるだけでなく、グリッドの安定性を脅かす可能性があります。そのため、従来の化石燃料ベースの中央集中制御型電力インフラは、分散型で再生可能エネルギー主導の設計へと移行しています。この移行により、より手頃で環境的に持続可能なエネルギー源へのアクセスが改善されました。しかし、太陽光発電（PV）の間欠的かつ予測不可能な性質は、グリッドの信頼性に関する懸念を引き起こしています1,2。

環境へのメリット、拡張性、およびコストの低下により、世界的なエネルギー転換に伴いPV（太陽光発電）の導入が加速しています。国際再生可能エネルギー機関によれば、2050年までにPV容量は世界的な電力供給の22%以上を占めると予想されており、太陽光PVは2030年までに世界の電力供給の主要な寄与要素になると期待されています3。このような広範な統合は、従来の電力システム、特に運用の安定性と信頼性において重大な課題をもたらします。PV発電は間欠的であり、ディスパッチャビリティ（出力調整能力）がないため、電圧変動が極めて重要な懸念事項となっており、配電および送電ネットワークにおける普及率が高まるにつれて、その影響はより顕著になります4。

日射量の変動はPV出力に直接的に影響し、急激な電圧変化を引き起こす可能性があります。雲の移動、急激な日射量の変化、および負荷過渡現象により、既存のグリッドアーキテクチャでは十分に対応できない電圧変動が生じる場合があります5。従来の技術は、集中型で比較的安定したグリッド構成においては有効でしたが、分散化が進むネットワークへの適合性は低くなっています。特にPVの導入率が高い状況では、急速な双方向の電圧変化が従来の電力システムの能力を超える可能性があります6。制御されない変動は、電圧制限への抵触や、敏感な負荷への影響を招き、グリッドの安全性を損なう恐れがあります。

したがって、スマート負荷や分散型リソースの配電ネットワークへの統合により、より高度な制御戦略の開発が促進されています。分散設備を継続的に監視し調整するインテリジェント制御システムは、分散型電源の割合が高い低圧（LV）ネットワークにおける課題の軽減に寄与します7。また、大規模なPV（太陽光発電）の統合は、特にPV出力が低下し、火力発電ユニットが迅速に反応しなければならない場合に、ランプレート制限を超えることがあるなど、火力発電の運用上の困難を引き起こします8。同時に、デマンドレスポンス（DR）プログラムは、長期的な持続可能性と経済的な実現可能性のバランスを維持する必要があります9。

DR（デマンドレスポンス）プログラムは、分散型電源の統合を支援すると同時に、電力の需給バランスの調整に寄与することができる。これらのプログラムは、価格ベースDRまたはインセンティブベースDR（IBDR）に分類される。価格ベースDRは、変動料金制に応じて消費者が電力使用量を調整することを促すものであるのに対し、IBDRは、要請に応じて消費量を削減した場合に、固定または変動の金銭的インセンティブを提供する。10しかしながら、価格ベースのデマンドレスポンス（DR）は、消費者を変動する卸売価格にさらすことになり、また電力会社の視点からは運用上の柔軟性が限定的であるため、リスク回避的な参加者の意欲を削ぐ可能性があります。11,12.

PV（太陽光発電）が多く導入された配電システムにおけるIBDRに関する研究がいくつか行われています。ある研究では、高いPV普及率にIBDRを組み合わせた際の課題と利点を評価していますが、世帯レベルのホームエネルギー管理システムではなく、総電力消費に焦点を当てています13。別の研究では、インセンティブに基づく電圧管理手法が提案されており、価格信号によって間接的にバッテリー動作を制御し電圧制限を維持していますが、世帯の需要は明示的にモデル化されていません14。インセンティブ支払額を決定するためのファジィ論理に基づく手法では、消費者の満足度と再生可能エネルギーの統合コストが考慮されましたが、フィーダーレベルの分析は含まれていませんでした15。また、火力発電と再生可能エネルギー発電の両方を含み、価格ベースおよびインセンティブベースのDRを組み込んだ長期発電計画についても研究されていますが、ユーザーの快適性や世帯レベルの需要は考慮されていません16。

深層強化学習（RL）は、住宅向けDRにも適用されている。時間帯別料金制における統合負荷制御のための深層RL手法が提案されているが、ユーザー数の少なさや家電レベルのスケジューリングの欠如により、その汎用性は限られていた17。DRと電圧制御を組み合わせたマルチエージェント強化学習フレームワークでは、負荷予測に長短期記憶（LSTM）ネットワークが使用されたが、負荷制限に起因する顧客の不満は解消されなかった18。他の研究では、マルコフ決定過程を用いて商業ビルの空調システムのDR調整に焦点を当てているが、他の住宅負荷は考慮されていない19。既存の深層RLによる電圧制御研究では、一般にDRとPV統合の両方が組み込まれていない20,21。

スマートインバータは、PV出力の急激かつ不規則な変動に迅速に反応することができます22。電圧違反が発生した際、PVインバータはミリ秒単位で動作できますが、従来の装置では数秒を要する場合があります23。いくつかの研究では、電圧レギュレータを協調させるためのマルチエージェントアプローチや、従来の電圧コントローラ動作の修正を含む、標準的な装置制御手順の変更が提案されています24。それにもかかわらず、蓄電設備を併設していない単独のPV発電は、日中の正味輸入量を減少させたとしても、電圧変動を悪化させる可能性があり、夕方のピークを緩和することはありません24,25。また、家庭用バッテリーは、その出力指令が地域の需要および発電と協調されていない場合、日中のPV余剰期間中に使い果たされ、夜間の電気自動車充電に利用できなくなる可能性があります26,27。確率的な需要、断続的な発電、および多様な蓄電挙動の複合的な影響により、配電システム運用者にとって容量管理、資産の寿命、およびレジリエンスが重要な課題となっています28。ホームエネルギー管理システム（HEMS）は、顧客レベルで自動制御を実装するための潜在的な手段の一つを提供します。RLは、エージェントが環境との相互作用を通じて制御戦略を学習しながら、不確実性に対処し、低レイテンシで意思決定を行えるため、このようなアプリケーションに適しています。

電気自動車のルーティングにおける進展は、深層強化学習（deep RL）がいかにして動的なエネルギー制約を管理できるかを示しています。不均一な車両フリートに基づく容量制限付き電気自動車ルーティング問題では、多様なフリート間での最大エネルギー消費量を最小限に抑えつつ、走行ダイナミクス、道路特性、運動抵抗、および充電効率を組み込んでいます29。動的認識型の深層強化学習手法では、この問題をカスタマイズされたマルコフ決定過程として構成し、エンコーダ・アップデータ・デコーダ構成を採用しています。この設計において、エンコーダは頂点と車両の役割固有の表現を生成し、アップデータは文脈情報の変化に応じて車両トークンを洗練させ、デコーダは車両の選択と車両固有の頂点選択を分離することで、適応的な意思決定をサポートします。同様に、集荷・配送および時間枠を伴うエネルギー最適化電気自動車ルーティング問題では、充電動作、時間依存の走行ダイナミクス、および詳細なルート情報を含む高解像度のエネルギー消費モデルを使用しています30。不均一なアテンション駆動型深層強化学習フレームワークは、ルーティングタスクをマルコフ決定過程として表現し、デポ、顧客、および充電ステーション間の役割固有の相互作用を捉えるエンコーダと、状態遷移および時間的な実現可能性を追跡するデコーダを備えています。

こうした進展があるにもかかわらず、ほとんどの低圧（LV）配電管理の研究では、再生可能エネルギーの不確実性下における動的なフィード・アクセプタンス（受入）のオーケストレーションよりも、電圧安定化や無効電力の最適化が重視されています。インテリジェント・インバータや機械学習に基づく分散型電圧制御手法は、一般的に電圧補償と無効電力の最適化に焦点が当てられており、複雑なLVネットワークにおける適応的なフィード受入制御や混雑ベースのオーケストレーションには対応していません。同様に、デマンドレスポンス（DR）のための電圧制約付きマルチエージェント強化学習アプローチにおいても、相互接続されたLV配電システムにおける協調的なフィード受入管理、分散型の混雑認識オーケストレーション、またはノードレベルのアドミッション制御は直接的に扱われていません。マルチエージェント協調に基づく協調的電圧調整手法は、通常、PVインバータを用いて電圧偏差とタップ操作を最小限に抑えますが、適応的なフィード受入や、再生可能エネルギーに関連する受入の不安定性、あるいは動的なネットワーク条件下での分散型オーケストレーションについては考慮されていません。

現在の分散型およびマルチエージェントのリソース調整手法においても、混雑認識、時間的適応性、およびスケーラビリティに限界があります。その多くは、適応的なフィーダーレベルの受入制御や電圧を考慮したオーケストレーションよりも、過負荷解析、分散型エネルギーリソースの相互作用、または料金主導のエネルギー管理に重点を置いています。また、部分的な中央集権化や静的な優先順位への依存が、分散型の意思決定、混雑波及への迅速な対応、および再生可能エネルギーの変動への適応をさらに制限する可能性があります。したがって、FeederBWや236バス低圧（LV）配電ネットワークなどの大規模データセットを用いた適応的なフィーダー受入管理を実現するためには、協調的なエージェント調整と電圧および混雑感度解析を組み合わせた、完全分散型の強化学習ベースのフレームワークが必要です。

本研究において、フィーダー受入（feeder acceptance）とは、ネットワークのセキュリティ、電圧準拠、熱負荷制限、および運用信頼性を維持しつつ、低圧（LV）フィーダーに追加の分散型エネルギー資源や電気負荷を収容できるかどうかを判断するための適応的な運用プロセスを指します。フィーダー受入の運用境界には、新しいフィーダー接続の承認または優先順位付けを行う前に、フィーダー容量、電圧感度、混雑状況、および再生可能エネルギーの変動性を評価することが含まれます。電圧プロファイルを調整する従来の電圧制御、リソースの運用を管理する分散型エネルギー資源の協調、あるいはネットワークの過負荷を軽減する混雑管理とは異なり、フィーダー受入は、再生可能エネルギーが豊富な条件下で動的、分散的かつ適応的なオーケストレーションをサポートするために、協調的マルチエージェント強化学習フレームワーク内でこれらの機能を統合します。

本研究の目的は、変動する運転条件および再生可能エネルギーの不確実性の下で、低圧配電線受入のための協調的なインテリジェントエージェントベースの動的オーケストレーション戦略を開発することである。提案するフレームワークは、配電線の状態、電圧感度、混雑感度、および受入容量を動的に評価することで分散型の配電線受入オーケストレーションを行い、これにより静的な電圧制御手法を超えた適応的な優先順位付けと意思決定を可能にする。本研究では、FeederBWデータセットおよび236バス低圧配電ネットワークデータセットを用いて、大規模低圧システム向けの拡張可能なマルチエージェント強化学習アーキテクチャを開発している。強化学習による学習と、シミュレーション上の各運転間隔で実行される低遅延の協調最適化を通じて、本フレームワークは、混雑の波及を抑制し、電圧コンプライアンスを向上させ、オーケストレーションの遅延を低減し、分散協調の効率を高めるように設計されている。

本フレームワークは、静的な電圧制御に基づくフィーダー管理戦略に代わる、動的な低圧（LV）フィーダー受入オーケストレーション手法を提示する。これには、再生可能エネルギーの不確実性および変動する負荷条件に対応するための分散型マルチエージェント強化学習アーキテクチャ、低遅延条件および動的なフィーダー優先順位付けに基づく分散型アドミッション管理、クリティカルなフィーダーを特定し受入判定を優先させるための電圧および混雑感度の統合指標、近隣エージェント間の協調通信、ならびにフィーダーの安定性向上、混雑緩和、電圧準拠、および収束性を改善するための継続的な強化学習ベースのポリシー最適化が含まれる。また、FeederBWおよび236バスLVデータセットを用いた大規模シミュレーションによる検証を行った。比較結果から、従来の集中型協調手法と比較して、フィーダーの受入率、混雑緩和、オーケストレーション遅延、収束速度、および電圧準拠が向上していることが示された。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

プロトコル

本研究では、ヒト被験者、脊椎動物、ヒト組織、または動物組織は使用していません。本研究では、公開されているデータセット（FeederBWデータセットおよび236バス低圧配電ネットワークデータセット）とコンピュータシミュレーションのみを使用しました。したがって、本研究は機関審査委員会（IRB）による審査、倫理的承認、またはインフォームドコンセントによる承認を必要としませんでした。

エージェント協調に基づく低圧配電線受入のための動的オーケストレーション戦略は、再生可能エネルギーが豊富な運転条件下に向けて、マルチエージェント強化学習（MARL）を用いて開発されました。FeederBWおよび236バス低圧データセットを前処理、正規化、および時間同期させ、配電線の状態、分散型エネルギー資源、電圧感応地域、および混雑状況を表す動的ネットワークモデルを構築しました。インテリジェントエージェントを配電線区間およびネットワーク接点に割り当て、局所的な電圧、混雑、再生可能エネルギー発電の不確実性、および配電線受入容量を監視し、隣接エージェントと情報を交換し、分散型強化学習を通じてオーケストレーションポリシーを更新させました。報酬関数は、混雑、電圧の不安定性、および調整遅延を制限しつつ、配電線受入を向上させるように設計されました。電圧、配電線負荷、変圧器負荷、および混雑制約を考慮した一方で、三相不平衡運転、高度な太陽光発電インバータ制御、および無効電力補償は明示的にモデル化していません。全体のフレームワークを図1に示します。本研究で使用した研究ツールを材料表に記載します。

マルチエージェントシステムと強化学習を用いた動的LVネットワークモデリングのグリッド図。
図1: 提案フレームワークのアーキテクチャ。インテリジェントエージェント、強化学習、混雑分析、および適応的フィード配線調整を組み込んだ動的オーケストレーションフレームワークの概略図。こちらのリンクをクリックして、この図の拡大版を表示してください。

1. データ収集

データは、FeederBWデータセット31および236バス低圧（LV）配電データセット32から取得されました。これらのデータセットが選定されたのは、分散型オーケストレーションおよび強化学習ベースのエージェント学習に必要な、フィーダーのトポロジー、電圧条件、再生可能エネルギー発電の挙動、負荷需要、混雑状況、および動的な運転プロファイルに関する情報が含まれていたためです。

FeederBWデータセットは、主に低圧（LV）グリッドにおけるフィーダー運用、再生可能エネルギーの間欠性、電圧偏差、および混雑伝播のモデル化に使用されました。このデータセットには、適応的なオーケストレーション分析を支援するフィーダー運用データ、分散電源の動作、ノード電圧測定値、および負荷変動が含まれていました。236バスのLVデータセットは、拡張性と分散協調の評価に使用されました。これには、バス接続情報、フィーダー負荷条件、ノード電圧特性、分散型再生可能エネルギーの浸透度、および混雑に敏感な運用ケースが含まれていました。これら2つのデータセットを併用することで、再生可能エネルギーの浸透率が高い条件下でのフィーダーレベルおよび大規模な分析が可能となりました。データセットの特性およびフレームワークにおける目的を表1にまとめます。

データセット名データセットタイプノード数/バス数データ属性提案研究の目的
FeederBWデータセット低圧配電線運用データセット複数のフィーダーノード電圧プロファイル、再生可能エネルギー発電、負荷需要、混雑状態、フィーダーの運転挙動低遅延フィーダーオーケストレーション、輻輳分析、適応的受理優先順位付け
236バス低圧（LV）データセット大規模低圧配電データセット236台のバスバス・トポロジー、フィーダー負荷、電圧感度、再生可能エネルギー導入率、混雑ダイナミクススケーラビリティ検証、分散コーディネーション評価、大規模オーケストレーション解析

表1：データセットの特性。提案された低電圧オーケストレーションフレームワークにおける、データセットの説明、動作属性、およびその目的。

2. データの前処理

取得したデータセットは、一貫性、時間的な整合性、および強化学習の安定性を向上させるために前処理が行われました。欠損エントリ、誤測定値、重複レコード、および不整合なフィーダーデータは、統計的な前処理手順を用いてフィルタリングされました。このステップは、フィーダー運用データ、再生可能エネルギー発電プロファイル、電圧測定値、および混雑状態データの間の一貫性を維持するために行われました。すべての運用変数は、入力特徴量をエージェントの学習に適した共通のスケールに変換するため、min–max正規化されました。正規化された変数には、フィーダー電圧、有効電力需要、再生可能エネルギー発電量、混雑状況、およびフィーダー受入容量が含まれます。前処理手順の数式は、Supplementary File 1 (Section 1)に記載されています。

3. 動的低電圧ネットワークモデリング

データの収集と前処理の後、負荷および発電条件の変動下における再生可能エネルギー発電比率の高い配電システムの動作をシミュレートするために、動的な低圧（LV）ネットワークモデルを構築しました。このモデルは、フィーダーのトポロジー、分散型エネルギーリソースの動作、電圧感応領域、および混雑の波及を動的に追跡しました。

静的なネットワーク表現とは異なり、本モデルは再生可能エネルギーの間欠性、消費者の需要、および混雑状況に応じて配電線の挙動を更新します。FeederBWおよび236-bus LVデータセットを用いて相互接続された配電線を構築し、バス、変圧器、分散型再生可能エネルギー源、および負荷をネットワークノードとして表現しました。各配電線ノードからは、電圧振幅、有効電力需要、再生可能エネルギー発電量、配電線負荷状況、および混雑状況に関する最新情報が提供されました。インテリジェントエージェントはこれらの変数を用いて配電線の挙動を監視し、分散型のオーケストレーション決定を行いました。また、このネットワークモデルは、継続的な感度分析を通じて、感度が高い領域の特定および配電線の受入優先順位付けを可能にしました。

LV配電網は、バスステーション、フィーダーライン、変圧器、再生可能エネルギー源、および消費者負荷ノードを含むグラフベースのネットワークとして表現されました。ネットワークモデルの詳細な数学的導出は、Supplementary File 1(Section 2)に記載されています。動的なネットワーク状態と混雑指標が継続的に監視されました。混雑指標は[0,1]の範囲に正規化され、混雑指標が0.80を超えたときに、協調的なフィーダー受入オーケストレーションが開始されました。

4. マルチエージェント環境の初期化

動的な低圧（LV）ネットワークモデルを構築した後、分散型のフィーダー受入をサポートするためにマルチエージェント環境を初期化した。インテリジェントエージェントを、LVネットワーク内のフィーダーセグメント、分散型エネルギーリソースの接続点、変圧器の設置場所、および混雑が発生しやすいノードに割り当てた。

各エージェントは独立した意思決定主体として動作し、局所的な配電線（フィーダー）の運用を監視し、隣接するエージェントと情報を交換し、適応的なオーケストレーション動作を実行した。エージェントは、電圧感度、再生可能エネルギーの普及率、混雑レベル、および配電線の重要性に基づいて、主要な配電線ノードに割り当てられた。低圧（LV）ネットワークはエージェントベースの環境として構成され、エージェントは配電線電圧、有効電力需要、再生可能エネルギー発電の変動、混雑状況、および配電線の受入容量を継続的に監視した。マルチエージェント環境の数学的な定式化は、以下に示される。 補足ファイル 1（セクション 3）.

5. 強化学習によるエージェントの学習

マルチエージェント環境の初期化後、変化するLV運転条件下での相互作用を通じて、エージェントがフィーダーオーケストレーションポリシーを学習できるように、強化学習を実装しました。各相互作用において、エージェントは現在のフィーダー状態を観測し、オーケストレーションアクションを選択し、報酬またはペナルティを受け取りました。この分散学習プロセスにより、エージェントは再生可能エネルギー発電の不確実性、混雑状況の変化、電圧変動、およびフィーダー受入容量の変化に適応することが可能となりました。各エージェントは、学習済みのポリシーに従ってオーケストレーションアクションを選択しました。関連する数学的導出は、補足ファイル1（セクション4）に記載されています。

合計64基のインテリジェントエージェントを配置した。フィーダーのトポロジー、再生可能エネルギーの浸透レベル、電圧感度、および混雑の深刻度に基づき、各エージェントをフィーダーセグメント、変圧器設置場所、分散型エネルギー資源の接続点、または混雑感度の高いネットワークノードに割り当てた。計算複雑性を妥当な範囲に維持しつつ、分散配置を採用することで、236バスの低圧配電ネットワーク全体における協調的な監視と適応的なフィーダー受入が可能となった。各エージェントは、電圧振幅、フィーダー負荷需要、再生可能エネルギー発電量、混雑状況、およびフィーダー受入容量からなる5次元の状態ベクトルを観測した。アクション空間は、フィーダー受入の優先順位付け、混雑緩和、再生可能エネルギーの調整、負荷分散、および電圧制御の5つのオーケストレーションアクションで構成された。協調的な意思決定は、各エージェントが隣接するフィーダーエージェントとの間でのみ感度指標および局所的な運用情報を交換する、分散型の近傍通信トポロジーを通じてサポートされた。

128個および64個のニューロンを持つ2つの隠れ層を備えた全結合ニューラルネットワークを用いて、Q学習に基づくMARL手法を実装した。隠れ層にはReLU（Rectified Linear Unit）活性化関数を適用した。ネットワークパラメータの最適化には、学習率0.001、割引率0.99のAdamオプティマイザを使用した。ミニバッチサイズは64とし、経験リプレイバッファの容量は100,000トランジションとした。直前20エピソードにおける累積報酬の移動平均の変化が、10回連続の評価ウィンドウにおいて0.1%未満となった時点で、トレーニングは収束したと見なした。この基準が満たされない場合は、最大500エピソードに達するまでトレーニングを継続した。強化学習のワークフローを図2に示す。

強化学習プロセスの図；エージェントと環境の相互作用、方策の更新、報酬ループ。
図 2: 強化学習によるエージェント学習のフローチャート。分散型フィーダーオーケストレーションおよび意思決定最適化のための、強化学習に基づいたエージェント学習プロセスを示すフローチャート。こちらのリンクをクリックして、この図の拡大版を表示してください。

学習プロセスは、LV配電環境、エージェントの状態、および学習パラメータの初期化から開始されました。インテリジェントエージェントを、フィーダー領域、分散型エネルギーリソースの設置場所、および混雑が発生しやすいバスに配置しました。次に、観測空間、学習率、探索戦略、報酬係数、および方策関数を定義しました。各インタラクションステップにおいて、各エージェントは割り当てられたフィーダー領域の現在の状態を観測しました。状態は、ノード電圧の大きさ、フィーダーの負荷需要、再生可能エネルギー発電の特性、混雑レベル、およびフィーダー受入容量で構成されていました。これらの観測結果が、オーケストレーションの意思決定に用いられる環境状態を形成しました。各エージェントは、自身の強化学習方策に従ってアクションを選択しました。選択可能なアクションには、フィーダー受入の優先順位付け、混雑管理、再生可能エネルギーの調整、負荷分散、および電圧管理が含まれていました。選択されたアクションを動的なLV環境に適用し、その後、フィーダーの状態を更新しました。

各アクションの後に報酬を算出した。選択したアクションによってフィーダーの受容性が向上した、混雑の伝播が防止された、電圧コンプライアンスが維持された、あるいはネットワークの安定性が向上した場合に、正の報酬を割り当てた。アクションの結果として、またはアクションで防止できなかった場合に、フィーダーの過負荷、電圧違反、またはオーケストレーションの遅延が生じたときは、ペナルティを適用した。算出された報酬は、強化学習による最適化を通じて、エージェントの値関数および決定ポリシーを更新するために使用された。観測、アクションの選択、環境の遷移、報酬の算出、およびポリシーの更新という一連の手順を、停止基準が満たされるまで繰り返した。

6. 電圧および混雑感の感度評価

強化学習の後、電圧および混雑に対する感度を評価し、脆弱な配電線領域を特定するとともに、再生可能エネルギーの不確実性下における動的な配電線受入決定を支援した。

各運転間隔において、フィーダー電力、再生可能エネルギー発電量、および負荷需要の変化がノード電圧とネットワーク混雑に及ぼす影響を決定しました。電圧および混雑の感度指数は、静的なネットワーク条件のみから導出されるのではなく、各シミュレーション運転間隔で再計算されました。各フィーダーノードの感度指数は、現在のネットワーク条件、再生可能エネルギー発電の変動、およびフィーダー負荷の状態に基づいて更新されました。得られた値を用いて、フィーダーの受け入れ、混雑管理、および電圧制御アクションのためのフィーダーノードの順位付けを行いました。

電圧感度指数により、有効電力フローの変化に伴うノード電圧の変化を定量化しました。電圧感度指数および混雑感度指数を算出した後、それらを統合して、フィーダー受け入れの適応的優先順位付けのための複合感度スコアを作成しました。複合スコアリングの手法については、補足ファイル1（セクション5）に記載されています。感度スコアが高いフィーダーノードには、混雑緩和、フィーダー受け入れ補正、および電圧調整操作において、より高いオーケストレーション優先順位が割り当てられました。感度スコアは各動作間隔で再計算され、協調通信環境を通じて隣接エージェントと共有されました。

7. 各シミュレーション動作間隔における協調的受容オーケストレーションと適応的決定最適化

感度評価の後、再生可能エネルギーの不確実性と動的な混雑条件下において、分散型エージェントが協調的なフィード単端受入決定を行えるようにするため、協調的な受入オーケストレーションが実施されました。エージェント間で、局所的なフィードの状態、感度指標、混雑アラート、および運用優先順位の交換が行われました。各エージェントは、ネットワーク全体の安定性を維持するために隣接するエージェントと協調しながら、自らの局所的なフィードの状態を独立して評価しました。

フィーダーの受入れは、電圧感度、混雑の深刻度、再生可能エネルギー発電の変動性、および利用可能なフィーダー容量に基づいて優先順位が付けられました。局所的な感度を考慮した観測結果が各エージェント間で集約され、協調的なフィーダー受入れアクションが生成されました。協調オーケストレーションプロセスの数学的定式化は、Supplementary File 1 (Section 6)に記載されています。動的な低圧（LV）ネットワーク環境は、Supplementary File 1 (Algorithm 1)に記載されている通り、フィーダー領域、再生可能エネルギー統合点、および混雑しやすいバスに配置された協調エージェントを用いて展開されました。各動作間隔において、各エージェントは電圧振幅、再生可能エネルギー発電の変動、フィーダー負荷、混雑レベル、およびフィーダー受入れ容量を含む局所的なフィーダーパラメータを観測しました。

その後、電圧不安定性または混雑波及の影響を受けやすいフィーダー領域を特定するため、電圧感度指数および混雑感度指数を算出した。これらの指数を統合して総合的なフィーダー感度スコアを導出し、これによりフィーダーの受入可否およびオーケストレーションの優先順位を決定した。局所的な状態情報、混雑レベル、電圧不安定性指標、および受入優先順位が、隣接するエージェント間で共有された。各エージェントは、局所的な観測結果と共有された情報に基づき、適応的なオーケストレーションアクションを選択し、実行した。各アクションの後、フィーダーの安定性、混雑の軽減、電圧の遵守状況、およびフィーダーの受入効率に従って、動的なLVネットワーク環境から強化フィードバックを得た。このフィードバックを用いて、強化学習ベースの最適化を通じて各エージェントのポリシーを更新した。グローバルなオーケストレーション目的関数により、エージェント集団全体における適応的最適化のための協調的なフィードバックが同時に提供された。エージェントのポリシーが最適な分散型オーケストレーション戦略に収束するまで、ポリシーの更新を継続した。

8. 大規模バリデーション

Dynamic Orchestration Strategy（動的オーケストレーション戦略）の検証は、再生可能エネルギーの導入率が高い運転シナリオの下で、FeederBWデータセットおよび236バス低圧（LV）配電ネットワークデータセットを用いて行われた。この検証では、相互接続されたLV配電システムにおける動的なフィーダー受入、再生可能エネルギーの間欠性、混雑の伝播、および電圧不安定性を管理する分散型オーケストレーションフレームワークの能力を評価した。評価対象となった運転シナリオには、高い再生可能エネルギー導入率、負荷需要の変動、動的な混雑伝播、電圧感受性条件、および変動するフィーダー受入容量が含まれていた。

フレームワークの性能は、フィーダー受入率、電圧コンプライアンス指数、混雑緩和率、オーケストレーション遅延、収束速度、分散協調効率、および再生可能エネルギー受入能力を用いて評価した。これらの指標は、スケーラビリティ、堅牢性、適応性、および協調性能を評価するために使用された。提案したフレームワークを、同一のネットワーク構成の下で従来の集中型フィーダーオーケストレーション手法と比較した。比較手法には、同等のデータセット、運用シナリオ、評価条件、および性能指標を適用した。

表2に、実験的検証に使用したデータセット、動作条件、オーケストレーション環境、および性能変数をまとめます。FeederBWデータセットは、低圧（LV）フィーダー条件下でのフィーダー動作ダイナミクス、再生可能エネルギーの間欠性、混雑の発生、住宅負荷の変動、および電圧変動を評価するために使用されました。236バスLVデータセットは、より大規模な相互接続ネットワークにおける分散型オーケストレーションを評価するために使用されました。このアーキテクチャは、再生可能エネルギー発電、負荷需要、電圧、および混雑のさまざまな条件下で検証されました。分散協調と強化学習に基づく方策最適化は、インテリジェントエージェント全体で共同で評価されました。

再生可能エネルギーシステムにおける動的な動作条件下での性能を定量化するために、フィーダー受入率、電圧コンプライアンス指数、混雑削減率、収束速度、およびオーケストレーション遅延が用いられました。

実験パラメータFeederBWデータセット236バス低圧データセットバリデーションの目的
ネットワーク形式低圧配電ネットワーク大規模低圧配電ネットワークダイナミックオーケストレーション評価
ノード数/バス数複数のフィーダーノード236台のバススケーラビリティ解析
再生可能エネルギーの統合光起電力（PV）および分散型再生可能エネルギー源高再生可能エネルギー浸透バス再生可能エネルギーの不確実性の検証
負荷需要挙動動的住宅負荷プロファイル大規模なフィーダー負荷変動適応的負荷オーケストレーション
混雑シナリオフィーダーの過負荷および混雑状態マルチバス混雑伝播混雑緩和分析
電圧条件電圧変動プロファイル電圧感受性バス条件電圧コンプライアンスの評価
インテリジェントエージェント分散型フィーダーエージェント大規模協調エージェント分散型協調解析
学習環境強化学習駆動型オーケストレーションマルチエージェント適応学習方策最適化の検証
シミュレーション条件動的な再生可能エネルギーの変動性大規模動的動作低遅延オーケストレーション試験
パフォーマンス指標受理率、混雑緩和電圧コンプライアンス、収束速度全体的なオーケストレーション性能

表2：大規模実験による検証。スケーラビリティ、再生可能エネルギーの不確実性、および分散型協調を評価するために使用した実験設定。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

結果

確率的な学習の影響を軽減するため、すべての実験は異なるランダムシードを用いて5回ずつ実施されました。5回の実行結果から平均値を算出しました。すべての手法において、同一のデータセット、シミュレーションパラメータ、ハイパーパラメータ、停止基準、および評価手順を使用しました。比較手法として、集中型電圧制御（CVC）33、従来型マルチエージェント制御（CMAC）21、強化学習ベースの電圧調整（RLVR）20、分散型エネルギーリソース調整（DERC）26、および感度ベースの混雑管理（SBCM）34を用いました。

一元分散分析（one-way ANOVA）を用い、提案したフレームワークとベースライン手法（CVC、CMAC、RLVR、DERC、およびSBCM）との統計的比較を、各評価指標について独立して実施した。ANOVAにより統計的に有意な差が認められた場合...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

ディスカッション

実験結果から、提案された動的オーケストレーション戦略（Dynamic Orchestration Strategy）は、集中型電圧制御（CVC）33、従来型マルチエージェント制御（CMAC）21、強化学習ベース電圧調整（RLVR）20、分散型エネルギーリソース調整（DERC）26、および感度ベース混雑管理（SBCM）34と比較して、分散型フィーダー協調、再生可能エネルギー統合、電圧安定性、混雑管理、および低遅延オーケストレーションを改善することが示された。評価したフィーダー受入率（FAR）、電圧準拠指数（VCI）、混雑削減率（CRR）、分散協調効率（DCE）、再生可能エネルギー利用効率（RUE）、適応的意思決定精度（ADA）、およびシステム信頼性向上（SRI）のすべてにおいて、提案したフレームワークは試験条件下でより高い性能を達成した。FeederBWおよび236バス低圧（LV）データセットを用いて得...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

開示事項

著者らは、競合する利益がないことを宣言します。

謝辞

本研究は、 Guangdong Power Grid Company の Guangzhou Power Supply Bureau によるプロジェクト「プロセスオートメーションに基づく低圧計量設備の自動受入技術に関する研究」（プロジェクトコード：030100KC24120100）の支援を受けて行われました。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
236-Bus 低電圧配電ネットワークデータセットCanizes et al.DOI: 10.5281/zenodo.8274780提案フレームワークの拡張性分析および大規模検証に使用した公開ベンチマークデータセット
中央処理装置 (CPU)Intel CorporationIntel Core i9-12900K (16-Core)シミュレーション管理および環境実行に使用
混雑感度分析モジュール独自開発モジュールZenodo DOI: 10.5281/zenodo.21423239リアルタイムの混雑感度計算およびフィーダーの優先順位付けを実行
CUDA ToolkitNVIDIA CorporationCUDA 12.1PyTorchモデルの学習を高速化させるために使用したGPUコンピューティングプラットフォーム
cuDNN ライブラリNVIDIA CorporationcuDNN 9.3.0CUDAと共に使用される深層ニューラルネットワーク加速ライブラリ
カスタム動的LVネットワークシミュレーター独自開発モジュールVersion 1.0動的なフィーダーオーケストレーション実験のために、PythonおよびPyTorchを用いて著者が開発したシミュレーションプラットフォーム。実装の詳細は「Methods」および「Data Availability」のセクションに記載されている。
データ処理ライブラリpandas Development Teampandas 2.2.2前処理、特徴抽出、正規化、および時系列データの管理に使用
深層学習フレームワークPyTorch FoundationPyTorch 2.3.1マルチエージェント強化学習 (MARL) モデルの実装、ニューラルネットワークの学習、および方策最適化に使用
分散エージェント通信モジュール独自開発フレームワークZenodo DOI: 10.5281/zenodo.21423239インテリジェントエージェント間の分散通信および協調的な方策交換を実現
FeederBW データセットTreutlein et al.DOI: 10.5281/zenodo.17831177実際の低電圧フィーダーの測定値、再生可能エネルギー発電、および動作プロファイルを含む公開データセット
グラフィックス処理装置 (GPU)NVIDIA CorporationGeForce RTX 3090, 24 GB GDDR6Xニューラルネットワークの学習および並列計算に使用したハードウェアアクセラレータ
マルチエージェント強化学習環境Farama FoundationGym 0.26.2インテリジェントエージェントの協調的な相互作用および学習用にカスタマイズされた強化学習環境
数値計算ライブラリNumPy DevelopersNumPy 1.26.4数値計算、テンソル操作、および行列演算に使用
オペレーティングシステムCanonical Ltd.Ubuntu 22.04.5 LTS (64-bit)すべてのシミュレーションおよび強化学習実験に使用したオペレーティングシステム
Python プログラミング言語Python Software FoundationPython 3.11.9アルゴリズム実装、シミュレーション、およびモデル開発に使用した主要なプログラミング言語
システムメモリLenovo64 GB DDR5 RAM大規模なMARLシミュレーションおよびデータ処理に使用した搭載システムメモリ
電圧安定性監視モジュール独自開発モジュールZenodo DOI: 10.5281/zenodo.21423239フィーダーオーケストレーション中の電圧安定性と準拠性を継続的に評価

参考文献

  1. Ahmed F, et al. A multi-agent reinforcement learning framework for voltage-constrained incentive demand response in PV-rich low-voltage distribution systems. IEEE Access. 2026;14:45410–22.
  2. Lamsal D, Sreeram V, Mishra Y, Kumar DS. Smoothing control strategy of wind and photovoltaic output power fluctuation by considering the state of health of battery energy storage system. IET Renew Power Gener. 2019;13:578–86.
  3. Allahmoradi S, et al. Data-driven Volt/VAR optimization for modern distribution networks: A review. IEEE Access. 2024;12:71184–204.
  4. O'Connell N, Pinson P, Madsen H, O'Malley M. Benefits and challenges of electrical demand response: A critical review. Renew Sustain Energy Rev. 2014;39:686–99.
  5. Hossain MS, Madlool NA, Al-Fatlawi AW, El Haj Assad M. High penetration of solar photovoltaic structure on the grid system disruption: An overview of technology advancement. Sustainability. 2023;15:1174. https://doi.org/10.3390/su15021174
  6. Rahmouni A. Impact of static reactive power compensator (SVC) on the power grid. WSEAS Trans Electron. 2020;11:96–104.
  7. Chandran CV, et al. Application of demand response to improve voltage regulation with high DG penetration. Electr Power Syst Res. 2020;189:106722. https://doi.org/10.1016/j.epsr.2020.106722
  8. Wang Q, et al. A demand response strategy in high photovoltaic penetration power systems considering the thermal ramp rate limitation. IEEE Access. 2019;7:163814–22.
  9. Wang Z, et al. How to effectively implement an incentive-based residential electricity demand response policy? Experience from large-scale trials and matching questionnaires. Energy Policy. 2020;141:111450. https://doi.org/10.1016/j.enpol.2020.111450
  10. van Tilburg J, Siebert LC, Cremer JL. MARL-iDR: Multi-agent reinforcement learning for incentive-based residential demand response. arXiv. 2023. https://arxiv.org/abs/2304.04086
  11. Bahrami S, Chen YC, Wong VWS. Deep reinforcement learning for demand response in distribution networks. IEEE Trans Smart Grid. 2021;12:1496–506.
  12. Li J, et al. Model-free reinforcement learning economic dispatch algorithms for price-based residential demand response management system. IEEE Trans Ind Cyber-Phys Syst. 2023;1:123–35.
  13. Zheng S, et al. Incentive-based integrated demand response for multiple energy carriers under complex uncertainties and double coupling effects. Appl Energy. 2021;283:116254. https://doi.org/10.1016/j.apenergy.2020.116254
  14. Nainar K, Pillai JR, Bak-Jensen B. Incentive price-based demand response in active distribution grids. Appl Sci. 2020;11:1–17.
  15. Nguyen Duc T, et al. Impact of renewable energy integration on a novel method for pricing incentive payments of incentive-based demand response program. IET Gener Transm Distrib. 2022;16:1648–67.
  16. Pourramezan A, Samadi M. A novel approach for incorporating incentive-based and price-based demand response programs in long-term generation investment planning. Int J Electr Power Energy Syst. 2022;142:108315. https://doi.org/10.1016/j.ijepes.2022.108315
  17. Mathew A, Roy A, Mathew J. Intelligent residential energy management system using deep reinforcement learning. IEEE Syst J. 2020;14:5362–72.
  18. Khan DA, Arshad A, Lehtonen M, Mahmoud K. Combined DR pricing and voltage control using reinforcement learning based multi-agents and load forecasting. IEEE Access. 2022;10:130839-49.
  19. Zhang X, et al. An edge-cloud integrated solution for buildings demand response using reinforcement learning. IEEE Trans Smart Grid. 2021;12:420–31.
  20. Duan J, et al. Deep-reinforcement-learning-based autonomous voltage control for power grid operations. IEEE Trans Power Syst. 2020;35:814–7.
  21. Wang S, et al. A data-driven multi-agent autonomous voltage control framework using deep reinforcement learning. IEEE Trans Power Syst. 2020;35:4644–54.
  22. Turitsyn K, Sulc P, Backhaus S, Chertkov M. Options for control of reactive power by distributed photovoltaic generators. Proc IEEE. 2011;99:1063–73.
  23. Bedawy A, et al. Optimal voltage control strategy for voltage regulators in active unbalanced distribution systems using multi-agents. IEEE Trans Power Syst. 2020;35:1023–35.
  24. Bedawy A, Yorino N, Mahmoud K. Management of voltage regulators in unbalanced distribution networks using voltage/tap sensitivity analysis. Presented at: International Conference on Innovative Trends in Computer Engineering (ITCE); Aswan, Egypt; 2018. https://doi.org/10.1109/itce.2018.8316651
  25. Smith O, et al. The effect of renewable energy incorporation on power grid stability and resilience. Sci Adv. 2022;8:eabj6734. https://doi.org/10.1126/sciadv.abj6734
  26. Charbonnier F, Morstyn T, McCulloch MD. Scalable multi-agent reinforcement learning for distributed control of residential energy flexibility. Applied Energy. 2022;314:118825. doi:10.1016/j.apenergy.2022.118825
  27. Dugan J, Mohagheghi S, Kroposki B. Application of mobile energy storage for enhancing power grid resilience: A review. Energies. 2021;14:6476. https://doi.org/10.3390/en14206476
  28. Panossian N, et al. Challenges and opportunities of integrating electric vehicles in electricity distribution systems. Curr Sustain Renew Energy Rep. 2022;9:27–40.
  29. Guan Q, et al. Dynamic-aware deep reinforcement learning for heterogeneous fleet-based capacitated electric vehicle routing problems. Applied Energy. 2026;413:127757. https://doi.org/10.1016/j.apenergy.2026.127757
  30. Guan Q, et al. Heterogeneous attention-driven deep reinforcement learning for solving EVRPs with pickup-delivery and time windows. Applied Energy. 2026;407:127355. https://doi.org/10.1016/j.apenergy.2026.127355
  31. Treutlein M, et al. Real-world energy data of 200 feeders from low-voltage grids with metadata in Germany over two years (Version v1.0) [Data set]. Zenodo; 2025. https://doi.org/10.5281/zenodo.17831177
  32. Canizes B, Castro F, Silveira V, Vale Z. 236-Bus Low Voltage Distribution Network Data [Data set]. Zenodo; 2023. https://doi.org/10.5281/zenodo.8274780
  33. Xi, Haikuo & Chen, Can & Bai, Xuesong & Ma, Yuan & Ding, Jiachao & Chen, Qifang. (2024). Centralized and decentralized combined voltage control for distribution network with high penetration PV connected. Journal of Physics: Conference Series. 2771. 012040. 10.1088/1742-6596/2771/1/012040.
  34. Singh AK, Parida SK. Congestion management with distributed generation and its impact on electricity market. International Journal of Electrical Power & Energy Systems. 2013;48:39–47. doi:10.1016/j.ijepes.2012.11.025.
  35. Gooi HB, Wang T, Tang Y. Edge intelligence for smart grid: A survey on application potentials. CSEE Journal of Power and Energy Systems. 2023;9(5):1623–1640. https://doi.org/10.17775/CSEEJPES.2022.02210
  36. Molokomme DN, Onumanyi AJ, Abu-Mahfouz AM. Edge intelligence in smart grids: A survey on architectures, offloading models, cyber security measures, and challenges. Journal of Sensor and Actuator Networks. 2022;11(3):47. https://doi.org/10.3390/jsan11030047
  37. Chang Z, Liu S, Xiong X, Cai Z, Tu G. A survey of recent advances in edge-computing-powered artificial intelligence of things. IEEE Internet of Things Journal. 2021;8(18):13849–13875.

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

再版と許可

さらに記事を探す

マルチエージェント強化学習混雑管理電圧感度分散型再エネ統合分散協調フィーダー監視運用レジリエンス
お問い合わせ
図書館に推薦する

プライバシー

利用規約

ポリシー

著作権 © 2026 MyJoVE Corporation. 無断転載を禁じます。