本研究では、協調的マルチエージェント強化学習を用いた低圧配電線受入のための動的オーケストレーション戦略を提示します。インテリジェントエージェントが、不確実な条件下で配電線運用、混雑管理、電圧安定性、および再生可能エネルギーの統合を調整します。このアプローチは、FeederBWおよび236-busデータセットを用いたシミュレーションを通じて評価されました。
研究記事
FeederBWデータセットおよび236バス低圧配電ネットワークを用いた、マルチエージェント強化学習に基づく動的フィーダー受入オーケストレーション
この記事について
サマリー
要約
分散型再生可能エネルギー源の広範な統合と低圧（LV）配電線の急速な拡大により、配電線の受入および混雑調整に関する運用上の課題が生じています。既存の電圧制御および配電線管理手法は、断続的な再生可能エネルギー発電やネットワーク条件の変化において、拡張性と適応性が限定的である可能性があります。これらの制限に対処するため、本研究では、マルチエージェント強化学習アプローチにおけるインテリジェントエージェントの協調に基づいた、低圧配電線受入のための動的オーケストレーションフレームワークを提案します。主に電圧安定化に焦点を当てた電圧制御戦略とは異なり、提案するフレームワークは、配電線監視、混雑管理、および電圧感度に基づく優先順位付けを担うエージェントの協調動作を通じて、動的な配電線受入をサポートします。各エージェントは独立して配電線の状態を観測し、混雑状況と電圧感度を評価して、配電線受入の決定について協調しました。このフレームワークは、FeederBWデータセットおよび236バス低圧配電ネットワークデータセットを用い、さまざまな再生可能エネルギー統合レベルおよび負荷条件下でのシミュレーションを通じて評価されました。提案したフレームワークは、配電線受入率97%、電圧準拠指数98%、報告されたハードウェア上でのオーケストレーションアルゴリズムの実実行時間として測定されたオーケストレーション遅延98 ms、および収束速度98.5%を達成し、評価した集中型協調手法を上回る性能を示しました。また、結果は、シミュレーションした低圧配電ネットワーク条件下において、適応性、運用のレジリエンス、および分散型意思決定の効率が向上したことを示しました。
概要
現代の電力システムは、電力需要の増大と分散型電源の利用拡大により、運用上の重大な課題に直面しています。電力の供給と需要の不均衡や、分散型電源の急激な増加は、公益事業体やエンドユーザーに経済的負担を強いるだけでなく、グリッドの安定性を脅かす可能性があります。そのため、従来の化石燃料ベースの中央集中制御型電力インフラは、分散型で再生可能エネルギー主導の設計へと移行しています。この移行により、より手頃で環境的に持続可能なエネルギー源へのアクセスが改善されました。しかし、太陽光発電（PV）の間欠的かつ予測不可能な性質は、グリッドの信頼性に関する懸念を引き起こしています1,2。
環境へのメリット、拡張性、およびコストの低下により、世界的なエネルギー転換に伴いPV（太陽光発電）の導入が加速しています。国際再生可能エネルギー機関によれば、2050年までにPV容量は世界的な電力供給の22%以上を占めると予想されており、太陽光PVは2030年までに世界の電力供給の主要な寄与要素になると期待されています3。このような広範な統合は、従来の電力システム、特に運用の安定性と信頼性において重大な課題をもたらします。PV発電は間欠的であり、ディスパッチャビリティ（出力調整能力）がないため、電圧変動が極めて重要な懸念事項となっており、配電および送電ネットワークにおける普及率が高まるにつれて、その影響はより顕著になります4。
日射量の変動はPV出力に直接的に影響し、急激な電圧変化を引き起こす可能性があります。雲の移動、急激な日射量の変化、および負荷過渡現象により、既存のグリッドアーキテクチャでは十分に対応できない電圧変動が生じる場合があります5。従来の技術は、集中型で比較的安定したグリッド構成においては有効でしたが、分散化が進むネットワークへの適合性は低くなっています。特にPVの導入率が高い状況では、急速な双方向の電圧変化が従来の電力システムの能力を超える可能性があります6。制御されない変動は、電圧制限への抵触や、敏感な負荷への影響を招き、グリッドの安全性を損なう恐れがあります。
したがって、スマート負荷や分散型リソースの配電ネットワークへの統合により、より高度な制御戦略の開発が促進されています。分散設備を継続的に監視し調整するインテリジェント制御システムは、分散型電源の割合が高い低圧（LV）ネットワークにおける課題の軽減に寄与します7。また、大規模なPV（太陽光発電）の統合は、特にPV出力が低下し、火力発電ユニットが迅速に反応しなければならない場合に、ランプレート制限を超えることがあるなど、火力発電の運用上の困難を引き起こします8。同時に、デマンドレスポンス（DR）プログラムは、長期的な持続可能性と経済的な実現可能性のバランスを維持する必要があります9。
DR（デマンドレスポンス）プログラムは、分散型電源の統合を支援すると同時に、電力の需給バランスの調整に寄与することができる。これらのプログラムは、価格ベースDRまたはインセンティブベースDR（IBDR）に分類される。価格ベースDRは、変動料金制に応じて消費者が電力使用量を調整することを促すものであるのに対し、IBDRは、要請に応じて消費量を削減した場合に、固定または変動の金銭的インセンティブを提供する。10しかしながら、価格ベースのデマンドレスポンス（DR）は、消費者を変動する卸売価格にさらすことになり、また電力会社の視点からは運用上の柔軟性が限定的であるため、リスク回避的な参加者の意欲を削ぐ可能性があります。11,12.
PV（太陽光発電）が多く導入された配電システムにおけるIBDRに関する研究がいくつか行われています。ある研究では、高いPV普及率にIBDRを組み合わせた際の課題と利点を評価していますが、世帯レベルのホームエネルギー管理システムではなく、総電力消費に焦点を当てています13。別の研究では、インセンティブに基づく電圧管理手法が提案されており、価格信号によって間接的にバッテリー動作を制御し電圧制限を維持していますが、世帯の需要は明示的にモデル化されていません14。インセンティブ支払額を決定するためのファジィ論理に基づく手法では、消費者の満足度と再生可能エネルギーの統合コストが考慮されましたが、フィーダーレベルの分析は含まれていませんでした15。また、火力発電と再生可能エネルギー発電の両方を含み、価格ベースおよびインセンティブベースのDRを組み込んだ長期発電計画についても研究されていますが、ユーザーの快適性や世帯レベルの需要は考慮されていません16。
深層強化学習（RL）は、住宅向けDRにも適用されている。時間帯別料金制における統合負荷制御のための深層RL手法が提案されているが、ユーザー数の少なさや家電レベルのスケジューリングの欠如により、その汎用性は限られていた17。DRと電圧制御を組み合わせたマルチエージェント強化学習フレームワークでは、負荷予測に長短期記憶（LSTM）ネットワークが使用されたが、負荷制限に起因する顧客の不満は解消されなかった18。他の研究では、マルコフ決定過程を用いて商業ビルの空調システムのDR調整に焦点を当てているが、他の住宅負荷は考慮されていない19。既存の深層RLによる電圧制御研究では、一般にDRとPV統合の両方が組み込まれていない20,21。
スマートインバータは、PV出力の急激かつ不規則な変動に迅速に反応することができます22。電圧違反が発生した際、PVインバータはミリ秒単位で動作できますが、従来の装置では数秒を要する場合があります23。いくつかの研究では、電圧レギュレータを協調させるためのマルチエージェントアプローチや、従来の電圧コントローラ動作の修正を含む、標準的な装置制御手順の変更が提案されています24。それにもかかわらず、蓄電設備を併設していない単独のPV発電は、日中の正味輸入量を減少させたとしても、電圧変動を悪化させる可能性があり、夕方のピークを緩和することはありません24,25。また、家庭用バッテリーは、その出力指令が地域の需要および発電と協調されていない場合、日中のPV余剰期間中に使い果たされ、夜間の電気自動車充電に利用できなくなる可能性があります26,27。確率的な需要、断続的な発電、および多様な蓄電挙動の複合的な影響により、配電システム運用者にとって容量管理、資産の寿命、およびレジリエンスが重要な課題となっています28。ホームエネルギー管理システム（HEMS）は、顧客レベルで自動制御を実装するための潜在的な手段の一つを提供します。RLは、エージェントが環境との相互作用を通じて制御戦略を学習しながら、不確実性に対処し、低レイテンシで意思決定を行えるため、このようなアプリケーションに適しています。
電気自動車のルーティングにおける進展は、深層強化学習（deep RL）がいかにして動的なエネルギー制約を管理できるかを示しています。不均一な車両フリートに基づく容量制限付き電気自動車ルーティング問題では、多様なフリート間での最大エネルギー消費量を最小限に抑えつつ、走行ダイナミクス、道路特性、運動抵抗、および充電効率を組み込んでいます29。動的認識型の深層強化学習手法では、この問題をカスタマイズされたマルコフ決定過程として構成し、エンコーダ・アップデータ・デコーダ構成を採用しています。この設計において、エンコーダは頂点と車両の役割固有の表現を生成し、アップデータは文脈情報の変化に応じて車両トークンを洗練させ、デコーダは車両の選択と車両固有の頂点選択を分離することで、適応的な意思決定をサポートします。同様に、集荷・配送および時間枠を伴うエネルギー最適化電気自動車ルーティング問題では、充電動作、時間依存の走行ダイナミクス、および詳細なルート情報を含む高解像度のエネルギー消費モデルを使用しています30。不均一なアテンション駆動型深層強化学習フレームワークは、ルーティングタスクをマルコフ決定過程として表現し、デポ、顧客、および充電ステーション間の役割固有の相互作用を捉えるエンコーダと、状態遷移および時間的な実現可能性を追跡するデコーダを備えています。
こうした進展があるにもかかわらず、ほとんどの低圧（LV）配電管理の研究では、再生可能エネルギーの不確実性下における動的なフィード・アクセプタンス（受入）のオーケストレーションよりも、電圧安定化や無効電力の最適化が重視されています。インテリジェント・インバータや機械学習に基づく分散型電圧制御手法は、一般的に電圧補償と無効電力の最適化に焦点が当てられており、複雑なLVネットワークにおける適応的なフィード受入制御や混雑ベースのオーケストレーションには対応していません。同様に、デマンドレスポンス（DR）のための電圧制約付きマルチエージェント強化学習アプローチにおいても、相互接続されたLV配電システムにおける協調的なフィード受入管理、分散型の混雑認識オーケストレーション、またはノードレベルのアドミッション制御は直接的に扱われていません。マルチエージェント協調に基づく協調的電圧調整手法は、通常、PVインバータを用いて電圧偏差とタップ操作を最小限に抑えますが、適応的なフィード受入や、再生可能エネルギーに関連する受入の不安定性、あるいは動的なネットワーク条件下での分散型オーケストレーションについては考慮されていません。
現在の分散型およびマルチエージェントのリソース調整手法においても、混雑認識、時間的適応性、およびスケーラビリティに限界があります。その多くは、適応的なフィーダーレベルの受入制御や電圧を考慮したオーケストレーションよりも、過負荷解析、分散型エネルギーリソースの相互作用、または料金主導のエネルギー管理に重点を置いています。また、部分的な中央集権化や静的な優先順位への依存が、分散型の意思決定、混雑波及への迅速な対応、および再生可能エネルギーの変動への適応をさらに制限する可能性があります。したがって、FeederBWや236バス低圧（LV）配電ネットワークなどの大規模データセットを用いた適応的なフィーダー受入管理を実現するためには、協調的なエージェント調整と電圧および混雑感度解析を組み合わせた、完全分散型の強化学習ベースのフレームワークが必要です。
本研究において、フィーダー受入（feeder acceptance）とは、ネットワークのセキュリティ、電圧準拠、熱負荷制限、および運用信頼性を維持しつつ、低圧（LV）フィーダーに追加の分散型エネルギー資源や電気負荷を収容できるかどうかを判断するための適応的な運用プロセスを指します。フィーダー受入の運用境界には、新しいフィーダー接続の承認または優先順位付けを行う前に、フィーダー容量、電圧感度、混雑状況、および再生可能エネルギーの変動性を評価することが含まれます。電圧プロファイルを調整する従来の電圧制御、リソースの運用を管理する分散型エネルギー資源の協調、あるいはネットワークの過負荷を軽減する混雑管理とは異なり、フィーダー受入は、再生可能エネルギーが豊富な条件下で動的、分散的かつ適応的なオーケストレーションをサポートするために、協調的マルチエージェント強化学習フレームワーク内でこれらの機能を統合します。
本研究の目的は、変動する運転条件および再生可能エネルギーの不確実性の下で、低圧配電線受入のための協調的なインテリジェントエージェントベースの動的オーケストレーション戦略を開発することである。提案するフレームワークは、配電線の状態、電圧感度、混雑感度、および受入容量を動的に評価することで分散型の配電線受入オーケストレーションを行い、これにより静的な電圧制御手法を超えた適応的な優先順位付けと意思決定を可能にする。本研究では、FeederBWデータセットおよび236バス低圧配電ネットワークデータセットを用いて、大規模低圧システム向けの拡張可能なマルチエージェント強化学習アーキテクチャを開発している。強化学習による学習と、シミュレーション上の各運転間隔で実行される低遅延の協調最適化を通じて、本フレームワークは、混雑の波及を抑制し、電圧コンプライアンスを向上させ、オーケストレーションの遅延を低減し、分散協調の効率を高めるように設計されている。
本フレームワークは、静的な電圧制御に基づくフィーダー管理戦略に代わる、動的な低圧（LV）フィーダー受入オーケストレーション手法を提示する。これには、再生可能エネルギーの不確実性および変動する負荷条件に対応するための分散型マルチエージェント強化学習アーキテクチャ、低遅延条件および動的なフィーダー優先順位付けに基づく分散型アドミッション管理、クリティカルなフィーダーを特定し受入判定を優先させるための電圧および混雑感度の統合指標、近隣エージェント間の協調通信、ならびにフィーダーの安定性向上、混雑緩和、電圧準拠、および収束性を改善するための継続的な強化学習ベースのポリシー最適化が含まれる。また、FeederBWおよび236バスLVデータセットを用いた大規模シミュレーションによる検証を行った。比較結果から、従来の集中型協調手法と比較して、フィーダーの受入率、混雑緩和、オーケストレーション遅延、収束速度、および電圧準拠が向上していることが示された。
プロトコル
本研究では、ヒト被験者、脊椎動物、ヒト組織、または動物組織は使用していません。本研究では、公開されているデータセット（FeederBWデータセットおよび236バス低圧配電ネットワークデータセット）とコンピュータシミュレーションのみを使用しました。したがって、本研究は機関審査委員会（IRB）による審査、倫理的承認、またはインフォームドコンセントによる承認を必要としませんでした。
エージェント協調に基づく低圧配電線受入のための動的オーケストレーション戦略は、再生可能エネルギーが豊富な運転条件下に向けて、マルチエージェント強化学習（MARL）を用いて開発されました。FeederBWおよび236バス低圧データセットを前処理、正規化、および時間同期させ、配電線の状態、分散型エネルギー資源、電圧感応地域、および混雑状況を表す動的ネットワークモデルを構築しました。インテリジェントエージェントを配電線区間およびネットワーク接点に割り当て、局所的な電圧、混雑、再生可能エネルギー発電の不確実性、および配電線受入容量を監視し、隣接エージェントと情報を交換し、分散型強化学習を通じてオーケストレーションポリシーを更新させました。報酬関数は、混雑、電圧の不安定性、および調整遅延を制限しつつ、配電線受入を向上させるように設計されました。電圧、配電線負荷、変圧器負荷、および混雑制約を考慮した一方で、三相不平衡運転、高度な太陽光発電インバータ制御、および無効電力補償は明示的にモデル化していません。全体のフレームワークを図1に示します。本研究で使用した研究ツールを材料表に記載します。
図1: 提案フレームワークのアーキテクチャ。インテリジェントエージェント、強化学習、混雑分析、および適応的フィード配線調整を組み込んだ動的オーケストレーションフレームワークの概略図。こちらのリンクをクリックして、この図の拡大版を表示してください。
1. データ収集
データは、FeederBWデータセット31および236バス低圧（LV）配電データセット32から取得されました。これらのデータセットが選定されたのは、分散型オーケストレーションおよび強化学習ベースのエージェント学習に必要な、フィーダーのトポロジー、電圧条件、再生可能エネルギー発電の挙動、負荷需要、混雑状況、および動的な運転プロファイルに関する情報が含まれていたためです。
FeederBWデータセットは、主に低圧（LV）グリッドにおけるフィーダー運用、再生可能エネルギーの間欠性、電圧偏差、および混雑伝播のモデル化に使用されました。このデータセットには、適応的なオーケストレーション分析を支援するフィーダー運用データ、分散電源の動作、ノード電圧測定値、および負荷変動が含まれていました。236バスのLVデータセットは、拡張性と分散協調の評価に使用されました。これには、バス接続情報、フィーダー負荷条件、ノード電圧特性、分散型再生可能エネルギーの浸透度、および混雑に敏感な運用ケースが含まれていました。これら2つのデータセットを併用することで、再生可能エネルギーの浸透率が高い条件下でのフィーダーレベルおよび大規模な分析が可能となりました。データセットの特性およびフレームワークにおける目的を表1にまとめます。
| データセット名 | データセットタイプ | ノード数/バス数 | データ属性 | 提案研究の目的 |
| FeederBWデータセット | 低圧配電線運用データセット | 複数のフィーダーノード | 電圧プロファイル、再生可能エネルギー発電、負荷需要、混雑状態、フィーダーの運転挙動 | 低遅延フィーダーオーケストレーション、輻輳分析、適応的受理優先順位付け |
| 236バス低圧（LV）データセット | 大規模低圧配電データセット | 236台のバス | バス・トポロジー、フィーダー負荷、電圧感度、再生可能エネルギー導入率、混雑ダイナミクス | スケーラビリティ検証、分散コーディネーション評価、大規模オーケストレーション解析 |
表1：データセットの特性。提案された低電圧オーケストレーションフレームワークにおける、データセットの説明、動作属性、およびその目的。
2. データの前処理
取得したデータセットは、一貫性、時間的な整合性、および強化学習の安定性を向上させるために前処理が行われました。欠損エントリ、誤測定値、重複レコード、および不整合なフィーダーデータは、統計的な前処理手順を用いてフィルタリングされました。このステップは、フィーダー運用データ、再生可能エネルギー発電プロファイル、電圧測定値、および混雑状態データの間の一貫性を維持するために行われました。すべての運用変数は、入力特徴量をエージェントの学習に適した共通のスケールに変換するため、min–max正規化されました。正規化された変数には、フィーダー電圧、有効電力需要、再生可能エネルギー発電量、混雑状況、およびフィーダー受入容量が含まれます。前処理手順の数式は、Supplementary File 1 (Section 1)に記載されています。
3. 動的低電圧ネットワークモデリング
データの収集と前処理の後、負荷および発電条件の変動下における再生可能エネルギー発電比率の高い配電システムの動作をシミュレートするために、動的な低圧（LV）ネットワークモデルを構築しました。このモデルは、フィーダーのトポロジー、分散型エネルギーリソースの動作、電圧感応領域、および混雑の波及を動的に追跡しました。
静的なネットワーク表現とは異なり、本モデルは再生可能エネルギーの間欠性、消費者の需要、および混雑状況に応じて配電線の挙動を更新します。FeederBWおよび236-bus LVデータセットを用いて相互接続された配電線を構築し、バス、変圧器、分散型再生可能エネルギー源、および負荷をネットワークノードとして表現しました。各配電線ノードからは、電圧振幅、有効電力需要、再生可能エネルギー発電量、配電線負荷状況、および混雑状況に関する最新情報が提供されました。インテリジェントエージェントはこれらの変数を用いて配電線の挙動を監視し、分散型のオーケストレーション決定を行いました。また、このネットワークモデルは、継続的な感度分析を通じて、感度が高い領域の特定および配電線の受入優先順位付けを可能にしました。
LV配電網は、バスステーション、フィーダーライン、変圧器、再生可能エネルギー源、および消費者負荷ノードを含むグラフベースのネットワークとして表現されました。ネットワークモデルの詳細な数学的導出は、Supplementary File 1(Section 2)に記載されています。動的なネットワーク状態と混雑指標が継続的に監視されました。混雑指標は[0,1]の範囲に正規化され、混雑指標が0.80を超えたときに、協調的なフィーダー受入オーケストレーションが開始されました。
4. マルチエージェント環境の初期化
動的な低圧（LV）ネットワークモデルを構築した後、分散型のフィーダー受入をサポートするためにマルチエージェント環境を初期化した。インテリジェントエージェントを、LVネットワーク内のフィーダーセグメント、分散型エネルギーリソースの接続点、変圧器の設置場所、および混雑が発生しやすいノードに割り当てた。
各エージェントは独立した意思決定主体として動作し、局所的な配電線（フィーダー）の運用を監視し、隣接するエージェントと情報を交換し、適応的なオーケストレーション動作を実行した。エージェントは、電圧感度、再生可能エネルギーの普及率、混雑レベル、および配電線の重要性に基づいて、主要な配電線ノードに割り当てられた。低圧（LV）ネットワークはエージェントベースの環境として構成され、エージェントは配電線電圧、有効電力需要、再生可能エネルギー発電の変動、混雑状況、および配電線の受入容量を継続的に監視した。マルチエージェント環境の数学的な定式化は、以下に示される。 補足ファイル 1（セクション 3）.
5. 強化学習によるエージェントの学習
マルチエージェント環境の初期化後、変化するLV運転条件下での相互作用を通じて、エージェントがフィーダーオーケストレーションポリシーを学習できるように、強化学習を実装しました。各相互作用において、エージェントは現在のフィーダー状態を観測し、オーケストレーションアクションを選択し、報酬またはペナルティを受け取りました。この分散学習プロセスにより、エージェントは再生可能エネルギー発電の不確実性、混雑状況の変化、電圧変動、およびフィーダー受入容量の変化に適応することが可能となりました。各エージェントは、学習済みのポリシーに従ってオーケストレーションアクションを選択しました。関連する数学的導出は、補足ファイル1（セクション4）に記載されています。
合計64基のインテリジェントエージェントを配置した。フィーダーのトポロジー、再生可能エネルギーの浸透レベル、電圧感度、および混雑の深刻度に基づき、各エージェントをフィーダーセグメント、変圧器設置場所、分散型エネルギー資源の接続点、または混雑感度の高いネットワークノードに割り当てた。計算複雑性を妥当な範囲に維持しつつ、分散配置を採用することで、236バスの低圧配電ネットワーク全体における協調的な監視と適応的なフィーダー受入が可能となった。各エージェントは、電圧振幅、フィーダー負荷需要、再生可能エネルギー発電量、混雑状況、およびフィーダー受入容量からなる5次元の状態ベクトルを観測した。アクション空間は、フィーダー受入の優先順位付け、混雑緩和、再生可能エネルギーの調整、負荷分散、および電圧制御の5つのオーケストレーションアクションで構成された。協調的な意思決定は、各エージェントが隣接するフィーダーエージェントとの間でのみ感度指標および局所的な運用情報を交換する、分散型の近傍通信トポロジーを通じてサポートされた。
128個および64個のニューロンを持つ2つの隠れ層を備えた全結合ニューラルネットワークを用いて、Q学習に基づくMARL手法を実装した。隠れ層にはReLU（Rectified Linear Unit）活性化関数を適用した。ネットワークパラメータの最適化には、学習率0.001、割引率0.99のAdamオプティマイザを使用した。ミニバッチサイズは64とし、経験リプレイバッファの容量は100,000トランジションとした。直前20エピソードにおける累積報酬の移動平均の変化が、10回連続の評価ウィンドウにおいて0.1%未満となった時点で、トレーニングは収束したと見なした。この基準が満たされない場合は、最大500エピソードに達するまでトレーニングを継続した。強化学習のワークフローを図2に示す。
図 2: 強化学習によるエージェント学習のフローチャート。分散型フィーダーオーケストレーションおよび意思決定最適化のための、強化学習に基づいたエージェント学習プロセスを示すフローチャート。こちらのリンクをクリックして、この図の拡大版を表示してください。
学習プロセスは、LV配電環境、エージェントの状態、および学習パラメータの初期化から開始されました。インテリジェントエージェントを、フィーダー領域、分散型エネルギーリソースの設置場所、および混雑が発生しやすいバスに配置しました。次に、観測空間、学習率、探索戦略、報酬係数、および方策関数を定義しました。各インタラクションステップにおいて、各エージェントは割り当てられたフィーダー領域の現在の状態を観測しました。状態は、ノード電圧の大きさ、フィーダーの負荷需要、再生可能エネルギー発電の特性、混雑レベル、およびフィーダー受入容量で構成されていました。これらの観測結果が、オーケストレーションの意思決定に用いられる環境状態を形成しました。各エージェントは、自身の強化学習方策に従ってアクションを選択しました。選択可能なアクションには、フィーダー受入の優先順位付け、混雑管理、再生可能エネルギーの調整、負荷分散、および電圧管理が含まれていました。選択されたアクションを動的なLV環境に適用し、その後、フィーダーの状態を更新しました。
各アクションの後に報酬を算出した。選択したアクションによってフィーダーの受容性が向上した、混雑の伝播が防止された、電圧コンプライアンスが維持された、あるいはネットワークの安定性が向上した場合に、正の報酬を割り当てた。アクションの結果として、またはアクションで防止できなかった場合に、フィーダーの過負荷、電圧違反、またはオーケストレーションの遅延が生じたときは、ペナルティを適用した。算出された報酬は、強化学習による最適化を通じて、エージェントの値関数および決定ポリシーを更新するために使用された。観測、アクションの選択、環境の遷移、報酬の算出、およびポリシーの更新という一連の手順を、停止基準が満たされるまで繰り返した。
6. 電圧および混雑感の感度評価
強化学習の後、電圧および混雑に対する感度を評価し、脆弱な配電線領域を特定するとともに、再生可能エネルギーの不確実性下における動的な配電線受入決定を支援した。
各運転間隔において、フィーダー電力、再生可能エネルギー発電量、および負荷需要の変化がノード電圧とネットワーク混雑に及ぼす影響を決定しました。電圧および混雑の感度指数は、静的なネットワーク条件のみから導出されるのではなく、各シミュレーション運転間隔で再計算されました。各フィーダーノードの感度指数は、現在のネットワーク条件、再生可能エネルギー発電の変動、およびフィーダー負荷の状態に基づいて更新されました。得られた値を用いて、フィーダーの受け入れ、混雑管理、および電圧制御アクションのためのフィーダーノードの順位付けを行いました。
電圧感度指数により、有効電力フローの変化に伴うノード電圧の変化を定量化しました。電圧感度指数および混雑感度指数を算出した後、それらを統合して、フィーダー受け入れの適応的優先順位付けのための複合感度スコアを作成しました。複合スコアリングの手法については、補足ファイル1（セクション5）に記載されています。感度スコアが高いフィーダーノードには、混雑緩和、フィーダー受け入れ補正、および電圧調整操作において、より高いオーケストレーション優先順位が割り当てられました。感度スコアは各動作間隔で再計算され、協調通信環境を通じて隣接エージェントと共有されました。
7. 各シミュレーション動作間隔における協調的受容オーケストレーションと適応的決定最適化
感度評価の後、再生可能エネルギーの不確実性と動的な混雑条件下において、分散型エージェントが協調的なフィード単端受入決定を行えるようにするため、協調的な受入オーケストレーションが実施されました。エージェント間で、局所的なフィードの状態、感度指標、混雑アラート、および運用優先順位の交換が行われました。各エージェントは、ネットワーク全体の安定性を維持するために隣接するエージェントと協調しながら、自らの局所的なフィードの状態を独立して評価しました。
フィーダーの受入れは、電圧感度、混雑の深刻度、再生可能エネルギー発電の変動性、および利用可能なフィーダー容量に基づいて優先順位が付けられました。局所的な感度を考慮した観測結果が各エージェント間で集約され、協調的なフィーダー受入れアクションが生成されました。協調オーケストレーションプロセスの数学的定式化は、Supplementary File 1 (Section 6)に記載されています。動的な低圧（LV）ネットワーク環境は、Supplementary File 1 (Algorithm 1)に記載されている通り、フィーダー領域、再生可能エネルギー統合点、および混雑しやすいバスに配置された協調エージェントを用いて展開されました。各動作間隔において、各エージェントは電圧振幅、再生可能エネルギー発電の変動、フィーダー負荷、混雑レベル、およびフィーダー受入れ容量を含む局所的なフィーダーパラメータを観測しました。
その後、電圧不安定性または混雑波及の影響を受けやすいフィーダー領域を特定するため、電圧感度指数および混雑感度指数を算出した。これらの指数を統合して総合的なフィーダー感度スコアを導出し、これによりフィーダーの受入可否およびオーケストレーションの優先順位を決定した。局所的な状態情報、混雑レベル、電圧不安定性指標、および受入優先順位が、隣接するエージェント間で共有された。各エージェントは、局所的な観測結果と共有された情報に基づき、適応的なオーケストレーションアクションを選択し、実行した。各アクションの後、フィーダーの安定性、混雑の軽減、電圧の遵守状況、およびフィーダーの受入効率に従って、動的なLVネットワーク環境から強化フィードバックを得た。このフィードバックを用いて、強化学習ベースの最適化を通じて各エージェントのポリシーを更新した。グローバルなオーケストレーション目的関数により、エージェント集団全体における適応的最適化のための協調的なフィードバックが同時に提供された。エージェントのポリシーが最適な分散型オーケストレーション戦略に収束するまで、ポリシーの更新を継続した。
8. 大規模バリデーション
Dynamic Orchestration Strategy（動的オーケストレーション戦略）の検証は、再生可能エネルギーの導入率が高い運転シナリオの下で、FeederBWデータセットおよび236バス低圧（LV）配電ネットワークデータセットを用いて行われた。この検証では、相互接続されたLV配電システムにおける動的なフィーダー受入、再生可能エネルギーの間欠性、混雑の伝播、および電圧不安定性を管理する分散型オーケストレーションフレームワークの能力を評価した。評価対象となった運転シナリオには、高い再生可能エネルギー導入率、負荷需要の変動、動的な混雑伝播、電圧感受性条件、および変動するフィーダー受入容量が含まれていた。
フレームワークの性能は、フィーダー受入率、電圧コンプライアンス指数、混雑緩和率、オーケストレーション遅延、収束速度、分散協調効率、および再生可能エネルギー受入能力を用いて評価した。これらの指標は、スケーラビリティ、堅牢性、適応性、および協調性能を評価するために使用された。提案したフレームワークを、同一のネットワーク構成の下で従来の集中型フィーダーオーケストレーション手法と比較した。比較手法には、同等のデータセット、運用シナリオ、評価条件、および性能指標を適用した。
表2に、実験的検証に使用したデータセット、動作条件、オーケストレーション環境、および性能変数をまとめます。FeederBWデータセットは、低圧（LV）フィーダー条件下でのフィーダー動作ダイナミクス、再生可能エネルギーの間欠性、混雑の発生、住宅負荷の変動、および電圧変動を評価するために使用されました。236バスLVデータセットは、より大規模な相互接続ネットワークにおける分散型オーケストレーションを評価するために使用されました。このアーキテクチャは、再生可能エネルギー発電、負荷需要、電圧、および混雑のさまざまな条件下で検証されました。分散協調と強化学習に基づく方策最適化は、インテリジェントエージェント全体で共同で評価されました。
再生可能エネルギーシステムにおける動的な動作条件下での性能を定量化するために、フィーダー受入率、電圧コンプライアンス指数、混雑削減率、収束速度、およびオーケストレーション遅延が用いられました。
| 実験パラメータ | FeederBWデータセット | 236バス低圧データセット | バリデーションの目的 |
| ネットワーク形式 | 低圧配電ネットワーク | 大規模低圧配電ネットワーク | ダイナミックオーケストレーション評価 |
| ノード数/バス数 | 複数のフィーダーノード | 236台のバス | スケーラビリティ解析 |
| 再生可能エネルギーの統合 | 光起電力（PV）および分散型再生可能エネルギー源 | 高再生可能エネルギー浸透バス | 再生可能エネルギーの不確実性の検証 |
| 負荷需要挙動 | 動的住宅負荷プロファイル | 大規模なフィーダー負荷変動 | 適応的負荷オーケストレーション |
| 混雑シナリオ | フィーダーの過負荷および混雑状態 | マルチバス混雑伝播 | 混雑緩和分析 |
| 電圧条件 | 電圧変動プロファイル | 電圧感受性バス条件 | 電圧コンプライアンスの評価 |
| インテリジェントエージェント | 分散型フィーダーエージェント | 大規模協調エージェント | 分散型協調解析 |
| 学習環境 | 強化学習駆動型オーケストレーション | マルチエージェント適応学習 | 方策最適化の検証 |
| シミュレーション条件 | 動的な再生可能エネルギーの変動性 | 大規模動的動作 | 低遅延オーケストレーション試験 |
| パフォーマンス指標 | 受理率、混雑緩和 | 電圧コンプライアンス、収束速度 | 全体的なオーケストレーション性能 |
表2：大規模実験による検証。スケーラビリティ、再生可能エネルギーの不確実性、および分散型協調を評価するために使用した実験設定。
結果
確率的な学習の影響を軽減するため、すべての実験は異なるランダムシードを用いて5回ずつ実施されました。5回の実行結果から平均値を算出しました。すべての手法において、同一のデータセット、シミュレーションパラメータ、ハイパーパラメータ、停止基準、および評価手順を使用しました。比較手法として、集中型電圧制御（CVC）33、従来型マルチエージェント制御（CMAC）21、強化学習ベースの電圧調整（RLVR）20、分散型エネルギーリソース調整（DERC）26、および感度ベースの混雑管理（SBCM）34を用いました。
一元分散分析（one-way ANOVA）を用い、提案したフレームワークとベースライン手法（CVC、CMAC、RLVR、DERC、およびSBCM）との統計的比較を、各評価指標について独立して実施した。ANOVAにより統計的に有意な差が認められた場合は、ペア比較のためにTukeyの誠実な有意差（HSD）ポストホックテストを採用した。統計的有意性のしきい値は p < 0.001 に設定した。すべての統計分析は、一元分散分析を行い、必要に応じて有意差ポストホックテストを続けて実施した。一元ANOVAは statsmodels.stats.anova モジュールを使用して行った。統計的有意性の検定には、各アプローチについて5回の独立したシミュレーション実行から得られた最終的な収束性能値を用いた。中間トレーニングエピソードの目的は学習プロセスの可視化であり、統計的有意性の検定は行わなかった。
データ収集
FeederBWおよび236バスの低圧（LV）配電データセットを用いて、提案するフレームワークを相補的な動作条件下で評価しました。FeederBWデータセットには、電圧、分散型再生可能エネルギー発電、負荷需要、混雑状況、およびフィーダーの受入挙動を含む時系列のフィーダー情報が含まれています。これは、動的なフィーダー運用、再生可能エネルギーの間欠性、住宅負荷の変動、混雑の伝播、および電圧変動を評価するために使用されました。
236バス低圧（LV）配電データセットは、相互接続された236個のバスで構成され、フィーダー・トポロジー、電圧感応領域、再生可能エネルギーの浸透条件、電力フロー状態、および混雑波及シナリオを含んでいた。これは、より大規模な相互接続配電ネットワークにおける分散協調、適応的オーケストレーション、およびスケーラビリティを評価するために使用された。表3および表4に、実験的検証条件とシミュレーション環境をまとめる。
| バリデーションパラメータ | 概要 |
| 使用データセット | FeederBWデータセットおよび236バス低圧（LV）データセット |
| ネットワーク環境 | 動的な低電圧再生可能エネルギー重視配電系統 |
| 再生可能エネルギー源 | 分散型太陽光発電（PV）および再生可能エネルギー発電機 |
| 学習フレームワーク | マルチエージェント強化学習（MARL） |
| コーディネーション戦略 | 協調的分散オーケストレーション |
| 動作シナリオ | 再生可能エネルギーの間欠性、負荷変動、混雑伝播 |
| インテリジェントエージェント数 | 64個の分散型フィーダーレベル協調エージェント |
| バリデーションの目的 | 適応型フィーダー受容性の最適化 |
| 評価プロセス | リアルタイム・オーケストレーションおよび感度を考慮したコーディネーション |
| 比較分析 | 従来の集中管理型の協調手法と比較して |
表3：環境検証パラメータ。動的な低電圧動作条件下での適応的オーケストレーションを評価するために使用した検証パラメータ。
| シミュレーション構成要素 | 構成 |
| プロセッサー環境 | 高性能マルチコア処理システム |
| プログラミングフレームワーク | Python 3.11.9 |
| 学習フレームワーク | マルチエージェント強化学習 (MARL) |
| 学習アルゴリズム | Q学習に基づくマルチエージェント強化学習 |
| ニューラルネットワークアーキテクチャ | 2つの隠れ層（128および64ニューロン、ReLU活性化関数）を持つ全結合ニューラルネットワーク |
| オプティマイザー | Adam最適化アルゴリズム |
| 学習率（α） | 0.001 |
| 割引率 (γ) | 0.99 |
| リプレイメカニズム | 経験再生バッファ（容量：100,000トランジション） |
| ミニバッチサイズ | 64 |
| 探索ポリシー | ε-greedy探索（εを1.0から0.01まで減衰） |
| トレーニングエピソード | 500 |
| 停止基準 | 最大トレーニングエピソード数への到達、または累積報酬の収束 |
| ネットワークモデリング | 動的低圧配電網シミュレーション |
| 再生可能エネルギーシミュレーション | 変動再生可能エネルギー発電プロファイル |
| エージェント協調 | 分散型協調通信 |
| データ処理 | リアルタイム同期フィーダー状態処理 |
| 最適化手法 | 強化学習に基づく適応的ポリシー学習 |
| 実験プラットフォーム | FeederBWデータセットおよび236バス低圧配電ネットワークデータセットを用いた大規模シミュレーション |
| パフォーマンスモニタリング | フィーダー受理率（FAR）、電圧コンプライアンス指数（VCI）、混雑緩和率（CRR）、オーケストレーション遅延（OL）、収束速度（CS）、および分散協調効率（DCE） |
| 報酬重み (β) | 0.3 |
| 報酬ウェイト (δ) | 0.25 |
| 目的重み（ω₁） | 0.30（フィーダーの受容） |
| 目的重量 (ω₂) | 0.25（混雑緩和） |
| 目的関数重み (ω₃) | 0.25（コンプライアンス電圧） |
| 目的重量 (ω₄) | 0.20（オーケストレーション遅延） |
| 方策学習率 (η) | 0.001 |
| 正則化 / バランシングパラメータ (λ) | 0.1 |
表 4: シミュレーション環境。強化学習ベースのフィーダー制御実験に使用したシミュレーション設定。
データの前処理
同期および正規化されたデータにより、提案フレームワークとベースライン手法との間で一貫した比較が可能となった。すべての評価において、同一の前処理済みフィード状態、再生可能エネルギー発電プロファイル、負荷需要条件、電圧条件、および混雑シナリオを使用した。この共通の入力構造により、データセットの準備に起因する差異が排除され、観察された性能差を評価対象のオーケストレーション手法に関連付けることができた。
動的な低電圧ネットワークモデリング
この動的な低圧（LV）ネットワークモデルは、変動する再生可能エネルギー発電量、消費者需要、電圧状態、フィーダー負荷、および混雑の波及を表現しています。これらの条件下で、提案されたフレームワークは、電圧に敏感な動作状態および混雑に敏感な動作状態に対応しつつ、フィーダーの受容性を維持しました。本モデルは、変動する再生可能エネルギー発電、変化する消費者負荷、および混雑が発生しやすいネットワーク条件下での評価を可能にしました。これらのあらゆる条件下において、協調エージェントは、集中制御を行うことなく、フィーダーの優先順位付け、電圧依存の調整、混雑緩和、および再生可能エネルギーの適応を実現しました。
マルチエージェント環境の初期化
分散型エージェント構成により、配電線地域およびネットワーク接点における局所的な観測と協調的な意思決定が可能となりました。各エージェントは、自律的にオーケストレーションアクションを選択しつつ、隣接するエージェントと配電線の状態情報および感度指標を交換しました。観測された協調動作により、この分散配置が配電線の優先順位付け、負荷の調整、電圧管理、および混雑への対応を支援することが示されました。また、分散型の構成は、単一の中央制御装置への依存度を低減し、より大規模な236バスネットワーク全体での協調運用を可能にしました。
強化学習によるエージェント学習
強化学習に基づくポリシーは、トレーニング期間を通じて、フィーダーの受入れ、電圧コンプライアンス、混雑の軽減、オーケストレーションの遅延、および収束速度の面で改善しました。図 3 では、提案フレームワークとCVC、CMAC、RLVR、DERC、SBCMのフィーダー受入率（FAR）を比較しています。CVCのFARは最も低く、62%から70%へと上昇しました。CMACとDERCの最大FAR値は、それぞれ75%と78%に達しました。RLVRとSBCMは、それぞれ83%と81%に達しました。提案フレームワークでは、FARがトレーニング初期段階の72%から、後半段階では97%まで向上しました。この結果は、協調的な強化学習プロセスが、再生可能エネルギーの不確実性と変動する低圧（LV）動作条件下での適応的なフィーダー受入れをサポートすることをなしてしました。
図3: フィーダー受入率 (FAR)。 提案フレームワークとベースラインのフィーダー調整手法との間におけるFARの比較。値は、提案フレームワークと各ベースライン手法を5回の独立したシミュレーションランで比較し、平均 ± SDとして示している。統計的有意性は、信頼区間95%で p < 0.001として評価した。略語：FAR：Feeder Acceptance Rate（フィーダー受入率）、CVC：Centralized Voltage Control（集中型電圧制御）、CMAC：Conventional Multi-Agent Control（従来型マルチエージェント制御）、RLVR：Reinforcement Learning-Based Voltage Regulation（強化学習ベース電圧調整）、DERC：Distributed Energy Resource Coordination（分散型エネルギーリソース調整）、SBCM：Sensitivity-Based Congestion Management（感度ベース混雑管理）。 こちらのリンクをクリックして、この図の拡大版を表示してください。
図4に電圧コンプライアンス指数（VCI）を示す。CVCは70%から77%に増加し、一方でCMACとDERCはそれぞれ約81%と84%に達した。RLVRとSBCMはそれぞれ88%と86%に達した。提案フレームワークは、トレーニング初期の78%から収束時には約98%まで増加した。VCIが高いことは、断続的な再生可能エネルギー発電および負荷需要の変動下において、提案手法が比較手法よりも効果的に電圧コンプライアンスを維持したことを示している。
図 4: 電圧コンプライアンスインデックス（VCI）。 動的な低電圧動作条件下におけるVCIの比較分析。提案フレームワークと各ベースライン手法を5回の独立したシミュレーション実行で比較し、値を平均 ± SDとして提示している。95%信頼区間および統計的有意性は p < 0.001 で評価した。略語：VCI、電圧コンプライアンスインデックス；CVC、集中型電圧制御；CMAC、従来型マルチエージェント制御；RLVR、強化学習ベース電圧調整；DERC、分散型エネルギーリソース調整；SBCM、感度ベース輻輳管理。 ここをクリックして、この図の拡大版を表示してください。
図5のVCIヒートマップは、学習エピソードを通じた電圧コンプライアンスの進展を示している。提案フレームワークは、後半のイテレーションで95%から98%の値を達成した。CVCは70%から77%の間にとどまり、一方でRLVRとSBCMはそれぞれ約88%および86%に達した。したがって、このヒートマップは、提案フレームワークが学習の後半段階において最高の電圧コンプライアンス性能を維持したことを示している。
図 5: 電圧遵守指数（VCI）ヒートマップ。学習イテレーションおよびフィーダー協調手法におけるVCIのパフォーマンスを示すヒートマップ。カラースケールは電圧遵守指数の大きさを表しており、色が明るいほどVCI値が低く、色が濃いほどVCI値が高いことを示す。略語：VCI, Voltage Compliance Index（電圧遵守指数）；CVC, Centralized Voltage Control（集中型電圧制御）；CMAC, Conventional Multi-Agent Control（従来型マルチエージェント制御）；RLVR, Reinforcement Learning-Based Voltage Regulation（強化学習ベースの電圧調整）；DERC, Distributed Energy Resource Coordination（分散型エネルギーリソース協調）；SBCM, Sensitivity-Based Congestion Management（感度ベースの混雑管理）。 こちらのリンクをクリックして、この図の拡大版を表示してください。
表5に、混雑緩和率（CRR）を示す。CVCは48%から63%に増加した。CMACとDERCは約73%および75%に達し、RLVRは80%、SBCMは82%に達した。提案フレームワークは、トレーニング開始時の64%から収束後には約96%に増加した。比較手法の最終値に対して、提案フレームワークはCRRをCVCより約33%、CMACより23%、RLVRより16%、DERCより21%、SBCMより14%向上させた。これらの結果は、協調的なオーケストレーション方策が、集中制御、従来のマルチエージェント、電圧調整、分散リソース、および感度ベースの比較手法よりも効果的に混雑の伝播を抑制することを示している。図6に、オーケストレーション遅延（OL）の比較を示す。報告されたオーケストレーション遅延は、報告されたハードウェアプラットフォーム上でのシミュレーション中に、提案されたオーケストレーションアルゴリズムに必要とされた実測のウォールクロック実行時間に対応している。これは、展開された配電網の物理的な動作時間として解釈されるべきではない。提案フレームワークは、OLを220 msから98 msに短縮した。収束時において、CVC、CMAC、RLVR、DERC、およびSBCMの遅延は、それぞれ283 ms、253 ms、215 ms、242 ms、および205 msであった。したがって、提案フレームワークは、CVC、CMAC、RLVR、DERC、およびSBCMと比較して、遅延をそれぞれ約65%、61%、54%、59%、および52%短縮した。遅延の低減は、分散型の協調により、フィーダーのオーケストレーションにおけるより迅速な意思決定が可能になったことを示している。
| トレーニング反復 | CVC (%)(平均 ± 標準偏差) | CMAC (%) (平均値 ± 標準偏差) | RLVR (%)(平均値 ± 標準偏差) | DERC (%)(平均値 ± 標準偏差) | SBCM (%)(平均 ± 標準偏差) | 提案手法 (%) (平均値 ± 標準偏差) |
| 1 | 48.0 ± 0.5 | 52.0 ± 0.5 | 56.0 ± 0.4 | 54.0 ± 0.5 | 58.0 ± 0.4 | 64.0 ± 0.3 |
| 2 | 50.0 ± 0.5 | 54.0 ± 0.5 | 59.0 ± 0.4 | 56.0 ± 0.5 | 61.0 ± 0.4 | 68.0 ± 0.3 |
| 3 | 52.0 ± 0.5 | 57.0 ± 0.4 | 62.0 ± 0.4 | 59.0 ± 0.5 | 64.0 ± 0.4 | 72.0 ± 0.3 |
| 4 | 54.0 ± 0.4 | 60.0 ± 0.4 | 65.0 ± 0.4 | 62.0 ± 0.4 | 67.0 ± 0.4 | 76.0 ± 0.2 |
| 5 | 56.0 ± 0.4 | 62.0 ± 0.4 | 68.0 ± 0.3 | 64.0 ± 0.4 | 70.0 ± 0.3 | 80.0 ± 0.2 |
| 6 | 58.0 ± 0.4 | 65.0 ± 0.4 | 71.0 ± 0.3 | 67.0 ± 0.4 | 73.0 ± 0.3 | 84.0 ± 0.2 |
| 7 | 60.0 ± 0.4 | 67.0 ± 0.4 | 74.0 ± 0.3 | 69.0 ± 0.3 | 76.0 ± 0.3 | 87.0 ± 0.2 |
| 8 | 61.0 ± 0.4 | 69.0 ± 0.3 | 76.0 ± 0.3 | 71.0 ± 0.3 | 78.0 ± 0.3 | 90.0 ± 0.2 |
| 9 | 62.0 ± 0.4 | 71.0 ± 0.3 | 78.0 ± 0.3 | 73.0 ± 0.3 | 80.0 ± 0.3 | 93.0 ± 0.2 |
| 10 | 63.0 ± 0.4 | 73.0 ± 0.3 | 80.0 ± 0.3 | 75.0 ± 0.3 | 82.0 ± 0.3 | 96.0 ± 0.2 |
表5：混雑緩和率（CRR）： 提案フレームワークとベースラインのフィーダーオーケストレーション手法を比較した、5回の独立したシミュレーション実行における混雑緩和率（CRR）の平均値±標準偏差（SD）。略称：CRR, Congestion Reduction Rate（混雑緩和率）；CVC, Centralized Voltage Control（集中型電圧制御）；CMAC, Conventional Multi-Agent Control（従来のマルチエージェント制御）；RLVR, Reinforcement Learning-Based Voltage Regulation（強化学習ベースの電圧調整）；DERC, Distributed Energy Resource Coordination（分散型エネルギーリソース調整）；SBCM, Sensitivity-Based Congestion Management（感度ベースの混雑管理）。
図 6: オーケストレーション遅延（OL）。 適応的分散フィーダー協調におけるオーケストレーション遅延の比較分析。提案フレームワークと各ベースライン手法を、5回の独立したシミュレーション実行にわたって比較し、値を平均 ± SDで示している。95%信頼区間を用い、統計的有意性は p < 0.001 で評価した。略語：OL, Orchestration Latency; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. ここをクリックして、この図の拡大版を表示してください。
図7に収束速度（CS）を示す。CVCは20回のトレーニングエピソード後に42%から67%に上昇した。CMACとDERCは、それぞれ約74%と79%に達した。RLVRは87%に、SBCMは約90%に達した。提案したフレームワークは、第1エピソードの58%から収束時に98.5%まで上昇し、第10エピソードまでには93%を超えた。提案したフレームワークは、最終的な収束性能において、CVCより31.5%、CMACより24.5%、RLVRより11.5%、DERCより19.5%、SBCMより8.5%向上した。これらの結果は、提案したポリシーが比較手法よりも迅速に安定したオーケストレーション性能に達したことを示している。
Figure 7: 収束速度 (CS)。 評価した各手法における適応学習の効率性とオーケストレーションの収束速度を示す収束曲線。略記：CS, Convergence Speed（収束速度）；CVC, Centralized Voltage Control（集中型電圧制御）；CMAC, Conventional Multi-Agent Control（従来のマルチエージェント制御）；RLVR, Reinforcement Learning-Based Voltage Regulation（強化学習ベースの電圧調整）；DERC, Distributed Energy Resource Coordination（分散型エネルギーリソース協調）；SBCM, Sensitivity-Based Congestion Management（感度ベースの混雑管理）。 この図の拡大版を表示するには、ここをクリックしてください。
協調的受容オーケストレーションおよび低遅延適応的意思決定最適化
図8 分散協調効率（DCE）を示す。CVCは68%と最も低いDCEであった。CMACは75%、DERCは79%、RLVRは84%、SBCMは88%に達した。提案フレームワークは97%のDCEを達成した。提案フレームワークは、CVCを29パーセントポイント、CMACを22パーセントポイント、RLVRを13パーセントポイント、DERCを18パーセントポイント、SBCMを9パーセントポイント上回った。この結果は、局所的な情報交換、近傍エージェント間の協調、および分散方策最適化が、比較手法よりも効果的な協調を支援することを裏付けている。
図 8: 分散協調効率 (DCE)。 インテリジェントエージェント間の協調におけるDCEの比較分析。値は、提案フレームワークを各ベースライン手法と比較し、5回の独立したシミュレーション実行における平均 ± SDとして示されており、95%信頼区間および統計的有意性は p < 0.001 で評価されている。略語：DCE: Decentralized Coordination Efficiency（分散協調効率）、CVC: Centralized Voltage Control（集中電圧制御）、CMAC: Conventional Multi-Agent Control（従来型マルチエージェント制御）、RLVR: Reinforcement Learning-Based Voltage Regulation（強化学習ベースの電圧調整）、DERC: Distributed Energy Resource Coordination（分散型エネルギーリソース協調）、SBCM: Sensitivity-Based Congestion Management（感度ベースの混雑管理）。 こちらのリンクをクリックして、この図の拡大表示を確認してください。
図 9 および 表 6 に、再生可能エネルギー受入能力（RAC）を示す。CVCは52%から63%に増加した。CMACとDERCは、それぞれ約72%および76%に達した。RLVRは約83%に達し、SBCMは86%に達した。提案フレームワークは、学習開始時の70%から収束時には97%まで増加した。提案フレームワークは、CVCを34パーセントポイント、CMACを25パーセントポイント、RLVRを14パーセントポイント、DERCを21パーセントポイント、そしてSBCMを11パーセントポイント上回った。これらの結果は、提案されたオーケストレーションアプローチが、配電線運用、電圧性能、および混雑認識を維持しつつ、より高い割合の再生可能エネルギー発電を受入可能であることを示した。
図9: 再生可能エネルギー受入能力 (RAC)。 再生可能エネルギーが豊富なフィーダーシステムにおけるRACの比較分析。5回の独立したシミュレーションランを通じて、提案フレームワークと各ベースライン手法を比較した平均値 ± SDとして提示されており、95%信頼区間および統計的有意性は p < 0.001 で評価されている。略語：RAC, Renewable Accommodation Capability（再生可能エネルギー受入能力）；CVC, Centralized Voltage Control（集中型電圧制御）；CMAC, Conventional Multi-Agent Control（従来型マルチエージェント制御）；RLVR, Reinforcement Learning-Based Voltage Regulation（強化学習ベースの電圧調整）；DERC, Distributed Energy Resource Coordination（分散型エネルギーリソース協調）；SBCM, Sensitivity-Based Congestion Management（感度ベースの混雑管理）。 この図の拡大版を表示するには、ここをクリックしてください。
| トレーニング・イテレーション | CVC (%) (平均値 ± 標準偏差) | CMAC (%) (平均値 ± 標準偏差) | RLVR (%) (平均値 ± 標準偏差) | DERC (%) (平均値 ± 標準偏差) | SBCM (%)（平均値 ± 標準偏差） | 提案手法 (%) (平均 ± 標準偏差) |
| 1 | 52.0 ± 0.5 | 58.0 ± 0.5 | 64.0 ± 0.4 | 60.0 ± 0.5 | 66.0 ± 0.4 | 70.0 ± 0.3 |
| 2 | 54.0 ± 0.5 | 60.0 ± 0.5 | 67.0 ± 0.4 | 62.0 ± 0.5 | 69.0 ± 0.4 | 74.0 ± 0.3 |
| 3 | 55.0 ± 0.4 | 62.0 ± 0.4 | 70.0 ± 0.4 | 64.0 ± 0.4 | 72.0 ± 0.4 | 78.0 ± 0.3 |
| 4 | 57.0 ± 0.4 | 64.0 ± 0.4 | 73.0 ± 0.3 | 66.0 ± 0.4 | 75.0 ± 0.3 | 82.0 ± 0.2 |
| 5 | 58.0 ± 0.4 | 66.0 ± 0.4 | 75.0 ± 0.3 | 68.0 ± 0.4 | 77.0 ± 0.3 | 86.0 ± 0.2 |
| 6 | 59.0 ± 0.4 | 67.0 ± 0.4 | 77.0 ± 0.3 | 70.0 ± 0.3 | 79.0 ± 0.3 | 89.0 ± 0.2 |
| 7 | 60.0 ± 0.4 | 68.0 ± 0.3 | 79.0 ± 0.3 | 72.0 ± 0.3 | 81.0 ± 0.3 | 91.0 ± 0.2 |
| 8 | 61.0 ± 0.4 | 69.0 ± 0.3 | 80.0 ± 0.3 | 73.0 ± 0.3 | 83.0 ± 0.3 | 93.0 ± 0.2 |
| 9 | 62.0 ± 0.4 | 70.0 ± 0.3 | 81.0 ± 0.3 | 74.0 ± 0.3 | 84.0 ± 0.3 | 95.0 ± 0.2 |
| 10 | 63.0 ± 0.4 | 72.0 ± 0.3 | 83.0 ± 0.3 | 76.0 ± 0.3 | 86.0 ± 0.3 | 97.0 ± 0.2 |
表6：再生可能エネルギー受入能（RAC）：提案したフレームワークとベースラインのフィードオーケストレーション手法を比較した、5回の独立したシミュレーション実行における再生可能エネルギー受入能（RAC）の平均 ± 標準偏差（SD）。略語：RAC：再生可能エネルギー受入能、CVC：集中型電圧制御、CMAC：従来型マルチエージェント制御、RLVR：強化学習ベースの電圧調整、DERC：分散型エネルギーリソース協調、SBCM：感度ベースの混雑管理。
電圧および混雑感度の評価
図10 電圧感度安定性（Voltage Sensitivity Stability: VSS）を示す。CVCは60%から69%に上昇した。CMACとDERCは約76%と78%に達し、RLVRは84%に達した。提案フレームワークは、学習初期の74%から収束後には98%まで上昇した。提案フレームワークは、CVCを29パーセントポイント、CMACを22パーセントポイント、RLVRを14パーセントポイント、DERCを20パーセントポイント、SBCMを12パーセントポイント上回った。これらの結果は、感度を考慮したフレームワークが、再生可能エネルギーの間欠性、変動する負荷需要、および動的な混雑状況下において、より強力な電圧感度フィード性能を維持したことを示している。
Figure 10: 電圧感度安定性 (VSS)。 適応的電圧認識フィードオーケストレーションにおける電圧感度安定性の比較解析。提案フレームワークと各ベースライン手法を5回の独立したシミュレーション実行で比較し、値を平均 ± SDで示している。また、95%信頼区間を用い、統計的有意性は p < 0.001 で評価した。略語：VSS, Voltage Sensitivity Stability; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management。 この図の拡大版を表示するには、ここをクリックしてください。
図 11 渋滞感度指数（CSI）を提示する。CVCは52%から63%に上昇した。CMACとDERCはそれぞれ72%と76%に達した。RLVRは約83%、SBCMは約86%に達した。提案フレームワークは、トレーニング初期の72%から、トレーニング終了時には約98%まで上昇した。提案フレームワークは、CVCを約35パーセントポイント、CMACを26パーセントポイント、RLVRを15パーセントポイント、DERCを22パーセントポイント、そしてSBCMを12パーセントポイント上回った。ヒートマップは、提案アプローチがトレーニング後半のエピソードにおいて最高の渋滞感度性能を維持したことを示した。
図11: うっ血感度指数（CSI）ヒートマップ。 トレーニング段階およびフィーダー協調手法における混雑感応性能を示すヒートマップ. カラースケールはうっ滞感度指数（CSI）の大きさを表しており、色が薄いほどCSI値が低く、色が濃いほどCSI値が高いことを示しています。 略語：CSI、混雑感度指数；CVC、集中型電圧制御；CMAC、従来型マルチエージェント制御；RLVR、強化学習ベースの電圧調整；DERC、分散型エネルギー資源協調；SBCM、感度ベースの混雑管理。 この図の拡大版を表示するには、ここをクリックしてください。
大規模検証
図 12 および表 7 に、フィーダー安定性指数（FSI）を示す。CVCの平均FSIは64.7%であったのに対し、CMACとDERCの平均はそれぞれ72.5%と76.0%であった。RLVRの平均FSIは81.5%であった。提案フレームワークでは、電圧安定性97%、混雑制御96%、再生可能エネルギー統合能力95%、負荷分散効率94%、協調効率98%、および応答速度97%を達成した。これらの構成要素の値から、平均FSIは約96.2%となった。提案フレームワークは、平均FSIにおいてCVCより約31.5パーセンテージポイント、CMACより23.7パーセンテージポイント、RLVRより14.7パーセンテージポイント、DERCより20.2パーセンテージポイント、およびSBCMより11.7パーセンテージポイント向上させた。バランスの取れた構成要素の値は、本フレームワークが電圧安定性、混雑管理、再生可能エネルギー統合、負荷分散、協調効率、および応答速度のすべてにおいて性能を維持したことを示している。各シミュレーション実行において、電圧安定性、混雑制御、再生可能エネルギー統合、負荷分散、協調効率、および応答速度の6つの性能構成要素の算術平均を用いて、総合的なFSIを決定した。記載された平均値および標準偏差の算出には、5回の独立したシミュレーション実行を用いた。
図 12: フィーダー安定性指標 (FSI)。 提案フレームワークとベースライン手法について、電圧安定性、混雑制御、再生可能エネルギー統合、負荷分散、調整効率、応答速度の6つの性能コンポーネントにおけるフィーダー安定性指標のレーダーチャート比較。値が高いほど、各コンポーネントの性能が良いことを示す。略語：FSI, Feeder Stability Index; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management。 この図の拡大版を表示するには、ここをクリックしてください。
| 評価パラメータ | CVC (%) (平均値 ± 標準偏差) | CMAC (%)（平均値 ± 標準偏差） | RLVR (%) (平均 ± 標準偏差) | DERC (%) (平均 ± 標準偏差) | SBCM (%) (平均値 ± 標準偏差) | 提案手法 (%) (平均 ± 標準偏差) |
| 電圧安定性 | 68.0 ± 0.6 | 74.0 ± 0.5 | 82.0 ± 0.4 | 77.0 ± 0.5 | 86.0 ± 0.3 | 97.0 ± 0.2 |
| 混雑制御 | 64.0 ± 0.6 | 71.0 ± 0.5 | 79.0 ± 0.4 | 74.0 ± 0.5 | 84.0 ± 0.3 | 96.0 ± 0.2 |
| 再生可能エネルギーの統合 | 62.0 ± 0.5 | 70.0 ± 0.5 | 81.0 ± 0.4 | 76.0 ± 0.4 | 83.0 ± 0.3 | 95.0 ± 0.2 |
| 負荷分散 | 66.0 ± 0.5 | 73.0 ± 0.4 | 80.0 ± 0.4 | 75.0 ± 0.4 | 82.0 ± 0.3 | 94.0 ± 0.2 |
| 配位効率 | 65.0 ± 0.5 | 75.0 ± 0.4 | 83.0 ± 0.3 | 78.0 ± 0.4 | 87.0 ± 0.3 | 98.0 ± 0.2 |
| 応答速度 | 63.0 ± 0.5 | 72.0 ± 0.4 | 84.0 ± 0.3 | 76.0 ± 0.4 | 85.0 ± 0.3 | 97.0 ± 0.2 |
| 平均FSIスコア | 64.7 ± 0.5 | 72.5 ± 0.5 | 81.5 ± 0.4 | 76.0 ± 0.4 | 84.5 ± 0.3 | 96.2 ± 0.2 |
表7：フィーダー安定性指数（FSI）：電圧安定性、混雑制御、再生可能エネルギー統合、負荷分散、調整効率、および応答速度に基づいた、5回の独立したシミュレーション実行におけるフィーダー安定性指数（FSI）の平均値 ± 標準偏差。 略語：FSI：フィーダー安定性指数、CVC：集中型電圧制御、CMAC：従来型マルチエージェント制御、RLVR：強化学習ベース電圧調整、DERC：分散型エネルギーリソース協調、SBCM：感度ベース混雑管理。
図13 負荷分散効率（Load Balancing Efficiency: LBE）について示す。CVCの総合的なLBEは約68%であり、その内訳は、均衡負荷分散が42%、中程度の負荷安定性が18%、動的適応バランシングが8%であった。CMACとDERCの総合的な値は、それぞれ約80%および86%であった。RLVRは約92%、SBCMは約96%に達した。提案フレームワークの総合的なLBEは約98%であり、その内訳は、均衡負荷分散が72%、中程度の負荷安定性が20%、動的適応バランシングが6%であった。この結果は、提案手法が評価した手法の中で最も高い総合的な負荷分散性能を維持したことを示している。
図13: 負荷分散効率 (LBE) 提案フレームワークとベースライン手法の負荷分散効率を比較した積層棒グラフ。各積層棒は、以下の3つのパフォーマンス構成要素で構成されている。 均等な負荷分散, 中程度の負荷安定性, および 動的適応バランス調整, それらの合計値は、各手法の総合的なLBE（負荷分散効率）を表します。合計値が高いほど、負荷分散性能が優れていることを示します。. 略語：LBE、負荷分散効率；CVC、集中型電圧制御；CMAC、従来のマルチエージェント制御；RLVR、強化学習ベースの電圧調整；DERC、分散型エネルギーリソース調整；SBCM、感度ベースの混雑管理。 この図の拡大版を表示するには、ここをクリックしてください。
図14 再生可能エネルギー利用効率（RUE）を示す。CVCは50%から61%に上昇した。CMACとDERCはそれぞれ70%と75%に達した。RLVRは82%に、SBCMは86%に達した。提案フレームワークは、学習初期の72%から収束時には約98%まで上昇した。提案フレームワークは、CVCを約37パーセントポイント、CMACを28パーセントポイント、RLVRを16パーセントポイント、DERCを23パーセントポイント、SBCMを12パーセントポイント上回った。RUEが高いことは、提案するオーケストレーションポリシーが、負荷や混雑状況の変化に応じて、利用可能な再生可能エネルギー発電量をより高い割合で利用していることを示している。
図14: 再生可能エネルギー利用効率（RUE） 低電圧配電線管制におけるRUEの比較分析。値は、提案フレームワークと各ベースライン手法を5回の独立したシミュレーション実行で比較した平均値±標準偏差として示されており、95%信頼区間および統計的有意性は以下で評価されている。 p < 0.001略語：RUE、再生可能エネルギー利用効率；CVC、集中型電圧制御；CMAC、従来型マルチエージェント制御；RLVR、強化学習に基づく電圧調整；DERC、分散型エネルギーリソース協調；SBCM、感度に基づく混雑管理。 この図の拡大版を表示するには、ここをクリックしてください。
図15 および 表8 適応的意思決定精度（ADA）を示す。提案フレームワークは78%から99%へと向上した。CVC、CMAC、RLVR、DERC、およびSBCMは、それぞれ68%、76%、86%、79%、88%に収束した。提案フレームワークは、CVCを約31パーセンテージポイント、CMACを23パーセンテージポイント、RLVRを13パーセンテージポイント、DERCを20パーセンテージポイント、およびSBCMを11パーセンテージポイント上回った。ADAが高いことは、再生可能エネルギーが豊富なLV動作条件下において、協調エージェントがより正確なオーケストレーション決定を選択したことを示している。
図 15: 適応的決定精度 (ADA)。提案したオーケストレーションフレームワークとベースライン手法のADAの比較分析。値は5回の独立したシミュレーション実行にわたり、提案フレームワークを各ベースライン手法と比較した平均値 ± SDとして示されており、95%信頼区間および統計的有意性は p < 0.001 で評価されている。略語：ADA, Adaptive Decision Accuracy; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management. この図の拡大版を表示するには、ここをクリックしてください。
| トレーニングエポック | CVC (%) (平均 ± 標準偏差) | CMAC (%) (平均値 ± 標準偏差) | RLVR (%) (平均値 ± 標準偏差) | DERC (%)（平均値 ± 標準偏差） | SBCM (%) (平均 ± 標準偏差) | 提案手法 (%) (平均値 ± 標準偏差) |
| 1 | 58.0 ± 0.5 | 64.0 ± 0.5 | 70.0 ± 0.4 | 66.0 ± 0.5 | 72.0 ± 0.4 | 78.0 ± 0.3 |
| 2 | 60.0 ± 0.5 | 66.0 ± 0.5 | 73.0 ± 0.4 | 68.0 ± 0.5 | 75.0 ± 0.4 | 82.0 ± 0.3 |
| 3 | 61.0 ± 0.4 | 68.0 ± 0.4 | 76.0 ± 0.4 | 70.0 ± 0.4 | 78.0 ± 0.4 | 86.0 ± 0.2 |
| 4 | 62.0 ± 0.4 | 70.0 ± 0.4 | 78.0 ± 0.3 | 72.0 ± 0.4 | 80.0 ± 0.3 | 89.0 ± 0.2 |
| 5 | 63.0 ± 0.4 | 71.0 ± 0.4 | 80.0 ± 0.3 | 74.0 ± 0.4 | 82.0 ± 0.3 | 91.0 ± 0.2 |
| 6 | 64.0 ± 0.4 | 72.0 ± 0.4 | 82.0 ± 0.3 | 75.0 ± 0.3 | 84.0 ± 0.3 | 93.0 ± 0.2 |
| 7 | 65.0 ± 0.4 | 73.0 ± 0.3 | 83.0 ± 0.3 | 76.0 ± 0.3 | 85.0 ± 0.3 | 95.0 ± 0.2 |
| 8 | 66.0 ± 0.4 | 74.0 ± 0.3 | 84.0 ± 0.3 | 77.0 ± 0.3 | 86.0 ± 0.3 | 96.0 ± 0.2 |
| 9 | 67.0 ± 0.4 | 75.0 ± 0.3 | 85.0 ± 0.3 | 78.0 ± 0.3 | 87.0 ± 0.3 | 97.0 ± 0.2 |
| 10 | 68.0 ± 0.4 | 76.0 ± 0.3 | 86.0 ± 0.3 | 79.0 ± 0.3 | 88.0 ± 0.3 | 99.0 ± 0.2 |
表8：適応的決定精度（ADA）：提案するインテリジェントフィードオーケストレーションフレームワークとベースライン手法を比較した5回の独立したシミュレーション実行における適応的決定精度（ADA）の平均値 ± 標準偏差。略語：ADA：適応的決定精度、CVC：集中型電圧制御、CMAC：従来のマルチエージェント制御、RLVR：強化学習ベースの電圧調整、DERC：分散型エネルギーリソース調整、SBCM：感度ベースの混雑管理。
表9にシステム信頼性向上（SRI）を示す。CVCは60%から69%に増加した。CMACは約78%、DERCは約81%、RLVRは約86%、SBCMは約88%に達した。提案フレームワークは、学習初期の80%から収束時には約99%まで向上した。提案フレームワークは、CVCを約30パーセントポイント、CMACを21パーセントポイント、RLVRを13パーセントポイント、DERCを18パーセントポイント、SBCMを11パーセントポイント上回った。SRIが高いことは、提案フレームワークが比較手法よりも効果的に、フィーダーの連続性、電圧安定性、混雑制御、および適応的な再生可能エネルギー統合を維持したことを示している。
| 学習イテレーション | CVC (%) (平均 ± 標準偏差) | CMAC (%) (平均 ± 標準偏差) | RLVR (%) (平均 ± 標準偏差) | DERC (%) (平均 ± 標準偏差) | SBCM (%) (平均 ± 標準偏差) | 提案手法 (%) (平均 ± 標準偏差) |
| 1 | 60.0 ± 0.5 | 66.0 ± 0.5 | 72.0 ± 0.4 | 68.0 ± 0.5 | 75.0 ± 0.4 | 80.0 ± 0.3 |
| 2 | 61.0 ± 0.5 | 68.0 ± 0.5 | 74.0 ± 0.4 | 70.0 ± 0.5 | 77.0 ± 0.4 | 84.0 ± 0.3 |
| 3 | 62.0 ± 0.4 | 70.0 ± 0.4 | 76.0 ± 0.4 | 72.0 ± 0.4 | 79.0 ± 0.4 | 87.0 ± 0.2 |
| 4 | 63.0 ± 0.4 | 72.0 ± 0.4 | 78.0 ± 0.3 | 74.0 ± 0.4 | 81.0 ± 0.3 | 90.0 ± 0.2 |
| 5 | 64.0 ± 0.4 | 73.0 ± 0.4 | 80.0 ± 0.3 | 76.0 ± 0.4 | 83.0 ± 0.3 | 92.0 ± 0.2 |
| 6 | 65.0 ± 0.4 | 74.0 ± 0.4 | 82.0 ± 0.3 | 77.0 ± 0.3 | 84.0 ± 0.3 | 94.0 ± 0.2 |
| 7 | 66.0 ± 0.4 | 75.0 ± 0.3 | 83.0 ± 0.3 | 78.0 ± 0.3 | 85.0 ± 0.3 | 95.0 ± 0.2 |
| 8 | 67.0 ± 0.4 | 76.0 ± 0.3 | 84.0 ± 0.3 | 79.0 ± 0.3 | 86.0 ± 0.3 | 96.0 ± 0.2 |
| 9 | 68.0 ± 0.4 | 77.0 ± 0.3 | 85.0 ± 0.3 | 80.0 ± 0.3 | 87.0 ± 0.3 | 97.0 ± 0.2 |
| 10 | 69.0 ± 0.4 | 78.0 ± 0.3 | 86.0 ± 0.3 | 81.0 ± 0.3 | 88.0 ± 0.3 | 99.0 ± 0.2 |
表 9: システム信頼性向上 (SRI): 再生可能エネルギーが豊富な低圧配電条件下における、5回の独立したシミュレーション実行によるシステム信頼性向上 (SRI) の平均値 ± 標準偏差。 略語: SRI, System Reliability Improvement（システム信頼性向上）；CVC, Centralized Voltage Control（集中型電圧制御）；CMAC, Conventional Multi-Agent Control（従来のマルチエージェント制御）；RLVR, Reinforcement Learning-Based Voltage Regulation（強化学習ベースの電圧調整）；DERC, Distributed Energy Resource Coordination（分散型エネルギーリソース調整）；SBCM, Sensitivity-Based Congestion Management（感度ベースの混雑管理）。
提案されたフレームワークは、FeederBWおよび236バスLVデータセットを用い、再生可能エネルギー発電、負荷需要、電圧、および混雑のさまざまな条件下で評価されました。フィードの許容性、電圧遵守、混雑の軽減、オーケストレーション遅延、収束速度、分散協調、再生可能エネルギーの受容性、電圧感度、混雑感度、フィードの安定性、負荷分散、再生可能エネルギーの利用率、決定精度、およびシステムの信頼性が評価されました。
これらの指標において、提案されたフレームワークはFAR、VCI、CRR、CS、DCE、RAC、VSS、CSI、FSI、LBE、RUE、ADA、およびSRIで最高の最終値を、そしてOLで最低値を記録しました。ベースラインの手法が同一のデータセット、運用シナリオ、シミュレーション環境、停止基準、および評価指標で評価されたため、これらの比較結果は、電圧および混雑感度の評価を組み合わせた協調マルチエージェント強化学習が、評価対象とした集中型および分散型の比較手法に比べて、適応的なフィーダー受入能力を向上させたという仮説を支持するものとなりました。
結果から、ダイナミック・オーケストレーション戦略により、オーケストレーションのレイテンシが削減される一方で、フィーダーの受容性、電圧コンプライアンス、混雑の緩和、再生可能エネルギーの収容、負荷分散、分散協調、意思決定の精度、およびシステムの信頼性が向上することが示された。また、本フレームワークは比較手法よりも迅速に収束した。評価されたシミュレーション条件下において、これらの知見は、協調的で感度を考慮した分散型強化学習が、再生可能エネルギー発電の不確実性ならびに負荷および混雑状況の変化の下で、低圧フィーダーのオーケストレーションを改善し得るという提案仮説を支持するものであった。
データの利用可能性：
FeederBWデータセットは、以下で公開されています。 **プロトコル：1. 2-メトキシ-4-ビニルフェノール（MVP）の合成** **目的** 本プロトコルの目的は、2-メトキシ-4-ビニルフェノール（MVP）を合成することである。MVPは、加熱されたコーヒーやローストしたナッツなどの食品の香気成分として知られる重要な揮発性化合物である。 **材料および試薬** - 2-メトキシ-4-アリルフェノール（エウゲノール） - 水酸化カリウム (KOH) - エタノール - 濃塩酸 (HCl) - ジエチルエーテル - 無水硫酸マグネシウム (MgSO₄) - ガスクロマトグラフィー (GC) 分析用標準物質 **手順** 1. **反応溶液の調製** 2-メトキシ-4-アリルフェノール（10 g）をエタノール（50 mL）に溶解し、攪拌しながら水酸化カリウム（5 g）を加える。 2. **加熱および還流** 混合物を還流温度まで加熱し、約3時間攪拌しながら反応させる。この過程で、アリル基がビニル基へ異性化される。 3. **冷却および中和** 反応液を室温まで冷却した後、氷冷下で慎重に濃塩酸を滴下し、溶液を pH 6-7 に調整する。 4. **抽出** 得られた混合物をジエチルエーテル（3 × 30 mL）で抽出し、有機層を回収する。 5. **洗浄および乾燥** 有機相を飽和食塩水で洗浄し、無水硫酸マグネシウムを加えて十分に乾燥させる。 6. **濃縮および精製** 乾燥剤をろ過して除去し、エバポレーターを用いて溶媒を減圧留去する。得られた粗生成物を、必要に応じて減圧蒸留により精製し、純粋な MVP を得る。 7. **分析および確認** 合成した MVP の純度と構造を、ガスクロマトグラフィー (GC) および質量分析 (MS) を用いて確認する。 **注意点** - 水酸化カリウムおよび濃塩酸は腐食性があるため、取り扱いには十分注意し、適切な個人用保護具（手袋、保護メガネ）を着用すること。 - MVP は光や熱に敏感であるため、遮光保存し、低温（4℃以下）で保管することを推奨する。、および236バス低圧配電ネットワークのデータセットは、以下で公開されています。 **概要** 本ビデオでは、共焦点レーザー走査顕微鏡（CLSM）を用いて、植物組織中の菌類成分を可視化するための蛍光染色法を解説します。本プロトコルでは、菌類特異的な蛍光色素であるCalcofluor White（カルコフルオールホワイト）を用い、植物の根や茎などの組織に浸透させ、細胞壁のキチン質やセルロースを標識することで、共生菌や病原菌の分布および形態を詳細に観察する方法を示します。 **キーワード** 共焦点レーザー走査顕微鏡、Calcofluor White、菌類、植物組織、蛍光染色、キチン、可視化、共生菌、病原菌、組織切片 **材料** * 植物サンプル（根、茎、葉などの組織） * Calcofluor White MP溶液（最終濃度 0.1% 〜 0.25%） * PBS（リン酸緩衝生理食塩水）または 0.1 M リン酸緩衝液（pH 7.0） * 固定液（2.5% 形式アルデヒドまたは 4% パラホルムアルデヒド） * スライドグラスおよびカバーグラス * 封入剤（mounting medium） * 共焦点レーザー走査顕微鏡（CLSM） **手順** 1. **サンプルの固定** 植物組織を適切に切り出し、固定液に浸漬して室温で24時間以上、または 4°C で長時間固定します。これにより、組織構造と菌類の形態を保持します。 2. **洗浄** 固定液をPBSまたはリン酸緩衝液で3回（各5〜10分間）洗浄し、残存する固定剤を除去します。 3. **透過処理（必要に応じて）** 組織の厚みに応じて、界面活性剤（例：0.1% Triton X-100）を含む緩衝液で処理し、色素の浸透性を高めます。 4. **蛍光染色** Calcofluor White溶液をサンプルに滴下し、暗所で30分から2時間程度、あるいは組織の厚さに応じて一晩インキュベートします。 5. **洗浄** 余剰な色素を除去するため、PBSまたはリン酸緩衝液で3回洗浄します。洗浄不足の場合、背景ノイズ（バックグラウンド）が高くなるため、十分に洗浄してください。 6. **封入** サンプルをスライドグラス上に配置し、封入剤を加えてカバーグラスで封入します。気泡が入らないように注意してください。 7. **顕微鏡観察** 共焦点レーザー走査顕微鏡を用い、適切な励起波長（通常はUVまたは青色レーザー）を用いて観察します。Calcofluor Whiteは青色の蛍光を発するため、対応する検出フィルターを選択し、Zスタック撮影を用いて組織内部の3次元構造を構築します。 本研究のために開発されたPython実装は、シミュレーションフレームワーク、前処理モジュール、マルチエージェント強化学習環境、モデルの学習および評価スクリプト、設定ファイル、ならびに提案手法を再現するために必要な入力データ形式とともにZenodoに保存されており、以下から公開されています。 このビデオでは、ホモサピエンスの肺組織を用いた全スライドイメージング（WSI）における、核および細胞質などの細胞内構造のセグメンテーションを自動化するためのワークフローを提示します。 まず、肺組織のH&E染色切片をデジタルスライドスキャナーでスキャンし、高解像度のWSIを生成します。次に、オープンソースの画像解析ソフトウェアであるQuPathを使用して、関心領域（ROI）の定義、組織の分類、および組織学的特徴の抽出を行います。 その後、ディープラーニングベースのセグメンテーションモデルであるStarDistまたはCellPoseを導入し、個々の細胞核を精密に識別します。これらのモデルは、細胞の密度が高く、境界が不明瞭な肺組織においても、高い精度で個々の細胞を分離することが可能です。 さらに、核のセグメンテーション結果に基づいて、核から一定の距離にある領域を細胞質として定義するウォーターシェッドアルゴリズムや距離変換などの手法を組み合わせ、細胞全体の境界を推定します。 最終的に、得られたセグメンテーションデータを用いて、細胞の形態学的パラメータ（面積、周長、円形度など）や、細胞密度、細胞分布の空間的解析を行い、定量的な組織学的評価を実施します。 本ワークフローは、手動によるアノテーションの負担を大幅に軽減し、肺組織解析における客観性と再現性を向上させるための効率的なアプローチを提供します。 本リポジトリは、本研究で報告された手法および実験の再現性を支援するものである。.
補足ファイル1. 提案された動的オーケストレーション戦略の数学的導出、アルゴリズム、および実装の詳細。 この補足ファイルでは、データ前処理、動的な低電圧ネットワークモデリング、マルチエージェント環境の初期化、強化学習によるエージェント学習、電圧および混雑感度の評価、協調的なフィーダー受入オーケストレーション、および性能評価指標を含む、提案されたフレームワークの各段階を支持する数学的定式化を提示します。また、協調的なフィーダー受入オーケストレーションの手順を記述したアルゴリズム1と、本研究で使用した評価指標の数学的定義も含まれています。こちらのリンクからファイルをダウンロードしてください。
ディスカッション
実験結果から、提案された動的オーケストレーション戦略（Dynamic Orchestration Strategy）は、集中型電圧制御（CVC）33、従来型マルチエージェント制御（CMAC）21、強化学習ベース電圧調整（RLVR）20、分散型エネルギーリソース調整（DERC）26、および感度ベース混雑管理（SBCM）34と比較して、分散型フィーダー協調、再生可能エネルギー統合、電圧安定性、混雑管理、および低遅延オーケストレーションを改善することが示された。評価したフィーダー受入率（FAR）、電圧準拠指数（VCI）、混雑削減率（CRR）、分散協調効率（DCE）、再生可能エネルギー利用効率（RUE）、適応的意思決定精度（ADA）、およびシステム信頼性向上（SRI）のすべてにおいて、提案したフレームワークは試験条件下でより高い性能を達成した。FeederBWおよび236バス低圧（LV）データセットを用いて得られた結果は、協調的マルチエージェント強化学習と電圧および混雑感度評価を組み合わせることで、適応的フィーダーオーケストレーションの効率と速度が向上することを示している。
比較分析の結果、集中型およびルールベースの調整手法は、フィーダー条件の変化時にオーケストレーションの応答が遅く、再生可能エネルギーの受入能力が低く、適応的な調整効率が低下し、拡張性に制限があることが示された33,34。RLVRおよびSBCMは、強化学習および感度認識型の混雑管理コンポーネントを備えているため、他の比較手法よりも優れた性能を示したが、協調的かつ分散型のフィーダー受入オーケストレーションメカニズムは提供していなかった。対照的に、提案されたフレームワークは、協調的なインテリジェントエージェント、感度認識型フィーダー優先順位付け、適応的オーケストレーション最適化、および分散型ポリシー学習を組み合わせたものである。その収束速度の速さと安定性指標の高さは、この複合的な構造が、再生可能エネルギー発電量、負荷、電圧、および混雑状況が変動する条件下でのフィーダー運用をサポートすることを示唆している。
分散型マルチエージェント強化学習アーキテクチャは、単一の集中制御器に依存するのではなく、フィーダーレベルのエージェント間で意思決定を分散させました。配電ネットワークの規模が拡大しても、個々のエージェントが局所的な計算を行い、隣接するエージェントに必要とされる調整情報のみを交換します。この構成により、集中計算のボトルネックと通信オーバーヘッドが軽減され、その結果、スケーラビリティが向上しました35。したがって、このフレームワークは、再生可能エネルギーの導入率が高く、フィーダーセグメント数が多く、運用上の複雑性が増したより大規模なネットワークにも適用可能です。ただし、非常に大規模な展開には、分散コンピューティングリソースと通信プロトコルのさらなる最適化が必要となります。
本研究はまた、低電圧フィーダー管理に対する分散型学習ベースのアプローチを提示した。主に静的な運用ルールや集中最適化に基づく従来の電圧制御および混雑管理手法33とは異なり、提案された戦略は、電圧感度評価、混雑を考慮したオーケストレーション、強化学習による方策最適化、動的なフィーダー受入ランキング、および協調エージェント間の通信を統合したものである。この統合により、マルチエージェント強化学習の活用範囲が、電圧調整やリソース調整から、再生可能エネルギーが豊富な低電圧（LV）配電網における適応的なフィーダー受入オーケストレーションへと拡張された。
提案された手法は、電力会社、スマートグリッドオペレーター、および再生可能エネルギー管理システムのフィーダー受容管理を支援する可能性がある。しかしながら、実用化に向けてはいくつかの課題を解決しなければならない。特に大規模ネットワークにおいては、通信遅延が分散エージェント間の情報交換および協調の速度に影響を及ぼす可能性がある。また、エージェント間の相互作用や運用データを不正アクセスやサイバー攻撃から保護するために、セキュアな通信とサイバーセキュリティ対策が必要となる。既存の配電管理システム（Distribution Management Systems）との統合には、電力会社の通信プロトコル、監視制御アーキテクチャ、および運用手順との相互運用性が求められる。したがって、実用化は低遅延の通信構造、安全なデータ伝送、標準化されたインターフェース、およびフィールド検証に依存することになる36,37。
本研究は、FeederBWおよび236バスLVデータセットへの依存、ならびに定義済みの運用および通信条件下でのシミュレーションベースの検証に限定されていた。これらの設定は、実際の電力事業者のネットワークで遭遇するトポロジー、外乱、通信障害、またはサイバー物理イベントを完全には代表していない可能性がある。また、超大規模な運用条件や再生可能エネルギー比率が高い条件下では、計算複雑性がより顕著になる可能性がある。したがって、今後の課題として、さらなる電力事業者規模のデータセット、実際の配電ネットワーク、ハードウェアインザループ（HIL）プラットフォーム、およびフィールドスケールのパイロット設備を用いて本フレームワークを評価する必要がある。今後は、HILプラットフォーム、実際の電力事業者ネットワーク、およびより大規模な配電システムを用いて、提案したフレームワークの検証に重点を置く。加えて、今後の研究では、スケーラビリティと運用の堅牢性をさらに向上させるため、高度な強化学習アーキテクチャと改善された分散協調戦略を検討する。総じて、シミュレーション結果は、電圧および混雑感度の評価を組み合わせた協調型マルチエージェント強化学習により、フィーダーの受入能、電圧遵守、混雑緩和、再生可能エネルギーの統合、分散協調、収束性、レイテンシ、および適応的意思決定を改善できることを示した。実用的なスケーラビリティと運用の信頼性を確認するためには、実際の電力データ、現実的な通信遅延、サイバー物理的な混乱、およびHILまたはフィールドテスト条件下での追加試験が必要である。
開示事項
著者らは、競合する利益がないことを宣言します。
謝辞
本研究は、 Guangdong Power Grid Company の Guangzhou Power Supply Bureau によるプロジェクト「プロセスオートメーションに基づく低圧計量設備の自動受入技術に関する研究」（プロジェクトコード：030100KC24120100）の支援を受けて行われました。
材料
| 名前 | 会社 | カタログ番号 | コメント |
|---|---|---|---|
| 236-Bus 低電圧配電ネットワークデータセット | Canizes et al. | DOI: 10.5281/zenodo.8274780 | 提案フレームワークの拡張性分析および大規模検証に使用した公開ベンチマークデータセット |
| 中央処理装置 (CPU) | Intel Corporation | Intel Core i9-12900K (16-Core) | シミュレーション管理および環境実行に使用 |
| 混雑感度分析モジュール | 独自開発モジュール | Zenodo DOI: 10.5281/zenodo.21423239 | リアルタイムの混雑感度計算およびフィーダーの優先順位付けを実行 |
| CUDA Toolkit | NVIDIA Corporation | CUDA 12.1 | PyTorchモデルの学習を高速化させるために使用したGPUコンピューティングプラットフォーム |
| cuDNN ライブラリ | NVIDIA Corporation | cuDNN 9.3.0 | CUDAと共に使用される深層ニューラルネットワーク加速ライブラリ |
| カスタム動的LVネットワークシミュレーター | 独自開発モジュール | Version 1.0 | 動的なフィーダーオーケストレーション実験のために、PythonおよびPyTorchを用いて著者が開発したシミュレーションプラットフォーム。実装の詳細は「Methods」および「Data Availability」のセクションに記載されている。 |
| データ処理ライブラリ | pandas Development Team | pandas 2.2.2 | 前処理、特徴抽出、正規化、および時系列データの管理に使用 |
| 深層学習フレームワーク | PyTorch Foundation | PyTorch 2.3.1 | マルチエージェント強化学習 (MARL) モデルの実装、ニューラルネットワークの学習、および方策最適化に使用 |
| 分散エージェント通信モジュール | 独自開発フレームワーク | Zenodo DOI: 10.5281/zenodo.21423239 | インテリジェントエージェント間の分散通信および協調的な方策交換を実現 |
| FeederBW データセット | Treutlein et al. | DOI: 10.5281/zenodo.17831177 | 実際の低電圧フィーダーの測定値、再生可能エネルギー発電、および動作プロファイルを含む公開データセット |
| グラフィックス処理装置 (GPU) | NVIDIA Corporation | GeForce RTX 3090, 24 GB GDDR6X | ニューラルネットワークの学習および並列計算に使用したハードウェアアクセラレータ |
| マルチエージェント強化学習環境 | Farama Foundation | Gym 0.26.2 | インテリジェントエージェントの協調的な相互作用および学習用にカスタマイズされた強化学習環境 |
| 数値計算ライブラリ | NumPy Developers | NumPy 1.26.4 | 数値計算、テンソル操作、および行列演算に使用 |
| オペレーティングシステム | Canonical Ltd. | Ubuntu 22.04.5 LTS (64-bit) | すべてのシミュレーションおよび強化学習実験に使用したオペレーティングシステム |
| Python プログラミング言語 | Python Software Foundation | Python 3.11.9 | アルゴリズム実装、シミュレーション、およびモデル開発に使用した主要なプログラミング言語 |
| システムメモリ | Lenovo | 64 GB DDR5 RAM | 大規模なMARLシミュレーションおよびデータ処理に使用した搭載システムメモリ |
| 電圧安定性監視モジュール | 独自開発モジュール | Zenodo DOI: 10.5281/zenodo.21423239 | フィーダーオーケストレーション中の電圧安定性と準拠性を継続的に評価 |
参考文献
- Ahmed F, et al. A multi-agent reinforcement learning framework for voltage-constrained incentive demand response in PV-rich low-voltage distribution systems. IEEE Access. 2026;14:45410–22.
- Lamsal D, Sreeram V, Mishra Y, Kumar DS. Smoothing control strategy of wind and photovoltaic output power fluctuation by considering the state of health of battery energy storage system. IET Renew Power Gener. 2019;13:578–86.
- Allahmoradi S, et al. Data-driven Volt/VAR optimization for modern distribution networks: A review. IEEE Access. 2024;12:71184–204.
- O'Connell N, Pinson P, Madsen H, O'Malley M. Benefits and challenges of electrical demand response: A critical review. Renew Sustain Energy Rev. 2014;39:686–99.
- Hossain MS, Madlool NA, Al-Fatlawi AW, El Haj Assad M. High penetration of solar photovoltaic structure on the grid system disruption: An overview of technology advancement. Sustainability. 2023;15:1174. https://doi.org/10.3390/su15021174
- Rahmouni A. Impact of static reactive power compensator (SVC) on the power grid. WSEAS Trans Electron. 2020;11:96–104.
- Chandran CV, et al. Application of demand response to improve voltage regulation with high DG penetration. Electr Power Syst Res. 2020;189:106722. https://doi.org/10.1016/j.epsr.2020.106722
- Wang Q, et al. A demand response strategy in high photovoltaic penetration power systems considering the thermal ramp rate limitation. IEEE Access. 2019;7:163814–22.
- Wang Z, et al. How to effectively implement an incentive-based residential electricity demand response policy? Experience from large-scale trials and matching questionnaires. Energy Policy. 2020;141:111450. https://doi.org/10.1016/j.enpol.2020.111450
- van Tilburg J, Siebert LC, Cremer JL. MARL-iDR: Multi-agent reinforcement learning for incentive-based residential demand response. arXiv. 2023. https://arxiv.org/abs/2304.04086
- Bahrami S, Chen YC, Wong VWS. Deep reinforcement learning for demand response in distribution networks. IEEE Trans Smart Grid. 2021;12:1496–506.
- Li J, et al. Model-free reinforcement learning economic dispatch algorithms for price-based residential demand response management system. IEEE Trans Ind Cyber-Phys Syst. 2023;1:123–35.
- Zheng S, et al. Incentive-based integrated demand response for multiple energy carriers under complex uncertainties and double coupling effects. Appl Energy. 2021;283:116254. https://doi.org/10.1016/j.apenergy.2020.116254
- Nainar K, Pillai JR, Bak-Jensen B. Incentive price-based demand response in active distribution grids. Appl Sci. 2020;11:1–17.
- Nguyen Duc T, et al. Impact of renewable energy integration on a novel method for pricing incentive payments of incentive-based demand response program. IET Gener Transm Distrib. 2022;16:1648–67.
- Pourramezan A, Samadi M. A novel approach for incorporating incentive-based and price-based demand response programs in long-term generation investment planning. Int J Electr Power Energy Syst. 2022;142:108315. https://doi.org/10.1016/j.ijepes.2022.108315
- Mathew A, Roy A, Mathew J. Intelligent residential energy management system using deep reinforcement learning. IEEE Syst J. 2020;14:5362–72.
- Khan DA, Arshad A, Lehtonen M, Mahmoud K. Combined DR pricing and voltage control using reinforcement learning based multi-agents and load forecasting. IEEE Access. 2022;10:130839-49.
- Zhang X, et al. An edge-cloud integrated solution for buildings demand response using reinforcement learning. IEEE Trans Smart Grid. 2021;12:420–31.
- Duan J, et al. Deep-reinforcement-learning-based autonomous voltage control for power grid operations. IEEE Trans Power Syst. 2020;35:814–7.
- Wang S, et al. A data-driven multi-agent autonomous voltage control framework using deep reinforcement learning. IEEE Trans Power Syst. 2020;35:4644–54.
- Turitsyn K, Sulc P, Backhaus S, Chertkov M. Options for control of reactive power by distributed photovoltaic generators. Proc IEEE. 2011;99:1063–73.
- Bedawy A, et al. Optimal voltage control strategy for voltage regulators in active unbalanced distribution systems using multi-agents. IEEE Trans Power Syst. 2020;35:1023–35.
- Bedawy A, Yorino N, Mahmoud K. Management of voltage regulators in unbalanced distribution networks using voltage/tap sensitivity analysis. Presented at: International Conference on Innovative Trends in Computer Engineering (ITCE); Aswan, Egypt; 2018. https://doi.org/10.1109/itce.2018.8316651
- Smith O, et al. The effect of renewable energy incorporation on power grid stability and resilience. Sci Adv. 2022;8:eabj6734. https://doi.org/10.1126/sciadv.abj6734
- Charbonnier F, Morstyn T, McCulloch MD. Scalable multi-agent reinforcement learning for distributed control of residential energy flexibility. Applied Energy. 2022;314:118825. doi:10.1016/j.apenergy.2022.118825
- Dugan J, Mohagheghi S, Kroposki B. Application of mobile energy storage for enhancing power grid resilience: A review. Energies. 2021;14:6476. https://doi.org/10.3390/en14206476
- Panossian N, et al. Challenges and opportunities of integrating electric vehicles in electricity distribution systems. Curr Sustain Renew Energy Rep. 2022;9:27–40.
- Guan Q, et al. Dynamic-aware deep reinforcement learning for heterogeneous fleet-based capacitated electric vehicle routing problems. Applied Energy. 2026;413:127757. https://doi.org/10.1016/j.apenergy.2026.127757
- Guan Q, et al. Heterogeneous attention-driven deep reinforcement learning for solving EVRPs with pickup-delivery and time windows. Applied Energy. 2026;407:127355. https://doi.org/10.1016/j.apenergy.2026.127355
- Treutlein M, et al. Real-world energy data of 200 feeders from low-voltage grids with metadata in Germany over two years (Version v1.0) [Data set]. Zenodo; 2025. https://doi.org/10.5281/zenodo.17831177
- Canizes B, Castro F, Silveira V, Vale Z. 236-Bus Low Voltage Distribution Network Data [Data set]. Zenodo; 2023. https://doi.org/10.5281/zenodo.8274780
- Xi, Haikuo & Chen, Can & Bai, Xuesong & Ma, Yuan & Ding, Jiachao & Chen, Qifang. (2024). Centralized and decentralized combined voltage control for distribution network with high penetration PV connected. Journal of Physics: Conference Series. 2771. 012040. 10.1088/1742-6596/2771/1/012040.
- Singh AK, Parida SK. Congestion management with distributed generation and its impact on electricity market. International Journal of Electrical Power & Energy Systems. 2013;48:39–47. doi:10.1016/j.ijepes.2012.11.025.
- Gooi HB, Wang T, Tang Y. Edge intelligence for smart grid: A survey on application potentials. CSEE Journal of Power and Energy Systems. 2023;9(5):1623–1640. https://doi.org/10.17775/CSEEJPES.2022.02210
- Molokomme DN, Onumanyi AJ, Abu-Mahfouz AM. Edge intelligence in smart grids: A survey on architectures, offloading models, cyber security measures, and challenges. Journal of Sensor and Actuator Networks. 2022;11(3):47. https://doi.org/10.3390/jsan11030047
- Chang Z, Liu S, Xiong X, Cai Z, Tu G. A survey of recent advances in edge-computing-powered artificial intelligence of things. IEEE Internet of Things Journal. 2021;8(18):13849–13875.