本研究はネットワークコーディングとソフトアクター・クリティック強化学習を統合し、コアIoTネットワークにおける省エネルギールーティングを実現し、97%のパケット配信率でエネルギー消費を40%削減したことを示しました。
研究記事
本研究はネットワークコーディングとソフトアクター・クリティック強化学習を統合し、コアIoTネットワークにおける省エネルギールーティングを実現し、97%のパケット配信率でエネルギー消費を40%削減したことを示しました。
モノのインターネット(IoT)ネットワークの急速な拡大は、データルーティングがノードのエネルギーに高い負荷をもたらすコアIoTネットワークにおけるエネルギー効率の課題をさらに深刻化させています。本論文は、これらの課題に対処するために、ネットワークコーディング(NC)とソフトアクター・クリティック(SAC)強化学習を統合したハイブリッドモデルを提案します。NCはパケットを組み合わせて冗長な伝送を最小限に抑え、SACエージェントはノードの状態、リンク品質、残留エネルギーに基づいてエネルギー認識型ルーティング経路を動的に選択します。
システムはNS-3シミュレータを用いて、IoTノードの5×5グリッドトポロジー(512バイトパケット、100秒のランタイム)を用いて、さまざまなトラフィック状況下で実装されました。結果は、NC + SACが従来のルーティングやスタンドアロン方式と比較して、エネルギー消費を40%削減し、パケット配信率97%、スループット50%向上、ネットワーク寿命の延長を実現していることを示しています。
主な貢献には、新規のNC-SAC統合、複数の指標にわたる包括的なNS-3検証、持続可能なIoTインフラのための学習駆動型コード通信の実証が含まれます。このハイブリッドアプローチは信頼性、エネルギー節約、性能のバランスを取り、次世代のグリーンIoTネットワークのためのスケーラブルなフレームワークを提供します。
モノのインターネット(IoT)は21世紀で最も変革的な技術の一つとして台頭し、数十億のデバイスをシームレスにつなげ、よりスマートな家庭、都市、産業、医療システムを実現します。しかし、この前例のない成長とともに、差し迫った課題ももたらしています。それはエネルギー消費の問題です。特にコアネットワークに展開されるIoTデバイスは、バッテリー駆動やリソース制約が多いことが多いです。デバイスやデータトラフィックの密度が高まる中、エネルギー効率はIoTインフラの長期的な持続可能性を確保する上で極めて重要な要素となります。この文脈では、パフォーマンスとエネルギー節約のバランスを取ったインテリジェントなコミュニケーションとルーティング戦略の設計が極めて重要です。
IoTネットワークにおける従来のルーティング方式は、最短経路や信頼性重視のアプローチに重点を置くことが多いです。基本的なシナリオでは効果的ですが、これらの方法は特に動的または大規模な展開では冗長な送信や急速なエネルギー消耗を引き起こすことが多いです。これらの欠点に対処するために、研究者たちは複数のパケットを1つの符号化パケットにまとめて送信回数を減らすネットワーク符号化(NC)などの技術を探求しています。NCはスループットの向上、遅延の低減、帯域幅の最適化に効果があることが証明されています。しかし、ネットワーク符号化は通信のオーバーヘッドを削減する上で強力ですが、ノードのエネルギーレベルを本質的に考慮したり、変動するネットワーク条件に適応したりするわけではありません 4,5。
ここで機械学習主導の意思決定が重要な役割を果たします。強化学習(RL)は、環境と相互作用し報酬から学習することで、IoTノードが適応的な意思決定を行うための特に堅牢なフレームワークを提供します。強化学習アルゴリズムの中で、ソフトアクタークリティクリティ(SAC)はエントロピー正則化6を通じて探索と活用のバランスを取る能力から注目を集めています。従来の強化学習モデルとは異なり、SACは多様なアクション選択を奨励し、システムが最適でない戦略に急速に収束するのを防ぎます。エネルギー制限のIoTネットワークでは、リンクの品質や配信成功だけでなく、各ノードの残留エネルギーレベルにも適応するスマートなルーティング選択が実現します。
近年の研究では、IoTコミュニケーションやエネルギー管理の最適化における強化学習の役割にますます注目が集まっています。例えば、Devら7は省エネIoT通信のためにHarris Hawks最適化を用い、Tuongら8は無線IoTシステムにおける階層的二重化のための深層強化学習を探求しました。より最近の研究8,9は、近接ポリシー最適化や分散型マルチエージェントフレームワークなどの高度な強化学習手法が、大規模なIoT環境における適応性をさらに強化できることを強調しています。
本研究は、ネットワーク符号化(NC)とソフトアクタークリティ(SAC)アルゴリズムを組み合わせて、コアIoTネットワークにおけるエネルギー認識型インテリジェントルーティングを実現する新しいハイブリッド通信モデルを提示します。従来の手法がNCや強化学習を独立して用いたり、離散行動の深層強化学習モデルを用いたりするのとは異なり、本研究はSACのエントロピー正則化連続作用定式化を用いて、エネルギーレベル、リンク安定性、パケットバッファの状態などのネットワーク状態に基づくルーティング決定を動的に最適化します。NCの統合により再送信の削減と帯域幅の利用効率が向上し、SACはネットワーク負荷のバランスを整えノードエネルギーを節約するための適応パス選択を保証します。この二重メカニズムは学習駆動型符号化通信の新しいパラダイムを導入し、既存手法に比べてエネルギー効率、スループット、パケット配信比率、ネットワーク寿命において測定可能な向上を実現しています。
提案されたフレームワークをNS-3シミュレーション環境を用いて実装・テストを行い、異なるトラフィック負荷下で5×5のIoTノードグリッドを展開しました。パケットサイズ、距離、伝送エネルギーモデルは、現実的なIoT条件を反映するように慎重に定義されました。これらのシミュレーションを通じて、パケット配信率(PDR)、スループット、ネットワーク寿命、エネルギー効率などの主要指標を評価しました。その結果は以下の通りです。従来のルーティングモデルや単独モデルと比較して、NC + SACハイブリッドシステムはエネルギー消費を約40%削減し、スループットを50%向上させ、ネットワーク寿命を大幅に延長しつつ、パケット配信率を約97%に維持しました。
数値的な改善を超えて、この研究の真の強みはその拡張性と適応性にあります。IoTネットワークの規模と複雑さが増す中で、変化する状況に動的に適応するソリューションが不可欠となります。このハイブリッドフレームワークは、エネルギー節約という差し迫った課題に取り組むだけでなく、実際の展開で自律的に持続可能な自律的かつ自己最適化的なIoTシステムの基盤も整えます。 表1には 、消費電力、パケット配信比率、ネットワーク寿命、スループットなどのパラメータのパフォーマンスログが含まれています。 表2は 実験から得られた結果の概要を示しています。さらに、強化学習のIoTネットワークへの統合は、AI駆動のプロトコルが資源制約の環境下でデバイスの相互作用のあり方を変革する可能性を示しています。
インテリジェントコミュニケーション戦略の最近の進展は、適応的で持続可能なIoTルーティングフレームワークの必要性をさらに強調しています。従来のクラスタリングベースや静的ルーティングプロトコルは、リンク品質の変動、ノードのエネルギーレベルの変化、干渉といった動的なネットワーク課題に対応できず、急速な性能低下や早期ノードの故障につながることがあります。現代の強化学習ベースのアプローチは、IoTデバイスが環境との継続的な相互作用を通じて最適な伝送戦略を動的に学習できるようにすることで、これらの課題に強い可能性を示しています。同時に、ネットワーク符号化は、制約されたネットワーク環境5、13、14において冗長な伝送を減らし、スペクトル効率を向上させる有用性を示しています。しかし、既存の多くの研究ではこれらの技術を組み合わせて評価するのではなく、独立して評価しています。したがって、NCをSoft Actor-Criticのような連続制御強化学習法と統合することで、リアルタイムの変化に適応しつつエネルギーを節約できるより堅牢で知的なコミュニケーションメカニズムを提供します(15,16)。このハイブリッドパラダイムは、IoTネットワークのレジリエンスと自律性を強化するだけでなく、持続可能な大規模展開のためのグリーン通信システムや機械学習駆動型無線アーキテクチャの新たな研究トレンドとも整合しています。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
データ伝送およびパケット処理のワークフロー
ノード初期化:各ノードは、完全なネットワークトポロジー情報、最大エネルギー容量、そして意思決定準備の事前学習済みSACエージェントを備えてスタートします。ネットワークコーディングモジュールはパケットの組み合わせ操作を起動し、準備します。
パケットエンコーディングプロセス:送信開始時、送信元ノードはセンサーから複数のデータパケットを収集します。ネットワーク符号化モジュールは、効率的な数学的演算を用いてこれらのパケットをより少ない符号化パケットにまとめ、必要な総送信回数を大幅に削減します。
SACルーティング決定の実行:SACエージェントは現在のネットワーク状態(隣接するエネルギーレベル、リンク品質、トラフィック状況、宛先距離など)を分析します。学習したポリシーに基づいて最適な次ホップの隣接ノードを選び、エネルギー効率と信頼性を優先します。
マルチホップパケット転送:符号化されたパケットは選択した経路を通過します。中間ノードは、現在のバッファ状態や残存エネルギーレベルに基づいて、パケットをさらに結合するか直接転送するかを決定します。
報酬の計算と保存:各送信後、システムは配信成功、使用エネルギー、送信遅延、パケットドロップに基づいて報酬スコアを計算します。この報酬情報はSACエージェントが学習できるように保存されます。
継続的な学習アップデート:SACのエージェントは定期的に保存された体験を見直し、高い配達性能を維持しつつ省エネルートの選択をより良くするための意思決定戦略を更新します。
システムアーキテクチャ
典型的なノードは次のように動作します:データを検出・収集し、ネットワーク符号化で符号化し、その後SACエージェントが選択したルーティングパスを通じて符号化されたパケットを転送します。SACエージェントはノードの状態(残余エネルギー、バッファの状態、リンク品質など)を評価し、次の最適なホップを決定します。このプロセスは動的であり、ネットワーク環境の変化に応じて経験を通じて進化していきます。 図1 はこのデータフローとコンポーネント間の相互作用を示しています。
ネットワーク符号化方程式
中間ノードでは以下の通りにネットワーク符号化が適用されます:

ここでCiは符号化されたパケット、αijは符号係数(SACで学習)、Pjは元のパケットです。これにより、ネットワークは送信回数を減らし、信頼性を向上させることができます。
SACの目的関数
SACエージェントは以下のエントロピー正則化された目的を用いてポリシーを最適化します:

ここで r(st, at)は報酬、 α は探査のトレードオフパラメータ、 H はエントロピー項です。
エネルギー消費モデル
現実的なエネルギー使用をシミュレートするために、以下のモデルが使用されます。

ここで: Eエレクは送信機/受信機を動かすためのビットあたりのエネルギー 、kは ビット単位のデータサイズ、-
は送信機増幅器に必要なエネルギー、-はノード間の距離、-d はパスロス指数です。
評価指標
本研究のシミュレーションでは以下の性能指標が用いられました。
パケット配信比率(PDR):

スループット:

ネットワーク寿命:ネットワークノードの50%がエネルギーを使い果たすまでの期間を指します。
エネルギー効率:

擬似コード
IoTネットワークノードの初期化
この機能は、システムが稼働する前にネットワーク内のすべてのIoTノードをセットアップします。各ノードには最大エネルギー、パケットを保存するための空バッファ、ローカル環境を表す状態、最適意思決定を学習するためのSACエージェント、そしてインテリジェントなデータ符号化を可能にするNCモジュールが割り当てられています。
def initialize_nodes(ネットワーク):
ネットワーク内のノードの場合:
node.energy = MAX_ENERGY
node.buffer = []
node.state = sense_environment(node)
node.agent = initialize_sac_agent()
node.nc_module = activate_network_coding()
パケット生成とネットワーク符号化
この機能は、送信元ノードからセンサーデータを収集し、線形またはXORベースのネットワーク符号化方式で符号化し、送信準備を担当します。複数のパケットを1つの符号化されたパケットにまとめてネットワーク内で転送できるようにすることで、通信のオーバーヘッドを削減します。
def generate_and_code_packets(source_node):
data_packets = collect_data(source_node)
coded_packet = network_code(data_packets)
queue_transmission(source_node、coded_packet)
def network_code(パケット数):
リターンlinear_combination(パケット)
SACベースのルーティング決定
ここで、現在のノードはSACエージェントを使ってネットワーク状態を解析し、最もエネルギー効率が高く信頼性の高い隣接ノードにパケットを転送します。この決定は、リンクの品質や残留エネルギーなどの既に学んだ方針や現在の環境条件に基づいています。
ディフェンスselect_next_hop(current_node):
current_state = observe_network_state(current_node)
action = sac_agent_policy(current_node.agent, current_state)
next_hop = map_action_to_neighbor(アクション)
next_hop返航
パケット伝送とフィードバックループ
この関数は符号化されたパケットの実際の伝送を管理します。最適な次のホップが決定された後、リンクが有効であればパケットを送信します。システムは送電成功率とエネルギー使用量に基づいて報酬を計算し、それを使ってSACエージェントの学習モデルを更新します。
def transmit_packet(current_node、パケット)
next_hop = select_next_hop(current_node)
もし is_link_valid(current_node, next_hop):
Send(パケット、next_hop)
報酬 = compute_reward(current_node、パケット)
update_sac_agent(current_node、報酬)
その他:
recompute_next_hop(current_node)
SACエージェントのアップデート(学習フェーズ)
パケットが送信されると、この機能はSACエージェントを更新します。状態の変化を記録し、経験をメモリに保存し、十分な経験が集められたらサンプルバッチを使ってエージェントの意思決定戦略を改善します。これによりノードは時間とともにネットワークの変化に適応します。
def update_sac_agent(ノード、報酬):
new_state = observe_network_state(ノード)
store_transition(node.agent.memory, node.state, node.action, reward, new_state)
もし enough_experience(node.agent.memory):
batch = sample_batch(node.agent.memory)
node.agent = optimize_sac(node.agent, batch)
node.state = new_state
受信側での復号
宛先で、この関数は受信したすべての符号化パケットを取り込み、ガウス消去法などの方法で元のデータに復号します。回復されたデータは、適切なアプリケーション層またはプロセスに渡されます。
def decode_packet(destination_node):
received_packets = destination_node.buffer
original_data = デコード(received_packets)
deliver_data(original_data)
def デコード(パケットズ):
返gaussian_elimination(パケット)
エネルギー監視とノードスリープロジック
この機能は各ノードのエネルギーレベルを追跡し、ノードが動作を継続するか、電力節約のためにスリープモードに切り替えるべきかを判断します。エネルギーが十分であれば、ノードは送電関連費用を差し引きます。そうでなければ、ネットワーク全体の寿命を延ばすために一時的にシャットダウンします。
def monitor_energy(node):
もしnode.energyが閾値<なら:
put_node_to_sleep(ノード)
else: node.energy -= transmission_cost()
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
私たちは4つの異なるアプローチを比較したシミュレーションを実施しました:(i) 最適化なしの従来モデル、(ii) ネットワーク符号化(NC)のみを用いたシステム、(iii) ソフトアクタークリティック(SAC)アルゴリズムのみを用いたルーティング設定、(iv) NCとSACの両方を組み合わせた提案されたハイブリッドモデル。
エネルギー消費
最も顕著な改善はエネルギー効率で観察されました。従来のIoTネットワークは、固定ルートに依存し、パケットロスが発生する際の頻繁な再送信により、エネルギーを急速に消費します。NCを取り入れることで、冗長な再送を減らし効率が向上し、エネルギーを節約できます。SACはさらに、エネルギー集約的な経路を回避し、動的にルーティング決定を適応させることで性能を向上させました。NCとSACの両方の統合により、システムは効率的かつ知的に通信できるようになり、全体のエネルギー消費を最小限に抑え、最も大きな利益を生み出しました。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
本研究は、ネットワークコーディング(NC)とソフトアクタークリティ(SAC)強化学習アルゴリズムを統合した、コアIoTネットワーク向けの新しいエネルギー認識型コミュニケーション戦略を導入します。このハイブリッドアプローチの目的は、信頼性と効率的なデータ伝送を維持しつつエネルギー消費を最小限に抑えることです。NCはデータパケットをエンコードすることで冗長な伝送を減らし、SACは観測されたネットワーク状態に基づいてエネルギー効率の良いルーティング経路を動的に学習・選択します。提示されたシミュレーション結果は、ハイブリッドNC+SAC方式がエネルギー効率、パケット配信率、スループット、ネットワーク寿命の面で従来のルーティングおよび単独方式を大きく上回っていることを裏付けています。
本研究の意義は、NC13によるデータ効率とSAC9による適応学習の統合により、IoT
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
著者たちは何も明かすことはありません。
オックスフォード工科大学およびジャイン・リーメッド・トゥ・ビー大学のご支援とリソースに感謝申し上げます。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
| 名前 | 会社 | カタログ番号 | コメント |
|---|---|---|---|
| 6GB NVIDIA GeForce RTX 3050(コンピュータシステム) | nVIDIA | https://www.nvidia.com/en-in/geforce/graphics-cards/30-series/rtx-3050/ | シミュレーションおよびトレーニング用:CPU RAM:16GB、GPU RAM |
| AMD Ryzen(コンピュータシステム) | AMD | ライゼン7 | シミュレーションおよびトレーニング用:プロセッサ |
| ハードウェアテストベッド(将来のオプション作業) | ラズベリー Pi | https://www.raspberrypi.com/products/raspberry-pi-4-model-b/ | 実際のIoT展開および検証のための無線モジュールを備えたRaspberry Pi 4ノード |
| Intel Core i7(コンピュータシステム) | インテルコア | i7-7700プロセッサ | シミュレーションおよびトレーニング用:プロセッサ |
| ジュピター・ノートブック | ジュピター | https://jupyter.org/ | 反復開発、デバッグ、可視化のための環境 |
| Matplotlib | パイソン | https://matplotlib.org/ | パフォーマンス指標(エネルギー、スループット、PDR、ネットワーク寿命)をプロットするためのPython可視化ライブラリ |
| ネットワークコーディングモジュール | 線形ネットワーク符号化およびパケットエンコーディングの実装のためのカスタムPython/NS-3統合 | ||
| NS-3シミュレーター | NS-3 | nsnam.org | IoTネットワークシミュレーションおよびルーティング評価に使用されるオープンソースの離散イベントネットワークシミュレータ |
| NumPy | NumPy | numpy.org | シミュレーションログ、統計解析、構造化データセットを扱うためのPythonパッケージ |
| パンダ | pandas.pydata.org | シミュレーションログ、統計解析、構造化データセットを扱うためのPythonパッケージ | |
| Python 3.10 | パイソン | バージョン 3.10.0 | SACエージェントの訓練、係数最適化、データ処理に使用されるプログラミング言語 |
| パイトーチ | パイトーチ | https://pytorch.org/ | Soft Actor-Criticアルゴリズムおよび強化学習モデルの実装のための深層学習ライブラリ |
| シーボーン | パイソン | https://seaborn.pydata.org/ | パフォーマンス指標(エネルギー、スループット、PDR、ネットワーク寿命)をプロットするためのPython可視化ライブラリ |
| Ubuntu 20.04 (コンピュータシステム) | Ubuntu(ウUbuntu | バージョン20.04 | シミュレーションおよびトレーニング用:オペレーティングシステム |
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
このJoVE記事のテキストまたは図の再利用許可をリクエスト
許可をリクエスト