研究記事

長期ネットワークトラフィック予測のための量子-古典ハイブリッドモデル

DOI：

10.3791/68229

⸱

2025年6月27日

 ,  ,  ,  ,  ,  , 
1China Mobile Research Institute, 2TuringQ Co., Ltd.

この記事について

サマリー

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

QTSMixerは、ハイブリッド量子古典モデルであり、TSMixerの周期的な信号と長期予測の制限に対処することにより、ネットワークトラフィック予測を強化します。トレーニング可能なパラメーターによって制御される量子ニューラルネットワークコンポーネントを導入し、実世界のデータに対する長期予測でTSMixerを6.72%上回っています。

要約

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

時系列分析の重要なアプリケーションであるネットワークトラフィック予測は、ネットワークの管理と最適化に不可欠です。ネットワークトラフィックの予測には、従来の統計モデルと機械学習手法が採用されてきましたが、近年のマルチレイヤーパーセプションミキサーアーキテクチャ、特にTSMixerの進歩により、最先端のパフォーマンスが達成されています。ただし、TSMixerは、周期的な信号と長期的な予測に関する課題に直面しています。これらの制限に対処するために、量子ニューラルネットワークを活用して周期的な信号と長期的な依存関係に関連する特徴抽出を強化するハイブリッド量子古典アプローチであるQuantum TSMixer(QTSMixer)モデルを提案します。量子コンポーネントの強度を制御するための訓練可能なパラメータを導入することにより、多層知覚と量子ニューラルネットワークのハイブリッド構造が生成されます。QTSMixerのクロスドメインアプリケーションの可能性と実用的なアプリケーション能力は、実際のデータセットでの経験的分析を通じて実証されており、QTSMixerは長期的なネットワークトラフィック予測データセットでTSMixerを6.72%上回っています。将来的には、QTSMixerの開発は、金融市場分析や天気予報などの他の分野でさらに探求される可能性があります。

概要

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

ネットワークトラフィック予測(NTP)1,2,3は、時系列分析4,5の重要なアプリケーションとして、過去のネットワークトラフィックデータを分析してパターンと傾向を特定し、それによって将来のトラフィックの変化を予測することを含みます。これは、ネットワーク事業者のリソース割り当て、障害診断、セキュリティ監視、およびサービス品質保証を支援できるため、ネットワークの管理と最適化にとって非常に重要です。NTPの問題は、統計モデルと機械学習手法3によって十分に研究されています。最近では、Multi-Layer Perception Mixer(MLP-Mixer)6,7に基づくアーキテクチャが、多変量時系列の依存関係をキャプチャする強力な機能を備えているため、NTPで人気が高まっています。その中でも、TSMixer8 はその卓越した速度と軽量設計で際立っており、ベンチマーク データセット9 で最先端 (SOTA) パフォーマンスを達成しています。TSMixer は、時間と特徴の次元のハイブリッド操作を通じて、時間依存性と特徴間の相関関係をより適切にキャプチャできます。ただし、TSMixerには次の2つの欠点があります。まず、周期的な信号の処理には適していません。周期的な信号は、安定性があり、干渉に強く、解析が容易であるため、通信、電力システム、制御システムにおいて非常に価値があります。TSMixerは、数学的なプロトタイプが非周期関数であるMLPに基づいているため、TSMixerは非周期的な信号の処理には適していますが、周期的な信号の処理には適していません。第二に、現在のコンピューターのメモリ制限と予測のエラーの蓄積によって妨げられるため、長期的な予測を行うときにはうまく機能しません。現在、ほとんどのモデルは、長期的な時系列予測の処理においてパフォーマンスが不十分です。これは、時系列予測の分野で解決すべき喫緊の課題です。TSMixerは良い結果を達成していますが、まだ改善の余地があります。したがって、これらの欠点を回避するための新しい戦略を模索することは非常に重要です。

量子コンピューティング10は、量子力学の法則に基づく新しいコンピューティングパラダイムであり、大量のデータを効率的かつ安全に処理できます。量子ニューラルネットワーク(QNN)11、12、13は、量子コンピューティングと従来のニューラルネットワークを組み合わせた一種のコンピューティングモデルであり、画像処理、音声認識、および疾患予測に幅広い応用があります。重ね合わせやもつれなどの量子コンピューティングの特性を利用して情報を処理し、機械学習タスクを実行することで、シミュレーションの向上、計算の高速化、ネットワークパフォーマンスの量子的優位性を実現します。最近、QNN領域では、時系列予測14,15,16,17,18,19のアプローチが検討されています。量子時系列モデルは、特に複雑な多次元データを扱う場合に、予測精度と計算効率の点で従来のモデルを凌駕することができます。一方では、QNNは周期関数であり、周期信号の処理に適したフーリエ級数として表すことができます。一方、時系列でのQNNの一部のアプリケーションは成功しています。したがって、NTP、特に長期NTPにおけるQNNの役割を調査することは非常に興味深いことです。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

プロトコル

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

QTSMixerの方法論

figure-protocol-1 を長さ sl とチャネル数 c の多変量時系列とします。多変量予測タスクは、予測モデルfigure-protocol-2によってfigure-protocol-3された履歴figure-protocol-4与えられた将来の値を予測するものとして定義されます。

figure-protocol-5

ここで、 figure-protocol-6 は予測シーケンスの長さ、 figure-protocol-7 は予測値を示します。QTSMixerで、 XL×Cを長さ L とチャネル数 cの元の多変量時系列を表すとします。ミニバッチ figure-protocol-8 で多変量時系列を入力します ( sl ≤ L と b はバッチ サイズです)。 図1に示すように、QTSMixerモデルは、正規化、パッチ埋め込み、混合レイヤー、予測の4つのコンポーネントで構成されています。トレーニング フェーズでは、モデルの損失は、最適な適合を達成するために平均二乗誤差 (MSE) 損失関数 figure-protocol-9 によって計算されます。QTSMixerは次のように特徴付けることができます

figure-protocol-10

ここで、 θ は学習可能なパラメーター ベクトルであり、確率的勾配降下法によって更新されます。

figure-protocol-11
図1:QTSMixerの高レベルアーキテクチャ。 ここでは、QTSMixerを正規化、パッチ埋め込み、ミキシングレイヤー、予測の4つのコンポーネントに分割します。 この図の拡大版を表示するには、ここをクリックしてください。

次に、QTSMixerのモデルコンポーネントについて詳しく説明します。

正常化

QTSMixerのフォワードプロパゲーションプロセスは、入力時系列データ figure-protocol-12 を受信することから始まります。まず、入力データはPatchTSMixer StandardScaler8 またはその他のスケーラーによって正規化および標準化され、特徴間の寸法差を排除し、トレーニング中のデータパフォーマンスの安定性を確保します。

パッチの埋め込み

まず、標準化された時系列データは、パッチ適用モジュールを通じて複数の固定長セグメント(パッチ)に分割されます。このモデル設計は、Ekambaram et al.8 に触発されており、パッチの分割によって局所的な特徴をキャプチャする能力が向上しています。パッチ分割により、QTSMixerは複雑な時系列データパターンを効果的に処理し、モデル入力トークンの数を減らし、より短いトレーニング時間でより良い結果を達成できます。ミニバッチ figure-protocol-13 は figure-protocol-14 に変形されます ( n はパッチの数、 pl はパッチの長さを示します)。 s はパッチングの歩幅を示し、次に figure-protocol-15 とします。

モデルの表現力を高めるために、各パッチは線形レイヤーを介して高次元空間にマッピングされます。次に、データは線形変換figure-protocol-16によってfigure-protocol-17形に変形されます。ここで、hfは隠れた特徴の数です。重み行列の次元は pl × hf です。

ミキシングレイヤー

このパートでは、パッチ、フィーチャ、およびチャネルの寸法が複数のミキシングレイヤーを通じて混合されます。各ミキサー層のフォーカスされている次元に基づいて、最初に入力がそれに応じて並べ替えられ、フォーカスされた次元に沿った相関が学習されます。次に、レイヤー正規化、MLP、QNN、およびGated Attention(GA)メカニズムによって情報が抽出され、より包括的な特徴情報が抽出されます。

パッチミキシングレイヤーでは、入力が最初にfigure-protocol-18に形状変更され、パッチ次元(つまり、最後の次元)に焦点が当てられ、次にレイヤーの正規化が行われます。その後、このモジュールでは、共有 MLP (重み次元 n × n) を使用して、異なるパッチ間の相関を学習します。一方、QNNは、量子層の表現能力を高めるために、量子再アップロード技術20によって実現されている。QNN の量子回路には合計 ql 層があり、i番目の層には符号化回路 Ux と ansatz figure-protocol-19 が含まれています (θi は登録可能なパラメーター ベクトル、i = 1, 2, ..., ql)。加重加算演算の後、モデルはMLPとQNNのハイブリッド構造を生成し、パッチ次元のi番目のコンポーネントのfigure-protocol-20として定式化され、古典的および量子的な特徴抽出機能を効果的に統合します。ここでαi は、初期値が 0 のトレーニング可能なパラメーターであり、量子動作がどの程度強く導入されるかを示していることに注意してください。最後に、GA8 は、主要な機能を確率的にアップスケールし、重要でない機能をダウンスケールします。フィーチャ ミキシング レイヤーとチャネル ミキシング レイヤーは、同様に機能します。

複数の混合レイヤーの後、データは figure-protocol-21として処理されます。

予測

予測レイヤーでは、最初にデータが figure-protocol-22に形状変更されます。将来値は、古典的な予測ヘッド8を通じて予測される - 符号化された特徴は、平坦化され、ドロップアウトを伴う古典的な線形層に供給され、将来値の予測 figure-protocol-23 を生成する。

実験結果

実世界のデータセット、すなわち長期ネットワークトラフィック予測(LTNTF)データセット21と、他の3つの一般的な公開データセットについて詳細な実証分析を行った。最初の実験は、2017年1月1日から2019年2月20日までの実世界のネットワークで、A、B、Cの3つの都市について時間ごとの交通量データと休日情報を提供するLTNTFデータセット21に基づいています。タスクは、履歴データを使用して、今後 95 日間の各都市の時間ごとの交通量を予測する適切なモデルを構築することです。データセットの独自性は、その信頼性と長期的な性質にあり、800日以上にわたって複数の都市をカバーする詳細な時間単位のネットワークトラフィックデータを提供します。実験結果を 表1、 図2、 図3にまとめます。実験を再現するには、 補足ファイル1のExperiment_1_LTNFTの README.md を参照してください。

表1:LTNTFデータセットでのQTSMixerとTSMixerのパフォーマンス比較。 ここでは、MAPE と RMSE が主な評価指標として使用され、値が小さいほどパフォーマンスが高いことを示します。 この表をダウンロードするには、ここをクリックしてください。

figure-protocol-24
図2:TSMixerとQTSMixerの予測結果の比較。 ここでは、3つの都市から3つのサンプルをランダムに選択し、実際の値とTSMixerおよびQTSMixerの予測値とを視覚的に比較します。 この図の拡大版を表示するには、ここをクリックしてください。

figure-protocol-25
図3:TSMixerとQTSMixerの特殊なケースの予測結果の比較。 ここでは、QTSMixerの最高のパフォーマンスを持つサンプルが選択されます。 この図の拡大版を表示するには、ここをクリックしてください。

2 つ目の実験は、時系列予測のベンチマーク ライブラリおよびツールボックスである BasicTS+(Basic Time Series)22 フレームワークに基づいています。時空間予測や長期シリーズ予測など、さまざまなタスクやデータセットをサポートし、統計モデル、機械学習モデル、深層学習モデル、その他のアルゴリズムをカバーしています。BasicTS+は、統一された標準化されたプロセスを通じて、一般的なディープラーニングモデルの複製と比較のための公正で包括的なプラットフォームを提供します。BasicTS ベンチマークは、予測モデルの厳密な評価を可能にするために、さまざまな実世界のドメインにまたがる 7 つの慎重にキュレーションされた多変量時系列 (MTS) データセットで構成されています。このコレクションには、トラフィックデータセット(フローモニタリング用のPEMS04/08)、エネルギー消費レコード(Electricity/Etth1/Ettm1)、経済指標(Exchange-Rate)、および環境測定(Beijing Air Quality)が含まれます。実験結果を 表2に示します。実験の再現は、 補足ファイル1のExperiment_2_Basictsの README.md を参照してください。

表2:BasicTS+フレームワークのさまざまなデータセットでのQTSMixerと他のモデル間のパフォーマンス比較。 ここでは、MAE、WAPE、RMSEが評価指標として使用され、値が小さいほどパフォーマンスが高いことを示します。パラメーター数が類似しているモデルはグループ化されます。 この表をダウンロードするには、ここをクリックしてください。

3つ目の実験では、量子シミュレータと実際の量子コンピュータとの比較解析を行います。この実験では、QTSMixerのそれぞれの実装を評価することにより、QiskitとDQフレームワークのパフォーマンスを比較します。予測タスクにおける両方のフレームワークの精度と実行効率が評価されました。この実験では、超伝導量子コンピューター ibm_brisbaneが使用されています。実験結果を 図4 と 表3に示します。実験の再現は、 補足ファイル1のExperiment_3_Qiskitの README.md を参照してください。

figure-protocol-26
図4:Qiskit(量子ハードウェア上)とDQ(シミュレータ上)の予測結果の比較。 QiskitおよびDQ実験から導き出された予測を使用した、実際の値と予測の比較。 この図の拡大版を表示するには、ここをクリックしてください。

表3:量子ハードウェアとシミュレーション実験におけるQTSMixerのパフォーマンス比較。 ここでは、MAPE と RMSE が主な評価指標として使用され、値が小さいほどパフォーマンスが優れていることを示します。 この表をダウンロードするには、ここをクリックしてください。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

結果

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

一部のデータセットについて詳細な実証分析を行いました。最初の実験は、LTNTF データセットに基づいています。3つの都市は、異なるデータ分布パターンを示しました:都市Aは、年初に交通量が大幅に減少しました。都市Bは同期間に比較的高い値を維持しましたが、都市Cは年間を通じてよりバランスの取れた分布を示しました(詳細については、 補足図S1、 補足図S2、 および補足図S3 を参照してください。実験結果を 表1にまとめると、量子回路モジュールはDeepQuantum(DQ)フレームワークによって実装されています。モデル予測は非正規化され、平均絶対誤差率 (MAPE) と二乗平均平方根誤差 (RMSE) が主な評価指標として使用されます。従来のモデルと比較して、QTSMixerモデルはテストセットでより強力な一般化能力を示し、TSMixerを...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

ディスカッション

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

この論文では、精度とクロスドメイン適応性が向上した新しい量子古典ハイブリッドアプローチである長期NTP用のQTSMixerを提案しました。本研究は、時系列予測における量子コンピューティングの応用可能性を広げるだけでなく、実際の量子ハードウェア上での将来の展開の方向性を示しています。しかし、現在の量子古典ハイブリッドアーキテクチャは、外生変数の処理能力が限られています。将来の改善では、量子効率を維持しながら変数間の情報抽出を強化するために、チャネルミキサーブロックを組み込むことができます。

ここで、QNNとMLPに基づくQTSMixerモデルは、NTPの問題を処理する際にTSMixerよりも予測精度が高くなります。私たちの知る限りでは、QTSMixerは長期NTPのための最初の量子古典ハイブリッドモデルです。

量子古典ハイブリッドアーキテクチャ:
QTSMixerは、ハイブリッド量子古典アーキテクチャを採用しています。QTSMixerでは、量子処理レイヤーは従来の時系列モデルに組み込まれて...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

開示事項

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

著者らは、競合する金銭的利益がないことを宣言します。

謝辞

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

洞察に満ちた議論をしてくれたYulin Chi氏、Gang Xi Wang氏、Xinying Li氏、Xin Yi氏、Fei Wang氏に感謝します。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
DeepQuantumTuringQ株式会社https://deepquantum.turingq.com/TuringQが開発した量子機械学習と光量子コンピューティングのための効率的なプログラミングフレームワーク。
QiskitIBMhttps://www.ibm.com/quantum/qiskit拡張量子回路、演算子、プリミティブのレベルで量子コンピューターを操作するためのオープンソース SDK。
ibm_brisbaneIBMhttps://quantum.ibm.com/IBM Quantum Eagleファミリーの超伝導量子コンピューター。
LTNTFデータセットChina Mobilehttps://jiutian.10086.cn/open/#/dataset/710012?platform=OpenInnovationこのデータセットは、China MobileのJiutian AIプラットフォームから来ています。
python3.10Python Software Foundationhttps://www.python.org/downloads/release/python-3100/
quantum re-uploading technologyPérez-Salinas, A., Cervera-Lierta, A., Gil-Fuster, E., Latorre, J. I. 汎用量子分類器のためのデータ再アップロード.量子。4 226(2019年)。
BasicTS+ フレームワークShao, Z. et al. 多変量時系列予測の進行状況の調査: 包括的なベンチマークと異質性分析。知識とデータエンジニアリングに関するIEEEトランザクション。37、291-305(2023年)。arXiv:2310.06119v2
GPU A100NVIDIA80G GPU
TransformersHugging Facehttps://huggingface.co/機械学習コミュニティがモデル、データセット、アプリケーションで協力するプラットフォーム。
https://doi.org/10.22331/q-2020-02-06-226

参考文献

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Joshi, M., Theyazn, H. H. A review of network traffic analysis and prediction techniques. arXiv preprint. , (2015).
  2. Ferreira, G. O., Ravazzi, C., Dabbene, F., Calafiore, G. C., Fiore, M. Forecasting network traffic: A survey and tutorial with open-source comparative evaluation. IEEE Access. 11, 6018-6044 (2023).
  3. Weiwei, J. Cellular traffic prediction with machine learning: A survey. Expert Syst Appl. 201, 117163(2022).
  4. Wei, W. W. S. Multivariate time series analysis and applications. , John Wiley & Sons. (2019).
  5. Multivariate time series forecasting: A review. Mendis, K., Wickramasinghe, M., Marasinghe, P. CVIPPR 2024: 2024 2nd Asia Conference on Computer Vision, Image Processing and Pattern Recognition, , (2024).
  6. Zheng, Y., Dang, Z., Peng, C., Yang, C., Gao, X. Multi-view multi-label anomaly network traffic classification based on MLP-mixer neural network. arXiv preprint. , (2022).
  7. Tolstikhin, I. O., et al. MLP-mixer: An all-MLP architecture for vision. arXiv preprint. , (2021).
  8. Ekambaram, V., Jati, A., Nguyen, N., Sinthong, P., Kalagnanam, J. TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting. arXiv. , (2023).
  9. Ekambaram, V., et al. Tiny time mixers (ttms): Fast pre-trained models for enhanced zero/few-shot forecasting of multivariate time series. arXiv preprint. ArXiv. , (2024).
  10. Nielsen, M. A., Chuang, I. L. Quantum computation and quantum information: 10th Anniversary Edition. , Cambridge: Cambridge University Press. (2010).
  11. Beer, K., et al. Training deep quantum neural networks. Nat Commun. 11 (1), 808(2020).
  12. Amira, A., et al. The power of quantum neural networks. Nat Comput Sci. 1, 403-409 (2020).
  13. Cong, I., Choi, S., Lukin, M. D. Quantum convolutional neural networks. Nat Phys. 15 (12), 1273-1278 (2019).
  14. Padha, A., Sahoo, A. Quantum deep neural networks for time series analysis. Quantum Inf Process. 23 (6), 205(2024).
  15. Evolving Hybrid Quantum-Classical GRU Architectures for Multivariate Time Series. De Falco, F., Lavagna, L., Ceschini, A., Rosato, A., Panella, M. 2024 IEEE 34th International Workshop on Machine Learning for Signal Processing (MLSP), , IEEE. 1-6 (2024).
  16. Hybrid quantum-classical recurrent neural networks for time series prediction. Ceschini, A., Rosato, A., Panella, M. in 2022 international joint conference on neural networks (IJCNN), , IEEE. 1-8 (2022).
  17. Huang, W., Zhang, J., Liang, S., Sun, H. Backbone network traffic prediction based on modified eemd and quantum neural network. Wirel Pers Commun. 99 (4), 1569-1588 (2018).
  18. Zhang, K., Liang, L., Huang, Y. A Network traffic prediction model based on quantum inspired PSO and neural network. 2013 Sixth International Symposium on Computational Intelligence and Design. 2, 219-222 (2013).
  19. Rivera-Ruiz, M. A., Mendez-Vazquez, A., López-Romero, J. M. Time series forecasting with quantum machine learning architectures. Advances in Computational Intelligence. , Springer Nature Switzerland. 66-82 (2022).
  20. Pérez-Salinas, A., Cervera-Lierta, A., Gil-Fuster, E., Latorre, J. I. Data re-uploading for a universal quantum classifier. Quantum. 4, 226(2020).
  21. Mobile, C. Long-term network traffic forecasting. , (2023).
  22. Shao, Z., et al. Exploring progress in multivariate time series forecasting: Comprehensive benchmarking and heterogeneity analysis. IEEE Transactions on Knowledge and Data Engineering. 37 (1), 291-305 (2023).
  23. Bharti, K., et al. Noisy intermediate-scale quantum algorithms. Rev Mod Phys. 94 (1), 015004(2022).

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

再版と許可

このJoVE記事のテキストまたは図の再利用許可をリクエスト

許可をリクエスト

タグ

TSMixer
動画は近日公開

関連記事