Исследовательская статья

Квантово-классическая гибридная модель для долгосрочного прогнозирования сетевого трафика

DOI:

10.3791/68229

⸱

27 июня 2025 г.

 ,  ,  ,  ,  ,  , 
1China Mobile Research Institute, 2TuringQ Co., Ltd.

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

QTSMixer, гибридная квантово-классическая модель, улучшает прогнозирование сетевого трафика, устраняя ограничения TSMixer в периодических сигналах и долгосрочных прогнозах. В нем представлены компоненты квантовой нейронной сети, управляемые обучаемыми параметрами, что на 6,72% превосходит TSMixer в долгосрочных прогнозах на основе реальных данных.

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Прогнозирование сетевого трафика, важнейшее применение анализа временных рядов, имеет важное значение для управления сетью и ее оптимизации. Традиционные статистические модели и методы машинного обучения используются для прогнозирования сетевого трафика, где последние достижения в архитектурах многоуровневых микшеров восприятия, в частности TSMixer, достигли самых современных показателей. Тем не менее, TSMixer сталкивается с проблемами с периодическими сигналами и долгосрочными прогнозами. Чтобы устранить эти ограничения, мы предлагаем модель Quantum TSMixer (QTSMixer) — гибридный квантово-классический подход, который использует квантовые нейронные сети для расширенного извлечения признаков, связанных с периодическими сигналами и долгосрочными зависимостями. Путем введения обучаемых параметров для управления силой квантовых компонентов создается гибридная структура многослойного восприятия и квантовой нейронной сети. Потенциал междоменного приложения QTSMixer и практические возможности применения демонстрируются с помощью эмпирического анализа на реальных наборах данных, в котором QTSMixer превосходит TSMixer на 6,72% в наборе данных долгосрочного прогнозирования сетевого трафика. В будущем развитие QTSMixer может быть дополнительно изучено в других областях, таких как анализ финансовых рынков и прогнозирование погоды.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Прогнозирование сетевого трафика (NTP)1,2,3, являясь важным применением анализа временных рядов 4,5, включает в себя анализ исторических данных сетевого трафика для выявления закономерностей и тенденций, тем самым прогнозируя будущие изменения трафика. Это имеет решающее значение для управления и оптимизации сети, поскольку может помочь сетевым операторам в распределении ресурсов, диагностике неисправностей, мониторинге безопасности и обеспечении качества обслуживания. Проблема NTP хорошо изучена с помощью статистических моделей и методов машинного обучения3. В последнее время архитектуры на основе Multi-Layer Perception Mixer (MLP-Mixer)6,7 становятся популярными для NTP благодаря их мощным возможностям захвата многомерных зависимостей временных рядов. Среди них TSMixer8 выделяется своей исключительной скоростью и легкой конструкцией, а также достиг современной производительности (SOTA) на эталонных наборах данных9. TSMixer может лучше улавливать зависимость от времени и корреляцию между объектами за счет гибридной работы с временными и функциональными измерениями. Однако у TSMixer есть следующие два недостатка. Во-первых, он не подходит для работы с периодическими сигналами. Периодические сигналы стабильны, устойчивы к помехам и просты в анализе, что делает их очень ценными в системах связи, электроснабжения и управления. Поскольку TSMixer основан на MLP, математическим прототипом которого является апериодическая функция, TSMixer подходит для обработки апериодических сигналов, но плохо подходит для обработки периодических сигналов. Во-вторых, он не очень хорошо работает при долгосрочном прогнозировании, поскольку ему мешают текущие ограничения компьютерной памяти и накопление ошибок при прогнозировании. В настоящее время большинство моделей имеют низкую производительность при работе с долгосрочным прогнозированием временных рядов. Это актуальный вопрос, который необходимо решить в области прогнозирования временных рядов. Несмотря на то, что TSMixer добился хороших результатов, еще есть возможности для улучшения. Поэтому большое значение имеет поиск новых стратегий, чтобы избежать этих недостатков.

Квантовые вычисления10 — это новая вычислительная парадигма, основанная на законах квантовой механики, которая может эффективно и безопасно обрабатывать огромные объемы данных. Квантовые нейронные сети (QNN)11,12,13 — это своего рода вычислительная модель, сочетающая квантовые вычисления и классические нейронные сети, которые имеют широкий спектр применения в обработке изображений, распознавании речи и прогнозировании заболеваний. Они используют свойства квантовых вычислений, такие как суперпозиция и запутанность, для обработки информации и выполнения задач машинного обучения, что приводит к лучшему моделированию, более быстрым вычислениям или квантовому преимуществу с точки зрения производительности сети. В последнее время в области QNN были исследованы некоторые подходы к прогнозированию временных рядов 14,15,16,17,18,19. Квантовые модели временных рядов могут превосходить традиционные модели с точки зрения точности прогнозирования и вычислительной эффективности, особенно при работе со сложными многомерными данными. С одной стороны, QNN может быть выражена в виде ряда Фурье, который является периодической функцией и подходит для обработки периодических сигналов; с другой стороны, некоторые приложения QNN во временных рядах оказались успешными. В связи с этим большой интерес представляет изучение роли QNN в NTP, особенно в долгосрочной перспективе.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Методология QTSMixer

Пусть figure-protocol-1 — многомерный временной ряд длины sl и числа каналов c. Задача многомерного прогнозирования определяется как прогнозирование будущих значений figure-protocol-2 с учетом некоторой истории figure-protocol-3 с помощью модели figure-protocol-4прогнозирования , которая может быть сформулирована как

figure-protocol-5

Где figure-protocol-6 — длина последовательности прогноза и figure-protocol-7 обозначает значение прогноза. В QTSMixer пусть XL×C обозначает исходный многомерный временной ряд длины L и числа каналов c. Мы вводим многомерные временные ряды с помощью minibatch figure-protocol-8 , где sl ≤ L и b — размер партии. Как показано на рисунке 1, модель QTSMixer состоит из четырех компонентов: нормализация, встраивание патчей, смешивание слоев и прогнозирование. На этапе обучения потери модели вычисляются с помощью функции figure-protocol-9 потерь при среднеквадратичной ошибке (MSE) для достижения наилучшего соответствия. QTSMixer можно охарактеризовать следующим образом:

figure-protocol-10

Где θ является обучаемым вектором параметра и обновляется по стохастическому градиентному спуску.

figure-protocol-11
Рисунок 1: Высокоуровневая архитектура QTSMixer. Здесь мы разделим QTSMixer на четыре компонента: нормализация, встраивание патчей, микширование слоев и прогнозирование. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Далее мы подробно рассмотрим компоненты модели QTSMixer.

Нормализация

Процесс прямого распространения QTSMixer начинается с получения входных данных figure-protocol-12 временных рядов. Во-первых, входные данные нормализуются и стандартизируются с помощью PatchTSMixer StandardScaler8 или других скейлеров, чтобы устранить различия в размерах между признаками и обеспечить стабильность производительности данных во время обучения.

Встраивание патчей

Во-первых, стандартизированные данные временных рядов разбиваются на несколько сегментов фиксированной длины (патчей) с помощью модуля коммутации. Этот дизайн модели вдохновлен Экамбарамом и др.8, а возможность улавливания локальных особенностей улучшена за счет разделения участков. Благодаря разделению патчей QTSMixer может эффективно работать со сложными шаблонами данных временных рядов, уменьшать количество входных токенов модели и достигать лучших результатов за более короткое время обучения. Мини-пакет figure-protocol-13 преобразуется в figure-protocol-14, где n — количество патчей, а pl обозначает длину патча. Обозначим шаг заплатки, тогда figure-protocol-15 .

Чтобы повысить выразительность модели, каждый участок сопоставляется с пространством более высокой размерности с помощью линейного слоя. Затем данные преобразуются с figure-protocol-16 помощью линейного преобразования figure-protocol-17, где hf — количество скрытых признаков. Весовая матрица имеет размерность pl × hf .

Смешивание слоев

В этой части размеры патча, функции и канала смешиваются с помощью нескольких слоев микширования. В зависимости от размера, находящегося в фокусе в каждом слое микшера, входные данные сначала переставляются соответствующим образом, чтобы изучить корреляцию вдоль сфокусированного измерения. Затем информация извлекается с помощью нормализации слоев, MLP, QNN и механизма Gated Attention (GA) для извлечения более полной информации о признаках.

В слое микширования патчей входные данные сначала преобразуются в figure-protocol-18 , в котором мы фокусируемся на размерности патча (т. е. на последней размерности); затем выполняется нормализация слоя. После этого этот модуль использует общий MLP (весовое измерение n × n) для изучения корреляции между различными патчами. Между тем, QNN реализуется с помощью технологии квантовой повторной загрузки20 для повышения экспрессивной способности квантового слоя. Квантовая схема в QNN имеет общее количество слоев ql, а i-йслой содержит кодирующую схему Ux и ansatz figure-protocol-19, где θi — вектор обучаемого параметра, а i = 1, 2, ..., ql. После операции взвешенного сложения модель создает гибридную структуру MLP и QNN, сформулированную как figure-protocol-20 i-йкомпонент размерности патча, для эффективной интеграции классических и квантовых возможностей извлечения признаков. Обратите внимание, что здесь α i является обучаемым параметром с начальным значением 0, которое указывает, насколько сильно внедряется квантовое поведение. Наконец, GA8 вероятностно увеличивает доминирующие признаки и уменьшает несущественные. Слой микширования функций и слой микширования каналов работают аналогичным образом.

После нескольких слоев смешивания данные обрабатываются как figure-protocol-21.

Прогнозирование

На слое прогнозирования данные сначала преобразуются в figure-protocol-22. Будущие значения прогнозируются с помощью классической прогностической головки8 — закодированные признаки выравниваются и подаются в классический линейный слой с отпадением для создания прогноза figure-protocol-23 будущих значений.

Экспериментальные результаты

Мы провели подробный эмпирический анализ реального набора данных, т. е. набора данных Long-Term Network Traffic Forecasting (LTNTF)21, и трех других популярных общедоступных наборов данных. Первый эксперимент основан на наборе данных LTNTF21, который предоставляет почасовые данные о дорожном движении и информацию о праздниках для трех городов A, B и C в реальной сети с 1 января 2017 года по 20 февраля 2019 года. Задача состоит в том, чтобы на основе исторических данных построить подходящую модель для прогнозирования почасовых значений трафика для каждого города на ближайшие 95 дней. Уникальность набора данных заключается в его подлинности и долгосрочном характере, он предлагает подробные почасовые данные о сетевом трафике, охватывающие несколько городов за более чем 800 дней. Результаты эксперимента обобщены в таблицах 1, 2 и 3. Чтобы воспроизвести эксперимент, обратитесь к README.md в Experiment_1_LTNFT в Дополнительном файле 1.

Таблица 1: Сравнение производительности между QTSMixer и TSMixer в наборе данных LTNTF. Здесь MAPE и RMSE используются в качестве основных метрик оценки, а более низкие значения указывают на более высокую производительность. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

figure-protocol-24
Рисунок 2: Сравнение результатов прогнозирования TSMixer и QTSMixer. Здесь мы случайным образом выбираем три выборки из трех городов и даем визуальное сравнение между реальными значениями и прогнозируемыми значениями TSMixer и QTSMixer. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-protocol-25
Рисунок 3: Сравнение результатов прогнозирования частного случая TSMixer и QTSMixer. Здесь отбираются образцы с наилучшими характеристиками QTSMixer. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Второй эксперимент основан на фреймворке BasicTS+(Basic Time Series)22 , который представляет собой эталонную библиотеку и набор инструментов для прогнозирования временных рядов. Он поддерживает различные задачи и наборы данных, такие как пространственно-временное прогнозирование и прогнозирование длинных рядов, а также охватывает статистические модели, модели машинного обучения, модели глубокого обучения и другие алгоритмы. BasicTS+ предоставляет справедливую и комплексную платформу для репликации и сравнения популярных моделей глубокого обучения с помощью унифицированного и стандартизированного процесса. Тест BasicTS состоит из семи тщательно отобранных наборов данных многомерных временных рядов (MTS), охватывающих различные реальные области, чтобы обеспечить тщательную оценку моделей прогнозирования. Коллекция включает в себя наборы данных о дорожном движении (PEMS04/08 для мониторинга потоков), данные о потреблении энергии (Electricity/Etth1/Ettm1), экономические показатели (Exchange-Rate) и измерения окружающей среды (Качество воздуха в Пекине). Результаты экспериментов приведены в таблице 2. Чтобы воспроизвести эксперимент, обратитесь к README.md в Experiment_2_Basicts в Дополнительном файле 1.

Таблица 2: Сравнение производительности QTSMixer и других моделей на различных наборах данных фреймворка BasicTS+. Здесь MAE, WAPE и RMSE используются в качестве метрик оценки, а более низкие значения указывают на более высокую производительность. Модели с похожим количеством параметров группируются. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

Третий эксперимент включает в себя сравнительный анализ квантового симулятора и реального квантового компьютера. В этом эксперименте сравнивается производительность Qiskit и фреймворка DQ путем оценки их соответствующих реализаций QTSMixer. Была проведена оценка точности и эффективности выполнения обеих систем в задачах прогнозирования. В этом эксперименте используется сверхпроводящий квантовый компьютер ibm_brisbane. Результаты эксперимента представлены на рисунке 4 и в таблице 3. Чтобы воспроизвести эксперимент, обратитесь к README.md в Experiment_3_Qiskit в Дополнительном файле 1.

figure-protocol-26
Рисунок 4: Сравнение результатов прогнозирования Qiskit (на квантовом оборудовании) и DQ (на симуляторе). Сравнение фактических значений с прогнозами, полученными в результате экспериментов Qiskit и DQ. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Таблица 3: Сравнение производительности QTSMixer между квантовым оборудованием и имитационными экспериментами. Здесь MAPE и RMSE используются в качестве основных метрик оценки, а более низкие значения указывают на более высокую производительность. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Мы провели детальный эмпирический анализ некоторых наборов данных. Первый эксперимент основан на наборе данных LTNTF. Три города продемонстрировали различные модели распределения данных: город А показал значительную низкую точку транспортного потока в начале года; Город B сохранял относительно высокие значения в течение того же периода, в то время как город C демонстрировал более сбалансированное распределение в течение года, подробнее см. Дополнительный рисунок ...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В этой статье мы предложили QTSMixer для долгосрочного NTP, который представляет собой новый квантово-классический гибридный подход с улучшенной точностью и междоменной адаптивностью. Данное исследование не только расширяет возможности применения квантовых вычислений в прогнозировании временных рядов, но и указывает направление их будущего развертывания на реальном квантовом оборудовании. Тем не менее, текущая квантово-классическая гибридная архитектура демонстрирует ограниченные возможности в обработке экзогенных переме...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы заявляют, что у них нет конкурирующих финансовых интересов.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Мы благодарим Юйлинь Чи, Ган Си Вана, Синьин Ли, Синь И и Фэй Вана за их содержательные дискуссии.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
DeepQuantumTuringQ Co., Ltd.https://deepquantum.turingq.com/Эффективная программная среда для квантового машинного обучения и оптических квантовых вычислений, разработанная TuringQ.
QiskitIBM https://www.ibm.com/quantum/qiskitSDK с открытым исходным кодом для работы с квантовыми компьютерами на уровне расширенных квантовых схем, операторов и примитивов.
ibm_brisbaneIBMhttps://quantum.ibm.com/Сверхпроводящий квантовый компьютер в семействе IBM Quantum Eagle.
Набор данных LTNTFChina Mobilehttps://jiutian.10086.cn/open/#/dataset/710012?platform=OpenInnovationНабор данных поступает с платформы искусственного интеллекта Jiutian компании China Mobile.
python3.10Python Software Foundationhttps://www.python.org/downloads/release/python-3100/
технология квантовой повторной загрузкиPé Рез-Салинас, А., Сервера-Лиерта, А., Гиль-Фустер, Э., Латорре, Ж. И. Повторная загрузка данных для универсального квантового классификатора. Квант. 4 226 (2019).
Структура BasicTS+Shao, Z. et al. Изучение прогресса в прогнозировании многомерных временных рядов: комплексный бенчмаркинг и анализ гетерогенности. IEEE Transactions on Knowledge and Data Engineering. 37 291-305 (2023).arXiv:2310.06119v2
GPU A100NVIDIA80G GPU
TransformersHugging Facehttps://huggingface.co/Платформа, на которой сообщество машинного обучения совместно работает над моделями, наборами данных и приложениями.
https://doi.org/10.22331/q-2020-02-06-226

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Joshi, M., Theyazn, H. H. A review of network traffic analysis and prediction techniques. arXiv preprint. , (2015).
  2. Ferreira, G. O., Ravazzi, C., Dabbene, F., Calafiore, G. C., Fiore, M. Forecasting network traffic: A survey and tutorial with open-source comparative evaluation. IEEE Access. 11, 6018-6044 (2023).
  3. Weiwei, J. Cellular traffic prediction with machine learning: A survey. Expert Syst Appl. 201, 117163(2022).
  4. Wei, W. W. S. Multivariate time series analysis and applications. , John Wiley & Sons. (2019).
  5. Multivariate time series forecasting: A review. Mendis, K., Wickramasinghe, M., Marasinghe, P. CVIPPR 2024: 2024 2nd Asia Conference on Computer Vision, Image Processing and Pattern Recognition, , (2024).
  6. Zheng, Y., Dang, Z., Peng, C., Yang, C., Gao, X. Multi-view multi-label anomaly network traffic classification based on MLP-mixer neural network. arXiv preprint. , (2022).
  7. Tolstikhin, I. O., et al. MLP-mixer: An all-MLP architecture for vision. arXiv preprint. , (2021).
  8. Ekambaram, V., Jati, A., Nguyen, N., Sinthong, P., Kalagnanam, J. TSMixer: Lightweight MLP-Mixer Model for Multivariate Time Series Forecasting. arXiv. , (2023).
  9. Ekambaram, V., et al. Tiny time mixers (ttms): Fast pre-trained models for enhanced zero/few-shot forecasting of multivariate time series. arXiv preprint. ArXiv. , (2024).
  10. Nielsen, M. A., Chuang, I. L. Quantum computation and quantum information: 10th Anniversary Edition. , Cambridge: Cambridge University Press. (2010).
  11. Beer, K., et al. Training deep quantum neural networks. Nat Commun. 11 (1), 808(2020).
  12. Amira, A., et al. The power of quantum neural networks. Nat Comput Sci. 1, 403-409 (2020).
  13. Cong, I., Choi, S., Lukin, M. D. Quantum convolutional neural networks. Nat Phys. 15 (12), 1273-1278 (2019).
  14. Padha, A., Sahoo, A. Quantum deep neural networks for time series analysis. Quantum Inf Process. 23 (6), 205(2024).
  15. Evolving Hybrid Quantum-Classical GRU Architectures for Multivariate Time Series. De Falco, F., Lavagna, L., Ceschini, A., Rosato, A., Panella, M. 2024 IEEE 34th International Workshop on Machine Learning for Signal Processing (MLSP), , IEEE. 1-6 (2024).
  16. Hybrid quantum-classical recurrent neural networks for time series prediction. Ceschini, A., Rosato, A., Panella, M. in 2022 international joint conference on neural networks (IJCNN), , IEEE. 1-8 (2022).
  17. Huang, W., Zhang, J., Liang, S., Sun, H. Backbone network traffic prediction based on modified eemd and quantum neural network. Wirel Pers Commun. 99 (4), 1569-1588 (2018).
  18. Zhang, K., Liang, L., Huang, Y. A Network traffic prediction model based on quantum inspired PSO and neural network. 2013 Sixth International Symposium on Computational Intelligence and Design. 2, 219-222 (2013).
  19. Rivera-Ruiz, M. A., Mendez-Vazquez, A., López-Romero, J. M. Time series forecasting with quantum machine learning architectures. Advances in Computational Intelligence. , Springer Nature Switzerland. 66-82 (2022).
  20. Pérez-Salinas, A., Cervera-Lierta, A., Gil-Fuster, E., Latorre, J. I. Data re-uploading for a universal quantum classifier. Quantum. 4, 226(2020).
  21. Mobile, C. Long-term network traffic forecasting. , (2023).
  22. Shao, Z., et al. Exploring progress in multivariate time series forecasting: Comprehensive benchmarking and heterogeneity analysis. IEEE Transactions on Knowledge and Data Engineering. 37 (1), 291-305 (2023).
  23. Bharti, K., et al. Noisy intermediate-scale quantum algorithms. Rev Mod Phys. 94 (1), 015004(2022).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

TSMixer
Видео скоро будет доступно

Похожие статьи