Metodologia QTSMixer
Niech
będzie wielowymiarowym szeregiem czasowym o długości sl i liczbie kanałów c. Zadanie wielowymiarowego prognozowania definiuje się jako przewidywanie przyszłych wartości
na podstawie historii
za pomocą modelu prognozującego
, co można sformułować następująco:

Gdzie
to długość sekwencji prognozowanej, a
oznacza wartość prognozy. W QTSMixer niech XL×C oznacza oryginalny wielowymiarowy szereg czasowy o długości L i liczbie kanałów c. Wprowadzamy wielowymiarowy szereg czasowy w postaci minipaczki
, gdzie sl ≤ L, a b jest rozmiarem partii. Jak pokazano na Rysunku 1, model QTSMixer składa się z czterech komponentów: normalizacji, osadzania patchy (patch embedding), warstw mieszających oraz prognozowania. W fazie uczenia strata modelu jest obliczana za pomocą funkcji straty średnio-kwadratowego błędu (MSE)
w celu uzyskania najlepszego dopasowania. QTSMixer można scharakteryzować jako

Gdzie θ jest trenowalnym wektorem parametrów, który jest aktualizowany za pomocą stochastycznego spadku gradientu.

Rysunek 1: Ogólna architektura QTSMixer. Tutaj dzielimy QTSMixer na cztery komponenty: normalizację, osadzanie patchy (patch embedding), warstwy mieszania oraz prognozowanie. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
W dalszej części szczegółowo omówimy komponenty modelu QTSMixer.
Normalizacja
Proces propagacji w przód w modelu QTSMixer rozpoczyna się od odebrania wejściowych danych szeregów czasowych
. Najpierw dane wejściowe są normalizowane i standaryzowane za pomocą StandardScaler8 w PatchTSMixer lub innych skalerów, aby wyeliminować różnice wymiarowe między cechami i zapewnić stabilność parametrów danych podczas treningu.
Osadzanie fragmentów (patch embedding)
W pierwszej kolejności ustandaryzowane dane z serii czasowych są dzielone na wiele segmentów o stałej długości (patchy) za pomocą modułu patchowania. Projekt tego modelu jest inspirowany pracą Ekambarama i wsp.8, a zdolność do wychwytywania lokalnych cech zostaje ulepszona dzięki podziałowi na patche. Dzięki podziałowi na patche, QTSMixer może efektywnie przetwarzać złożone wzorce danych w szeregach czasowych, redukować liczbę tokenów wejściowych modelu i osiągać lepsze wyniki w krótszym czasie trenowania. Mini-batch
jest przekształcany w
, gdzie n to liczba patchy, a pl oznacza długość patcha. Niech s oznacza krok (stride) patchowania, wtedy
.
Aby zwiększyć moc ekspresyjną modelu, każdy fragment (patch) jest odwzorowywany na przestrzeń o wyższym wymiarze za pomocą warstwy liniowej. Następnie dane są przekształcane w
poprzez transformację liniową
, gdzie hf oznacza liczbę ukrytych cech. Macierz wag ma wymiar pl × hf.
Mieszanie warstw
W tej części wymiary łatek (patch), cech i kanałów są mieszane poprzez wiele warstw mieszających. W zależności od wymiaru będącego w centrum uwagi w każdej warstwie mieszacza, wejście jest najpierw odpowiednio permutowane, aby nauczyć się korelacji wzdłuż skupionego wymiaru. Następnie informacje są wydobywane za pomocą normalizacji warstwowej, MLP, QNN oraz mechanizmu bramkowanej uwagi (GA), aby wyodrębnić bardziej kompleksowe informacje o cechach.
W warstwie mieszania patchy (patch mixing layer) wejście jest najpierw przekształcane do postaci
, przy czym skupiamy się na wymiarze patcha (tj. ostatnim wymiarze); następnie przeprowadzana jest normalizacja warstwy. Po tym moduł ten wykorzystuje współdzielony MLP (wymiar wag n × n), aby nauczyć się korelacji między różnymi patchami. Jednocześnie QNN jest realizowana za pomocą technologii ponownego przesyłania kwantowego (quantum re-uploading)20, aby zwiększyć zdolność ekspresji warstwy kwantowej. Obwód kwantowy w QNN składa się z łącznie ql warstw, a i-ta warstwa zawiera obwód kodujący Ux oraz ansatz
, gdzie θi jest wektorem parametrów trenowalnych i i = 1, 2, ..., ql. Po operacji sumowania ważonego model tworzy hybrydową strukturę MLP i QNN, sformułowaną jako
dla i-tego komponentu wymiaru patcha, aby efektywnie zintegrować klasyczne i kwantowe możliwości ekstrakcji cech. Należy zauważyć, że αi jest tutaj parametrem trenowalnym o wartości początkowej 0, co wskazuje, jak silnie wprowadzone zostaje zachowanie kwantowe. Na koniec GA8 probabilistycznie zwiększa skalę dominujących cech i zmniejsza skalę cech nieistotnych. Warstwa mieszania cech (feature mixing layer) i warstwa mieszania kanałów (channel mixing layer) działają w podobny sposób.
Po zastosowaniu wielu warstw mieszania dane są przetwarzane zgodnie z
.
Prognozowanie
W warstwie prognozowania dane są najpierw przekształcane do postaci
. Wartości przyszłe są przewidywane za pomocą klasycznej głowicy predykcyjnej8 — zakodowane cechy są spłaszczane i przekazywane do klasycznej warstwy liniowej z mechanizmem dropout w celu wygenerowania prognozy
dla wartości przyszłych.
Wyniki eksperymentu
Przeprowadziliśmy szczegółową analizę empiryczną na rzeczywistym zbiorze danych, tj. zbiorze Long-Term Network Traffic Forecasting (LTNTF)21, oraz trzech innych popularnych publicznych zbiorach danych. Pierwszy eksperyment oparto na zbiorze danych LTNTF21, który dostarcza godzinowe dane o ruchu oraz informacje o dniach świątecznych dla trzech miast A, B i C w rzeczywistej sieci z okresu od 1 stycznia 2017 r. do 20 lutego 2019 r. Zadaniem jest wykorzystanie danych historycznych do zbudowania odpowiedniego modelu w celu przewidywania godzinowych wartości ruchu dla każdego miasta na kolejne 95 dni. Wyjątkowość tego zbioru danych polega na jego autentyczności i długoterminowym charakterze, oferując szczegółowe godzinowe dane o ruchu sieciowym obejmujące wiele miast przez ponad 800 dni. Wyniki eksperymentalne zostały zestawione w Tabeli 1, na Rysunku 2 oraz Rysunku 3. W celu powtórzenia eksperymentu należy zapoznać się z plikiem README.md w folderze Experiment_1_LTNFT w Pliku uzupełniającym 1.
Tabela 1: Porównanie wydajności QTSMixer i TSMixer w zbiorze danych LTNTF. W tym przypadku jako główne mierniki oceny wykorzystano MAPE oraz RMSE, a niższe wartości wskazują na lepszą wydajność. Kliknij tutaj, aby pobrać tę tabelę.

Rysunek 2: Porównanie wyników predykcji TSMixer i QTSMixer. Przedstawiono tutaj trzy losowo wybrane próbki z trzech miast oraz wizualne porównanie wartości rzeczywistych i wartości przewidzianych przez modele TSMixer i QTSMixer. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 3: Porównanie wyników predykcji w specjalnym przypadku TSMixer i QTSMixer. Tutaj wybrano próbki, w których QTSMixer wykazał najlepszą wydajność. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Drugi eksperyment opiera się na BasicTS+ (podstawowych szeregach czasowych).22 framework, będący biblioteką referencyjną i zestawem narzędzi do prognozowania szeregów czasowych. Wspiera on różnorodne zadania i zestawy danych, takie jak prognozowanie czasowo-przestrzenne oraz prognozowanie długich serii, i obejmuje modele statystyczne, modele uczenia maszynowego, modele głębokiego uczenia oraz inne algorytmy. BasicTS+ zapewnia uczciwą i kompleksową platformę do replikacji i porównywania popularnych modeli głębokiego uczenia poprzez ujednolicony i zestandaryzowany proces. Benchmark BasicTS składa się z siedmiu starannie dobranych wielowymiarowych zbiorów danych szeregów czasowych (MTS), obejmujących różnorodne dziedziny świata rzeczywistego, co umożliwia rygorystyczną ocenę modeli prognozowania. Kolekcja ta zawiera zestawy danych dotyczących ruchu drogowego (PEMS04/08 do monitorowania natężenia ruchu), rekordy zużycia energii (Electricity/Etth1/Ettm1), wskaźniki ekonomiczne (Exchange-Rate) oraz pomiary środowiskowe (Beijing Air Quality). Wyniki eksperymentalne przedstawiono w Tabela 2Aby powtórzyć eksperyment, należy zapoznać się z plikiem README.md w folderze Experiment_2_Basicts w Plik uzupełniający 1.
Tabela 2: Porównanie wydajności modelu QTSMixer i innych modeli na różnych zbiorach danych w ramach frameworku BasicTS+. Tutaj MAE, WAPE i RMSE są wykorzystywane jako metryki oceny, a niższe wartości wskazują na lepszą wydajność. Modele o podobnej liczbie parametrów zostały pogrupowane. Kliknij tutaj, aby pobrać tę tabelę.
Trzeci eksperyment obejmuje analizę porównawczą między symulatorem kwantowym a rzeczywistym komputerem kwantowym. Eksperyment ten porównuje wydajność Qiskit oraz frameworka DQ poprzez ocenę ich odpowiednich implementacji QTSMixer. Przeanalizowano dokładność i efektywność wykonania obu frameworków w zadaniach prognozowania. W eksperymencie wykorzystano nadprzewodzący komputer kwantowy, ibm_brisbane. Wyniki doświadczalne przedstawiono na Rysunku 4 oraz w Tabeli 3. W celu powtórzenia eksperymentu należy zapoznać się z plikiem README.md w folderze Experiment_3_Qiskit w Pliku uzupełniającym 1.

Rysunek 4: Porównanie wyników prognozowania Qiskit (na sprzęcie kwantowym) i DQ (na symulatorze). Porównanie wartości rzeczywistych z prognozami, gdzie prognozy pochodzą z eksperymentów Qiskit i DQ. Kliknij tutaj, aby wyświetlić ten rysunek w większej wersji.
Tabela 3: Porównanie wydajności QTSMixer pomiędzy sprzętem kwantowym a eksperymentami symulacyjnymi. Tutaj w charakterze głównych metryk oceny wykorzystano MAPE oraz RMSE, gdzie niższe wartości wskazują na lepszą wydajność. Kliknij tutaj, aby pobrać tę tabelę.