$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
metodologia QTSMixer
Niech
być wielowymiarowym szeregiem czasowym o długości sl i liczbie kanałów c. Zadanie prognozowania wielowymiarowego jest zdefiniowane jako przewidywanie przyszłych wartości
biorąc pod uwagę pewną historię
przez model prognozowania
, które można sformułować jako

Gdzie
to prognozowana długość sekwencji, a
oznacza wartość prognozy. W QTSMixer niech XL×C oznacza oryginalny wielowymiarowy szereg czasowy o długości L i liczbie kanałów c. Wprowadzamy wielowymiarowe szeregi czasowe za pomocą minibatch
, gdzie sl ≤ L i b to rozmiar partii. Jak pokazano na rysunku Rysunek 1, model QTSMixer składa się z czterech komponentów: normalizacji, osadzania poprawek, mieszania warstw i prognozowania. W fazie uczenia strata modelu jest obliczana za pomocą funkcji strat błędu średniokwadratowego (MSE)
w celu uzyskania najlepszego dopasowania. QTSMixer można scharakteryzować jako

Gdzie θ jest wektorem parametru, który można trenować, i jest aktualizowany przez stochastyczne opadanie gradientu.

Rysunek 1: Wysokopoziomowa architektura QTSMixer. Tutaj dzielimy QTSMixer na cztery komponenty: normalizację, osadzanie poprawek, mieszanie warstw i prognozowanie. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.
Następnie szczegółowo opiszemy komponenty modelu QTSMixer.
Normalizacja
Proces propagacji QTSMixer rozpoczyna się od otrzymania wejściowych danych szeregów czasowych
. Po pierwsze, dane wejściowe są normalizowane i standaryzowane przez PatchTSMixer StandardScaler8 lub inne skalery w celu wyeliminowania różnic wymiarowych między funkcjami i zapewnienia stabilności wydajności danych podczas trenowania.
Osadzanie łatki
Po pierwsze, ustandaryzowane dane szeregów czasowych są dzielone na wiele segmentów (łatek) o stałej długości za pomocą modułu łatania. Ten projekt modelu jest inspirowany Ekambaram et al.8, a możliwość przechwytywania lokalnych cech została ulepszona dzięki podziałowi łatek. Dzięki podziałowi poprawek, QTSMixer może skutecznie radzić sobie ze złożonymi wzorcami danych szeregów czasowych, zmniejszać liczbę tokenów wejściowych modelu i osiągać lepsze wyniki w krótszym czasie trenowania. Minibatch
jest przekształcany w
, gdzie n to liczba łatek, a pl oznacza długość łatki. Niech s oznacza krok łatania, a następnie
.
Aby zwiększyć siłę wyrazu modelu, każda łatka jest mapowana na przestrzeń o wyższym wymiarze za pomocą warstwy liniowej. Następnie dane są przekształcane w
przez transformację liniową
, gdzie hf to liczba ukrytych cech. Macierz wagowa ma wymiar pl × hf .
Mieszanie warstw
W tej części, wymiary łatki, funkcji i kanału są mieszane przez wiele warstw mieszania. W oparciu o wymiar, na którym znajduje się fokus w każdej warstwie miksera, dane wejściowe są najpierw odpowiednio permutowane, aby nauczyć się korelacji wzdłuż skoncentrowanego wymiaru. Następnie informacje są wyodrębniane przez normalizację warstw, MLP, QNN i mechanizm bramkowanej uwagi (GA) w celu wyodrębnienia bardziej kompleksowych informacji o funkcji.
W warstwie mieszania łat, dane wejściowe są najpierw przekształcane na
, w którym skupiamy się na wymiarze łatki (tj. ostatnim wymiarze); następnie przeprowadzana jest normalizacja warstwy. Następnie moduł ten wykorzystuje współdzielony MLP (wymiar wagi n × n), aby poznać korelację między różnymi łatami. Tymczasem QNN jest realizowany przez technologię ponownego przesyłania kwantowego20 w celu zwiększenia zdolności ekspresji warstwy kwantowej. Obwód kwantowy w QNN ma w sumie warstwy ql, a ita warstwa zawiera obwód kodujący Ux i ansatz
, gdzie θi jest wektorem parametru, który można trenować, a i = 1, 2, ..., ql. Po operacji dodawania ważonego model tworzy hybrydową strukturę MLP i QNN, sformułowaną jako
dla i-tegoskładnika wymiaru łatki, aby skutecznie zintegrować klasyczne i kwantowe możliwości ekstrakcji cech. Należy zauważyć, że w tym miejscuα i jest parametrem, który można trenować, z wartością początkową 0, która wskazuje, jak silnie wprowadzono zachowanie kwantowe. Na koniec, klasa GA8 probabilistycznie skaluje w górę dominujące cechy i w dół nieistotne cechy. Warstwa mieszania funkcji i warstwa mieszania kanałów działają w podobny sposób.
Po wielu warstwach mieszania, dane są przetwarzane jako
.
Prognozowanie
W warstwie prognozowania dane są najpierw przekształcane na
. Przyszłe wartości są przewidywane za pomocą klasycznej predykcji head8—zakodowane cechy są spłaszczane i wprowadzane do klasycznej warstwy liniowej z dropoutem w celu wygenerowania predykcji
przyszłych wartości.
Wyniki eksperymentu
Przeprowadziliśmy szczegółową analizę empiryczną na rzeczywistym zbiorze danych, tj. zbiorze danych Long-Term Network Traffic Forecasting (LTNTF) 21 i trzech innych popularnych publicznych zbiorach danych. Pierwszy eksperyment jest oparty na zestawie danych LTNTF21, który zawiera godzinowe dane o ruchu drogowym i informacje o dniach wolnych od pracy dla trzech miast A, B i C w sieci świata rzeczywistego od 1 stycznia 2017 r. do 20 lutego 2019 r. Zadanie polega na wykorzystaniu danych historycznych do zbudowania odpowiedniego modelu do przewidywania godzinowych wartości ruchu dla każdego miasta na najbliższe 95 dni. Wyjątkowość zestawu danych polega na jego autentyczności i długoterminowym charakterze, oferując szczegółowe godzinowe dane o ruchu sieciowym obejmujące wiele miast przez ponad 800 dni. Wyniki eksperymentu podsumowano w Tabeli 1, Rysunek 2 i Rysunek 3. Aby odtworzyć eksperyment, zapoznaj się z README.md w Experiment_1_LTNFT w pliku uzupełniającym 1.
Tabela 1: Porównanie wydajności między QTSMixer i TSMixer w zestawie danych LTNTF. W tym przypadku MAPE i RMSE są używane jako główne wskaźniki oceny, a niższe wartości wskazują na lepszą wydajność. Kliknij tutaj, aby pobrać tę tabelę.

Rysunek 2: Porównanie wyników predykcji TSMixer i QTSMixer. Tutaj losowo wybieramy trzy próbki z trzech miast i podajemy wizualne porównanie między wartościami rzeczywistymi a przewidywanymi wartościami TSMixer i QTSMixer. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 3: Porównanie wyników predykcji dla specjalnego przypadku TSMixer i QTSMixer. Tutaj wybierane są próbki o najlepszych parametrach QTSMixer. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.
Drugi eksperyment opiera się na frameworku BasicTS+(Basic Time Series)22, który jest biblioteką porównawczą i zestawem narzędzi do prognozowania szeregów czasowych. Obsługuje różne zadania i zestawy danych, takie jak prognozowanie czasowo-przestrzenne i prognozowanie długich szeregów, a także obejmuje modele statystyczne, modele uczenia maszynowego, modele uczenia głębokiego i inne algorytmy. BasicTS+ zapewnia uczciwą i kompleksową platformę do replikacji i porównywania popularnych modeli głębokiego uczenia się za pomocą ujednoliconego i ustandaryzowanego procesu. Test porównawczy BasicTS składa się z siedmiu starannie wyselekcjonowanych zestawów danych wielowymiarowych szeregów czasowych (MTS) obejmujących różne domeny świata rzeczywistego, aby umożliwić rygorystyczną ocenę modeli prognostycznych. Zbiór zawiera zestawy danych o ruchu drogowym (PEMS04/08 do monitorowania przepływu), zapisy zużycia energii (Electricity/Etth1/Ettm1), wskaźniki ekonomiczne (Exchange-Rate) oraz pomiary środowiskowe (Beijing Air Quality). Wyniki doświadczenia przedstawiono w tabeli 2. Aby odtworzyć eksperyment, zapoznaj się z README.md w Experiment_2_Basicts w pliku uzupełniającym 1.
Tabela 2: Porównanie wydajności między QTSMixer a innymi modelami na różnych zestawach danych frameworka BasicTS+. W tym przypadku MAE, WAPE i RMSE są używane jako metryki oceny, a niższe wartości wskazują na lepszą wydajność. Modele o podobnej liczbie parametrów są pogrupowane. Kliknij tutaj, aby pobrać tę tabelę.
Trzeci eksperyment obejmuje analizę porównawczą między symulatorem kwantowym a prawdziwym komputerem kwantowym. W tym eksperymencie porównano wydajność Qiskit i frameworka DQ, oceniając ich odpowiednie implementacje QTSMixer. Oceniono dokładność i efektywność realizacji obu ram w zadaniach prognostycznych. W tym eksperymencie wykorzystano nadprzewodzący komputer kwantowy ibm_brisbane. Wyniki eksperymentu są pokazane w Rysunek 4 i Tabela 3. Aby odtworzyć eksperyment, zapoznaj się z README.md w Experiment_3_Qiskit w pliku uzupełniającym 1.

Rysunek 4: Porównanie wyników predykcji Qiskit (na sprzęcie kwantowym) i DQ (na symulatorze). Porównanie rzeczywistych wartości i przewidywań z przewidywaniami pochodzącymi z eksperymentów Qiskit i DQ. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.
Tabela 3: Porównanie wydajności QTSMixer między sprzętem kwantowym a eksperymentami symulacyjnymi. W tym przypadku MAPE i RMSE są używane jako główne wskaźniki oceny, a niższe wartości wskazują na lepszą wydajność. Kliknij tutaj, aby pobrać tę tabelę.