$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
QTSMixer-methodologie
Laat
een multivariate tijdreeks zijn van lengte sl en aantal kanalen c. De multivariate voorspellingstaak wordt gedefinieerd als het voorspellen van toekomstige waarden
die een bepaalde geschiedenis
krijgen door een voorspellingsmodel
, dat kan worden geformuleerd als

Waar
is de lengte van de voorspellingssequentie en
geeft de voorspellingswaarde aan. Laat XL×C in QTSMixer de oorspronkelijke multivariate tijdreeks van lengte L en het aantal kanalen c aanduiden. We voeren de multivariate tijdreeksen in per minibatch
, waarbij sl ≤ L en b de batchgrootte is. Zoals te zien is in figuur 1, bestaat het QTSMixer-model uit vier componenten: normalisatie, patch-inbedding, menglagen en prognoses. In de trainingsfase wordt het verlies van het model berekend door de Mean Square Error (MSE) verliesfunctie
om de beste pasvorm te bereiken. De QTSMixer kan worden gekarakteriseerd als

Waarbij θ de trainbare parametervector is en wordt bijgewerkt door stochastische gradiëntafdaling.

Figuur 1: De architectuur op hoog niveau van QTSMixer. Hier verdelen we QTSMixer in vier componenten: normalisatie, patch-inbedding, menglagen en prognoses. Klik hier om een grotere versie van deze figuur te bekijken.
Vervolgens zullen we de modelcomponenten van QTSMixer in detail beschrijven.
Normalisatie
Het voorwaartse propagatieproces van QTSMixer begint met het ontvangen van de ingevoerde tijdreeksgegevens
. Eerst worden de invoergegevens genormaliseerd en gestandaardiseerd door de PatchTSMixer StandardScaler8 of andere scalers om de dimensionale verschillen tussen functies te elimineren en de stabiliteit van de gegevensprestaties tijdens de training te garanderen.
Patch inbedding
Eerst worden de gestandaardiseerde tijdreeksgegevens via de patchmodule onderverdeeld in meerdere segmenten met een vaste lengte (patches). Dit modelontwerp is geïnspireerd op Ekambaram et al.8 en de mogelijkheid om lokale kenmerken vast te leggen is verbeterd door de verdeling van patches. Door middel van patchdeling kan QTSMixer effectief omgaan met complexe tijdreeksgegevenspatronen, het aantal modelinvoertokens verminderen en betere resultaten behalen in een kortere trainingstijd. De minibatch
wordt omgevormd tot
, waarbij n het aantal patches is en pl de patchlengte aangeeft. Laten we de stap van het patchen aanduiden, dan
.
Om de expressieve kracht van het model te vergroten, wordt elke patch via een lineaire laag in kaart gebracht op een hoger-dimensionale ruimte. Vervolgens worden de gegevens omgevormd tot
door lineaire transformatie
, waarbij hf het aantal verborgen kenmerken is. De gewichtsmatrix heeft een afmeting van pl × hf.
Lagen mengen
In dit deel worden de patch-, functie- en kanaaldimensies gemengd via meerdere menglagen. Op basis van de dimensie waarop in elke mixerlaag is scherpgesteld, wordt de invoer eerst dienovereenkomstig gepermuteerd om de correlatie langs de gefocuste dimensie te leren. Vervolgens wordt de informatie geëxtraheerd door laagnormalisatie, MLP, QNN en Gated Attention (GA)-mechanisme om uitgebreidere functie-informatie te extraheren.
In de patch-menglaag wordt de invoer eerst hervormd naar
, waarin we ons concentreren op de patchdimensie (d.w.z. de laatste dimensie); vervolgens wordt de laagnormalisatie uitgevoerd. Daarna maakt deze module gebruik van een gedeelde MLP (gewichtsdimensie n × n) om de correlatie tussen verschillende patches te leren. Ondertussen wordt de QNN gerealiseerd door kwantumre-uploadtechnologie20 om het expressievermogen van de kwantumlaag te verbeteren. Het kwantumcircuit in QNN heeft in totaal ql-lagen , en de i-delaag bevat een coderingscircuit Ux en een ansatz
, waarbij θi de trainbare parametervector is en i = 1, 2, ..., ql. Na een gewogen optelbewerking produceert het model een hybride structuur van MLP en QNN, geformuleerd als
voor de i-decomponent van de patchdimensie, om klassieke en kwantumfunctie-extractiemogelijkheden effectief te integreren. Merk op dat hier αi een trainbare parameter is met een beginwaarde van 0, die aangeeft hoe sterk het kwantumgedrag wordt geïntroduceerd. Ten slotte schaalt de GA8 de dominante kenmerken probabilistisch op en verkleint de onbelangrijke kenmerken. De functie menglaag en de kanaalmenglaag werken op een vergelijkbare manier.
Na meerdere menglagen worden de gegevens verwerkt als
.
Vooruitzichten
In de prognoselaag worden de gegevens eerst omgevormd tot
. De toekomstige waarden worden voorspeld door middel van een klassieke voorspellingskop8 - de gecodeerde kenmerken worden afgevlakt en ingevoerd in een klassieke lineaire laag met dropout om een voorspelling
van toekomstige waarden te genereren.
Experimentele resultaten
We hebben een gedetailleerde empirische analyse uitgevoerd op de real-world dataset, d.w.z. de Long-Term Network Traffic Forecasting (LTNTF) dataset21, en drie andere populaire openbare datasets. Het eerste experiment is gebaseerd op de LTNTF-dataset21, die elk uur verkeersgegevens en vakantie-informatie biedt voor drie steden A, B en C in het echte netwerk van 1 januari 2017 tot 20 februari 2019. De taak is om historische gegevens te gebruiken om een geschikt model te bouwen om de verkeerswaarden per uur voor elke stad voor de komende 95 dagen te voorspellen. Het unieke van de dataset ligt in de authenticiteit en het langetermijnkarakter ervan, met gedetailleerde netwerkverkeersgegevens per uur die meerdere steden bestrijken gedurende meer dan 800 dagen. De experimentele resultaten zijn samengevat in Tabel 1, Figuur 2 en Figuur 3. Om het experiment te reproduceren, raadpleegt u README.md in Experiment_1_LTNFT in aanvullend bestand 1.
Tabel 1: Prestatievergelijking tussen QTSMixer en TSMixer in de LTNTF-dataset. Hier worden de MAPE en RMSE gebruikt als de belangrijkste evaluatiestatistieken, en lagere waarden duiden op betere prestaties. Klik hier om deze tabel te downloaden.

Figuur 2: Vergelijking van voorspellingsresultaten van TSMixer en QTSMixer. Hier selecteren we willekeurig drie steekproeven uit drie steden en geven we de visuele vergelijking tussen de echte waarden en de voorspelde waarden van TSMixer en QTSMixer. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: Vergelijking van voorspellingsresultaten van een speciaal geval van TSMixer en QTSMixer. Hier worden de samples met de beste prestaties van QTSMixer geselecteerd. Klik hier om een grotere versie van deze figuur te bekijken.
Het tweede experiment is gebaseerd op het BasicTS+ (Basic Time Series)22-framework , een benchmarkbibliotheek en toolbox voor tijdreeksvoorspellingen. Het ondersteunt een verscheidenheid aan taken en datasets, zoals spatio-temporele prognoses en prognoses voor lange reeksen, en omvat statistische modellen, machine learning-modellen, deep learning-modellen en andere algoritmen. BasicTS+ biedt een eerlijk en uitgebreid platform voor de replicatie en vergelijking van populaire deep learning-modellen via een uniform en gestandaardiseerd proces. De BasicTS-benchmark bestaat uit zeven zorgvuldig samengestelde multivariate tijdreeksen (MTS) datasets die verschillende real-world domeinen bestrijken om een grondige evaluatie van prognosemodellen mogelijk te maken. De collectie omvat verkeersdatasets (PEMS04/08 voor het monitoren van debiet), gegevens over energieverbruik (Electricity/Etth1/Ettm1), economische indicatoren (Exchange-Rate) en milieumetingen (Beijing Air Quality). De experimentele resultaten zijn weergegeven in tabel 2. Om het experiment te reproduceren, raadpleegt u README.md in Experiment_2_Basicts in aanvullend bestand 1.
Tabel 2: Prestatievergelijkingen tussen QTSMixer en andere modellen op verschillende datasets van het BasicTS+ framework. Hier worden MAE, WAPE en RMSE gebruikt als evaluatiestatistieken, en lagere waarden duiden op betere prestaties. De modellen met vergelijkbare parametertellingen zijn gegroepeerd. Klik hier om deze tabel te downloaden.
Het derde experiment betreft een vergelijkende analyse tussen de quantumsimulator en een echte quantumcomputer. Dit experiment vergelijkt de prestaties van Qiskit en het DQ-framework door hun respectievelijke implementaties van QTSMixer te evalueren. De nauwkeurigheid en uitvoeringsefficiëntie van beide frameworks bij prognosetaken werden beoordeeld. In dit experiment wordt de supergeleidende kwantumcomputer, ibm_brisbane, gebruikt. De experimentele resultaten zijn weergegeven in figuur 4 en tabel 3. Om het experiment te reproduceren, raadpleegt u README.md in Experiment_3_Qiskit in aanvullend bestand 1.

Figuur 4: Vergelijking van de voorspellingsresultaten van Qiskit (op quantumhardware) en DQ (op de simulator). Vergelijking tussen werkelijke waarden en voorspellingen, met voorspellingen afgeleid van Qiskit- en DQ-experimenten. Klik hier om een grotere versie van deze figuur te bekijken.
Tabel 3: Prestatievergelijking van QTSMixer tussen kwantumhardware en simulatie-experimenten. Hier worden de MAPE en RMSE gebruikt als de belangrijkste evaluatiestatistieken, en lagere waarden duiden op betere prestaties. Klik hier om deze tabel te downloaden.