Sieci LSTM
Sieć neuronowa typu Recurrent Neural Network (RNN) była rodzajem sieci neuronowej, która mogła przewidywać wartość w kolejnym kroku czasowym na podstawie poprzednich obserwacji w serii czasowej. RNN przetwarzały jedną obserwację z serii czasowej na raz i przechowywały historyczne informacje z serii czasowej, ciągle dostosowując "wektor stanu" w ukrytej warstwie. Chociaż celem RNN było uczenie się informacji historycznych w seriach czasowych, RNN nie nadawały się do przetwarzania dłuższych serii czasowych z powodu problemu znikającego gradientu, który pojawiał się podczas używania algorytmu backpropagation. Sieć Long Short-Term Memory (LSTM) to wariant RNN, który radzi sobie z problemem znikającego gradientu występującego podczas treningu, czyniąc ją zdolną do przetwarzania dłuższych serii czasowych. W porównaniu ze standardowymi RNN, LSTM mają trzy dodatkowe jednostki kontroli bram: bramę wejściową, bramę zapomnienia i bramę wyjściową. Rysunek 1 przedstawia podstawową strukturę LSTM i jej główne struktury architektoniczne, które składają się z pięciu istotnych komponentów: trzech funkcji aktywacji sigmoidalnej i dwóch funkcji aktywacji hiperbolicznego tangensu (tanh). Warto zauważyć, że funkcja sigmoidalna umieszczona po lewej stronie pełni kluczową rolę w regulacji przekazywania informacji z poprzedniego kroku czasowego, wykonując funkcje filtrowania i uszlachetniania informacji na potrzeby tego procesu regulacyjnego, jak to zostało wyjaśnione w poniższym równaniu:
(1)
gdzie brama zapomnienia działa jak “ft”, sekwencje wejściowe jak “xt”, a “ht-1” to informacja ukryta przed wyjściem jednostki. Brama zapomnienia była odpowiedzialna za określenie, które informacje powinny zostać wyrzucone lub zachowane, brama wejściowa mogła zaktualizować stan jednostki pamięci, a brama wyjściowa mogła wyznaczać wartość następnego ukrytego stanu. Te trzy bramy są oznaczone jako ft, it, i ot.
(2)
(3)
(4)
(5)
(6)
Równanie (3) definiuje proponowany stan komórki C't utworzony przez funkcję tanh, która proponuje nowe wartości do dodania do stanu komórki. Konkretnie, wejście modelu było formułowane poprzez integrację wyjść dwóch funkcji sigmoidalnych z wyjściem początkowej funkcji tanh, jak to zostało przedstawione w równaniu (5).
Równanie (4) charakteryzuje prawą funkcję sigmoidalną służącą jako początkowa wartość wyjściowa modelu, która następnie była mapowana na przedział [-1, 1] za pomocą funkcji hiperbolicznego tangensu (tanh). Następnie zarówno wartość wynikowa z funkcji tanh, jak i wyjście funkcji sigmoidalnej były przekształcane na ich odpowiednie rzeczywiste wartości wyjściowe, jak to zostało pokazane w równaniu (6).
W LSTM funkcja sigmoidalna regulowała bieżącą informację, podczas gdy funkcja hiperbolicznego tangensu (tanh) mogła być odpowiedzialna za przetwarzanie informacji historycznych. Integracja tych dwóch funkcji daje LSTM ich predykcyjną moc. W porównaniu z konwencjonalnymi RNN, zaleta LSTM polega na ich zaawansowanej architekturze, która jest w stanie uchwycić całość pamięci danych wejściowych do kroku czasowego t+1. Integralność tej pamięci jest zachowana poprzez mechanizm bramkowania ułatwianego przez funkcję sigmoidalną, zapewniając zachowanie kluczowych informacji przez dłuższy czas.
Filtr HP
Filtr Hodrick-Prescott (filtr HP), zaproponowany przez Hodricka i Prescotta w 1980 roku, jest szeroko stosowany w analizie ekonomicznej i analizie związanej z seriami czasowymi. Filtr HP zakłada, że zbiór danych do analizy był kombinacją zmian długoterminowych i krótkotrwałych fluktuacji, rozkładając serię czasową Y={y1, y2, ⋯, yT} na dwie podserie: długoterminową serię trendów G={g1, g2, ⋯, gT} i krótkoterminową serię fluktuacji S={s1, s2, ⋯, sT}. Długoterminowa seria trendów gT, gdzie t=1,2,⋯,T, jest uzyskiwaną przez minimalizowanie następującego wyrażenia: