Metodologia
W celu przewidywania przyszłej wartości PM2.5 w czasie t + 1 na podstawie poprzednich obserwacji godzinowych skonstruowano nadzorowany model z ruchomym oknem. Oceniając wydajność walidacji, przeanalizowano potencjalne długości okna wejściowego wynoszące 12, 24 i 48 kroków czasowych w skali godziny; w końcowej konfiguracji CORTA-Net zastosowano sekwencję wejściową z 24 godzin. Do uzupełnienia brakujących wartości wykorzystano interpolację liniową, wartości odstające usunięto metodą IQR, a wszystkie zmienne przeskalowano za pomocą normalizacji min-max przed wygenerowaniem opóźnionych cech PM2.5 . Następnie do selekcji cech zastosowano procedurę CorrXGBoost-Rank. W pierwszym kroku, poprzez filtrowanie korelacją Pearsona, zachowano zmienne o wartości |r| ≥ 0,30. Po drugie, aby zredukować współliniowość, odfiltrowano wysoce redundantne pary cech o korelacji wzajemnej |corr(xi, xj)| ≥ 0,85. Po trzecie, na pozostałych zmiennych wytrenowano regresor XGBoost i zachowano predyktory z wynikiem istotności opartym na zysku XGBoost (gain-based importance scores) ≥ 0,015 jako dane wejściowe do końcowego modelu. Końcowa architektura CORTA-Net składała się ze stosu warstw LSTM do kodowania czasowego, warstwy multi-head attention do ważenia cech i kroków czasowych oraz gęstych warstw regresyjnych do szacowania PM2.5. Model wytrenowano przy użyciu optymalizatora Adam z funkcją straty średniokwadratowego błędu oraz mechanizmem wczesnego zatrzymania (early stopping). Ewaluację modelu przeprowadzono przy użyciu RMSE i R2 w podziałach treningowych, walidacyjnych, testowych oraz w 10-krotnej walidacji krzyżowej. Tabela 2 przedstawia podsumowanie preprocessingu danych i inżynierii cech.
| Krok | Zastosowana metoda | Parametr / próg | Cel |
| Obliczanie brakujących wartości | Procent brakujących obserwacji | Przedstaw procentową wartość dla każdej zmiennej | Kwantyfikuje kompletność danych |
| Imputacja krótkich przerw | Interpolacja liniowa | Czas przerwy ≤ 6 h | Uzupełnia krótkie brakujące przedziały |
| Wykrywanie wartości odstających | Metoda IQR | Q1 − 1,5 × IQR, Q3 + 1,5 × IQR | Usuwa nieprawidłowe wartości ekstremalne |
| Normalizacja | Skalowanie Min-Max | Wartości minimalna i maksymalna zbioru treningowego | Standaryzuje zakres cech |
| opóźnienia PM₂.₅ | Zmienne opóźnione | lag₁, lag₂, lag₃ | Rejestruje trwałość czasową |
| Statystyki kroczące | Średnie kroczące | 3 h, 6 h, 12 h, 24 h | Rejestruje krótkotrwałą akumulację |
| Funkcja zliczania ognisk zapalnych | MODIS FIRECOUNT | Liczenie w tym samym dniu / w dniu poprzednim | Reprezentuje regionalny wpływ pożarów |
Tabela 2: Podsumowanie wstępnego przetwarzania danych i inżynierii cech.W Tabeli 2 przetwarzanie danych odbywa się w dwóch etapach: po pierwsze, poprzez oczyszczanie i transformację surowych danych (preprocessing), a po drugie, za pomocą inżynierii cech w celu utworzenia, wyboru lub modyfikacji charakterystyk (cech). Jako całość, oba te procesy pomagają wyeliminować lub zredukować szum, obsłużyć brakujące wartości, poprawić spójność danych oraz stworzyć modele o większej zdolności predykcyjnej.
Parametry normalizacji oszacowano wyłącznie na podstawie zbioru treningowego, a następnie zastosowano je bez zmian do zbiorów testowego i walidacyjnego, aby uniknąć wycieku informacji.
Sformułowanie matematyczne metody CorrXGBoost-rank
Niech X = {x1, x2, ..., xn} oznacza zbiór kandydackich zmiennych wejściowych, a y oznacza docelowe stężenie PM₂.₅. Dla każdej cechy xi obliczono współczynnik korelacji Pearsona ze zmienną docelową według wzoru:
(1)
gdzie cov(xi, y) to kowariancja między cechą xi a celem y, a σxi i σy to ich odchylenia standardowe. Zachowano cechy spełniające warunek: |ri| ≥ τr, gdzie w niniejszym badaniu τr = 0.30.
Obliczono korelacje parzyste dla wszystkich zachowanych cech xi, xj, a jeśli |corr(xi, xj)| >= τred, gdzie τred = 0,85, cecha o niższej wartości bezwzględnej korelacji z celem PM2.5 była usuwana ze zbioru cech. Proces ten redukuje w zbiorze cech zmienne wykazujące współliniowość. Następnie dla pozostałych cech dopasowano model regresora XGBoost i obliczono wskaźniki istotności dla każdej cechy przy użyciu istotności XGBoost; w końcowym zbiorze cech (S") zachowano cechy spełniające warunek i_i ≥ τxgb, gdzie τxgb = 0,015, zdefiniowany jako Sfinal= Scorr ∪ Sxgb, tj. zbiór cech określony poprzez filtrowanie cech nadmiarowych pod kątem korelacji oraz usuwanie cech na podstawie istotności zmiennych XGBoost. Całościowe podejście zastosowane w selekcji cech jest następujące: obliczono parzystą korelację Pearsona między cechą a celem, odrzucono cechy o |r_i|< 0,30, odrzucono pary cech o korelacji parzystej ≥ 0,85, dopasowano XGBoost do pozostałych cech, zachowano cechy o wskaźniku istotności XGBoost ≥ 0,015, zdefiniowano ostateczne pożądane cechy jako Sfinal=Scorr ∪ Sxgb, gdzie Scorr to cechy zachowane po filtrowaniu korelacji nadmiarowych, a Sxgb to cechy wybrane na podstawie wskaźnika istotności cech XGBoost. Przepływ pracy CorrXGBoost-Rank polega zatem na: obliczeniu korelacji Pearsona między cechą a celem, usunięciu cech o |ri| < 0,30, usunięciu cech wysoce nadmiarowych o korelacji parzystej ≥ 0,85, wytrenowaniu modelu XGBoost na pozostałych zmiennych, zachowaniu zmiennych o wskaźniku istotności XGBoost ≥ 0,015 oraz wykorzystaniu sumy zmiennych wybranych metodą korelacyjną i metodą XGBoost jako końcowego zbioru cech. Parametry zastosowane w niniejszym badaniu to τr = 0,30, τred = 0,85 oraz τxgb = 0,015.
Źródła danych
Autorzy zintegrowali trzy duże zestawy danych na potrzeby badania; są to dane dotyczące zanieczyszczeń powietrza (PM2.5, PM10, NO2, CO oraz SO₂), które autorzy pozyskali z monitoringu jakości powietrza CPCB (Central Pollution Control Board) / DPCC (Delhi Pollution Control Committee), dane meteorologiczne (temperatura, wilgotność, prędkość/kierunek wiatru i ciśnienie) z indyjskiego departamentu meteorologicznego (IMD) oraz informacje satelitarne o aktywnych pożarach z produktów MODIS Active Fire z NASA. Te trzy zestawy danych obejmują 12-letni okres od stycznia 2012 do grudnia 2023 roku i reprezentują tym samym różne rodzaje emisji. Incydenty pożarowe przyczyniają się do zanieczyszczenia powietrza, co zilustrowano na Rysunku dodatkowym 2, który przedstawia trendy FIRECOUNT od 2012 do 2024 roku.
Długoterminowe trendy zanieczyszczeń w okresie badania
Rycina 1 przedstawia długoterminowe trendy zanieczyszczeń w latach objętych badaniem (2012–2024). Roczna liczba pożarów oraz średnie stężenia PM₂.₅ w latach 2012–2024 wykazują umiarkowanie silną dodatnią korelację (r = 0,68), co wskazuje, że wyższa aktywność pożarowa zazwyczaj wiąże się z wyższymi stężeniami PM₂.₅. Zarówno dane pomiarowe, jak i przewidywane wartości PM₂.₅ wykazują podobny trend, co potwierdza tezę, że spalanie biomasy przyczynia się do zanieczyszczenia pyłowego. Mimo znacznej zmienności międzyrocznej, emisje związane z pożarami są istotnym czynnikiem determinującym zmienność PM₂.₅, co podkreśla potrzebę regionalnego zarządzania pożarami w celu poprawy jakości powietrza. Autokorelacja przewidywanych wartości PM2.5 dla trzydziestu opóźnień, przedstawiona na Rycini uzupełniającej 3, wykazuje znaczną dodatnią autokorelację dla prawie wszystkich trzydziestu opóźnień, co potwierdza, że PM2.5 w Delhi charakteryzuje się silną zależnością czasową i wielodniową trwałością.

Rysunek 1: Długoterminowe trendy stężeń PM₂.₅ oraz liczby pożarów w latach 2012–2024. Rysunek 1 porównuje roczną zmienność liczby pożarów z zaobserwowanymi i przewidywanymi stężeniami PM₂.₅. PM₂.₅ podano w µg/m3FIRECOUNT reprezentuje aktywność pożarową pochodzącą z produktów satelitarnych MODIS. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej figury.
Dekompozycja STL (Seasonal and Trend decomposition using Loess)
STL, czyli dekompozycja sezonowa i trendowa z wykorzystaniem metody Loess, to algorytm iteracyjny, który umożliwia rozbicie danych szeregów czasowych na trzy addytywne komponenty, jak pokazano na Rysunku 2: trend (trend długoterminowy) (Rysunek 2A), (Rysunek 2D), (Rysunek 2G), (Rysunek 2J), sezonowość (okresy cykliczne) (Rysunek 2B), (Rysunek 2E), (Rysunek 2H), (Rysunek 2K) oraz reszty (szum/residua) (Rysunek 2C), (Rysunek 2F), (Rysunek 2I), (Rysunek 2L). Metoda STL okazała się skuteczna w radzeniu sobie ze złożonymi, nieliniowymi charakterystykami danych środowiskowych (takich jak PM2.5), w przypadku których wiele innych technik analitycznych zawiodło ze względu na zmienne amplitudy sygnału sezonowego oraz obecność wartości odstających. Wygładzanie LOESS pozwala na dokładną separację tych komponentów, co prowadzi do jaśniejszej interpretacji trendów lub wzorców. Dzięki procesowi STL możliwe jest oddzielenie szerszych trendów wzrostowych PM2.5 od krótszych cykli dobowych/sezonowych oraz od nieregularnych residuów w obrębie tych cykli. Taka separacja pozwala zidentyfikować, które emisje wpłynęły na poziom PM2.5, w przeciwieństwie do czynników meteorologicznych wpływających na PM2.5. Wyniki tej separacji pomagają w dokładnym prognozowaniu przyszłych emisji PM2.5, dostarczają danych do decyzji regulacyjnych oraz są zgodne ze standardami określonymi dla rygorystycznej desagregacji danych szeregów czasowych w badaniach jakości powietrza34. Pomiary średniego dobowego stężenia PM2.5 wykonane na stacjach monitoringu w Delhi w latach 2012–2024 wskazują na minimalne ogólne zmiany poziomów PM2.5 (tj. brak istotnych zmian w latach 202–24) oraz niezwykle ograniczoną spójność zachowania (tj. brak spójności poziomów PM2.5 pomiędzy czterema lokalizacjami monitoringu). Poziomy PM2.5 w Dwarka Sector 8 oraz Mundka-DPCC wykazują trwały trend spadkowy (tj. dalsze zmniejszanie się), podczas gdy Anand Vihar wykazuje trend wzrostowy (tj. znaczący wzrost), a Sonia Vihar lekki trend wzrostowy (od bardzo niewielkiego wzrostu od 202 roku). Ponadto residua dobowych stężeń PM2.5 dla każdej z czterech stacji monitoringu wskazały, że stężenia PM2.5 były silnie zależne od sezonowych (meteorologicznych) zmian, co powodowało duże wahania średnich dobowych stężeń PM2.5 dla poszczególnych stacji. Dobowe stężenia PM2.5 dla czterech stacji monitoringu w Delhi (2012–2024) przedstawiono na Rysunku 2.

Rycina 2Dekompozycja STL (Seasonal and Trend decomposition using Loess) dziennych stężeń PM₂.₅ w czterech stacjach monitorujących w Delhi w latach 202–2024. Szeregi czasowe dla każdej stacji monitorującej są rozkładane na trzy komponenty addytywne: trend długoterminowy, zmienność sezonową oraz resztę (pozostałość).A) Komponent trendu dla Dwarka Sector 8. (B) Składowa sezonowa dla sektora 8 w Dwarka. (C) Komponent rezydualny dla Dwarka Sector 8. (D) Komponent trendu dla Anand Vihar. (E) Składnik sezonowy dla Anand Vihar. (F) Komponent resztkowy dla Anand Vihar. (G) Komponent trendu dla Mundka-DPCC. (H) Komponent sezonowy dla Mundka-DPCC. (I) Komponent resztkowy dla Mundka-DPCC. (J) Komponent trendu dla Sonia Vihar. (K) Składnik sezonowy dla Sonia Vihar. (L) Komponent rezydualny dla Sonia Vihar. STL, dekompozycja sezonowa i trendowa z wykorzystaniem metody Loess. Proszę kliknąć tutaj, aby wyświetlić większą wersję tej ryciny.
Rysunek 2 przedstawia dekompozycję czasową dobowych stężeń PM2.5 w czterech miejskich lokalizacjach monitorujących w latach 202-2024, ujawniając wzorce długoterminowych spadków, stopniowych wzrostów oraz dużych zmian dobowych. Różnice te można w dużej mierze przypisać fizycznym efektom pogodowym, tzn. zmianom wysokości planetarnej warstwy przyziemnej (PBL), takim jak daytime expansion, która zwiększa dyspersję pionową i obniża stężenia, oraz nocne kurczenie się warstwy, co powoduje zatrzymanie zanieczyszczeń blisko gruntu i tworzy wyższy szczyt w nocy. Inne wpływy meteorologiczne wynikają z emisji związanych z lokalną działalnością człowieka w godzinach największego natężenia (szczyty poranne/wieczorne), przemysłem oraz ich interakcjami z czynnikami specyficznymi dla danej lokalizacji, takimi jak lokalna topografia, prędkość wiatru, wilgotność względna i pora roku (np. większa korelacja w zimie), co generuje zmiany specyficzne dla danej stacji; ogólne długoterminowe spadki mogły być natomiast wynikiem regulacji w zakresie kontroli emisji, co doprowadziło do ogólnych trendów spadkowych.
Korelacja między cechami
Rysunek 3 przedstawia rozkład wszystkich cech wejściowych wykorzystanych w modelu CORTA-Net. Na panelach zmienne dotyczące zanieczyszczeń (PM10 (Rysunek 3A), NO₂ (Rysunek 3B), CO (Rysunek 3C), SO₂ (Rysunek 3D)) wykazują rozkłady prawostronnie skośne, typowe dla danych dotyczących jakości powietrza w miastach, podczas gdy O₃ (Rysunek 3E) i ciśnienie (Rysunek 3I) wykazują wzorce zbliżone do rozkładu normalnego35. Temperatura (Rysunek 3F) wykazuje wyraźną bimodalną strukturę sezonową, wilgotność (Rysunek 3G) wykazuje szeroki rozkład zbliżony do jednostajnego, a prędkość wiatru (Rysunek 3H) wykazuje rozkład z lekkim ogonem. Wzorce te podkreślają heterogeniczne zachowanie statystyczne predyktorów i uzasadniają potrzebę inżynierii cech oraz normalizacji przed trenowaniem modelu.

Rycina 3Rozkład cech wejściowych wykorzystanych w modelu CORTA-Net, w tym stężeń zanieczyszczeń powietrza i zmiennych meteorologicznych. Rozkłady ilustrują charakterystykę statystyczną predyktorów przed wstępnym przetwarzaniem i trenowaniem modelu.A) stężenie PM₁₀. (B) stężenie NO₂. (C) stężenie CO. (D) stężenie SO₂. (E) stężenie O₃. (F) Temperatura powietrza. (G) Wilgotność względna. (H) Prędkość wiatru. (I) Ciśnienie atmosferyczne. Zmienne dotyczące zanieczyszczeń, w szczególności PM₁₀, NO₂, CO i SO₂, wykazują rozkłady prawostronnie skośne, typowe dla danych o jakości powietrza w obszarach miejskich, podczas gdy O₃ i ciśnienie atmosferyczne wykazują rozkłady zbliżone do normalnych. Temperatura wykazuje bimodalny wzorzec sezonowy, wilgotność charakteryzuje się szerokim rozkładem, a prędkość wiatru koncentruje się przy niższych wartościach z rozkładem o lekkim ogonie. Te heterogeniczne rozkłady cech uzasadniają zastosowanie inżynierii cech oraz normalizacji przed opracowaniem modelu. Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tej figury.
Rysunek 4 przedstawia ranking istotności cech oparty na zysku (gain) w modelu XGBoost po wstępnym przetwarzaniu metodą CorrXGBoost-Rank dla prognozowania PM₂.₅. Bieżący wykres istotności cech wskazuje, że PM₂.₅ z dnia poprzedniego jest najlepiej ocenianym predyktorem z wynikiem istotności 0,280, a następnie PM10 = 0,180, FIRECOUNT = 0,150, NO₂ = 0,120, CO = 0,080, prędkość wiatru = 0,070, temperatura = 0,040, wilgotność = 0,030 oraz dzień roku = 0,020. Przerywana pionowa linia reprezentuje faktyczny próg selekcji cech XGBoost wynoszący 0,015. Predyktory z wynikami istotności większymi lub równymi 0,015 zostały zachowane dla końcowego zestawu wejściowego CORTA-Net, natomiast predyktory poniżej tego progu, w tym SO₂ = 0,010, O₃ = 0,010, ciśnienie = 0,05, opady = 0,05, weekend = 0,02 i święto = 0,01, zostały wykluczone. Wartości te reprezentują wyniki istotności cech XGBoost oparte na zysku i nie powinny być interpretowane jako współczynniki korelacji Persona lub efekty przyczynowe.
W związku z tym do modelu włączono jedynie te cechy, których wkład przekroczył wspomniany próg. Modele XGBoost wykorzystują zespół drzew decyzyjnych, które iteracyjnie budują drzewo w celu zminimalizowania funkcji straty, co określa się mianem wzmacniania gradientowego (gradient boosting). XGBoost oblicza ważność cech za pomocą jednej z trzech metryk: zysku (gain – w jakim stopniu podział cechy poprawia wydajność modelu), wagi (weight – ile razy cecha została wybrana jako podział w drzewie) lub pokrycia (cover – liczba obserwacji objętych podziałem). Model XGBoost zbudowano w oparciu o dane dotyczące jakości powietrza (zanieczyszczenia, zmienne meteorologiczne), koncentrując się na opóźnionym PM2.5 w celu autoregresyjnego prognozowania PM2.5, co jest powszechne w modelach PM2.5 dla Delhi i pomaga uchwycić czasową trwałość PM2.5. Delhi_PM2.5 jest istotnym czynnikiem ze względu na wysoką autokorelację cząstek drobnych, co wskazuje również na obecność inercji zanieczyszczeń pochodzących ze stałych źródeł emisji. Prędkość wiatru jest istotnym czynnikiem, ponieważ odpowiada za mechanizm dyspersji zanieczyszczeń, podczas gdy słabe wiatry pozwalają na kumulację zanieczyszczeń zimą, gdy występują inwersje. NO2 jest skorelowany z PM2.5 ze względu na ruch drogowy i emisje, natomiast dzień roku wskazuje na roczny cykl emisji zanieczyszczeń (np. niższe emisje w weekendy). W Delhi PM2.5 wykazuje wysoką autopersystencję ze względu na stagnacyjną zimową meteorologię oraz ciągłe emisje z pojazdów, przemysłu i biomasy28. Wiatr sprzyja dyspersji aerozoli, ale słaby wiatr < 2 m/s przyczynił się do zwiększenia kumulacji PM2.5 w wyniku inwersji. Zależność między NO2 a PM2.5 wynika z ich wspólnego pochodzenia (np. spalanie) i podlega wpływom czasowym (np. dobowym w porównaniu z tygodniowymi)36. Cztery główne czynniki odpowiedzialne za wyjaśnienie 93% lub więcej wariancji AQI to: zmienność stężeń zanieczyszczeń wynikająca z akumulacji opóźnionego PM2.5 (93%+), niskie prędkości wiatru zatrzymujące emisje, emisje NO2/PM z pojazdów i przemysłu oraz codzienne wahania natężenia ruchu drogowego37. Ponadto geografia Delhi jest czynnikiem sprzyjającym utrzymywaniu się inwersji w tym obszarze, co dodatkowo potęguje stężenia PM2.5. Strojenie hiperparametrów, regularyzacja oraz dodanie dodatkowych zmiennych (takich jak temperatura) pomogłyby ograniczyć ryzyko przeuczenia i poprawić ogólną wydajność modelu. Wdrażanie strategii operacyjnych w celu redukcji emisji PM powinno obejmować wprowadzenie dziennych limitów emisji PM, stosowanie urządzeń zapewniających monitorowanie obecności PM w czasie rzeczywistym oraz wykorzystanie wiatru do rozprzestrzeniania PM poprzez miejskie obszary zielone.

Rysunek 4: Ranking ważności cech oparty na zysku (gain) w modelu XGBoost po przesiewaniu cech metodą CorrXGBoost-Rank w celu prognozowania PM₂.₅. Słupki predyktorów zostały uporządkowane według malejącego stopnia istotności. Przerywana linia pionowa reprezentuje rzeczywisty próg selekcji cech w modelu XGBoost wynoszący 0,015. Predyktory z wynikiem ≥ 0,015 zostały zachowane w końcowym zestawie danych wejściowych CORTA-Net, natomiast predyktory poniżej tego progu zostały wykluczone. Ranking ten służy do przesiewania cech i interpretacji zachowania modelu i nie powinien być interpretowany jako przypisanie przyczynowo-skutkowe. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Architektura modelu CORTA-net
Rycina 5 przedstawia proponowany schemat przewidywania PM2.5. Ryciny uzupełniające 4 i 5 ilustrują wewnętrzną strukturę jednostki LSTM oraz schemat blokowy mechanizmu Multi-Head Attention. Wszystkie źródła danych (tj. warunki otoczenia, obserwacje meteorologiczne, aktywność pożarową oraz aspekty czasowe i kontekstowe danych) poddano wstępnemu przetwarzaniu, aby zapewnić ich zgodność czasową, uzupełnić brakujące dane (jeśli było to konieczne) oraz przeprowadzić usuwanie wartości odstających i normalizację przed wykorzystaniem ich w procesach budowy modelu. Architektura modelu, inżynieria cech, konfiguracja treningu, konfiguracja danych, uczenie transferowe, metryki ewaluacji, przyszłe przewidywania i szczegóły implementacji przedstawiono w Tabeli uzupełniającej 1. Wykorzystując moduł CorrXGBoost-Rank, wyznaczono optymalny zestaw cech, z których podzbiór wprowadzono do architektury LSTM, wzbogaconej o warstwy multi-head attention w celu uwzględnienia zachowania szeregów czasowych w fazie modelowania. Wynikami modelu były zarówno prognoza PM2.5, jak i analiza istotności cech wejściowych PM2.5, a także wagi mechanizmu multi-head attention przedstawione w formie map uwagi. Wewnętrzna struktura jednostki LSTM oraz schemat blokowy multi-head attention zamieszczono odpowiednio jako Ryciny uzupełniające 4 i 5, natomiast Tabela uzupełniająca 1 zawiera parametry architektury dla każdego typu warstwy w tej strukturze.

Rycina 5: Ogólna architektura modelu prognozowania PM₂.₅ CORTA-Net. Proces prognozowania wejściowego obejmuje dane z wskaźników jakości powietrza, wskaźników pogodowych, wskaźników czasu oraz wskaźników liczby pożarów MODIS (Moderate Resolution Imaging Spectroradiometer). Na każdym z tych etapów algorytm wyrównał znaczniki czasu, obsłużył brakujące wartości, odfiltrował wartości odstające, znormalizował dane i przeprowadził inżynierię cech. Następnie wyłoniono ostateczne predyktory, stosując proces CorrXGBoost-Rank. W kolejnym kroku wybrane cechy zostały umieszczone w przesuwanych oknach czasowych i przekazane do kodera LSTM (Long Short-Term Memory) z wykorzystaniem uczenia transferowego. Dla każdej cechy i kroku czasowego mechanizm wielogłowicowej uwagi (multi-head attention) przypisuje wagi przed przesłaniem połączonego sygnału wyjściowego do końcowej gęstej warstwy regresyjnej w celu wygenerowania prognozy stężenia PM₂.₅. Kliknij tutaj, aby wyświetlić powiększoną wersję tego schematu.
Trening i ewaluacja
Do tworzenia sekwencji uczenia nadzorowanego zastosowano podejście z ruchomym oknem. Do treningu wykorzystano optymalizator Adam oraz funkcję straty średnio квадраtycznego błędu (Supplementary Table 2). Wydajność modelu oceniano za pomocą RMSE oraz R2 w podziałach treningowym, walidacyjnym, testowym oraz walidacji krzyżowej. Architektura modelu, inżynieria cech, konfiguracja treningu, konfiguracja danych, uczenie transferowe, metryki ewaluacji, przyszłe predykcje oraz szczegóły implementacji zostały zestawione w Supplementary Table 1. Rysunek 6 przedstawia diagnostykę treningu modelu predykcyjnego CORTA-Net PM₂.₅. Na panelach, Rysunek 6A przedstawia krzywe straty dla treningu i walidacji, wykazujące progresywną redukcję błędu z optymalnym zatrzymaniem w 106. epoce. Ewolucja luki generalizacji podczas analizy przeuczenia (over-fitting) jest zilustrowana rozbieżnością między danymi walidacyjnymi a treningowymi na Rysunku 6B. W szczególności pokazano okresy, w których rozbieżność przekracza zdefiniowane limity; informacje te dowodzą, że zachowanie szybkości uczenia i wzorce redukcji straty obrazują korzyści z zaplanowanego spadku szybkości uczenia (LR) w krytycznych epokach jako środka zwiększającego stabilność zbieżności, co pokazano na Rysunku 6C. Wspólnie rysunki te stanowią podsumowanie dynamiki uczenia, zdolności do generalizacji oraz zalecanej konfiguracji treningowej modelu.

Rycina 6: Diagnostyka treningu modelu predykcyjnego PM₂.₅ CORTA-Net. (A) Krzywe funkcji straty dla zbioru treningowego i walidacyjnego wykazujące progresywną redukcję błędu podczas trenowania modelu, z zastosowaniem wczesnego zatrzymania (early stopping) w 106. epoce na podstawie wyników walidacji. (BLuka generalizacji między stratą treningową a walidacyjną w kolejnych epokach, ilustrująca ewolucję generalizacji modelu oraz okresy zwiększonej dywergencji wskazujące na potencjalne przeuczenie.C) Harmonogram tempa uczenia pokazujący wpływ zaplanowanego spadku tempa uczenia na optymalizację w trakcie procesu uczenia. (D) Podsumowanie zachowania zbieżności modelu, wykazujące stabilną optymalizację oraz końcową konfigurację treningową wybraną dla modelu CORTA-Net. Wspólnie diagnostyki te obrazują dynamikę modelu, charakterystykę zbieżności oraz zdolność do generalizacji podczas treningu. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej figury.