Metoda wykrywania anomalii jakości wody oparta na sieci neuronowej cieczy z uwagą

Podsumowanie

Niniejsze badanie proponuje utworzenie sieci neuronowej z udziałem cieczy (Attention-Gated Liquid Neural Network) do wykrywania anomalii jakości wody, która osiąga wyższą dokładność i interpretowalność dzięki modelowaniu w czasie ciągłym oraz kontrolowaniu uwagi na podstawie uwagi, co zwiększa niezawodność monitoringu środowiskowego i wspiera zrównoważone zarządzanie wodą.

Streszczenie

Wraz z szybkim rozwojem sieci monitoringu wód, wykrywanie anomalii w szeregach czasowych stało się coraz ważniejsze dla ochrony środowisk wodnych i zapewnienia ich zrównoważonego zarządzania. Jednak konwencjonalne modele często mają trudności z nieregularnymi interwałami próbkowania, korelacjami wielowymiarowymi oraz interpretowalnością w praktycznych zastosowaniach. Aby sprostać tym wyzwaniom, badanie proponuje Attention Gated-Liquid Neural Network (AG-LNN), która integruje dynamiczne możliwości modelowania Liquid Neural Network (LNN) z mechanizmami bramkowymi opartymi na uwagi. Model wprowadza bramkę input-attention, aby podkreślić zmienne istotne dla anomalii, takie jak Rozpuszczony Tlen (DO) i Wskaźnik Permanganianu (COD_Mn), oraz bramkę o stałej czasowej, która adaptacyjnie dostosowuje pamięć czasową modelu. Korzystając z danych z Chińskiego Narodowego Centrum Monitoringu Środowiskowego (CNEMC) zebranych w latach 2019–2024 w 13 prowincjach, AG-LNN wykazał lepsze wyniki w porównaniu do modeli bazowych, w tym architektur pamięci krótkotrwałej (LSTM), sieci splotowej czasowej (TCN), transformatora oraz sieci neuronowej grafów (GNN). Osiąga Precision-Recall Area Under Curve (PR-AUC) na poziomie 0,95 oraz wynik F1 0,90, przy jednoczesnym zachowaniu stabilności w analizach międzyregionalnych i czasowych. Kompaktowa wersja, AG-LNN-light, redukuje parametry o 62% przy minimalnej utracie dokładności, umożliwiając efektywne wdrażanie krawędzi. Wyniki potwierdziły, że modelowanie ciągłe w czasie ciągłym z ograniczeniem uwagi zapewnia solidne i interpretowalne podejście do wykrywania anomalii na dużą skalę jakością wody.

Wprowadzenie

Monitorowanie jakości wody jest niezbędne dla ochrony zdrowia publicznego, utrzymania ekosystemów wodnych oraz zapewnienia zgodności z przepisami środowiskowymi. Tradycyjne modele jakości wody, takie jak Soil and Water Assessment Tool (SWAT), mechanistyczny model QUAL oraz podejścia do prognozowania statystycznego, często mają trudności z uchwyceniem wysoce nieliniowego, wielowymiarowego i czasowo nieregularnego charakteru systemów wodnych, na które jednocześnie wpływają czynniki chemiczne, biologiczne, hydrologiczne i^{meteorologiczne} 1,2,3,4,5,6 . Dlatego poprawa wykrywania anomalii w danych dotyczących jakości wody pozostaje pilnym wyzwaniem.

W praktyce proponowane ramy są zaprojektowane dla wieloparametrowych sieci pomiaru jakości wody, które mierzą zmienne takie jak potencjał wodoru (pH), tlenu rozpuszczonego (DO), azotu całkowitego (TN), całkowitego fosforu (TP) oraz wskaźnika permanganianu (COD_Mn), mętności i przewodności, z typowymi odstępami próbkowania od 15 do 60 minut. Model ten toleruje nieregularne pobieranie próbek i brakujące obserwacje, co czyni go odpowiednim do rzeczywistego zastosowania w systemach monitorowania wód powierzchniowych i zbiorników.

Zastosowanie uczenia maszynowego w wykrywaniu anomalii jakości wody

W ostatnich latach metody uczenia maszynowego (ML) i głębokiego uczenia (DL) zyskały na znaczeniu w zastosowaniach dotyczących jakości wody. Na przykład Wang i ^in.7 wprowadzili Autoenkoder pamięci długiej krótkiej z uwagą (LSTMA-AE) połączony z ograniczeniami mechanistycznymi, aby poprawić dokładność i zmniejszyć fałszywe alarmy w wykrywaniu anomalii podczas pracy pomp wtryskowych wody, osiągając znacznie lepszą wydajność niż metody interpolacji, losowego lasu czy LSTM-AE.

Podobnie Zhao i ^in.8 zaproponowali model Gated Recurenc Unit z Physics-Informed Neural Network (GRU-PINN), który uwzględnia fizyczne ograniczenia w funkcji strat, znacząco zwiększając interpretowalność i wynik F1 w zadaniach wykrywania anomalii jakości wody. ElShafeiy i ^in.9 opracowali architekturę Multivariate Convolutional Network-LSTM (MCN-LSTM), łączącą Multivariate Convolutional Networks z LSTM do wykrywania anomalii w czasie rzeczywistym w danych sensorów jakości wody, demonstrując zwiększone możliwości wykrywania w warunkach terenowych. Kolejnym postępem jest model¹⁰ Gated-Liquid Neural Network (Gated-LNN), który łączy mechanizmy bramkowe z sieciami neuronowymi ciekłymi w celu dokładnego przewidywania Wskaźnika Jakości Wody (WQI) i klasyfikacji jakości, osiągając R² ≈ 0,9995 oraz dokładność klasyfikacji na poziomie 99,74% w indyjskich zbiorach danych.

Wykrywanie anomalii szeregów czasowych

Poza zastosowaniami specyficznymi dla DL, wykrywanie anomalii szeregów czasowych szybko się rozwija w różnych dziedzinach. Wykrywanie anomalii w szeregach czasowych stało się kluczową techniką poprawiającą monitorowanie jakości wody i wczesne ostrzeganie. Tradycyjne metody statystyczne często nie rejestrują nieliniowych i dynamicznych cech danych o jakości wody, co skłania do zastosowania modeli głębokiego uczenia. Na przykład Zhang i ^in.11 połączyli rozkład trybu empirycznego (EMD) z LSTM, aby lepiej radzić sobie z sygnałami niestacjonarnymi, znacząco poprawiając dokładność predykcji zapotrzebowania na tlen chemiczny (COD), biochemicznego zapotrzebowania na tlen (BOD₅), całkowitego fosforu (TP), azotu całkowitego (TN) oraz azotu amoniaku (NH₃-N). Na tym bazując Wang i ^in.12 zaproponowali metodę analizy fluktuacji opartą na LSTM, wykorzystującą Approximate Entropy, która zwiększa wydajność wykrywania anomalii w czasie rzeczywistym.

Najnowsze osiągnięcia podkreślają mechanizmy uwagi i hybrydowe ramy. Arepalli i ^in.13 wprowadzili lekki, przestrzennie współdzielony LSTM do wykrywania hipoksji w akwakulturze, osiągając dokładność 99,8%, podczas gdy Zhang i ^in.14 wykazali, że przestrzenna i czasowa uwaga znacząco poprawiła przewidywanie rozpuszczonego tlenu (DO) i NH₃-N przez CNN-LSTM. Podobnie Long i ^in.15 zintegrowali kompletną empiryczną dekompozycję trybów zespołowych z adaptacyjnym dekompozycją szumowo-zmienną (CEEMDAN-VMD) z LSTM zwiększoną uwagą, osiągając wartości efektywności Nash-Sutcliffe (NSE) do 0,99 dla wielu wskaźników. Na poziomie zastosowań Xie i ^in.16 zaprezentowali mobilny system LSTM sekwencja-do-sekwencji (Seq2Seq) do operacyjnej, czasowej prognozy jakości wody w dorzeczach rzek.

Ogólnie rzecz biorąc, badania te podkreślają wyraźny trend w bazach opartych na LSTM, hybrydowych modelach z dodatkiem uwagi oraz zastosowaniach na poziomie systemowym. Chociaż dokładność znacznie się poprawiła, pozostają wyzwania w zakresie interpretowalności, odporności w warunkach szumu oraz uogólnienia w różnych sieciach monitorujących.

Zastosowanie grafowych sieci neuronowych i modeli przestrzenno-czasowych w monitoringu środowiskowym

Sieci neuronowe grafowe (GNN) oraz modele głębokiego uczenia przestrzennego-czasowego ostatnio wykazały znaczący potencjał w monitoringu środowiskowym, rejestrując zarówno korelacje przestrzenne między miejscami monitoringu, jak i zależności czasowe w dynamice jakości wody. Na przykład Wu i ^in.17 zaproponowali ulepszoną sieć neuronową Spatio-Temporal Graph Neural Network (PT-STGNN) do oczyszczalni ścieków, integrującą wstępne szkolenie oparte na transformatorach oraz uczenie struktury grafu, aby poprawić długoterminowe przewidywanie COD, NH₃-N, TP, TN, pH oraz przepływów. Podobnie Wan i ^in.18 opracowali cechę przestrzenno-czasową GNN (STF-GNN), która łączyła konwolucję grafów, GRU i mechanizmy uwagi, znacząco poprawiając prognozy rozpuszczonego tlenu (DO) i TN oraz wykazując solidne uogólnienie międzybasenowe.

Frameworki hybrydowe wyrosły poza projekty oparte wyłącznie na danych, aby zwiększyć uogólnienie. Mu i ^in.19 wprowadzili sieć neuronową opartą na grafice przestrzenno-czasowo-fizycznej (ST-GPINN), która integruje zasady hydrauliczne w modelach opartych na sieciach neuronowych Graph Neural (GNN) dla systemów dystrybucji wody. Łącząc reprezentacje grafów z ograniczeniami opartymi na fizyce, ST-GPINN osiąga najnowocześniejszą dokładność, efektywnie skalując się od małych do dużych sieci. Razem te badania podkreślają rosnącą rolę GNN przestrzenno-czasowych w monitoringu środowiskowym, zwiększając dokładność, interpretowalność i odporność predykcji oraz kładąc fundamenty pod inteligentne systemy zarządzania wodą nowej generacji.

Zalety i potencjał ciekłych sieci neuronowych

Sieci neuronowe cieczy (LNN), znane również jako sieci stałe w czasie cieczy, unikalnie modelują dynamikę czasu ciągłego za pomocą zależnych od danych wejściowych, uczalnych stałych czasowych. Hasani i ^in.20 wprowadzili LNN i wykazali ich siłę ekspresyjną, stabilność oraz efektywność w zadaniach szeregów czasowych. Ich adaptacyjność inspirowana mózgiem czyni je obiecującymi kandydatami do modelowania dynamicznych zjawisk środowiskowych, takich jak jakość wody, jednak ich integracja z mechanizmami uwagi pozostaje niedostatecznie zbadana.

Mechanizmy uwagi, zwłaszcza bramki uwagi, są potężnymi narzędziami skupiającymi się na istotnych cechach i umożliwiającymi interpretację. Chociaż szeroko stosowany w obrazowaniu medycznym, Attention U-Net stanowi fundament selektywnego doprecyzowania cech poprzez przyswajające bramki uwagi. Uwagę poświęcono także sensorowym systemom wykrywania anomalii, takim jak LSTMA-AE⁷ i GRU-PINN⁸, co zwiększa wrażliwość na krytyczne wzorce i poprawia przejrzystość modeli.

Razem te obserwacje wskazują na potrzebę architektury hybrydowej, która łączy ciągłą elastyczność w czasie z interpretowalnymi mechanizmami uwagi. Dlatego proponujemy sieć neuronową z ograniczonym uwagą (AG-LNN), która integruje dynamiczne możliwości modelowania ciekłych sieci neuronowych (LNN) z bramkami uwagi skupiającymi się na istotnych wejściach lub segmentach czasowych. Architektura ta ma na celu zwiększenie odporności na szumy sensorów i nieregularne próbkowanie, poprawę czułości na anomalie krótkotrwałe oraz zapewnienie interpretowalności dzięki mapom cieplnym uwagi i adaptacyjnym trajektoriom stałym czasowym. AG-LNN został oceniony na rzeczywistych wielowariantowych zbiorach danych o jakości wody i porównany z LSTM, Transformer, czystym LNN oraz tradycyjnymi bazami ML. Zarówno analizy ilościowe (Precyzja, Przypomnienie, F1, AUC), jak i jakościowe (wizualizacje uwagi, dynamika stała czasowa) wykazały skuteczność i przejrzystość proponowanego modelu.

Protokół

UWAGA: Ogólny przebieg pracy tego badania przedstawiono na Rysunku 1.

1. Pozyskiwanie danych

1. Identyfikacja źródeł danych
   1. Uzyskaj dane o jakościowych szeregach czasowych z publicznej bazy danych Chińskiego Narodowego Centrum Monitoringu Środowiskowego (CNEMC) (https://www.cnemc.cn/sssj/). Pobieranie ciągłych rekordów monitoringu na poziomie krajowym obejmujących główne jeziora i zbiorniki wodne w Chinach. Kluczowe wskaźniki fizykochemiczne obejmowały pH, rozpuszczony tlen (DO), całkowity fosfor (TP), azot całkowity (TN), wskaźnik nadmanganianu (COD_Mn), mętność (NTU) oraz przewodnictwo elektryczne (EC).
   2. Upewnij się, że odpowiednie metadane, takie jak czas monitoringu, status operacyjny stacji oraz klasyfikacja jakości wody (klasa I-V), są uwzględnione w pobranym zbiorze danych.
2. Pobieranie zbiorów danych i specyfikacja plików
   1. Zapewnij powtarzalność danych poprzez konsolidację i udostępnienie przetworzonego zbioru danych pod nazwą pliku cnemc_data_2019_2024. CSV. Plik w repozytorium Baidu Cloud (https://pan.baidu.com/s/1ZXYxkCZAnx7tiOHJhuJ2Qg?pwd=u97h) umożliwia publiczny dostęp i weryfikację wszystkich eksperymentów.
   2. Uwzględnić dane monitorujące z 13 prowincji (Guangdong, Hubei, Jiangsu, Zhejiang, Anhui, Fujian, Jiangxi, Henan, Syczuan, Guizhou, Liaoning, Heilongjiang i Jilin), aby zapewnić reprezentatywny zasięg w różnych strefach hydrologicznych i klimatycznych regionów północnych, południowych, wschodnich, zachodnich i płaskowyżowych.
   3. Przydziel równą liczbę rejestrów monitoringu każdej prowincji, co daje łącznie 1 832 wpisy zebrane między styczniem 2019 a grudniem 2024. Oznacz każdą stację identyfikatorami opartymi na prowincjach (np. GD001 dla Guangdong, HB001 dla Hubei). Dla każdego zapisu uwzględnij atrybuty opisowe, takie jak zlewnia, waterbody_type (jezioro lub zbiornik) oraz porę roku (wiosna, lato, jesień lub zima, wyliczone z czasu próbkowania).
   4. Dodaj opcjonalne pola geolokalizacyjne (długość i szerokość geograficzną), aby ułatwić analizę przestrzenną i powtarzalność. Kompletne definicje pól, typy danych i jednostki używane w cnemc_2019_2024. Wartości CSV są podsumowane w Tabeli 1.

2. Wybór i etykietowanie zmiennych

1. Wybór zmiennych
   1. Wybierz zmienne reprezentujące najczęściej monitorowane parametry fizykochemiczne wód powierzchniowych, zapewniając znaczenie ekologiczne i wrażliwość na zanieczyszczenia lub zakłócenia środowiskowe. W szczególności uwzględnić następujące wskaźniki:
      pH, odzwierciedlające równowagę kwasowo-zasadową wody oraz wpływające na aktywność biologiczną i rozpuszczalność chemiczną
      Rozpuszczony tlen (DO), bezpośredni wskaźnik zdrowia ekosystemów wodnych i zanieczyszczenia organicznego
      Całkowity fosfor (TP) i całkowity azot (TN), dwa główne składniki odżywcze związane z procesami eutrofizacji
      Wskaźnik nadmanganianu (COD_Mn), reprezentujący zawartość utlenialnej materii organicznej oraz pośrednią miarę zanieczyszczenia organicznego
      Mętność (Tur), która odbija zawieszone cząstki i ładunek osadów
      Przewodność elektryczna (EC), wskazująca stężenie rozpuszczonych jonów i ogólną zasolenie
   2. Wybieraj te zmienne nie tylko ze względu na ich rutynową dostępność ze stacji monitorujących CNEMC, ale także ze względu na ich wykazane znaczenie w wcześniejszych badaniach 10,11,14,17 dotyczących oceny jakości wody i wykrywania anomalii.
2. Strategia etykietowania
   1. Zdefiniuj etykiety anomalii, aby wspierać trenowanie i ocenę modelu. Zastosuj strategię podwójnego etykietowania, która łączy oba komplementarne podejścia.
   2. Etykietowanie regulacyjne lub eksperckie: Przyjmuj oficjalnie udokumentowane lub komentowane nieprawidłowe zdarzenia (np. nagłe wydzielanie zanieczyszczeń, rozkwity glonów lub awarie instrumentów) od organów monitorujących jako anomalie faktów na miejscu.
   3. Słabe oznakowanie oparte na danych: Wywnioskuj anomalie dla przedziałów monitorowania pozbawionych wyraźnych adnotacji eksperckich bezpośrednio z wielowariantowego zbioru szeregów czasowych CNEMC poprzez zastosowanie statystycznie sterowanych, świadomych sezonów słabych ram etykietowania.
   4. Zbuduj ten proces na trzy główne elementy: przeprowadzanie normalizacji sezonowej, stosowanie detekcji odchyleń opartych na kwantylach oraz wzmacnianie wyników poprzez ocenę opartą na resztach.
      1. Normalizacja sezonowa: Normalizuj efekty sezonowe dla każdej zmiennej x_i,t (np. DO, COD_Mn, TP, TN, Mętność) za pomocą wyraźnego pola sezonowego (Wiosna, Lato, Jesień, Zima) udostępnionego w zbiorze danych CNEMC. Standaryzuj każdą zmienną w jej odpowiadającym podzbiorze sezonowym, jak pokazano w równaniu (1).
         (1)
         gdzie μ_i^(s) i σ_i^(s) to średnia i odchylenie standardowe zmiennej i w sezonie s. Ta normalizacja kompensuje systematyczne zmiany sezonowe, takie jak zmniejszona DO latem czy wzrost obecności COD_Mn w porze deszczowej, zapewniając porównywalność między sezonami.
      2. Słabe oznaczanie oparte na kwantyle: Po normalizacji zidentyfikuj anomalie, stosując odporne progi kwantylowe obliczone dla każdej zmiennej w tej samej grupie sezonowej i prowincjonalnej, jak pokazano w równaniu (2).
            (2)
         gdzie Q_p (⋅) to p-ty operator kwantylowy, to dolny i górny próg kwantylowy (1. i 99. percentyl) dla zmiennej i w sezonie s. Oznacz punkt danych jako anomalię, jeśli przekracza te granice, jak pokazano w równaniu (3).
         (3)
         Ten etap adaptacyjnie uwzględnia różnice regionalne i sezonowe, unikając tym samym fałszywych wykryć spowodowanych naturalnymi wahaniami hydrologicznymi.
      3. Wzmocnienie oparte na resztach: Ustalenie 15-dniowej mediany bazowej w celu wykrywania nagłych krótkoterminowych odchyleń, które progi kwantowe mogą przeoczyć, jak wyrażono w równaniu (4).
         (4)
         gdzie_{are i,t} to resztkowe odchylenie zmiennej i w czasie t, mediana (_{x i,t-15:t+15}) to 15-dniowa mediana bazowa wokół t. Oznacz punkt danych jako anomalię rezydualną, jeśli bezwzględna reszta przekracza trzykrotność sezonowego odchylenia standardowego (|r_i,t| > 3σ_i^(s)). To resztkowe wzmocnienie skutecznie wychwyciło przejściowe skoki spowodowane wydzielinami zanieczyszczeń, opadami deszczu lub tymczasowymi awariami czujników.
      4. Decyzja o słabej etykiecie: Połączenie zarówno wskaźników anomalii opartych na kwantylach, jak i pozostałościach, aby przypisać binarną słabą etykietę y_t, zgodnie z definicją w równaniu (5).
            (5)
         gdzie y_t=1 oznacza, że przynajmniej jeden parametr wykazuje anomalne zachowanie w czasie t, y_t = 0 oznacza normalne obserwacje we wszystkich parametrach.
         Wygeneruj zestaw słabych adnotacji opartych na danych, obejmujących wszystkie 13 prowincji i pięć regionów klimatycznych w zbiorze danych CNEMC, stosując połączoną procedurę etykietowania. Integruj te etykiety z uczeniem ważonym pewnością, przypisując słabym etykietom wagę pewności 0,7 w porównaniu do adnotacji zweryfikowanych przez ekspertów o wadze 1,0.
   5. Proporcja typów adnotacji
      1. Używaj około 42% adnotacji zweryfikowanych przez ekspertów pochodzących z oficjalnych raportów środowiskowych oraz 58% słabych adnotacji generowanych na podstawie danych z ciągłego monitoringu. Zastosuj heurystyczną fuzję progu z-score i sezonowego rozkładu trendów (STL) do wykrywania potencjalnych anomalii w wielowymiarowych szeregach czasowych jakości wody. Wybrane proporcje adnotacji są weryfikowane na podstawie eksperymentów przedstawionych w sekcji 5.1 (Wpływ współczynnika adnotacji) części Wyników. Wyniki te potwierdzają, że empirycznie optymalna równowaga występuje w proporcji 40:60 ekspertów do słabych, co jest zgodne z rzeczywistym składem zbioru danych.
   6. Walidacja słabej dokładności adnotacji
      1. Zapewnij wiarygodność słabo oznaczonych próbek, porównując losowy podzbiór 800 słabo oznaczonych przypadków z ekspertami środowiskowymi. Zapisz wskaźnik zgodności między słabymi adnotacjami a opiniami ekspertów, który powinien osiągnąć około 87,5%. Usuń próbki o niskim poziomie anomalii (< 0,6) lub niezgodności z ekspertowym zbiorem walidacyjnym z danych treningowych.
      2. Utrzymuj zachowane słabe adnotacje na efektywnej dokładności powyżej 90%. Zbadaj wiarygodność słabych adnotacji i ich wpływ na wydajność modelu, gdzie kontrolowane eksperymenty potwierdzają, że utrzymanie dokładności słabej etykiety powyżej 90% skutecznie zapobiega błędom treningowym i zapewnia stabilne zachowanie predykcyjne.
   7. Łagodzenie błędów stronniczych
      1. Podczas treningu stosuj strategię uczenia ważonego przez pewność, aby zminimalizować potencjalne uprzedzenia wprowadzane przez słabe adnotacje. Zdefiniuj funkcję straty zgodnie z Równaniem (6).
         (6)
         gdzie y_i∈{0,1} oznacza etykietę prawdziwości podstawowej i-tej próbki, p_i oznacza przewidywane prawdopodobieństwo modelu,_{w i} to waga przypisana każdej próbce, a N to całkowita liczba próbek.
      2. Określ wagę próby w_i na podstawie źródła i poziomu ufności etykiety, jak pokazano w równaniu (7).
         (7)
         Tutaj c_i∈[0,1] oznacza wynik zaufania i-tej adnotacji, a α,β to globalne współczynniki ważenia odpowiednio dla etykiet ekspertów i słabych. Analiza empiryczna wykazała, że ustawienia α=1,0 i β=0,7 zapewniają najlepszy kompromis między wydajnością a stabilnością, ponieważ to ważenie skutecznie tłumi resztkowe szumy ze słabych etykiet, jednocześnie zachowując wystarczający wkład ich szerszego zasięgu.
      3. Wybierz siedem parametrów fizykochemicznych (pH, DO, TP, TN, COD_Mn, Tur i EC) jako kluczowe zmienne do wykrywania anomalii. Wykorzystaj te wskaźniki do kompleksowego przedstawienia stanu składników odżywczych, zanieczyszczenia organicznego, dostępności tlenu oraz składu jonowego wód powierzchniowych. Dostarcz szczegółowy opis każdej zmiennej.

3. Kontrola jakości danych i wstępne przetwarzanie

1. Ustanowienie hierarchicznego rurociągu kontroli jakości danych i wstępnego przetwarzania, aby zapewnić wiarygodność i modelowanie zastosowalności danych z monitoringu jakości wody z wielu źródeł. Kolejno wykonuj wyrównanie czasowe, imputację wartości brakującej, wykrywanie anomalii, normalizację skali oraz konstrukcję próbek okienkowych. Dynamicznie wybieraj i łącz odpowiednie metody zgodnie ze specyficznymi cechami danych.
2. Dopasowanie czasu i ponowne próbkowanie: Zrównaj wszystkie sekwencje stacji monitorujących do jednolitej 15-minutowej rozdzielczości czasowej, aby uwzględnić niezsynchronizowane znaczniki czasu. Dla punktów nieregularnie próbkowanych należy zastosować interpolację liniową między sąsiednimi obserwacjami zgodnie z równaniem (8). Upewnij się, że kolejne próbki okienkowe są konstruowane na spójnej siatce czasowej.
   (8)
3. Przetwarzanie wartości brakujących
   1. Kategoryzując brakujące wartości na podstawie długości kolejnych przerw na krótkoterminowe brakujące (<6 kolejnych punktów, tj. <1,5 h) i długoterminowe brakujące (≥6 kolejnych punktów), stosując odpowiednie różne strategie.
   2. Zastosuj filtrowanie i wygładzanie Kalmana, aby dynamicznie oszacować długoterminowe brakujące interwały (≥ 6 kolejnych punktów). Modeluj każdą zmienną jakości wody x_t (np. DO, TN, COD_Mn), stosując dyskretną liniową formułę przestrzeni stanów, jak pokazano w
      Równania (9) do (11).
      (9)
      (10)
      (11)
      gdzie x_t to stan ukryty (prawdziwy) zmiennej jakości wody w czasie t, y_t to odpowiadająca mu wartość obserwowana; A to współczynnik przejścia stanu (empirycznie ustawiony na 0,95), aby odzwierciedlić wysoką korelację czasową w 15-minutowych obserwacjach, H to macierz obserwacji (ustawiona na 1 dla pomiarów bezpośrednich), w_t ∼ N(0,Q) i v_t ∼ N(0,R) to proces Gaussa o zerowej średniej oraz szum pomiarowy, odpowiednio; Q = (0,05σ_x)² oraz R=(0,10σ_x)², gdzie σ_x to odchylenie standardowe zmiennej w 7-dniowym oknie przesuwania.
   3. Konfiguruj filtr tak, aby pozostawał czuły na krótkotrwałą zmienność, jednocześnie tłumiąc szumy wynikające z losowego pomiaru. Zainicjalizuj stan początkowy, używając pierwszej dostępnej obserwacji niebrakującej, a początkową kowariancję P_0|0 na . Usuń cały segment, jeśli brakujący przedział przekracza 24 godziny (96 rekordów), aby zapobiec nagromadzeniu błędów wynikającym z długoterminowej ekstrapolacji.
4. Wykrywanie i korekcja anomalii
   1. Identyfikacja i korygowanie anomalii w dwóch kolejnych etapach: twardych ograniczeń (fizycznych ograniczeń) oraz miękkich ograniczeń (gradientowe granice i kwantylna winsoryzacja).
      1. Twarde ograniczenia (fizyczne limity): Odrzucamy miary wykraczające poza fizycznie prawdopodobne zakresy (np. pH∉[0,14],DO>20 mg/L).
      2. Miękkie ograniczenia (granice gradientu + winsoryzacja kwantylowa): Oznacz punkt danych jako podejrzany, jeśli absolutna szybkość zmiany między dwoma kolejnymi obserwacjami przekracza empirycznie zdefiniowany próg gradientu |x_t - x_t-1 | > θ. Ustaw θ=3σ_x ^Δt-1, gdzie σ x oznacza odchylenie standardowe zmiennej w 24-godzinnym oknie przesuwania, a Δt = 15 min oznacza przedział próbkowania. Koryguj skrajne wartości za pomocą procedury winsoryzacji, jak wyrażono w równaniu (12).
         (12)
         gdzie Q_α i Q_1-α oznaczają odpowiednio 1% i 99%.
         Procedura najpierw eliminuje niemożliwe wartości poprzez twarde ograniczenia, następnie oznacza nieprawidłowe obserwacje na podstawie progów gradientu, a na końcu wygładza odchylenia resztkowe za pomocą winsoryzacji opartej na kwantyle. To hierarchiczne podejście zapewniło zarówno fizyczną poprawność, jak i statystyczną stabilność czystego zbioru danych.
5. Normalizacja
   1. Różne wskaźniki jakości wody mają różne jednostki i wartości. Aby wyeliminować różnice skalowe i zapobiec dominacji niektórych zmiennych w procesie trenowania modelu, zastosuj normalizację z-score.
6. Konstrukcja próbek okien
   1. Przekształcić szeregi czasowe w próbki przesuwanych okien o stałej długości, aby zachować zależności czasowe. Dla danej długości okna W i kroku S skonstruuj próbki wejściowe zgodnie z równaniem (13).
      (13)
      Ustaw W=96 (czyli 24 godziny z 15-minutowym interwałem) i S=1, aby generować próbki sekwencyjnie za pomocą przesuwanego okna punkt-po-punkt.

4. Sieć neuronowa z cieczą z uwagą (AG-LNN)

UWAGA: Ogólna architektura proponowanej sieci Cieczej Neuronowej Gate-Gated (AG-LNN) została zilustrowana na Rysunku 2. Model integruje wieloźródłowe wejścia dotyczące jakości wody, mechanizm bramkowania oparty na uwadze, LNN z adaptacyjnymi stałymi czasowymi oraz etap odczytu i dekodowania z wyjściami interpretowalnymi. Taka konstrukcja pozwala sieci dynamicznie przechwytywać złożone zależności czasowe, pozostając jednocześnie odporną na szum i niejednorodne próbkowanie.

1. Warstwa wejściowa z wieloma źródłami: Patrz na najbardziej lewą część Rysunku 2 , aby zobrazować dane z monitoringu jakości wody z wielu źródeł {x_τ}, gdzie każdy wektor x_τ∈R^C reprezentuje pomiary C zmiennych fizykochemicznych (np. pH, DO, TN, TP, COD_Mn, Mn, EC) w czasie τ. Segmentuj sekwencje wejściowe na okna o stałej długości o rozmiarze W, zgodnie z formułowaniem w równaniu (14).
      (14)
2. Bramka uwagi wejściowej: Zastosuj bramkę uwagi, jak pokazano w lewym dolnym rogu Rysunku 2, aby podkreślić zmienne informacyjne i zminimalizować szumowe wahania. Oblicz wagi uwagi według równania (15).
   (15)
   gdzie α_τ oznacza znaczenie na poziomie kanału w czasie τ. Mechanizm ten zapewnia, że zmienne silnie skorelowane z nieprawidłowymi zmianami (np. DO i COD_Mn) otrzymują większe wagi.
3. Bramka o stałej czasowej
   1. Moduluj stałą czasową cieczy, korzystając z sygnału zagregowanej uwagi, jak pokazano na górnym bloku Rysunku 2, i sformułuj ją zgodnie z równaniem (16).
      (16)
      gdzie_{λ baza} to stała czasowa bazowa kontrolująca pamięć wewnętrzną każdego ciekłego neuronu; oznacza średnią wagę uwagi na kanałach C w kroku czasowym τ; β jest współczynnikiem wrażliwości określającym, jak silnie uwaga wpływa na reakcję czasową.
   2. Gdy jest wysoki, λ_τ maleje, co skłania sieć do przyspieszenia odpowiedzi i lepszego wychwycenia krótkotrwałych anomalii. Nałóż ograniczenia na λ_τ , aby ustabilizować trening.
   3. Zapewnij stabilność numeryczną i zapobiegaj wybuchowej lub zanikającej dynamice poprzez nakładanie ograniczeń na stałą czasową λ_τ. Ustaw λ_τ ∈ [λ_{min,λ max}] = [0,5,2,0]. Przycinaj wartości spoza tego zakresu do najbliższej granicy podczas treningu, aby utrzymać kontrolowane zachowanie adaptacyjne w różnych warunkach środowiskowych. Ustawienie λ = 1.0 daje optymalną precyzję i stabilność zbieżności.
4. Cieczowa warstwa nerwowa
   1. Wykorzystaj sieć neuronową cieczy (LNN) do przeprowadzenia ciągłego modelowania szeregu czasowego i wyraż jej dynamiczną formułę zgodnie z Równaniem (17).
      (17)
      gdzie ḣ(t) oznacza ukryty wektor stanu; λ(⋅) reprezentuje stałą czasową do nauki, modulowaną przez uwagę; σ(∙) jest nieliniową funkcją aktywacji (ReLU); A i B to macierze wagowe do nauczenia; x̃(t) to znormalizowany wektor wejściowy; b to wyraz uprzedzenia. To równanie zapewnia, że dynamika sieci ewoluuje zarówno wraz z wejściami, jak i stanami, podczas gdy stała czasowa λ(⋅) pozostaje przyswojalna i zależna od kontekstu.
   2. Do obliczeń numerycznych użyj jawnej metody całkowania Eulera do dyskretyzacji, jak pokazano w równaniu (18).
      (18)
      Tutaj Δ_τ reprezentuje dyskretny krok czasowy (interwał całkowania) pomiędzy kolejnymi obserwacjami, obliczony za pomocą równania (19).
      Δ_τ=(t_τ - t_τ-1)/_{T norma} (19)
      gdzie t_τ i t_τ-1 to znaczniki czasowe (w minutach) kolejnych pomiarów, a_{T norma} = 15 min odpowiada nominalnemu okresowi próbkowania w danych monitorujących CNEMC. Zatem Δ_τ = 1 dla regularnych 15-minutowych interwałów, podczas gdy Δ_τ > 1 lub Δ_τ < 1 odzwierciedla nieregularne próbkowanie spowodowane brakującymi lub gęstymi obserwacjami. To podejście naturalnie obsługuje nieregularne próbkowanie, zachowując jednocześnie interpretowalność względem podstawowej dynamiki fizycznej.
5. Odczyt i ocena anomalii
   1. Po zakończeniu aktualizacji ukrytego stanu zastosuj warstwę odczytu w AG-LNN, aby wygenerować przewidywanie o krok do przodu, jak wyrażono w równaniu (20).
      (20)
      gdzie W_{o i} c oznaczają odpowiednio macierz projekcji wyjściowej i wektor polaryzacji.
   2. Oblicz resztę jako wynik anomalii na podstawie rozbieżności między przewidywaną a obserwowaną wartością, jak pokazano w równaniu (21).
      (21)
   3. Zastosuj kwantylową strategię adaptacyjnego progowania, aby określić, czy obserwacja odpowiada anomalii.
   4. Zdefiniuj próg anomalii θ_x dla każdej zmiennej jakości wody, używając 99. percentyla reszt w zbiorze treningowym, zgodnie z formułowaniem w równaniu (22).
         (22)
      gdzie σ_s oznacza odchylenie standardowe sekwencji resztkowej, a γ = 0,2 to stały współczynnik bezpieczeństwa kompensujący naturalne zmiany dzienne.
   5. Ten projekt odpowiada prawdopodobieństwu przekroczenia na poziomie 1%, zgodnie ze standardowymi definicjami anomalii środowiskowych. Podczas wnioskowania sieć generuje jedynie sekwencję resztkową {s_τ}; dla wyznaczania anomalii wykonuje się post-hoc zgodnie z równaniami (14)–(15). Ten projekt separacji jest zgodny z ogólnym ramą badania, zapewniając, że model koncentruje się na ekstrakcji cech i pomiarze anomalii, a nie na bezpośrednim udziale w ustawianiu progów.
6. Cele szkolenia i regularizacja
   1. Podczas treningu minimalizuj błąd predykcji, jednocześnie stosując dodatkową regularizację zarówno wag uwagi, jak i stałych czasowych, aby zapobiec nadmiernemu dopasowaniu i niestabilności numerycznej. Funkcję straty wyraża się za pomocą równania (23).
      (23)
   2. Zastosuj_{Reg α} poprzez regularizację entropii -∑α_τ log α_τ lub L1-normę, aby uniknąć upadku uwagi. Stosując regulację_λ , karając Δλ_τ = λ_τ - λ_τ-1, ograniczając drastyczne wahania stałej czasowej oraz dodając kary, gdy przekracza ona ustalone górne i dolne granice. To podejście zostało zastosowane, aby zachować elastyczność AG-LNN przy jednoczesnym zapewnieniu stabilności podczas szkolenia.
7. Wyjście obliczeń do przodu i interpretowalności
   1. Uprość proces obliczeń AG-LNN do następującej struktury łańcucha, jak pokazano w równaniu (24).
      (24)
   2. Podczas treningu i wnioskowania nieustannie zapisuj wagi uwagi α_τ oraz stałe czasowe cieczy λ_τ i używaj ich do generowania wyników interpretowalności, mianowicie map cieplnych uwagi i krzywych stałych czasu cieczy. Wykorzystaj te wizualizacje, aby podkreślić, jak model koncentruje się na różnych zmiennych i skalach czasowych, co zwiększa interpretowalność metody.

5. Procedura szkoleniowa

1. Podział danych: Podziel wieloźródłowe serie czasowe jakości wody chronologicznie na podzbiory treningowe, walidacyjne i testowe, stosując podział 70%/15%/15%. Zapewnij odporność testów, wybierając zestaw testów tak, aby zawierał znane nieprawidłowe okresy, jednocześnie utrzymując go ściśle nienakładającym się z danymi treningowymi, aby zapobiec wyciekom czasowym.
2. Szczegóły szkolenia
   1. Rozwiąż ciągłą dynamikę w warstwie cieczy za pomocą stabilizowanego jawnego schematu Eulera. Dla porównania, przetestuj zamkniętą dyskretyzację według cytowanej formuły^20,21.
   2. Harmonogram rozgrzewki uwagi: Ustabilizuj ciężarki uwagi do niemal jednolitej wartości (≈ 1,0) w pierwszych 10 epoch, aby ustabilizować przepływ gradientu. Po epoce 10 stopniowo wyświetlaj uwagę do jej przyswajalnego stanu, liniowo uwalniając aktualizacje wagi w ciągu kolejnych 5 epok (współczynnik skalowania = 0,8). Stosuj tę strategię rozgrzewki, aby zapobiec niestabilnym oscylacjom na początku treningu i zapewnić płynną zbieżność.
   3. Optymalizator i planista szybkości uczenia: Optymalizuj parametry modelu za pomocą optymalizatora Adama z β₁ = 0,9, β₂ = 0,999, ε = 1 x 10⁻⁸. Ustaw początkową szybkość uczenia się na 1 x 10⁻³ i kontroluj ją za pomocą harmonogramu wyżarzania kosinusowego (_{T max} = 50 epok, Minimalna szybkość uczenia = 1 x 10⁻⁵). Wybierz rozmiary partii od 32 do 128, w zależności od pojemności pamięci GPU. Stosuj to stopniowe planowanie, aby zapewnić stabilną adaptację dynamiki czasu ciągłego bez gwałtownych zmian tempa uczenia się.
   4. Wczesne zatrzymanie i ustawienia powtarzalności: Zakończ trening wcześniej, jeśli metryka walidacji (AU-PR lub F1) nie poprawi się przez 10 kolejnych epok (cierpliwość = 10). Powtarzaj każdy eksperyment 3 razy, używając stałych losowych nasion (42, 73 i 101), aby zapewnić powtarzalność. Ustaw maksymalną liczbę epok na 100 i zachowaj punkt kontrolny z najlepszym AU-PR do testowania.
3. Środowisko sprzętowe i programowe
   1. Wszystkie eksperymenty przeprowadz na serwerze Linux wyposażonym w karty NVIDIA Tesla V100 (32 GB pamięci) oraz podwójne procesory Intel Xeon Gold 6230 z 256 GB RAM. Zaimplementuj model w Pythonie 3.9, używając PyTorch 2.0 jako frameworka do głębokiego uczenia oraz korzystaj z bibliotek pomocniczych, takich jak NumPy 1.23, SciPy 1.9 i scikit-learn 1.2, do wstępnego przetwarzania i oceny. Wszystkie eksperymenty konteneryzuj za pomocą Docker 23.0 i zarządzaj nimi na Ubuntu 20.04 LTS, aby zapewnić powtarzalność i przenośność wyników. Szczegółowe specyfikacje wszystkich urządzeń sprzętowych i narzędzi programowych znajdziesz w Tabeli materiałów , aby zagwarantować przejrzystość i powtarzalność.

Wyniki

Ogólne porównanie wydajności

Tabela 2 przedstawia wyniki porównawcze różnych modeli bazowych oraz proponowany AG-LNN do zadania wykrywania anomalii jakości wody. Wśród tradycyjnych nienadzorowanych linii bazowych, Isolation Forest²² i One-Class SVM²³ osiągały jedynie umiarkowaną precyzję i przywołanie, co odzwierciedla ich ograniczoną zdolność do rejestrowania zależności czasowych inherentnych w danych o jakości ...

Dyskusja

Niniejsze badanie wprowadza Attention-Gated Liquid Neural Network (AG-LNN), nowatorską architekturę wykrywania anomalii jakości wody, która łączy ciągłą dynamikę cieczy z mechanizmami bramkowymi opartymi na uwadze. Komponent ciekłego neuronu AG-LNN jest inspirowany sieciami stałymi czasowymi (LTC), które modelują szeregi czasowe z możliwymi do uczenia, zależnymi od danych stałymi czasowymi²⁰. Jednak AG-LNN wykracza poza standardowe LTC, integrując dwie dodatkowe bramki: bramkę uwagi wejściowej, kt...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
256 GB pamięci DDR4 RAM	Samsung	M393A4K40DB3	Pamięć o dużej pojemności do obsługi dużych wielowymiarowych zbiorów szeregów czasowych
CUDA 11.6	NVIDIA	Nie ma	Narzędziowy zestaw akceleracji GPU dla PyTorch
CPU Intel Xeon Gold 6330 (2,0 GHz, 28 rdzeni)	Intel	BX80708-6330	Wykorzystywany jako główny serwer obliczeniowy do trenowania modeli
Matplotlib 3.4, Seaborn 0.11	Open Source	Nie ma	Wizualizacja wyników eksperymentalnych
Numery 1.21, Pandy 1.3	Open Source	Nie ma	Wstępne przetwarzanie danych i inżynieria cech
Karta graficzna NVIDIA A100 (40GB)	NVIDIA	900-21001-0000-001	Przyspieszone szkolenie AG-LNN ze wsparciem CUDA
Python 3.9	Python Software Foundation	Nie ma	Główny język programowania do implementacji
PyTorch 1.12	Meta AI	Nie ma	Ramy głębokiego uczenia używane do budowy AG-LNN
Scikit-learn 0.24	Open Source	Nie ma	Metryki ewaluacyjne i modele bazowe
Ubuntu 20.04 LTS OS	Kanoniczne	Nie ma	System operacyjny dla środowiska obliczeniowego