Dikkat Kapılı Sıvı Sinir Ağına Dayalı Su Kalitesi Anomali Tespit Yöntemi

Özet

Bu çalışma, sürekli zaman modelleme ve dikkat odaklı kapı belirleme ile üstün doğruluk ve yorumlanabilirlik sağlayan, çevresel izlemenin güvenilirliğini artıran ve sürdürülebilir su yönetimini destekleyen su kalitesi anomalisi tespiti için Dikkat Kapılı Sıvı Sinir Ağı önermektedir.

Özet

Su izleme ağlarının hızla genişlemesiyle birlikte, zaman serisi anomli tespiti, su ortamlarının korunması ve sürdürülebilir yönetiminin sağlanması için giderek daha önemli hale gelmiştir. Ancak, geleneksel modeller genellikle düzensiz örnekleme aralıkları, çok değişkenli korelasyonlar ve pratik uygulamalarda yorumlanabilirlik konusunda zorlanır. Bu zorlukları ele almak için, bu çalışma, Sıvı Sinir Ağı'nın (LNN) dinamik modelleme yeteneğini dikkat tabanlı kapı mekanizmalarıyla entegre eden Dikkat Kapılı-Sıvı Sinir Ağı (AG-LNN) önermektedir. Model, Çözünmüş Oksijen (DO) ve Permanganat İndeksi (COD_Mn) gibi anomali ile ilgili değişkenleri vurgulamak için bir giriş-dikkat kapısı ve modelin zaman hafızasını uyarlayıcı şekilde ayarlayan zaman sabiti kapısını tanıtıyor. 2019 ile 2024 yılları arasında 13 eyalette toplanan Çin Ulusal Çevresel İzleme Merkezi'nden (CNEMC) alınan veriler kullanılarak, AG-LNN, Uzun Kısa Süreli Bellek (LSTM), Zamansal Konvolüsyon Ağ (TCN), Transformasyon ve Grafik Sinir Ağı (GNN) mimarileri dahil olmak üzere temel modellere göre üstün performans gösterdi. Kesin Geri Çağırma Alanı Eğrisi Altında 0,95 ve F1 puanı 0,90 sağlarken, bölgeler arası ve zamansal değerlendirmelerde istikrarı korur. Kompakt bir versiyon olan AG-LNN-light, parametreleri minimum hassasiyet kaybıyla %62 azaltarak verimli kenar dağıtımını sağlar. Sonuçlar, dikkat kapılı sürekli zaman modellemenin, büyük ölçekli su kalitesi anomali tespiti için sağlam ve yorumlanabilir bir yaklaşım sağladığını doğruladı.

Giriş

Su kalitesi izleme, halk sağlığını korumak, su ekosistemlerini sürdürmek ve çevresel düzenlemelere uyumu sağlamak için gereklidir. Toprak ve Su Değerlendirme Aracı (SWAT), mekanik QUAL modeli ve istatistiksel tahmin yaklaşımları gibi geleneksel su kalitesi modelleri, kimyasal biyolojik, hidrolojik ve meteorolojik faktörlerin eşzamanlı etkisiyle aynı anda su sistemlerinin son derece doğrusal olmayan, çok değişkenli ve zamansal düzensiz^{doğasını yakalamakta zorlanır} 1,2,3,4,5,6 . Bu nedenle, su kalitesi verilerinde anomali tespitini iyileştirmek acil bir zorluk olmaya devam etmektedir.

Pratikte önerilen çerçeve, hidrojen potansiyeli (pH), çözünmüş oksijen (DO), toplam azot (TN), toplam fosfor (TP) ve permanganat indeksi (COD_Mn), bulanıklık ve iletkenlik gibi değişkenleri ölçen çok parametreli su kalitesi algılama ağları için tasarlanmıştır; tipik örnekleme aralıkları 15 ila 60 dakika arasında değişir. Bu model, düzensiz örnekleme ve eksik gözlemleri tolere eder, bu da yüzey suyu ve rezervuar izleme sistemlerinde gerçek dünyada kullanıma uygun hale getirir.

Makine öğreniminin su kalitesi anomalisi tespitinde uygulaması

Son yıllarda, makine öğrenimi (ML) ve derin öğrenme (DL) yöntemleri su kalitesi uygulamalarında popülerlik kazanmıştır. Örneğin, Wang ve ^ark.7 , su enjeksiyon pompası operasyonlarında anomli algılamada doğruluğu artırmak ve yanlış alarmları azaltmak için mekanik kısıtlamalarla birleştirilmiş Uzun Kısa Süreli Bellek Otomatik Kodlayıcı (LSTMA-AE) tanıttı; böylece enterpolasyon, rastgele orman veya LSTM-AE yöntemlerinden belirgin şekilde daha iyi performans elde etti.

Benzer şekilde, Zhao ve ^ark.8 , kayıp fonksiyonuna fiziksel kısıtlamaları dahil eden ve su kalitesi anomali tespit görevlerinde yorumlanabilirliği ve F1 puanını önemli ölçüde artıran Fizik-Bilgilendirilmiş Sinir Ağı (GRU-PINN) modeli olan Kapatılmış Tekrarlayan Birim (GRU-PINN) modeli önermiştir. ElShafeiy ve ^ark.9 , çok değişkenli Konvolüsyon Ağ-LSTM (MCN-LSTM) mimarisi geliştirerek, çok değişkenli konvolüsyon ağları LSTM ile birleştirerek su kalitesi sensörü verilerinde gerçek zamanlı anomali tespiti yapmayı sağlamış ve saha ortamlarında gelişmiş algılama yetenekleri göstermiştir. Bir diğer ilerleme ise, Su Kalitesi İndeksini (WQI) doğru tahmin etmek ve su kalitesini sınıflandırmak için Sıvı Sinir Ağları (Gated-LNN)^{modeli 10'dur}; bu yöntem^R2 ≈ 0.9995 ve %99,74 sınıflandırma doğruluğuna ulaşır.

Zaman serisi anomali tespiti

DL'ye özgü uygulamaların ötesinde, zaman serisi anomali tespiti çeşitli alanlarda hızlı bir gelişme görmüştür. Zaman serisi anomli tespiti, su kalitesi izleme ve erken uyarıyı iyileştirmek için kilit bir teknik haline gelmiştir. Geleneksel istatistiksel yöntemler genellikle su kalitesi verilerinin doğrusal olmayan ve dinamik özelliklerini yakalamakta başarısız olur, bu da derin öğrenme modellerinin uygulanmasını teşvik eder. Örneğin, Zhang ve ^ark.11 , Ampirik Mod Ayrıştırmasını (EMD) LSTM ile birleştirerek sabit olmayan sinyalleri daha iyi ele almış, Kimyasal Oksijen Talebi (COD), Biyokimyasal Oksijen Talebi (BOD₅), Toplam Fosfor (TP), Toplam Azot (TN) ve Amonyak Azotu (NH₃-N) tahmin doğruluğunu önemli ölçüde iyileştirmiştir. Buna dayanarak, Wang ve ^ark.12 , gerçek zamanlı anomali tespit performansını artıran Yaklaşık Entropi kullanarak LSTM tabanlı bir dalgalanma analizi yöntemi önermiştir.

Son gelişmeler dikkat mekanizmalarını ve hibrit çerçeveleri vurgulamıştır. Arepalli ve ^ark.13 , su kültüründe hipoksi tespiti için hafif bir uzaysal paylaşılan dikkat LSTM tanıtmış ve %99,8 doğruluk sağlamış, Zhang ve ^ark.14 ise mekansal ve zamansal dikkatin CNN-LSTM olarak çözünmüş oksijen (DO) ve NH₃-N tahminini önemli ölçüde iyileştirdiğini göstermiştir. Benzer şekilde, Long ve ^ark.15 , Tam Topluluk Ampirik Mod Ayrıştırmasını Uyarlanabilir Gürültü-Varyasyonel Mod Ayrıştırması (CEEMDAN-VMD) ile dikkat artırılmış LSTM ile entegre ederek birden fazla göstergede Nash-Sutcliffe Verimlilik (NSE) değerleri elde etti. Uygulama düzeyinde, Xie ve ^ark.16 , nehir havzalarında operasyonel ve gerçek zamanlı su kalitesi tahmini için mobil bir LSTM-sequence-to-sequence (Seq2Seq) sistemi göstermiştir.

Genel olarak, bu çalışmalar LSTM tabanlı temel çizgilerde, dikkat artırılmış hibrit modellerde ve sistem düzeyinde uygulamalarda net bir eğilimi ortaya koymaktadır. Doğruluk önemli ölçüde artmış olsa da, yorumlanabilirlik, gürültülü koşullarda dayanıklılık ve çeşitli izleme ağlarında genelleştirme konularında zorluklar devam etmektedir.

Grafik sinir ağlarının ve mekansal zamansal modellerin çevresel izlemede uygulanması

Grafik sinir ağları (GNN'ler) ve uzaylı-zamansal derin öğrenme modelleri, hem izleme alanları arasındaki mekânsal korelasyonları hem de su kalitesi dinamiklerindeki zamansal bağımlılıkları yakalayarak çevresel izlemede önemli potansiyel göstermiştir. Örneğin, Wu ve ^ark.17 , atık su arıtma tesisleri için transformatör tabanlı ön eğitim ve grafik yapısı öğrenimini entegre ederek COD, NH₃-N, TP, TN, pH ve akış hızının uzun vadeli tahminini artıran bir ön eğitim geliştirilmiş Uzaylı-Zamansal Grafik Sinir Ağı (PT-STGNN) önermiştir. Benzer şekilde, Wan ve ^ark.18 , grafik konvolüsyonu, GRU ve dikkat mekanizmalarını birleştiren bir Uzaylı-Zamansal Özellik GNN (STF-GNN) geliştirerek, Çözünmüş Oksijen (DO) ve TN tahminlerini önemli ölçüde iyileştirmiş ve sağlam çapraz havuz genellemesi göstermiştir.

Hibrit çerçeveler, genellemeyi artırmak için tamamen veri odaklı tasarımların ötesine geçti. Mu ve ^ark.19 , su dağıtım sistemleri için Graf Sinir Ağı (GNN) tabanlı modellere hidrolik prensipleri entegre eden uzaylı-zamansal grafik fiziği destekli sinir ağını (ST-GPINN) tanıtmıştır. Grafik temsillerini fizik kaynaklı kısıtlamalarla birleştirerek, ST-GPINN en son doğruluk sağlarken küçükten büyük ağlara kadar etkili bir ölçeklendirme sağlar. Bu çalışmalar birlikte, uzaylı-zaman GNN'lerin çevresel izlemedeki artan rolünü vurgular, öngörücü doğruluğu, yorumlanabilirliği ve dayanıklılığı artırır ve yeni nesil akıllı su yönetim sistemlerinin temelini atmaktadır.

Sıvı sinir ağlarının avantajları ve potansiyeli

Sıvı Sinir Ağları (LNN'ler), Sıvı Zaman-Sabit ağları olarak da bilinir, sürekli zaman dinamiklerini girdiye bağımlı, öğrenilebilir zaman sabitleri kullanarak benzersiz şekilde modeller. Hasani ve ^ark.20 , LNN'leri tanıtmış ve zaman serisi görevlerinde ifade gücünü, kararlılığını ve verimliliğini göstermiştir. Beyin kaynaklı uyum yetenekleri, su kalitesi gibi dinamik çevresel olguları modellemek için umut vaat eden adaylar olsa da, dikkat mekanizmalarıyla entegrasyonları hâlâ yeterince araştırılmamıştır.

Dikkat mekanizmaları, özellikle dikkat kapıları, ilgili özelliklere odaklanmak ve yorumlanabilirliği sağlamak için güçlü araçlardır. Tıbbi görüntülemede yaygın olarak kullanılmasına rağmen, Attention U-Net öğrenilebilir dikkat kapıları aracılığıyla seçici özelliklerin geliştirilmesi için temel oluşturur. LSTMA-AE⁷ ve GRU-PINN⁸ gibi sensör tabanlı anomli tespit çerçevelerinde de dikkat uygulanmış, kritik desenlere duyarlılığı artırılmış ve model şeffaflığını artırmıştır.

Bu gözlemler bir arada, sürekli zaman uyum sağlama ile yorumlanabilir dikkat mekanizmalarını sinerjik eden hibrit bir mimariye ihtiyaç olduğunu göstermektedir. Bu nedenle, Sıvı Sinir Ağlarının (LNN) dinamik modelleme yeteneklerini, belirgin girdilere veya zamansal segmentlere odaklanan dikkat kapılarıyla bütünleyen Dikkat Kapılı Sıvı Sinir Ağı (AG-LNN) öneriyoruz. Bu mimari, sensör gürültüsü ve düzensiz örnekleme dayanıklılığını artırmayı, kısa süreli anomalilere duyarlılığı artırmayı ve dikkat ısı haritaları ile uyarlanabilir zaman sabiti yörüngeleri aracılığıyla yorumlanabilirlik sunmayı amaçlar. AG-LNN, gerçek dünyadaki çok değişkenli su kalitesi veri setleri üzerinde değerlendirildi ve LSTM, Transformer, saf LNN ve geleneksel ML temelleriyle karşılaştırıldı. Hem nicel (Hassasiyet, Hayıma, F1, AUC) hem de niteliksel (dikkat görselleştirmeleri, zaman sabit dinamikleri) analizler, önerilen modelin etkinliğini ve şeffaflığını göstermiştir.

Protokol

NOT: Bu çalışmanın genel iş akışı Şekil 1'de gösterilmiştir.

1. Veri toplama

1. Veri kaynağı tanımlama
   1. Çin Ulusal Çevre İzleme Merkezi (CNEMC) kamu veritabanından (https://www.cnemc.cn/sssj/) su kalitesi zaman serisi verilerini edinin. Çin'deki büyük gölleri ve rezervuarları kapsayan sürekli ulusal düzeyde izleme kayıtlarını elde edinmek. Temel fizikokimyasal göstergeler arasında pH, çözünmüş oksijen (DO), toplam fosfor (TP), toplam azot (TN), permanganat indeksi (COD_Mn), bulanıklık (NTU) ve elektrik iletkenliği (EC) yer alıyordu.
   2. İndirilen veri setine takip süresi, istasyonun çalışma durumu ve su kalitesi sınıflandırması (Sınıf I-V) gibi ilgili meta verilerin dahil edilmesinden emin olun.
2. Veri seti alımı ve dosya spesifikasyonu
   1. İşlenen veri setini dosya adı altında birleştirip paylaşarak verilerin tekrarlanabilirliğini cnemc_data_2019_2024. CSV. Baidu Cloud deposunda (https://pan.baidu.com/s/1ZXYxkCZAnx7tiOHJhuJ2Qg?pwd=u97h) bulunan dosya, tüm deneylerin kamuya açık erişimini ve doğrulanmasını sağlar.
   2. Kuzey, Güney, Doğu, Batı ve Plato bölgelerinin çeşitli hidrolojik ve iklim bölgelerinde temsilci kapsama sağlamak için 13 eyaletten (Guangdong, Hubei, Jiangsu, Zhejiang, Anhui, Fujian, Jiangxi, Henan, Sichuan, Guizhou, Liaoning, Heilongjiang ve Jilin) izleme verilerini dahil etmek.
   3. Her eyalete eşit sayıda izleme kaydı atanarak Ocak 2019 ile Aralık 2024 arasında toplanan toplam 1.832 kayıt elde edilecektir. Her istasyonu eyalet bazlı tanımlayıcılarla etiketleyin (örneğin, Guangdong için GD001, Hubei için HB001). Her kayıt için, havza, waterbody_type (Göl veya Rezervuar) ve mevsim (örnekleme süresinden elde edilen Bahar, Yaz, Sonbahar veya Kış) gibi tanımlayıcı özellikler ekleyin.
   4. Mekansal analiz ve tekrarlanabilirliği kolaylaştırmak için isteğe bağlı coğrafi konumlandırma alanları (boylam ve enlem) ekleyin. Tam alan tanımları, veri türleri ve cnemc_2019_2024'de kullanılan birimler. CSV değerleri Tablo 1'de özetlenmiştir.

2. Değişken seçimi ve etiketleme

1. Değişken seçimi
   1. Yüzey suyunun en sık izlenen fizikokimyasal parametrelerini temsil eden değişkenleri seçin; ekolojik önem ve kirlilik ile çevresel bozulmalara karşı duyarlılık sağlanır. Özellikle, aşağıdaki göstergeleri ekleyin:
      pH, suyun asit-baz dengesini yansıtır ve biyolojik aktivite ile kimyasal çözünürlüğü etkiler
      Çözülmüş Oksijen (DO), su ekosistemi sağlığı ve organik kirliliğin doğrudan göstergesi
      Toplam Fosfor (TP) ve Toplam Azot (TN), ötrofikasyon süreçleriyle bağlantılı iki ana besin
      Permanganat İndeksi (COD_Mn), oksitlenebilir organik madde içeriğini ve organik kirliliğin dolaylı ölçümü olarak temsil edilir
      Bulanıklık (Tur), askıda duran parçacıkları ve tortu yükünü yansıtır
      Elektrik İletkenliği (EC), çözünmüş iyonların konsantrasyonunu ve genel tuzluluğu gösterir
   2. Bu değişkenleri sadece CNEMC izleme istasyonlarından rutin erişimleri nedeniyle değil, aynı zamanda su kalitesi değerlendirmesi ve anomali tespiti üzerine önceki^{çalışmalarda} 10,11,14,17 gösterilen önemleri nedeniyle de seçilin.
2. Etiketleme stratejisi
   1. Model eğitimi ve değerlendirmesini desteklemek için anomali etiketlerini tanımlayın. İki tamamlayıcı yaklaşımı birleştiren çift etiketleme stratejisi uygulayın.
   2. Düzenleyici veya uzman temelli etiketleme: İzleme otoritesinden resmi olarak belgelenmiş veya notlanmış anormal olayları (örneğin, ani kirletici boşalmalar, alg patlamaları veya cihaz arızaları) yer gerçekleri anormalliği olarak kabul edin.
   3. Veri odaklı zayıf etiketleme: CNEMC çok değişkenli zaman serisi veri setinden doğrudan açık uzman açıklamaları olmayan izleme aralıkları için anormallikleri, istatistiksel olarak yönlendirilen, mevsimlere duyarlı zayıf etiketleme çerçevesi uygulayarak çıkarabilirsiniz.
   4. Bu süreci üç ana bileşene ayırın: mevsimsel normalizasyonun uygulanması, quantil tabanlı sapma tespitinin uygulanması ve sonuçların kalıntı tabanlı değerlendirmeyle pekiştirilmesi.
      1. Mevsimsel normalizasyon: Her değişken x_i,t (örneğin, DO,_{COD Mn}, TP, TN, Bulanıklık) için mevsimsel etkileri, CNEMC veri setinde sağlanan açık mevsim alanı (Bahar, Yaz, Sonbahar, Kış) kullanılarak normalleştirin. Her değişkeni, Denklem (1)'de gösterildiği gibi, ilgili mevsimsel alt kümesi içinde standartlaştırın.
         (1)
         burada μ_i^(s) ve σ_i^(s) değişken i'nin s sezonundaki ortalama ve standart sapmasıdır. Bu normalleşme, yazın azalan DO veya yağmur mevsiminde artan COD_Mn gibi sistematik mevsimsel değişimleri telafi eder ve mevsimler arası karşılaştırılabilirliği sağlar.
      2. Kuantil tabanlı zayıf etiketleme: Normalizasyondan sonra, aynı mevsim ve eyalet grubundaki her değişken için hesaplanan sağlam kuantil eşikleri uygulanarak anomalileri tespit edin; bu durum Denklem (2)'de gösterilmiştir.
         (2)
         burada Q_p (⋅) p-nuncu kuantil operatörüdür, s'deki değişken i için alt ve üst kuantil eşikleridir (1. ve 99. perdetiller). Bu sınırları aşarsa bir veri noktası anormal olarak işaretleyin, Denklem (3)'te gösterildiği gibi.
         (3)
         Bu adım, bölgesel ve mevsimsel farklılıkları uyarlayıcı şekilde hesaba katar, böylece doğal hidrolojik dalgalanmalardan kaynaklanan yanlış tespitleri önler.
      3. Kalıntı temelli pekiştirme: Denklem (4)'te ifade edildiği gibi, quantil eşiklerin kaçırabileceği ani kısa vadeli sapmaları tespit etmek için 15 günlük bir medyan temel oluşturun.
         (4)
         burada_i,t, değişken i'nin t zamanındaki kalıntı sapmasıdır, medyan(_{x i,t-15:t+15}) t etrafındaki 15 günlük yuvarlanan medyan bazdır. Mutlak kalıntı mevsimsel standart sapmanın üç katını (|r_i,t| > 3σ_i^(s)) aşırsa, bir veri noktasını kalıntı anomali olarak işaretleyin. Bu kalıntı takviye, kirletici boşaltı, yağış olayları veya geçici sensör arızaları nedeniyle oluşan geçici yükselmeleri etkili bir şekilde yakaladı.
      4. Birleşik zayıf etiket kararı: Hem quantil tabanlı hem de kalıntı tabanlı anomali göstergelerini birleştirerek Denklem (5)'te tanımlandığı gibi ikili_{zayıf y t} etiketi atayın.
         (5)
         Burada_{y t}=1, en az bir parametrenin t zamanında anormal davranış sergilediğini gösterir, y_t = 0 tüm parametreler boyunca normal gözlemleri gösterir.
         CNEMC veri setindeki tüm 13 eyalet ve beş iklim bölgesi için birleşik etiketleme prosedürünü kullanarak veri odaklı zayıf notasyonlar seti oluşturun. Bu etiketleri, uzman tarafından doğrulanmış 1.0 ağırlığıyla yapılan açıklamalara kıyasla zayıf etiketlere 0.7 güven ağırlığı vererek güven ağırlıklı öğrenmeye entegre edin.
   5. Annotasyon türlerinin oranı
      1. Yaklaşık %42'si resmi çevre raporlarından türetilen uzman onaylı açıklamalar ve %58'i sürekli izleme verilerinden oluşturulan zayıf açıklamalar kullanılır. Çok değişkenli su kalitesi zaman serilerinde potansiyel anomalileri tespit etmek için z-puan eşik belirleme ve mevsimsel eğilim ayrıştırmasının (STL) sezgisel bir birleşimini uygulayın. Seçilen açıklama oranları, Sonuçlar bölümünün 5.1 (Açıklama oranının etkisi) bölümünde sunulan deneylerle doğrulanır. Bu sonuçlar, ampirik olarak optimal bir dengenin uzman-zayıf oranı 40:60 civarında gerçekleştiğini ve bunun gerçek veri seti bileşimiyle tutarlı olduğunu doğrular.
   6. Zayıf annotasyon doğruluğunun doğruluğu
      1. Zayıf notasyonlu örneklerin güvenilirliğini, çevre uzmanlarıyla rastgele 800 zayıf etiketlenmiş örnek alt kümesini çapraz kontrol ederek garanti edin. Zayıf açıklamalar ile uzman kararları arasındaki uyum oranını kaydedin; bu oran yaklaşık %87,5'e ulaşmalıdır. Düşük anomli güvenliğe sahip (< 0.6) veya uzman doğrulama setiyle anlaşmazlığa sahip örnekleri eğitim verisinden çıkarın.
      2. Zayıf ve korunan açıklamaları %90'ın üzerinde etkili bir doğrulukla tutun. Zayıf açıklamaların güvenilirliğini ve model performansı üzerindeki etkisini inceleyin; kontrollü deneyler, zayıf etiket doğruluğunun %90'ın üzerinde korunmasının eğitim önyargısını etkili bir şekilde önlediğini ve kararlı öngörü davranışını sağladığını doğrular.
   7. Önyargı azaltma
      1. Eğitim sırasında, zayıf açıklamaların getirdiği olası önyargıyı azaltmak için özgüven ağırlıklı bir öğrenme stratejisi uygulayın. Kayıp fonksiyonunu Denklem (6)'da gösterildiği gibi tanımlayın.
         (6)
         burada_{y i}∈{0,1}, i-nji örneklemin temel doğruluk etiketini gösterir, p_i modelin tahmin edilen olasılığını temsil eder, w_i her örnekle atanan ağırlıktır ve N toplam örnek sayısıdır.
      2. Örnek ağırlığı w_i olarak, etiketin kaynağı ve güven seviyesine göre belirlenir, Denklem (7)'de gösterilmiştir.
         (7)
         Burada, c_∈[0,1] i-inci açıklamanın güven puanını gösterir ve α,β sırasıyla uzman ve zayıf etiketler için küresel ağırlık katsayılarıdır. Ampirik analiz, α=1.0 ve β=0.7 ayarlarının performans ile istikrar arasında en iyi dengeyi sağladığını gösterdi; çünkü bu ağırlıklandırma, zayıf etiketlerden kalan gürültüyü etkili bir şekilde bastırır ve daha geniş kapsama alanlarından yeterli katkıyı korur.
      3. Anomli tespiti için temel değişkenler olarak yedi fizikokimyasal parametre (pH, DO, TP, TN, COD_Mn, Tur ve EC) seçin. Bu göstergeleri yüzey suyunun besin durumunu, organik kirliliğini, oksijen bulunabilirliğini ve iyonik bileşimini kapsamlı şekilde temsil etmek için kullanın. Her değişkenin ayrıntılı bir açıklamasını sunun.

3. Veri kalitesi kontrolü ve ön işleme

1. Çok kaynaklı su kalitesi izleme verilerinin güvenilirliğini ve modelleme uygulanabilirliğini sağlamak için hiyerarşik bir veri kalitesi kontrolü ve ön işleme boru hattı oluşturmak. Sıralı olarak zaman hizalama, eksik değer atama işlemi, anomali tespiti, ölçek normalizasyonu ve pencereli örnek oluşturma yapılır. Verilerin özel özelliklerine göre uygun yöntemleri dinamik olarak seçip birleştirin.
2. Zaman hizalanması ve yeniden örnekleme: Tüm izleme istasyonu dizilerini senkronize edilmemiş zaman damgalarını hesaba katmak için birleşik 15 dakikalık zaman çözünürlüğüne hizalayın. Düzensiz örneklenmiş noktalar için, Denklem (8)'e göre bitişik gözlemler arasında doğrusal enterpolasyon uygulanır. Sonraki pencereli örneklerin tutarlı bir zamansal ızgara üzerinde oluşturulduğundan emin olun.
   (8)
3. Eksik değer işleme
   1. Eksik değerleri ardışık boşlukların uzunluğuna göre kısa süreli eksik (<6 ardışık nokta, yani <1,5 saat) ve uzun vadeli eksik (≥6 ardışık puan) olarak sınıflandırın ve buna göre farklı stratejiler uygulandı.
   2. Uzun vadeli eksik aralıklar (6 ardışık nokta ≥) için dinamik tahmin yapmak amacıyla Kalman filtreleme ve yumuşatma uygulanır. Her su kalitesi değişkeni x_t (örneğin, DO, TN, COD_Mn) ayrık doğrusal bir durum-uzay formülasyonu kullanılarak modelleyin; aşağıdaki gibi,
      (9)'dan (11'e) denklemler.
      (9)
      (10)
      (11)
      burada x_t , t zamanındaki su kalitesi değişkeninin gizli (doğru) durumudur, y_t ise karşılık gelen gözlemlenen değerdir; A, 15 dakikalık gözlemlerde yüksek zamansal korelasyonu yansıtmak için ampirik olarak 0.95 olarak ayarlanmış durum geçiş katsayısıdır, H gözlem matrisidir (doğrudan ölçümler için 1'e ayarlanmıştır), w_t ∼ N(0,Q) ve v_t ∼ N(0,R) sırasıyla sıfır ortalama Gauss süreci ve ölçüm gürültüsüdür; Q = (0.05σ_x)² ve R=(0.10σ_x)², burada σ_x , değişkenin 7 günlük kayan pencere içindeki standart sapmasıdır.
   3. Filtreyi kısa vadeli değişkenliğe duyarlı kalacak şekilde yapılandırın ve rastgele ölçüm gürültüsünü bastırın. İlk mevcut eksik olmayan gözlemi kullanarak başlangıç durumu başlatın ve başlangıç kovaryansı P_0|0'yı ayarlayın . Eksik aralık 24 saati (96 kayıt) aşırsa uzun vadeli ekstrapolasyondan kaynaklanan hata birikimini önlemek için tüm segmenti kaldırın.
4. Anomali tespiti ve düzeltme
   1. Anomalileri iki ardışık adımda tespit edin ve düzeltin: sert kısıtlamalar (fiziksel sınırlar) ve yumuşak kısıtlamalar (gradyan limitleri ve quantil winsorizasyon).
      1. Kesin kısıtlamalar (Fiziksel sınırlar): Fiziksel olarak makul aralıkların dışında olan ölçümleri (örneğin, pH∉[0,14],DO>20 mg/L) atırlar.
      2. Yumuşak kısıtlamalar (Gradient limitleri + Kuantil winsorizasyon): İki ardışık gözlem arasındaki mutlak değişim oranı ampirik olarak tanımlanmış gradyan eşiğini aşıyorsa bir veri noktası şüpheli olarak işaretlenin |x_t - x_t-1 | > θ. θ=3σ_x ^Δt-1 kümesi bulunur; burada σ x, değişkenin 24 saatlik kayma penceresi boyunca standart sapmasını gösterir ve Δt = 15 dakika örnekleme aralığını temsil eder. Denklem (12)'de ifade edilen Winsorizasyon prosedürü ile aşırı değerleri düzeltin.
         (12)
         burada Q_α ve Q_1-α sırasıyla %1 ve %99'u gösterir.
         Prosedür önce imkansız değerleri sert kısıtlamalarla ortadan kaldırır, ardından gradyan eşiklerine dayalı anormal gözlemleri işaretler ve son olarak kalan sapmaları quantil tabanlı winsorizasyon kullanarak düzeltir. Bu hiyerarşik yaklaşım, temizlenen veri setinin hem fiziksel geçerliliğini hem de istatistiksel istikrarını garanti altına aldı.
5. Normalleşme
   1. Farklı su kalitesi göstergelerinin farklı birimleri ve değerleri vardır. Ölçek farklılıklarını ortadan kaldırmak ve belirli değişkenlerin model eğitim sürecine hakim olmasını önlemek için z-puan normalizasyonu uygulanır.
6. Pencere örneği yapımı
   1. Zaman serisini, zamansal bağımlılıkları korumak için sabit uzunlukta kaydırmalı pencere örneklerine dönüştürün. Pencere uzunluğu W ve adım boyutu S verildiğinde, giriş örnekleri Denklem (13)'e göre oluşturulur.
        (13)
      W=96 (yani, 15 dakikalık aralıkla 24 saat) ve S=1 ayarları ile nokta puan kaydırma penceresi kullanılarak ardışık örnekler üretir.

4. Dikkat Kapılı Sıvı Sinir Ağı (AG-LNN)

NOT: Önerilen Dikkat Kapılı Sıvı Sinir Ağı'nın (AG-LNN) genel mimarisi Şekil 2'de gösterilmiştir. Model, çok kaynaklı su kalitesi girdilerini, dikkat odaklı bir kapı mekanizmasını, uyarlanabilir zaman sabitlerine sahip bir LNN'yi ve yorumlanabilirlik çıktılarına sahip bir okuma-kod çözme aşamasını entegre eder. Bu tasarım, ağın karmaşık zaman bağımlılıklarını dinamik olarak yakalamasını sağlarken, gürültü ve düzensiz örnekleme karşı dayanıklı kalmasını sağlar.

1. Çok kaynaklı giriş katmanı: Şekil 2'nin en soldaki kısmına bakarak çok kaynaklı su kalitesi izleme verilerini {x_τ} görselleştirin; burada her vektör x_τ∈^{R C} , C fizikokimyasal değişkenlerinin (örneğin, pH, DO, TN, TP, COD_Mn, Bulanıklık, EC) τ zamanındaki ölçümlerini temsil eder. Giriş dizilerini, Denklem (14)'te formüle edildiği gibi W boyutunda sabit uzunluklu kaydırma pencerelere ayırın.
   (14)
2. Dikkat kapısı girin: Şekil 2'nin alt sol bloğunda gösterildiği gibi, bilgilendirici değişkenleri vurgulamak ve gürültülü dalgalanmaları bastırmak için bir dikkat kapısı uygulayın. Dikkat ağırlıklarını Denklem (15)'e göre hesaplayın.
   (15)
   burada_{τ α τ} zamanında kanal düzeyinde önemi gösterir. Bu mekanizma, anormal değişikliklerle yüksek korelasyona sahip değişkenlerin (örneğin DO ve COD_Mn) daha yüksek ağırlık almasını sağlar.
3. Zaman sabitli kapı
   1. Sıvı zaman sabitini Şekil 2'nin üst bloğunda gösterildiği gibi toplu dikkat sinyali kullanarak modüle edin ve Denklem (16)'ya göre formüle edin.
      (16)
      burada, λ_baz , her sıvı nöronunun içsel hafızasını kontrol eden temel zaman sabitidir; zaman adımı τ'de C kanalları üzerindeki ortalama dikkat ağırlığını gösterir; β, dikkatin zamansal yanıt vermeyi ne kadar güçlü etkilediğini belirleyen bir duyarlılık katsayısıdır.
   2. Yüksek olduğunda , λ_τ azalır, bu da ağın yanıtını hızlandırmasını ve kısa ömürlü anormallikleri daha iyi yakalamasını sağlar. Eğitimi stabilize etmek için λ_τ'ye bağlı kısıtlamalar kondurun.
   3. Zaman sabiti λ_τ'ye bağlı kısıtlamalar koyarak sayısal istikrarı sağlamak ve patlama veya yok dinamikleri önlemek için gereklidir. λ_τ ∈ [λ_{min,λ max}] = [0.5,2.0] ayarla. Eğitim sırasında bu aralığın dışındaki değerleri en yakın sınıra keserek değişken çevresel koşullarda kontrollü adaptif davranışı sürdürebilirsiniz. λ = 1.0 ayarlaması optimal hassasiyet ve yakınsamaya kararlılık sağlar.
4. Sıvı sinir tabakası
   1. Zaman serisinin sürekli zaman modelini yapmak için Sıvı Sinir Ağı (LNN) kullanmak ve Denklem (17)'de gösterildiği gibi dinamik formülasyonunu ifade etmek.
      (17)
      burada ḣ(t) gizli durum vektörünü gösterir; λ(⋅), dikkatle modüle edilen öğrenilebilir zaman sabitini temsil eder; σ(∙) doğrusal olmayan aktivasyon fonksiyonudur (ReLU); A ve B öğrenilebilir ağırlık matrisleridir; x̃(t) normalleştirilmiş giriş vektörüdür; B, önyargı terimidir. Bu denklem, ağ dinamiklerinin hem girdilerle hem de durumlarla evrilmesini sağlarken, zaman sabiti λ(⋅) öğrenilebilir ve bağlama bağlı kalır.
   2. Sayısal hesaplama için, Denklem (18)'de gösterildiği gibi ayrıklaştırma için açık Euler entegrasyon yöntemini kullanın.
      (18)
      Burada, Δ_τ , ardışık gözlemler arasındaki ayrık zaman adımını (entegrasyon aralığı) temsil eder ve Denklem (19) kullanılarak hesaplanır.
      Δ_τ=(t_τ - t_τ-1)/T_norm (19)
      burada t_τ ve t_τ-1, ardışık ölçümlerin zaman damgaları (dakika cinsinden) ve T_normu = 15 dakika CNEMC izleme verilerindeki nominal örnekleme süresine karşılık gelir. Böylece, düzenli 15 dakikalık aralıklar için Δ_τ = 1, Δ_τ 1 > veya Δ_τ 1 < eksik veya yoğun gözlemlerden kaynaklanan düzensiz örneklemi yansıtır. Bu yaklaşım, düzensiz örneklemeyi doğal olarak ele alırken, temel fiziksel dinamiklere göre yorumlanabilirliği korur.
5. Okuma ve anomali puanlama
   1. Gizli durum güncellemesi tamamlandıktan sonra, AG-LNN'de bir okuma katmanı kullanarak Denklem (20)'de ifade edilen bir öngörü oluşturun.
      (20)
      burada W_o ve c, sırasıyla çıkış projeksiyon matrisi ve önyargı vektörünü gösterir.
   2. Denklem (21)'de gösterildiği gibi, tahmin edilen ve gözlemlenen değerler arasındaki tutarsızlığa dayanarak kalıntıyı anomali puanı olarak hesaplayın.
      (21)
   3. Bir gözlemin bir anomaliye karşılık gelip etmediğini belirlemek için quantile tabanlı uyarlanabilir eşik stratejisi uygulayın.
   4. Her su kalitesi_{değişkeni için} anomali eşiği θ x, eğitim kümesindeki kalıntıların 99. yüzde yüzdeliğini kullanarak tanımlayın; bu durum denklem (22)'de formüle edilmiştir.
      (22)
      burada σ_s , kalıntı dizinin standart sapmasını gösterir ve γ = 0.2, doğal günlük varyasyonları telafi eden sabit bir güvenlik katsayısıdır.
   5. Bu tasarım, standart çevresel anomali tanımlarıyla tutarlı olan yaklaşık %1 aşıma olasılığına karşılık gelir. Çıkarım sırasında, ağ yalnızca anomali belirleme için (14)–(15) denklemlerine göre post-hoc uygulanan kalıntı diziyi {s_τ} çıkarır. Bu ayrım tasarımı, genel çalışma çerçevesiyle tutarlıdır ve modelin eşik ayarı belirlemeye doğrudan katılmak yerine özellik çıkarımı ve anormallik ölçümüne odaklanmasını sağlar.
6. Eğitim hedefleri ve düzenleme
   1. Eğitim sırasında, tahmin hatasını en aza indirirken aynı anda hem dikkat ağırlıkları hem de zaman sabitleri üzerinde ek düzenleme uygulanarak aşırı uyum ve sayısal istikrarsızlığı önleyin. Kayıp fonksiyonu, Denklem (23) ile ifade edilir.
      (23)
   2. Dikkat çöküşünü önlemek için entropi düzenlenmesi -∑α_{τ logu τ} α_τ veya L1-normu ile Reg_α uygulanır. Reg_λ, Δλ_τ = λ_τ - λ_τ-1 cezalandırarak, zaman sabitindeki ciddi dalgalanmaları kısıtlayarak ve önceden tanımlanmış üst ve alt sınırları aştığında ceza ekleyerek uygulanır. Bu yaklaşım, AG-LNN'nin esnekliğini korumak ve eğitim sırasında istikrarı sağlamak için kullanıldı.
7. İleri hesaplama ve yorumlanabilirlik çıktısı
   1. AG-LNN'nin ileri hesaplama sürecini, Denklem (24)'te gösterildiği gibi aşağıdaki zincir yapısına basitleştirin.
      (24)
   2. Hem eğitim hem çıkarım sırasında, dikkat ağırlıklarını_τ α ve sıvı zaman sabitleri λ_τ'yi sürekli kaydedin ve bunları yorumlanabilirlik sonuçları oluşturmak için kullanın; özellikle dikkat ısı haritaları ve sıvı zaman sabiti eğrileri. Bu görselleştirmeleri, modelin farklı değişkenlere ve zaman ölçeklerine nasıl odaklandığını vurgulamak için kullanın; böylece yöntemin yorumlanabilirliğini artırın.

5. Eğitim prosedürü

1. Veri bölme: Çok kaynaklı su kalitesi zaman serisini kronolojik olarak eğitim, doğrulama ve test alt kümelerine %70/%15/%15 bölünmesiyle bölebilirsiniz. Test setini bilinen anormal dönemleri dahil edecek şekilde seçerek ve eğitim verileriyle tamamen örtüşmeden koruyarak zamansal sızıntıyı önleyin.
2. Eğitim detayları
   1. Sıvı tabakasındaki sürekli dinamikleri, stabilize edilmiş açık bir Euler şeması kullanarak çöz. Karşılaştırma için, referans edilen^20,21 formülasyonuna göre kapalı biçimli ayrıklaştırmayı test edin.
   2. Dikkat ısınma programı: İlk 10 dönemde dikkat ağırlıklarını neredeyse eşit bir değere (≈ 1.0) sabitleyerek gradyan akışını stabilize edin. 10. dönemden sonra, sonraki 5 dönem boyunca ağırlık güncellemelerini doğrusal olarak serbest bırakarak dikkati öğrenilebilir durumuna kademeli olarak yönlendirin (ölçekleme faktörü = 0.8). Bu ısınma stratejisini, eğitimin başında kararsız salınımları önlemek ve düzgün yakınsamayı sağlamak için kullanın.
   3. Optimize edici ve öğrenme hızı zamanlayıcı: Model parametrelerini Adam optimizatörü kullanarak β₁ = 0.9, β₂ = 0.999, ε = 1 x 10⁻⁸ ile optimize edin. Başlangıç öğrenme hızını 1 x 10⁻³ olarak ayarlayın ve kosinus-tavlama takvimi ile kontrol edin (T_max = 50 dönem, Minimum Öğrenme Hızı = 1 x 10⁻⁵). GPU bellek kapasitesine bağlı olarak 32 ile 128 arasında parti boyutları seçin. Bu kademeli zamanlamayı, ani öğrenme hızı değişimleri olmadan sürekli zaman dinamiklerinin istikrarlı adaptasyonunu sağlamak için uygulayın.
   4. Erken durma ve tekrarlanabilirlik ayarları: Doğrulama metriği (AU-PR veya F1) ardışık 10 dönem boyunca (sabır = 10) iyileşmezse eğitimi erken sonlandırın. Tekrarlanabilirliği sağlamak için her deneyi sabit rastgele tohumlarla (42, 73 ve 101) 3 kez tekrarlayın. Maksimum dönem sayısını 100'e ayarlayın ve test için en iyi doğrulama AU-PR'ine sahip kontrol noktasını koruyun.
3. Donanım ve yazılım ortamı
   1. Tüm deneyleri, NVIDIA Tesla V100 GPU'ları (32 GB bellek) ve 256 GB RAM ile çift Intel Xeon Gold 6230 CPU ile donatılmış bir Linux sunucusunda gerçekleştirin. Modeli Python 3.9'da derin öğrenme çerçevesi olarak PyTorch 2.0 kullanarak uygulayın ve ön işlem ve değerlendirme için NumPy 1.23, SciPy 1.9 ve scikit-learn 1.2 gibi yardımcı kütüphaneleri kullanın. Tüm deneyleri Docker 23.0 ile konteynerize edin ve sonuçların tekrarlanabilirliğini ve taşınabilirliğini sağlamak için Ubuntu 20.04 LTS'de yönetin. Tüm donanım cihazları ve yazılım araçlarının ayrıntılı özellikleri için Materyaller Tablosuna bakarak netlik ve çoğaltılabilirlik sağlanır.

Sonuçlar

Genel performans karşılaştırması

Tablo 2 , su kalitesi anomali tespit görevi için farklı temel modellerin karşılaştırmalı sonuçlarını ve önerilen AG-LNN'yi sunmaktadır. Geleneksel denetimsiz temel çizgiler arasında, İzolasyon^{Ormanı 22} ve Tek Sınıf SVM²³ , çok kaynaklı su kalitesi verilerindeki zamansal bağımlılıkları yakalama konusundaki sınırlı yeteneklerini yansıtan yalnızca orta hassasiyet ve geri çağırma elde...

Tartışma

Bu çalışma, sürekli zamanlı sıvı dinamiklerini dikkat tabanlı kapı mekanizmalarıyla birleştiren su kalitesi anomali tespiti için yeni bir mimari olan Dikkat Kapılı Sıvı Sinir Ağı (AG-LNN) tanıtmaktadır. AG-LNN'nin sıvı sinir bileşeni, öğrenilebilir, girdiye bağlı zaman^{sabitleri 20} ile zaman serilerini modelleyen Sıvı Zaman Sabitli Ağlardan (LTC) esinlenmiştir. Ancak AG-LNN, standart LTC'lerin ötesine geçerek iki ek kapıyı entegre eder: DO ve COD_Mn

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
256 GB DDR4 RAM	Samsung	M393A4K40DB3	Büyük çok değişkenli zaman serisi veri setlerini işlemek için yüksek kapasiteli bellek
CUDA 11.6	NVIDIA	Yok	PyTorch için GPU hızlandırma araç seti
Intel Xeon Gold 6330 CPU (2.0GHz, 28 çekirdek)	Intel	BX80708-6330	Model eğitimi için ana hesaplama sunucusu olarak kullanılır
Matplotlib 3.4, Seaborn 0.11	Açık Kaynak	Yok	Deneysel sonuçların görselleştirilmesi
NumPy 1.21, Pandas 1.3	Açık Kaynak	Yok	Veri ön işleme ve özellik mühendisliği
NVIDIA A100 GPU (40GB)	NVIDIA	900-21001-0000-001	AG-LNN'nin CUDA desteğiyle hızlandırılmış eğitimi
Python 3.9	Python Yazılım Vakfı	Yok	Uygulama için ana programlama dili
PyTorch 1.12	Meta AI	Yok	AG-LNN kurmak için kullanılan derin öğrenme çerçevesi
Scikit-learn 0.24	Açık Kaynak	Yok	Değerlendirme metrikleri ve temel modeller
Ubuntu 20.04 LTS OS	Kanonik	Yok	Hesaplama ortamı için işletim sistemi