注意ゲート型液体ニューラルネットワークに基づく水質異常検出法

サマリー

本研究は、連続時間モデリングと注意ベースのゲーティングを通じて優れた精度と解釈可能性を実現し、環境モニタリングの信頼性を高め持続可能な水管理を支援する、水質異常検出のための注意ゲート液ニューラルネットワークを提案します。

要約

水質モニタリングネットワークの急速な拡大に伴い、時系列異常検出は水生環境の保護と持続可能な管理の確保においてますます重要になっています。しかし、従来モデルは不規則なサンプリング区間、多変量相関、実用的な解釈可能性に苦労することが多いです。これらの課題に対処するため、本研究は液体ニューラルネットワーク(LNN)の動的モデリング能力と注意ベースのゲーティングメカニズムを統合したAttention Gated-Liquid Neural Network(AG-LNN)を提案します。モデルは、溶解酸素(DO)や過マンガン酸指数(COD_Mn)などの異常に関連する変数を強調するために入力注意ゲートを導入し、モデルの時間記憶を適応的に調整する時間定数ゲートを導入しています。2019年から2024年にかけて13省で収集した中国国家環境監視センター(CNEMC)のデータを用いて、AG-LNNは長短期記憶(LSTM)、時間畳み込みネットワーク(TCN)、トランスフォーマー、グラフニューラルネットワーク(GNN)アーキテクチャを含むベースラインモデルよりも優れた性能を示しました。曲線下精度リコール面積(PR-AUC)は0.95、F1スコアは0.90であり、クロスリージョンおよび時間的評価において安定性を維持しています。コンパクトなバージョンであるAG-LNN-lightは、パラメータを62%削減し、精度損失を最小限に抑え、効率的なエッジ展開を可能にします。その結果、注意ゲート付き連続時間モデリングが大規模な水質異常検出において堅牢かつ解釈可能なアプローチを提供することが確認されました。

概要

水質モニタリングは、公衆衛生の保護、水生生態系の維持、環境規制の遵守に不可欠です。従来の水質モデル、例えば土壌・水評価ツール(SWAT)、機構的QUALモデル、統計的予測手法は、化学的、生物学的、水文学^的、気象的要因1,2,3,4,5,6に同時に影響される水システムの高度に非線形的で多変量かつ時間的に不規則な性質を捉えるのに苦労することが多いです。.したがって、水質データにおける異常検出の改善は依然として差し迫った課題です。

実務的には、提案されたフレームワークは、水素(pH)、溶存酸素(DO)、総窒素(TN)、総リン(TP)、過マンガン酸塩指数(COD_Mn)、濁度、導電率などの変数を測定する多パラメータ水質センシングネットワーク向けに設計されており、典型的なサンプリング間隔は15分から60分の範囲です。このモデルは不規則なサンプリングや観測の欠如に耐え、表流水および貯水池の監視システムでの実際の導入に適しています。

水質異常検出における機械学習の応用

近年、機械学習(ML)や深層学習(DL)手法が水質応用で注目を集めています。例えば、Wangらは、水注入ポンプ操作の異常検出における精度向上と誤警報の減少を組み合わせた長期短期記憶オートエンコーダ(LSTMA-AE^)とメ カニズム制約を組み合わせて導入し、補間法、ランダムフォレスト法、LSTM-AE法よりも大幅に優れた性能を実現しました。

同様に、Zhaoらは物理的制約を損失関数に組み込むゲートリカレントユニット(GRU-PINN)モデル^を提案し 、水質異常検出タスクにおける解釈可能性とF1スコアを大幅に向上させました。ElShafeiyら9は、多変量畳み込みネットワーク(MLTM)とLSTMを組み合わせた多変量畳み込みネットワーク-LSTM(MCN-LSTM)^{アーキテクチャを開発し、} 水質センサーデータにおけるリアルタイム異常検出を実現し、現場環境での検出能力の向上を示しました。もう一つの進歩は、ゲート-リキッドニューラルネットワーク(Gated-LNN)モデル¹⁰で、ゲート機構をリキッドニューラルネットワークに統合して水質指数(WQI)を正確に予測し、インドのデータセットで^R2 ≈0.9995、99.74%の分類精度を達成しています。

時系列異常検出

DL特有の応用を超えて、時系列異常検出はさまざまな分野で急速に発展しています。時系列異常検出は、水質監視と早期警戒の改善のための重要な技術となっています。従来の統計手法は水質データの非線形的かつ動的な特性を捉えきれず、そのためディープラーニングモデルの適用が促されています。例えば、Zhangらは経験モード分解(EMD)とLSTM^{を組み合わせて} 非定常信号の処理を改善し、化学酸素要求量(COD)、生化学的酸素要求量(BOD₅)、総リン(TP)、総窒素(TN)、アンモニア窒素(NH₃-N)の予測精度を大幅に向上させました。これを踏まえて、Wangらはリアルタイムの異常検出性能を向上させる近似エントロピーを用いたLSTMベースの揺らぎ解析^法を提案 しました。

近年の進展では、注意メカニズムやハイブリッドフレームワークが強調されています。Arepalliら¹³ は養殖における低酸素検出のために軽量な空間共有注意LSTMを導入し、99.8%の精度を達成しました。一方、Zhangら¹⁴ は空間的および時間的注意が溶存酸素(DO)およびNH₃-NのCNN-LSTM予測を有意に向上させることを示しました。同様に、LongらはAdaptive Noise-Variational Mode Decomposition(CEEMDAN-VMD)^{を注意力強化} LSTMと統合し、複数の指標で最大0.99のNash-Sutcliffe効率(NSE)値を達成しました。応用レベルでは、Xieら¹⁶ は流域全体でリアルタイムの水質予測を行うモバイルLSTMシーケンス間(Seq2Seq)システムを実証しました。

全体として、これらの研究はLSTMベースのベースライン、注意強化ハイブリッドモデル、システムレベルの応用における明確な傾向を示しています。精度は大幅に向上しましたが、解釈可能性、ノイズの多い条件下での堅牢性、多様な監視ネットワーク間の一般化には依然として課題が残っています。

環境モニタリングにおけるグラフニューラルネットワークと時空間モデルの応用

グラフニューラルネットワーク(GNN)や時空間的ディープラーニングモデルは、監視サイト間の空間的相関や水質動態における時間的依存性の両方を捉えることで、環境モニタリングにおいて大きな可能性を示しています。例えば、Wuら¹⁷ は、下水処理場向けの事前学習強化時空間グラフニューラルネットワーク(PT-STGNN)を提案し、トランスベースの事前学習とグラフ構造学習を統合してCOD、NH₃-N、TP、TN、pH、流量の長期予測を向上させました。同様に、Wanらはグラフ畳み込み、GRU、注意メカニズムを組み合わせた時空間特徴GNN(STF-GNN^{)を開発し、} 溶存酸素(DO)およびTN予測を大幅に改善し、強固な流域横断一般化を示しました。

ハイブリッドフレームワークは、純粋にデータ駆動型の設計を超えて一般化を強化するために登場しています。Muら¹⁹ は、水理学原理をグラフニューラルネットワーク(GNN)ベースの水配水システムモデルに埋め込む時空間グラフ物理学知知ニューラルネットワーク(ST-GPINN)を導入しました。グラフ表現と物理学に基づく制約を組み合わせることで、ST-GPINNは小規模から大規模ネットワークへと効果的にスケールしつつ、最先端の精度を実現しています。これらの研究は、環境モニタリングにおける時空間的GNNの役割の拡大、予測精度、解釈可能性、堅牢性の向上、次世代のインテリジェント水管理システムの基盤を築くことを浮き彫りにしています。

リキッドニューラルネットワークの利点と可能性

リキッドニューラルネットワーク(LNN)、またはリキッドタイムコンセントネットワークは、入力依存的で学習可能な時間定数を用いて連続時間ダイナミクスを独自にモデル化します。HasaniらはLNN^を導入し 、その表現力、安定性、効率性を時系列課題で実証しました。脳に頼る適応力は、水質のような動的な環境現象のモデリングに有望な候補者とされていますが、注意メカニズムとの統合はまだ十分に解明されていません。

注意メカニズム、特に注意ゲートは、関連する特徴に焦点を当て、解釈可能性を可能にする強力なツールです。医療画像診断で広く使われているAttention U-Netは、学習可能な注意ゲートを用いた選択的特徴の精緻化の基盤を築いています。また、LSTMA-AE⁷ やGRU-PINN⁸などのセンサーベースの異常検出フレームワークにも注力が施され、重要なパターンへの感度を高め、モデルの透明性を向上させています。

これらの観察を総合すると、連続的な時間適応性と解釈可能な注意メカニズムを相乗効果とするハイブリッドアーキテクチャの必要性が示唆されています。そこで、リキッドニューラルネットワーク(LNN)の動的モデリング機能と、顕著な入力や時間セグメントに焦点を当てた注意ゲートを統合したAttention-Gated Liquid Neural Network(AG-LNN)を提案します。このアーキテクチャは、センサーノイズや不規則なサンプリングに対する堅牢性を高め、短時間の異常に対する感度を向上させ、注意ヒートマップや適応型時間定数軌道による解釈性を提供することを目指しています。AG-LNNは実際の多変量水質データセットで評価され、LSTM、トランスフォーマー、純LNN、従来の機械学習ベースラインと比較してベンチマークされました。定量的(精度、リコール、F1、AUC)および定性的(注意可視化、時間定数動態)分析の両方で、提案モデルの有効性と透明性が示されました。

プロトコル

注:本研究の全体的なワークフローは 図1に示されています。

1. データ取得

1. データソースの識別
   1. 中国国家環境監督センター(CNEMC)の公開データベース(https://www.cnemc.cn/sssj/)から水質時系列データを取得してください。中国の主要な湖や貯水池をカバーする継続的な国家レベルのモニタリング記録を取得する。主要な物理化学的指標には、pH、溶存酸素(DO)、総リン(TP)、総窒素(TN)、過マンガン酸指数(COD_Mn)、濁度(NTU)、電気伝導率(EC)が含まれていました。
   2. 監視時間、ステーションの稼働状況、水質分類(クラスI-V)などの対応するメタデータがダウンロードされたデータセットに含まれていることを確認しましょう。
2. データセットの取得とファイル仕様
   1. 処理済みのデータセットをファイル名cnemc_data_2019_2024で統合・共有することで、データの再現性を確保しましょう。csv。百度クラウドのリポジトリ(https://pan.baidu.com/s/1ZXYxkCZAnx7tiOHJhuJ2Qg?pwd=u97h)のファイルは、すべての実験の公開アクセスと検証を可能にします。
   2. 広東、湖北、江蘇、浙江、安徽、福建、江西、河南、四川、貴州、遼寧、黒竜江、吉林の13省のモニタリングデータを含み、北部、南部、東部、西部、高原地域の多様な水文および気候帯にわたる代表的なカバレッジを確保します。
   3. 各州に同数のモニタリング記録を割り当て、2019年1月から2024年12月までに合計1,832件の記録を収集します。各駅は省別識別子(例:広東省はGD001、湖北省はHB001)でラベル付けします。すべての記録には、盆地、waterbody_type(湖または貯水池)、季節(春、夏、秋、冬、サンプリング時間から得られる)などの記述的属性を含めてください。
   4. 空間解析と再現性を促進するために、経度と緯度などの任意の位置位置フィールドを追加してください。完全なフィールド定義、データ型、cnemc_2019_2024で使用される単位。CSVの値は表 1にまとめられています。

2. 変数選択とラベリング

1. 変数選択
   1. 表流水の最も頻繁に監視される物理化学的パラメータを表す変数を選択し、生態学的な関連性と汚染や環境攪乱への感受性を確保します。具体的には、以下の指標を含めてください:
      pHは水の酸塩基バランスを反映し、生物活性や化学溶解度に影響を与えます
      溶存酸素(DO)は、水生生態系の健康と有機汚染の直接的な指標です
      富栄養化プロセスに関連する主要な栄養素である総リン(TP)と総窒素(TN)
      過マンガン酸指数(COD_Mn)は、酸化性有機物含有量を表し、有機汚染の間接的な指標です
      濁度(Tur):懸濁粒子や堆積物荷重を反映します
      電気伝導率(EC):溶解イオンの濃度と全体の塩分濃度を示します
   2. これらの変数は、CNEMCの監視ステーションからの定期的な利用可能性だけでなく、水質評価や異常検出に関する過去の研究^{10、11、14、17} で関連性が示されているためも選択してください。
2. ラベリング戦略
   1. モデルの訓練と評価を支援するための異常ラベルを定義します。二つの補完的なアプローチを組み合わせた二重ラベリング戦略を適用します。
   2. 規制または専門家ベースのラベリング:監視当局から公式に記録または注釈された異常事象(例:突然の汚染物質排出、藻類の大量発生、機器の故障)を地上の異常として採用します。
   3. データ駆動型弱いラベリング:CNEMC多変量時系列データセットから、統計的に導かれた季節認識型弱ラベリングフレームワークを適用し、明示的な専門家注釈がない区間監視の異常を推定します。
   4. このプロセスを主に3つの要素に構成します:季節正規化の実施、分位数ベースの偏差検出の適用、残差ベースの評価による結果の強化です。
      1. 季節正規化:CNEMCデータセットに明示された季節フィールド(春、夏、秋、冬)を用いて、各変数_xi,t(例:DO、COD_Mn、TP、TN、濁度)の季節効果を正規化します。各変数を対応する季節的部分集合内で標準化し、式(1)に示されます。
         (1)
         ここでμ_I^(s)と σ_I^(s) はシーズン s における変数 i の平均および標準偏差です。この正規化は、夏のDO減少や雨季のCOD_Mn 増加といった体系的な季節変動を補い、シーズン横断的な比較性を確保します。
      2. 分位体ベースの弱いラベリング:正規化後、同じ季節および州群内の各変数に対して計算された堅牢な分位閾値を適用して異常を特定します(式(2)参照)。
         (2)
         ここでQ_p(⋅)はp番目の分位演算子、 は季節sにおける変数iの下位および上位分位数閾値(第1および第99パーセンタイル)を表します。これらの境界を超えるデータ点は異常としてフラグを立てます(式(3)に示されています)。
         (3)
         このステップは地域的および季節的な差異を適応的に考慮し、自然の水文変動による誤検出を回避します。
      3. 残差基準強化:分位数閾値が見逃す可能性のある急激な短期偏差を検出するために、15日間の中央値ベースラインをローリング設定します(式(4)に示されています。
         (4)
         ここで、r_i,tは時刻tにおける変数iの残差偏差、median(x_i,t-15:t+15)はtを中心とした15日間の移動中央値ベースラインです。絶対残差が季節標準偏差(|r_i,t| > 3σ_i^(s))の3倍を超える場合、そのデータ点を残差異常としてフラグ付けします。この残留補強は、汚染物質の排出、降雨事象、または一時的なセンサー故障による一時的なスパイクを効果的に捉えました。
      4. 弱ラベル決定を組み合わせること:分位数ベースおよび残差ベースの異常指標の両方を融合させ、式(5)で定義されたように二値弱ラベルy_tを割り当てます。
         (5)
         ここで y_t=1 は時刻 t に少なくとも一つのパラメータが異常な挙動を示すことを示し、y_t = 0 はすべてのパラメータにわたる正常な観測を示します。
         結合ラベリング手順を用いて、CNEMCデータセット内の13州すべてと5つの気候地域にわたってデータ駆動型の弱い注釈セットを生成します。これらのラベルを、専門家が検証した注釈(重み1.0)に対して弱いラベルに信頼度重み0.7を割り当てることで、信頼度加重学習に統合します。
   5. 注釈タイプの割合
      1. 約42%は公式環境報告書から得られた専門家検証済み注釈、58%は継続的なモニタリングデータから生成された弱い注釈を使用します。zスコアの閾値化と季節傾向分解(STL)をヒューリスティック融合して、多変量水質時系列における潜在的な異常を検出します。選ばれた注釈の割合は、結果部分のセクション5.1(注釈比率の効果)で示された実験によって検証されます。これらの結果は、経験的に最適なバランスが専門家対弱者の比率が40:60あたりであることを確認し、これは実際のデータセット構成と整合しています。
   6. 弱い注釈精度の検証
      1. 弱い注釈の付いたサンプルの信頼性を、環境専門家と交差チェックする800の弱いラベル付けのランダムな部分集合を照合します。弱い注釈と専門家の判断の一致率を記録し、約87.5%に達するべきです。異常信頼度が低いサンプル(< 0.6)や専門家検証セットと意見が異なるサンプルは、トレーニングデータから削除します。
      2. 保持された弱い注釈は90%以上の有効精度を維持します。弱い注釈の信頼性とそれがモデルのパフォーマンスに与える影響を検証し、制御実験で弱ラベルの精度を90%以上維持することで訓練バイアスを効果的に防ぎ、安定した予測行動が保証されることが確認されています。
   7. バイアス軽減
      1. トレーニング中は、弱い注釈によるバイアスを軽減するために信頼度加重学習戦略を適用します。損失関数を式(6)に示すように定義します。
         (6)
         ここで y_i∈{0,1} は第i個サンプルの地付けのラベル、p_i はモデルの予測確率、w_i は各サンプルに割り当てられた重み、N はサンプル総数を表します。
      2. 式(7)に示すように、ラベルのソースと信頼レベルに基づいて標本重み w_i を算出します。
         (7)
         ここで、c_i∈[0,1]は第i番目の注釈の信頼度スコアを示し、α,βはそれぞれエキスティックラベルと弱ラベルのグローバルな重み付け係数を表します。実証分析により、α=1.0およびβ=0.7を設定することで、弱いラベルからの残留ノイズを効果的に抑制しつつ、より広範なカバレッジからの十分な寄与を維持することで、性能と安定性の最良のトレードオフが得られることが示されました。
      3. 異常検出の中核変数として、7つの物理化学的パラメータ(pH、DO、TP、TN、COD_Mn、Tur、EC)を選択します。これらの指標を用いて、表流水の栄養素の状態、有機汚染、酸素の利用可能性、イオン組成を包括的に表現します。各変数の詳細な説明を提供してください。

3. データ品質管理および前処理

1. マルチソースの水質モニタリングデータの信頼性とモデリングの適用性を確保するため、階層的なデータ品質管理および前処理パイプラインを確立すること。時間アライメント、欠損補欠、異常検出、スケール正規化、ウィンドウサンプル構築を順次実施します。データの特定の特性に応じて適切な手法を動的に選択・組み合わせます。
2. 時間整合と再サンプリング:すべての監視局シーケンスを、同期されていないタイムスタンプを考慮して統一された15分の時間分解能に整列します。不規則なサンプリング点については、式(8)に従って隣接観測値間に線形補間を適用します。その後のウィンドウ付きサンプルが一貫した時間グリッド上に構成されていることを確認してください。
   (8)
3. 欠損値処理
   1. 連続したギャップの長さに基づいて欠損値を短期的欠損(<<6点連続)と長期欠損(≥6連続点)に分類し、それぞれ異なる戦略が適用されました。
   2. カルマンフィルタリングと平滑化を適用し、長期欠損区間(6つの連続点≥動的推定を行います。各水質変数 x_t (例:DO、TN、COD_Mn)を離散線形状態空間の定式化を用いてモデル化します。以下に示す通りです
      式(9)から(11)まで。
      (9)
      (10)
      (11)
      ここで x_t は時刻 t における水質変数の潜在(真の)状態、y_t は対応する観測値です。Aは15分の観測における高い時間的相関を反映する状態遷移係数(経験的に0.95に設定され)、Hは観測行列(直接測定は1)、w_t ∼ N(0,Q)とv_t ∼ N(0,R)はそれぞれ零平均のガウス過程と測定ノイズです。Q = (0.05σ_x)^² および R=(0.10σ_x)^²。ここで_{σ x は} 7日間のスライディングウィンドウ内の変数の標準偏差です。
   3. フィルターを短期変動に敏感に保ちつつ、ランダムな測定ノイズを抑制するように設定します。最初に利用可能な非欠損観測 初期状態を初期化し、初期共分散P_0|0を に設定します。欠損区間が24時間(96レコード)を超える場合は、長期的な外推による誤差の蓄積を防ぐためにセグメント全体を削除してください。
4. 異常検出と修正
   1. 異常を特定し修正するのは、ハード制約(物理的極限)とソフト制約(勾配極限と分位数ウィンソリゼーション)の2つの連続したステップです。
      1. 厳格な制約(物理的限界):物理的に妥当な範囲外の測定値(例:pH∉[0,14]、DO>20 mg/L)を除外します。
      2. ソフト制約(勾配極限+分位体ウィンソリ化):連続した2つの観測値間の絶対変化率が経験的に定義された勾配閾値(|x_t - x_t-1 |> θ.θ=3σ_x ^Δt-1を定め、σ xは24時間のスライドウィンドウにおける変数の標準偏差、Δt = 15分はサンプリング区間を表します。式(12)に表されるウィンソル化手法を用いて極値を修正します。
         (12)
         ここでQ_α とQ_1-αはそれぞれ1%と99%を表します。
         この手順はまずハード制約で不可能な値を排除し、勾配しきい値に基づいて異常な観測値をフラグ付けし、最後に分位体ベースのウィンソリゼーションを用いて残差偏差を平滑化します。この階層的アプローチにより、クリーンデータセットの物理的妥当性と統計的安定性の両方が保証されました。
5. 正規化
   1. 水質指標によって単位や値が異なります。スケールの違いを排除し、特定の変数がモデルの訓練過程を支配するのを防ぐために、zスコア正規化を適用します。
6. 窓のサンプル構造
   1. 時間系列を固定長のスライドウィンドウサンプルに変換し、時間的依存性を保持します。ウィンドウ長WとステップサイズSが与えられた場合、式(13)に従って入力サンプルを構築します。
        (13)
      W=96(すなわち24時間、15分間隔)とS=1を設定し、ポイントごとのスライドウィンドウを使って順次サンプルを生成します。

4. 注意ゲート液ニューラルネットワーク(AG-LNN)

注:提案された注意ゲート液体ニューラルネットワーク(AG-LNN)の全体的なアーキテクチャは 図2に示されています。このモデルは、マルチソースの水質入力、注意に基づくゲート機構、適応型時間定数を持つLNN、解釈可能性のある出力を持つ読み出し復号段階を統合しています。この設計により、ネットワークはノイズや非一様サンプリングに対しても堅牢な環境を保ちつつ、複雑な時間的依存関係を動的に捉えることができます。

1. マルチソース入力層: 図2 の最も左端の部分を参照して、複数ソースの水質モニタリングデータ{x_τ}を可視化します。ここで各ベクトルx_τ∈^{R C} は時刻τにおけるCの物理化学的変数(例:pH、DO、TN、TP、COD_Mn、濁度、EC)の測定値を表します。入力列を式(14)に定式化した通り、サイズWの固定長スライドウィンドウに分割します。
   (14)
2. 入力注意ゲート:図2の左下ブロックに示されているように注意ゲートを適用し、情報変数を強調しノイズの変動を抑制します。式(15)に従って注意の重みを計算します。
   (15)
   ここでα_τ は時刻τにおけるチャネルレベルの重要度を示します。このメカニズムにより、異常変化と高度に関連する変数(例:DOやCOD_Mn)により高い重みが割り当てられます。
3. 時間定数ゲート
   1. 図2の上部ブロックに示されているように、集約された注意信号を用いて液体時間定数を変調し、式(16)に従って定式化します。
      (16)
      ここで、λ_基底 は各液体ニューロンの内在記憶を制御する基準時間定数です。 はタイムステップτにおけるCチャネル間の平均注意重みを表し、βは注意が時間的応答性にどれほど強く影響するかを決定する感度係数です。
   2. が高いと_λτが減少し、ネットワークは応答を加速し、短命の異常をよりよく捉えようとします。λ_τにバウンド制約を課してトレーニングを安定化させます。
   3. 時間定数λ_τに制限を課すことで数値的安定性を確保し、爆発的または消失する力学を防ぎます。λ_τ ∈ [λ_min, λ_max] = [0.5,2.0] と定めます。訓練中にこの範囲外の値は最も近い境界に切り込み、環境条件の変化下で制御された適応行動を維持します。λ = 1.0を設定することで最適な精度と収束安定性が得られます。
4. 液体ニューラル層
   1. リキッドニューラルネットワーク(LNN)を用いて時系列の連続時間モデリングを行い、式(17)に示される動的定式化を行います。
      (17)
      ここで ϣ(t) は隠れ状態ベクトルを表し、λ(⋅)は注意によって変調された学習可能な時間定数を表します。σ(∙)は非線形活性化関数(ReLU)です。AとBは学習可能な重み行列であり、x̃(t) は正規化された入力ベクトルです。Bはバイアス項です。この式により、ネットワークの動態は入力と状態の両方とともに進化し、時間定数λ(⋅)は学習可能で文脈依存のままです。
   2. 数値計算には、式(18)に示されたように、離散化には明示的なオイラー積分法を用いてください。
      (18)
      ここで、Δτ_は連続 する観測間の離散時間(積分区間)を表し、式(19)を用いて計算されます。
      Δ_τ=(t_τ - t_τ-1)/T_ノルム (19)
      ここで t_τ と t_τ-1 は連続した測定のタイムスタンプ(分単位)であり、T_ノルム = 15 分は CNEMC モニタリングデータにおける公称サンプリング期間に対応します。したがって、規則的な15分間隔ではΔ_τ = 1であり、Δ_τ > 1またはΔ_τ < 1は、観測値の欠如や密度の低いことによる不規則なサンプリングを反映しています。このアプローチは、基礎となる物理的ダイナミクスに関して解釈可能性を維持しつつ、不規則サンプリングを自然に処理します。
5. 読み取りと異常スコアリング
   1. 隠れた状態の更新が完了した後、AG-LNNの読み出し層を用いて、式(20)に表されたように一歩先行予測を生成します。
      (20)
      ここで W_o と c はそれぞれ出力射影行列とバイアスベクトルを表します。
   2. 残差を異常スコアとして計算します。これは式(21)に示されているように、予測値と観測値の不一致に基づいています。
      (21)
   3. 分位数ベースの適応閾値戦略を適用して、観測が異常に対応するかどうかを判定します。
   4. 各水質変数に対して、訓練セット内の残差の99パーセンタイルを用いて、式(22)に従って異常閾値_θx を定義します。
      (22)
      ここで_{σ s} は残差配列の標準偏差を表し、γ = 0.2 は自然な日差を補正する固定安全係数を表します。
   5. この設計は、標準的な環境異常定義と整合する約1%の超過確率に対応しています。推論中、ネットワークは残差配列{s_τ}のみを出力し、異常判定のために式(14)–(15)に従って事後処理を行います。この分離設計は全体の研究枠組みと整合しており、モデルが閾値設定に直接関与するのではなく、特徴抽出や異常測定に焦点を当てていることを保証します。
6. 訓練目的と正規化
   1. トレーニング中は予測誤差を最小化しつつ、注意重みと時間定数の両方に追加の正則化を適用して過学習や数値的不安定性を防ぎます。損失関数は式(23)で表されます。
      (23)
   2. 注意崩壊を避けるために、エントロピー正則化 -∑α_τ α_τ または L1-ノルムを通じたレジ_スαを適用します。Δλ_τ = λ_τ - λ_τ-1 にペナルティを与え、時間定数の急激な変動を制約し、あらかじめ定められた上限と下限を超えるとペナルティを加え_{ることでレジ}準λを適用します。この方法は、AG-LNNの柔軟性を維持しつつ、訓練中の安定性を確保するために用いられました。
7. 順方向計算および解釈可能性の出力
   1. AG-LNNの順方向計算プロセスを、式(24)に示す以下の連鎖構造に簡略化します。
      (24)
   2. トレーニングおよび推論の両方で、注意の重みα_τと液体 時間定数_λτを継続的に記録し、それらを用いて解釈可能な結果、すなわち注意ヒートマップや液体時間定数曲線を生成します。これらの可視化を使って、モデルが異なる変数や時間スケールに焦点を当てていることを強調し、手法の解釈性を高めます。

5. 訓練手順

1. データ分割:多源水質時系列を70%/15%/15%の分割で、訓練、検証、試験のサブセットに年代順に分割します。既知の異常期間を含むテストセットを選択しつつ、学習データと厳密に重複しないようにして時間的リークを防ぐことで堅牢性を確保します。
2. 訓練の詳細
   1. 液体層の連続動力学を安定化された明示的オイラースキームを用いて解く。比較のために、参照された定式^化20,21に基づく閉形式離散化を検証します。
   2. 注意ウォームアップスケジュール:最初の10エポックで注意重みをほぼ均一な値(≈ 1.0)に固定し、勾配フローを安定させます。エポック10以降は、次の5エポックにわたる重み更新を線形にリリースし(スケーリングファクター=0.8)、学習可能な状態への注意を徐々にアニーアップします。このウォームアップ戦略を使って、トレーニング開始時の不安定な振動を防ぎ、スムーズな収束を確保しましょう。
   3. 最適化器および学習率スケジューラ:β₁ = 0.9、β₂ = 0.999、ε = 1 x 10⁻⁸ でモデルパラメータを最適化します。初期学習率を1 x 10⁻³に設定し、コサインアニーリングスケジュール(T_max = 50エポーク、最小学習率 = 1 × 10⁻⁵)で制御します。GPUのメモリ容量に応じて、32から128のバッチサイズを選びます。この段階的なスケジューリングを適用することで、学習速度の急激な変化なしに連続時間動態の安定した適応を確保しましょう。
   4. 早期停止および再現性設定:検証指標(AU-PRまたはF1)が10連続エポックで改善しない場合は早期トレーニング終了(忍耐=10)。再現性を確保するために、固定されたランダムシード(42、73、101)を使って各実験を3回繰り返します。最大エポック数を100に設定し、テスト用に最良の検証AU-PRを持つチェックポイントを保持します。
3. ハードウェアおよびソフトウェア環境
   1. すべての実験は、NVIDIA Tesla V100 GPU(32GBメモリ)とIntel Xeon Gold 6230 CPUを搭載し、256GB RAMを搭載したLinuxサーバー上で行ってください。PyTorch 2.0をディープラーニングフレームワークとしてPython 3.9で実装し、前処理と評価にはNumPy 1.23、SciPy 1.9、scikit-learn 1.2などの補助ライブラリを使用します。すべての実験をDocker 23.0でコンテナ化し、Ubuntu 20.04 LTS上で管理することで、結果の再現性と移植性を確保しましょう。すべてのハードウェア機器およびソフトウェアツールの詳細な仕様は、明確さと再現性を保証するために「 材料表 」を参照してください。

結果

総合性能比較

表2は 、水質異常検出課題における異なるベースラインモデルと提案されたAG-LNNの比較結果を示しています。従来の教師なしベースラインの中で、アイソレーションフォレスト²² とワンクラスSVM²³ は、多源水質データに内在する時間的依存性を捉える能力が限られているため、精度と記憶度は中程度にとどまりました。LOF²⁴ は局所密度構造を活用することでやや良い性能を発揮しましたが、深層学習モデルと比べて性能は依然として最適とは言えませんでした。

ニューラルネットワークベースの手法では、LSTM²⁵ とBi-GRU²⁶ は再帰構造により呼び戻しが改善されましたが、長い配列や不規則なサンプリングには苦労しました。TCN...

ディスカッション

本研究では、連続時間液体ダイナミクスと注意に基づくゲートメカニズムを組み合わせた、水質異常検出のための新しいアーキテクチャである注意ゲート液体ニューラルネットワーク(AG-LNN)を導入します。AG-LNNの液体ニューラル成分は、学習可能な入力依存の時間定数²⁰で時系列をモデル化する液体時間定数ネットワーク(LTC)に触発されています。しかし、AG-LNNは標準的なLTCを超えて、2つの追加ゲートを統合しています。すなわち、DOやCOD_Mnなどの異常に関連する変数を強調する入力注意ゲートと、文脈に応じて液体の力学を動的に加速または減速する時間定数変調ゲートです。この二重ゲートにより、AG-LNNはLTCの表現的な連続時間特性を継承しつつ、解釈可能性と異常感度を向上させます。

提案された枠組みは、科学分野の発展にいくつかの点で寄与しています。まず、AG-LNNは大規模環境監視ネットワークでよく見られる不規則なサンプリングされた多変...

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
256GB DDR4 RAM	サムスン	M393A4K40DB3	大規模な多変量時系列データセットを扱うための大容量メモリ
CUDA 11.6	NVIDIA	該当なし	PyTorch用のGPUアクセラレーションツールキット
Intel Xeon Gold 6330 CPU(2.0GHz、28コア)	インテル	BX80708-6330	モデルトレーニングのメイン計算サーバーとして使用
Matplotlib 3.4、Seaborn 0.11	オープンソース	該当なし	実験結果の可視化
NumPy 1.21、Pandas 1.3	オープンソース	該当なし	データ前処理および特徴解析
NVIDIA A100 GPU(40GB)	NVIDIA	900-21001-0000-001	CUDA支援によるAG-LNNの加速訓練
Python 3.9	Pythonソフトウェア財団	該当なし	実装のための主要なプログラミング言語
パイトーチ 1.12	メタAI	該当なし	AG-LNN構築に用いられるディープラーニングフレームワーク
Scikit-learn 0.24	オープンソース	該当なし	評価指標と基準モデル
Ubuntu 20.04 LTS OS	正典	該当なし	計算環境向けオペレーティングシステム