주의 게이트 액체 신경망을 기반으로 한 수질 이상 탐지 방법

요약

본 연구는 연속 시간 모델링과 주의 기반 게이팅을 통해 우수한 정확도와 해석 가능성을 달성하여 환경 모니터링의 신뢰성을 높이고 지속 가능한 물 관리를 지원하는 수질 이상 감지를 위한 Attention-Gated Liquid Neural Network를 제안합니다.

초록

수질 모니터링 네트워크의 급속한 확장에 따라, 시계열 이상 탐지는 수생 환경 보호와 지속 가능한 관리를 보장하는 데 점점 더 중요해졌습니다. 하지만 기존 모델은 불규칙한 샘플링 구간, 다변량 상관관계, 그리고 실제 적용에서 해석 가능성 때문에 어려움을 겪는 경우가 많습니다. 이러한 도전을 해결하기 위해 본 연구는 액체 신경망(LNN)의 동적 모델링 능력을 주의 기반 게이팅 메커니즘과 통합한 주의 게이트 액상 신경망(AG-LNN)을 제안합니다. 모델은 용존 산소(DO)와 과망간산 지수(COD_Mn)와 같은 이상 관련 변수를 강조하기 위한 입력-주의 게이트와, 모델의 시간 기억을 적응적으로 조정하는 시간 상수 게이트를 도입합니다. 2019년부터 2024년까지 13개 성에서 수집된 중국 국가환경모니터링센터(CNEMC) 데이터를 사용하여, AG-LNN은 장단기 기억(LSTM), 시간 합성곱 네트워크(TCN), 트랜스포머, 그래프 신경망(GNN) 아키텍처 등 기초 모델보다 우수한 성능을 입증했습니다. 곡선 아래 정밀도 회상 면적(PR-AUC)은 0.95, F1 점수는 0.90이며, 교차 지역 및 시간적 평가에서도 안정성을 유지합니다. 컴팩트 버전인 AG-LNN-light는 정확도 손실을 최소화하면서 파라미터를 62% 줄여 효율적인 엣지 전개를 가능하게 합니다. 이 결과는 주의 게이팅 연속 시간 모델링이 대규모 수질 이상 탐지에 견고하고 해석 가능한 접근법을 제공한다는 것을 확인시켜 주었습니다.

서론

수질 모니터링은 공중 보건 보호, 수생 생태계 유지, 환경 규제 준수 보장에 필수적입니다. 토양 및 수질 평가 도구(SWAT), 기전적 QUAL 모델, 통계 예측 접근법과 같은 전통적인 수질 모델은 화학적, 생물학적, 수문학적, 기상학적 요인 1,2,3,4,5,6에 동시에 영향을 받는 수계의 매우 비선형적이고 다변량적이며 시간적으로 불규칙한 특성을 포착하는 데 종종 어려움을 겪습니다 . 따라서 수질 데이터에서 이상 탐지 개선은 여전히 시급한 과제로 남아 있습니다.

실용적으로 제안된 프레임워크는 수소(pH), 용존 산소(DO), 총 질소(TN), 총 인(TP), 과망간산염 지수(COD_Mn), 탁도, 전도도와 같은 변수를 측정하는 다중 매개변수 수질 감지 네트워크를 위해 설계되었으며, 일반적인 샘플링 간격은 15분에서 60분 사이입니다. 이 모델은 불규칙한 샘플링과 누락된 관측을 허용하여 실제 표면수 및 저수지 모니터링 시스템에 적합합니다.

수질 이상 탐지에 머신러닝의 적용

최근 몇 년간 머신러닝(ML)과 딥러닝(DL) 기법이 수질 응용 분야에서 주목받고 있습니다. 예를 들어, Wang 등^은 기전적 제약과 메커니즘적 제약을 결합한 장단기 기억 자동인코더(LSTMA-AE)를 도입하여 물 주입 펌프 작업의 이상 탐지 시 정확도를 높이고 오경보를 줄여, 보간, 무작위 숲, LSTM-AE 방법보다 훨씬 우수한 성능을 달성했습니다.

마찬가지로, Zhao 등은 물리적 제약을 손실 함수에 통합하여 해석 가능성과 수질 이상 탐지 과제에서 F1 점수를 크게 향상시키는 물리 인식 신경망(GRU-PINN) ^{모델을 제안했습니다} . ElShafeiy 등은 다변량 합성곱 네트워크-LSTM(MCN-LSTM) 아키텍처^{를 개발하} 여, 다변량 합성곱 네트워크와 LSTM을 결합하여 수질 센서 데이터에서 실시간 이상 감지를 수행하며, 현장 환경에서 향상된 탐지 능력을 입증했습니다. 또 다른 발전은 게이트-액체 신경망(Gated-LNN) 모델¹⁰으로, 게이팅 메커니즘을 액체 신경망에 융합하여 수질 지수(WQI)를 정확히 예측하고 수질을 분류하며, 인도 데이터셋에서 R² ≈ 0.9995와 99.74%의 분류 정확도를 달성합니다.

시계열 이상 탐지

DL 전용 응용 분야를 넘어, 시계열 이상 탐지는 다양한 분야에서 빠르게 발전해 왔습니다. 시계열 이상 탐지는 수질 모니터링과 조기 경보를 개선하는 핵심 기술이 되었습니다. 전통적인 통계 방법은 수질 데이터의 비선형적이고 동적인 특성을 포착하지 못하는 경우가 많아 딥러닝 모델의 적용을 촉진합니다. 예를 들어, Zhang 등은 경험적 모드 분해(EMD)와 LSTM^{을 결합하여} 비고정 신호를 더 잘 처리하여, 화학 산소 요구량(COD), 생화학적 산소 요구량(BOD₅), 총 인(TP), 총 질소(TN), 암모니아 질소(NH₃-N)의 예측 정확도를 크게 향상시켰습니다. 이를 바탕으로 Wang 등은 근사 엔트로피를 이용한 LSTM 기반 변동 분석 ^{방법을 제안하여} 실시간 이상 탐지 성능을 향상시켰습니다.

최근의 발전은 주의 메커니즘과 하이브리드 프레임워크에 중점을 두고 있습니다. Arepalli 등¹³은 양식업에서 저산소 감지를 위한 가벼운 공간 공유 주의 LSTM을 도입하여 99.8%의 정확도를 달성했으며, Zhang 등^은 공간적·시간적 주의력이 용존 산소(DO)와 NH₃-N의 CNN-LSTM 예측을 유의미하게 향상시켰음을 보여주었다. 마찬가지로, Long 등은 완전 앙상블 경험적 모드 분해와 적응 잡음-변분 모드 분해(CEEMDAN-VMD)를 주의력 강화 LSTM^{과 통합하여} 여러 지표에서 최대 0.99의 내쉬-서틀리프 효율(NSE) 값을 달성했습니다. 응용 수준에서 Xie 등은 유역 전역에서 실시간 수질 예측을 위한 이동식 LSTM 시퀀스 투 시퀀스(Seq2Seq) 시스템을 시연했습니다.

전반적으로 이 연구들은 LSTM 기반 기저선, 주의력 증강 하이브리드 모델, 시스템 수준 응용 분야에서 명확한 추세를 강조합니다. 정확도는 크게 향상되었지만, 해석 가능성, 잡음 조건에서의 견고성, 다양한 모니터링 네트워크 간 일반화 측면에서 여전히 도전 과제가 남아 있습니다.

그래프 신경망과 시공간 모델의 환경 모니터링 적용

그래프 신경망(GNN)과 시공간적 딥러닝 모델은 최근 모니터링 사이트 간의 공간적 상관관계와 수질 역학의 시간적 의존성을 모두 포착함으로써 환경 모니터링에서 상당한 잠재력을 보여주었습니다. 예를 들어, Wu 등은 폐수 처리장을 위한 사전 학습 강화 시공간 그래프 신경망(PT-STGNN)^{을 제안했으며} , 변압기 기반 사전 학습과 그래프 구조 학습을 통합하여 COD, N₃-N, TP, TN, PH, 유량의 장기 예측을 개선했습니다. 마찬가지로, Wan 등은 그래프 컨볼루션, GRU, 주의 메커니즘을 결합한 시공간 특징 GNN(STF-GNN)^{을 개발하여} 용존 산소(DO) 및 TN 예측을 크게 개선하고 강력한 분지 횡단 일반화를 입증했습니다.

하이브리드 프레임워크는 순수 데이터 기반 설계를 넘어 일반화를 강화하기 위해 등장했습니다. Mu 등은 시공간 그래프 물리학 신경망(ST-GPINN)^{을 도입했으며} , 이는 그래프 신경망(GNN) 기반 상수도 시스템에 수력 원리를 내장한 것입니다. 그래프 표현과 물리 기반 제약 조건을 결합함으로써, ST-GPINN은 최첨단 정확도를 달성하면서 소규모 네트워크에서 대규모 네트워크로 효과적으로 확장할 수 있습니다. 이 연구들은 시공간 GNN이 환경 모니터링에서 점점 더 중요한 역할을 하고 예측 정확도, 해석 가능성, 견고성을 향상시키고 차세대 지능형 수자원 관리 시스템의 토대를 마련하고 있음을 강조합니다.

액체 신경망의 장점과 잠재력

액체 신경망(LNN), 또는 액체 시간상수 네트워크는 입력에 의존하는 학습 가능한 시간 상수를 사용하여 연속 시간 역학을 독특하게 모델링합니다. Hasani 등.²⁰ 은 LNN을 도입하여 시간 순서 작업에서 표현력, 안정성, 효율성을 입증했습니다. 뇌에서 영감을 받은 적응력은 수질과 같은 역동적인 환경 현상 모델링에 유망한 후보로 보이지만, 주의 메커니즘과의 통합은 아직 탐구되지 않았습니다.

주의 메커니즘, 특히 주의 게이트는 관련 특징에 집중하고 해석 가능성을 가능하게 하는 강력한 도구입니다. 의료 영상에서 널리 사용되지만, Attention U-Net은 학습 가능한 주의 게이트를 통해 선택적 특징 정제의 기초를 마련합니다. 또한 LSTMA-AE⁷ , GRU-PINN⁸과 같은 센서 기반 이상 탐지 프레임워크에도 적용되어 중요한 패턴에 대한 민감도를 높이고 모델 투명성을 개선했습니다.

이 관찰들을 종합해 보면, 연속적인 시간 적응성과 해석 가능한 주의 메커니즘을 시너지 내는 하이브리드 아키텍처의 필요성을 시사합니다. 따라서 우리는 액체 신경망(LNN)의 동적 모델링 기능과 주요 입력이나 시간적 구간에 집중하는 주의 게이트를 통합한 Attention-Gated Liquid Neural Network(AG-LNN)를 제안합니다. 이 아키텍처는 센서 노이즈 및 불규칙 샘플링에 대한 견고성을 높이고, 단기 이상 현상에 대한 민감도를 향상시키며, 주의 열맵과 적응형 시간 상수 궤적을 통한 해석 가능성을 제공하는 것을 목표로 합니다. AG-LNN은 실제 다변량 수질 데이터셋을 기준으로 평가되었으며, LSTM, 트랜스포머, 순수 LNN, 전통적인 머신러닝 기저라인과 비교해 벤치마킹되었습니다. 정량적(정밀도, 회상, F1, AUC) 및 정성적 분석(주의력 시각화, 시간 상수 역학) 모두 제안된 모델의 효과성과 투명성을 입증했습니다.

프로토콜

참고: 이 연구의 전체 작업 흐름은 그림 1에 나와 있습니다.

1. 데이터 수집

1. 데이터 소스 식별
   1. 중국 국가환경모니터링센터(CNEMC) 공개 데이터베이스(https://www.cnemc.cn/sssj/)에서 수질 시계열 데이터를 얻으세요. 중국 내 주요 호수와 저수지를 포함하는 국가 수준의 연속 모니터링 기록을 조회합니다. 주요 물리화학적 지표로는 pH, 용존 산소(DO), 총 인(TP), 총 질소(TN), 과망간산염 지수(COD_Mn), 탁도(NTU), 전기 전도도(EC)가 있었습니다.
   2. 모니터링 시간, 관측소 운영 상태, 수질 분류(클래스 I-V)와 같은 해당 메타데이터가 다운로드된 데이터셋에 포함되었는지 확인하세요.
2. 데이터셋 검색 및 파일 명세
   1. 처리된 데이터셋을 파일 이름 cnemc_data_2019_2024 아래 통합하고 공유하여 데이터 재현성을 보장합니다. csv. 바이두 클라우드 저장소(https://pan.baidu.com/s/1ZXYxkCZAnx7tiOHJhuJ2Qg?pwd=u97h)의 파일은 모든 실험에 대한 공개 접근과 검증을 가능하게 합니다.
   2. 광둥, 후베이, 장쑤, 저장, 안후이, 푸젠, 장시, 허난, 쓰촨, 구이저우, 랴오닝, 헤이룽장, 지린의 13개 성의 모니터링 데이터를 포함하여 북부, 남부, 동부, 서부, 고원 지역의 다양한 수문 및 기후대를 대표하는 범위 확보를 보장합니다.
   3. 각 성에 동일한 수의 모니터링 기록을 할당하여 2019년 1월부터 2024년 12월까지 총 1,832건의 기록을 수집합니다. 각 방송국은 성 기반 식별자(예: 광둥성은 GD001, 후베이성은 HB001)로 라벨링하세요. 모든 기록에 대해 분지, waterbody_type(호수 또는 저수지), 계절(샘플링 시간에 따라 도출된 봄, 여름, 가을, 겨울)과 같은 설명 속성을 포함하세요.
   4. 공간 분석과 재현성을 용이하게 하기 위해 선택적 위치 필드(경도와 위도)를 추가하세요. cnemc_2019_2024에서 사용되는 완전한 필드 정의, 데이터 유형 및 단위. CSV 값은 표 1에 요약되어 있습니다.

2. 변수 선택 및 라벨링

1. 변수 선택
   1. 표면수의 가장 자주 모니터링되는 물리화학적 매개변수를 대표하는 변수를 선택하여 생태학적 관련성과 오염 또는 환경 교란에 대한 민감성을 보장합니다. 구체적으로, 다음 지표들을 포함하세요:
      pH는 물의 산-염기 균형을 반영하며 생물학적 활성과 화학적 용해도에 영향을 미칩니다
      용존 산소(DO), 수생 생태계 건강과 유기 오염을 직접적으로 나타내는 지표
      총 인(TP)과 총 질소(TN), 부영양화 과정과 관련된 두 가지 주요 영양소
      산화성 유기물 함량과 유기 오염의 간접 측정 지표인 과망간산 지수(COD_Mn)
      탁도(Tur)는 현탁 입자와 퇴적물을 반영합니다
      용존 이온의 농도와 전체 염분을 나타내는 전기 전도도(EC)
   2. 이 변수들은 CNEMC 모니터링 스테이션에서 일상적으로 이용 가능하다는 점뿐만 아니라, 이전 연구 ^{10, 11}, ¹⁴, ¹⁷에서 수질 평가 및 이상 탐지에 관한 관련성이 입증되었기 때문에 선택하세요.
2. 라벨링 전략
   1. 모델 훈련 및 평가를 지원할 수 있는 이상 라벨을 정의하세요. 두 상호 보완적인 접근법을 결합한 이중 라벨링 전략을 적용하세요.
   2. 규제 또는 전문가 기반 라벨링: 모니터링 당국으로부터 공식적으로 문서화되거나 주석이 달린 비정상 사건(예: 갑작스러운 오염물질 배출, 조류 번식, 기기 고장)을 실제 이상 현상으로 채택합니다.
   3. 데이터 기반 약한 라벨링: 통계적으로 유도되고 계절 인식이 있는 약한 라벨링 프레임워크를 적용하여 CNEMC 다변량 시계열 데이터셋에서 명시적 전문가 주석이 없는 구간 모니터링 이상을 추론합니다.
   4. 이 과정을 세 가지 주요 구성 요소로 구성하세요: 계절 정규화 수행, 분위수 기반 편차 검출 적용, 잔차 기반 평가를 통한 결과 보강.
      1. 계절 정규화: CNEMC 데이터셋에 제공된 명시적 계절 필드(봄, 여름, 가을, 겨울)를 사용하여 각 변수 x_i,t (예: DO, COD_Mn, TP, TN, 탁도)에 대한 계절 효과를 정규화합니다. 각 변수는 해당 계절별 하위 집합 내에서 표준화하는데, 이는 식(1)에 나타난 것입니다.
         (1)
         여기서 μ_i^(s)와 σ_i^(s)는 시즌 s 동안 변수 i의 평균과 표준편차입니다. 이 정규화는 여름철 DO 감소나 우기 COD_Mn 증가와 같은 체계적인 계절 변화를 보상하여 계절 간 비교 가능성을 보장합니다.
      2. 분위수 기반 약한 라벨링: 정규화 후, 같은 계절과 지방 내 각 변수에 대해 계산된 강건 분위수 임계값을 적용하여 이상 현상을 식별합니다(방정식 (2)에 나타남).
         (2)
         여기서 Q_p(⋅)는 p번째 분위수 연산자, 는 시즌 s에서 변수 i의 하부 및 상위 분위수 임계값(1차 및 99번째 백분위수)이다. 이 경계를 초과하면 데이터 포인트를 이상으로 표시하라(방정식 3에 나타난다).
         (3)
         이 단계는 지역별 및 계절별 차이를 적응적으로 고려하여 자연 수문 변동으로 인한 잘못된 탐지를 방지합니다.
      3. 잔여 기반 강화: 분위수 임계값이 놓칠 수 있는 급격한 단기 편차를 감지하기 위해 15일 중앙값 기준선을 설정하는데, 이는 식(4)에 표현됨).
         (4)
         여기서 are_i,t는 시간 t에서 변수 i의 잔여 편차이며, median(x_i,t-15:t+15)은 T 주위의 15일 이동 중간값 기준선입니다. 절대 잔차가 계절 표준편차(|r_i,t| > 3σ_i^(s))의 3배를 초과하면 데이터 포인트를 잔여 이상 현상으로 표시합니다. 이 잔류 보강은 오염물질 배출, 강우 사건, 일시적 센서 결함으로 인한 일시적 급증을 효과적으로 포착했습니다.
      4. 결합된 약한 라벨 결정: 분위수 기반과 잔차 기반 이상 지표를 융합하여 식(5)에 정의된 대로 이진 약한 라벨 y_t를 할당한다.
         (5)
         여기서 y_t=1은 시간 t에서 적어도 하나의 매개변수가 이상 행동을 보이고, y_t = 0은 모든 매개변수에서 정상 관측을 나타냅니다.
         결합된 라벨링 절차를 사용하여 CNEMC 데이터셋 내 13개 주와 5개 기후 지역에 걸쳐 데이터 기반 약한 주석 집합을 생성합니다. 이 라벨들을 신뢰 가중 학습에 통합하면, 전문가가 검증한 주석(가중치 1.0)에 비해 약한 라벨에 신뢰 가중치 0.7을 부여합니다.
   5. 주석 유형 비율
      1. 공식 환경 보고서에서 도출된 전문가 검증 주석은 약 42%, 연속 모니터링 데이터에서 생성된 약한 주석은 58%를 사용합니다. z-점수 임계값 설정과 계절 추세 분해(STL)를 휴리스틱 융합하여 다변량 수질 시계열에서 잠재적 이상 현상을 감지합니다. 선택된 주석 비율은 결과 부분 5.1절(주석 비율의 효과)에 제시된 실험을 통해 검증됩니다. 이 결과들은 경험적으로 최적의 균형이 약 40:60 전문가 대 약자 비율에서 발생하며, 이는 실제 데이터셋 구성과 일치함을 확인시켜 줍니다.
   6. 약한 주석 정확도 검증
      1. 약하게 주석이 달린 샘플의 신뢰성을 환경 전문가와 교차 검증하여 800개의 약하게 표시된 인스턴스 중 무작위 하위 집합을 확인한다. 약한 주석과 전문가 판단 간의 합의율을 기록하는데, 이는 약 87.5%에 이를 것으로 예상됩니다. 이상 신뢰도가 낮은 샘플(< 0.6)이나 전문가 검증 세트와 일치하지 않는 샘플은 학습 데이터에서 제거합니다.
      2. 약한 주석을 90% 이상의 유효 정확도로 유지하세요. 약한 주석의 신뢰성과 모델 성능에 미치는 영향을 살펴보며, 통제된 실험에서 약한 라벨 정확도를 90% 이상 유지하는 것이 훈련 편향을 효과적으로 방지하고 안정적인 예측 동작을 보장한다는 것을 확인했습니다.
   7. 편향 완화
      1. 훈련 중에는 약한 주석으로 인한 잠재적 편향을 완화하기 위해 신뢰도 가중 학습 전략을 적용하세요. 손실 함수를 식(6)에 정의하라.
         (6)
         여기서 y_i∈{0,1}는 i번째 샘플의 근전 진실 레이블을 나타내며, P_I 는 모델이 예측한 확률을, W_I 는 각 샘플에 할당된 가중치, N은 총 샘플 수를 나타냅니다.
      2. 표본 가중_{치 wi} 는 라벨의 출처와 신뢰 수준을 바탕으로 (7)식에 표시되어 있습니다.
         (7)
         여기서 c_i∈[0,1]는 i번째 주석의 신뢰도 점수를 나타내며, α,β는 각각 전문가 및 약한 라벨에 대한 전역 가중 계수입니다. 실증 분석 결과, α=1.0, β=0.7을 설정하면 성능과 안정성 간의 최선의 절충을 달성할 수 있는데, 이 가중치는 약한 라벨의 잔여 잡음을 효과적으로 억제하면서도 광범위한 범위에서 충분한 기여를 유지할 수 있습니다.
      3. 이상 탐지의 핵심 변수로 7가지 물리화학적 매개변수(pH, DO, TP, TN, COD_{, MN}, TUR, EC)를 선택하세요. 이 지표들을 활용해 표면수의 영양염 상태, 유기 오염, 산소 가용성, 이온 조성을 포괄적으로 나타냅니다. 각 변수에 대한 상세한 설명을 제공하세요.

3. 데이터 품질 관리 및 전처리

1. 다중 출처 수질 모니터링 데이터의 신뢰성과 모델링 적용성을 보장하기 위해 계층적 데이터 품질 관리 및 전처리 파이프라인을 구축합니다. 순차적으로 시간 정렬, 누락 값 보철, 이상 탐지, 스케일 정규화, 윈도우드 샘플 구성을 수행합니다. 데이터의 구체적인 특성에 따라 적절한 방법을 동적으로 선택하고 결합하세요.
2. 시간 정렬 및 재샘플링: 모든 모니터링 스테이션 시퀀스를 동기화되지 않은 타임스탬프를 고려하여 통합된 15분 시간 해상도로 정렬합니다. 불규칙한 샘플링의 경우, 식(8)에 따라 인접한 관측값 간에 선형 보간을 적용합니다. 이후 윈도우 샘플들이 일관된 시간 격자 위에 구성되었는지 확인하세요.
   (8)
3. 결측 값 처리
   1. 연속된 공백의 길이에 따라 결손 값을 단기(<6개의 연속 지점, 즉 <1.5시간)와 장기 결석(≥6개의 연속 점)로 분류하고, 이에 따라 다양한 전략이 적용되었습니다.
   2. 칼만 필터링과 평활화를 적용하여 장기 누락 구간(연속 6점)에 대해 동적 추정을 수행≥. 각 수질 변수 x_t (예: DO, TN, COD_Mn)를 이산 선형 상태 공간 공식화로 모델링할 수 있습니다.
      방정식 (9)부터 (11)까지.
      (9)
      (10)
      (11)
      여기서 x_t 는 시간 t에서 수질 변수의 잠재(진) 상태, y_t 는 해당 관측값이다; A는 15분 관측에서 높은 시간적 상관관계를 반영하는 상태 전이 계수(경험적으로 0.95로 설정), H는 관측 행렬(직접 측정은 1로 설정), w_t ∼ N(0,Q)와 v_t ∼ N(0,R)은 각각 제로 평균 가우시안 과정과 측정 잡음이다; Q = (0.05σ_x)² 그리고 R=(0.10σ_x)²이며, 여기서_{σ x} 는 7일 슬라이딩 윈도우 내 변수의 표준편차입니다.
   3. 필터를 단기 변동성에 민감하게 유지하면서도 무작위 측정 잡음을 억제하도록 구성하세요. 첫 번째 누락되지 않은 관측값을 사용하여 초기 상태를 초기화하고, 초기 공분산 P_0|0을 로 설정한다. 누락된 구간이 24시간(96 레코드)을 초과하면 장기 외삽으로 인한 오류 누적을 방지하기 위해 전체 세그먼트를 제거하세요.
4. 이상 현상 탐지 및 보정
   1. 이상 현상을 두 단계로 식별하고 수정합니다: 하드 제약(물리적 한계)과 부드러운 제약(구배 극한과 분위수 윈소라이제이션 등).
      1. 하드 제약(물리적 한계): 물리적으로 그럴듯한 범위(예: pH∉[0,14], DO>20 mg/L)를 벗어난 측정값은 버리세요.
      2. 소프트 제약 조건(그라디언트 극한 + 분위수 윈소라이제이션): 두 연속 관측값 간의 절대 변화율이 경험적으로 정의된 기울기 임계값 |x_t - x_t-1 | 를 초과하면 데이터 포인트를 의심스럽다고 표시합니다 > θ. θ=3σ_x ^Δt-1을 설정하며, 여기서 σ x는 24시간 슬라이딩 윈도우 내 변수의 표준편차를, Δt = 15분은 샘플링 구간을 나타냅니다. 방정식(12)에 표현된 윈소라이제이션 절차를 사용하여 극단값을 정정합니다.
         (12)
         여기서 Q_α 와 Q_1-α는 각각 1%와 99%를 나타냅니다.
         이 절차는 먼저 하드 제약을 통해 불가능한 값을 제거하고, 그라디언트 임계값을 기반으로 비정상적인 관측을 표시하며, 마지막으로 분위수 기반 윈소라이제이션을 사용해 잔여 편차를 부드럽게 합니다. 이러한 계층적 접근법은 정제된 데이터셋의 물리적 타당성과 통계적 안정성을 모두 보장했습니다.
5. 정규화
   1. 수질 지표마다 단위와 값이 다릅니다. 척도 차이를 제거하고 특정 변수가 모델 학습 과정에서 지배하는 것을 방지하기 위해 z-점수 정규화를 적용합니다.
6. 창문 샘플 구조
   1. 시간 순서를 고정 길이의 슬라이딩 윈도우 샘플로 변환하여 시간적 의존성을 보존합니다. 윈도우 길이 W와 스텝 크기 S가 주어지면, 식(13)에 따라 입력 샘플을 구성한다.
        (13)
      W=96(즉, 15분 간격으로 24시간)과 S=1을 설정하여 포인트별 슬라이딩 창을 사용해 순차적으로 샘플을 생성합니다.

4. 주의 게이트 액체 신경망(AG-LNN)

참고: 제안된 주의 게이트 액체 신경망(AG-LNN)의 전체 구조는 그림 2에 나와 있습니다. 이 모델은 다중 소스 수질 입력, 주의 기반 게이팅 메커니즘, 적응형 시간 상수를 가진 LNN, 그리고 해석 가능성 출력이 있는 읽기-디코딩 단계를 통합합니다. 이 설계는 네트워크가 복잡한 시간적 의존성을 동적으로 포착하면서도 노이즈와 비균일 샘플링에 강인함을 유지할 수 있게 합니다.

1. 다중 소스 입력 계층: 그림 2 의 가장 왼쪽 부분을 참고하여 다중 소스 수질 모니터링 데이터 {x_τ}를 시각화하라. 여기서 각 벡터 x_τ∈R^C 는 시간 τ에서 C 물리화학적 변수(예: pH, DO, TN, TP, COD_Mn, 탁도, EC)의 측정값을 나타낸다. 입력 서열을 방정식(14)에 따라 크기 W의 고정 길이 슬라이딩 윈도로 분할합니다.
   (14)
2. 입력 주의 게이트: 그림 2의 왼쪽 아래 블록에서 볼 수 있듯이 정보 변수를 강조하고 잡음 변동을 억제하기 위해 주의 게이트를 적용합니다. 식(15)에 따라 주의 가중치를 계산합니다.
   (15)
   여기서 α_τ 는 시간 τ에서의 채널 수준 중요성을 나타냅니다. 이 메커니즘은 비정상 변화와 높은 상관관계가 있는 변수들(예: DO, COD_Mn)에 더 큰 가중치를 부여하도록 보장합니다.
3. 시간 상수 게이트
   1. 그림 2의 상단 블록에 나타난 것처럼 집계된 주의 신호를 사용하여 액체 시간 상수를 변조하고, 식(16)에 따라 공식화합니다.
      (16)
      여기서 λ_베이스 는 각 액체 뉴런의 내재 기억을 제어하는 기준선 시간 상수이다; 는 타임스텝 τ에서 C 채널 간의 평균 주의 가중치를 나타내며, β 주의가 시간적 반응성에 얼마나 강하게 영향을 미치는지를 결정하는 감도 계수입니다.
   2. 가 높을 때 λ_τ 가 감소하여 네트워크가 반응을 가속화하고 단기 이상 신호를 더 잘 포착하도록 유도합니다. 훈련을 안정시키기 위해 λ_τ 에 대한 경계 제약을 부과합니다.
   3. 시간 상수 λ_τ에 대한 경계 제약을 적용하여 수치적 안정성을 보장하고 폭발하거나 사라지는 동역학을 방지한다. 집합 λ_τ ∈ [λ_{min,λ max}] = [0.5,2.0]. 훈련 중 이 범위 밖의 값은 가장 가까운 경계로 클리핑하여 다양한 환경 조건에서 통제된 적응 행동을 유지하세요. λ = 1.0을 설정하면 최적의 정밀도와 수렴 안정성이 향상됩니다.
4. 액체 신경층
   1. 액체 신경망(LNN)을 사용하여 시계열의 연속 시간 모델링을 수행하고, 방정식(17)에 나타난 것처럼 동적 공식화를 표현합니다.
      (17)
      여기서 ḣ(t)는 숨겨진 상태 벡터를 나타내며; λ(⋅)는 주의에 의해 변조된 학습 가능한 시간 상수를 나타내며; σ(∙)는 비선형 활성화 함수(ReLU)입니다; A와 B는 학습 가능한 가중치 행렬이며; x̃(t)는 정규화된 입력 벡터이며; B는 편향 항입니다. 이 방정식은 네트워크 역학이 입력과 상태 모두에 따라 진화하도록 보장하며, 시간 상수 λ(⋅)는 학습 가능하고 맥락에 따라 달라집니다.
   2. 수치 계산의 경우, 이산화를 위해 명시적 오일러 적분 방법을 사용하는데, 이는 방정식(18)에 나타난 바와 같다.
      (18)
      여기서 Δ_τ 는 연속적인 관측값 사이의 이산 시간 간격(적분 구간)을 나타내며, 방정식(19)을 사용해 계산된다.
      Δ_τ=(t_τ - t_τ-1)/T_norm (19)
      여기서 t_τ 와 t_τ-1은 연속 측정의 타임스탬프(분 단위)이며, T_노름 = 15분은 CNEMC 모니터링 데이터의 명목상 샘플링 기간에 해당합니다. 따라서 규칙적인 15분 간격에서는 Δ_τ = 1이고, Δ_τ > 1 또는 Δ_τ < 1은 누락되거나 밀집된 관측으로 인한 불규칙 샘플링을 반영합니다. 이 접근법은 불규칙 샘플링을 자연스럽게 처리하면서도 근본적인 물리적 역학에 대한 해석 가능성을 유지합니다.
5. 판독 및 이상 점수 산정
   1. 숨겨진 상태 업데이트를 완료한 후, AG-LNN의 읽기 계층을 사용하여 식(20)에 표현된 대로 한 단계 앞서 예측을 생성합니다.
      (20)
      여기서 W,_o , c는 각각 출력 투영 행렬과 바이어스 벡터를 나타냅니다.
   2. 예측값과 관측값 간의 차이를 바탕으로 잔차를 이상성 점수로 계산하는데, 이는 식(21)에 나타난 것입니다.
      (21)
   3. 분위수 기반 적응 임계값 전략을 적용하여 관측이 이상 현상에 해당하는지 판단합니다.
   4. 훈련 집합 잔차의 99번째 백분위수를 사용하여 각 수질 변수에 대해 이상 임계값 θ_x 를 정의하라(방정식(22)에 명시됨).
      (22)
      여기서_{σ s} 는 잔차 수열의 표준편차를 나타내며, γ = 0.2는 자연스러운 일주기 변동을 보상하는 고정된 안전 계수입니다.
   5. 이 설계는 표준 환경 이상 정의와 일치하는 약 1% 초과 확률에 해당합니다. 추론 과정에서 네트워크는 이상 결정을 위해 잔류 수열 {s_τ}만 출력하며, 방정식 (14)–(15)에 따라 사후 수행됩니다. 이 분리 설계는 전체 연구 프레임워크와 일치하여, 모델이 임계값 설정에 직접 참여하기보다는 특징 추출과 이상 측정에 집중하도록 보장합니다.
6. 교육 목표와 정규화
   1. 훈련 중에는 예측 오차를 최소화하는 동시에 주의 가중치와 시간 상수 모두에 추가적인 정규화를 적용하여 과적합과 수치 불안정성을 방지합니다. 손실 함수는 식(23)으로 표현됩니다.
      (23)
   2. 주의 붕괴를 피하기 위해 엔트로피 정규화 -∑α_τ 로그α_τ 또는 L1-노름을 통해 레귤러_α을 적용하세요. Δλ_τ = λ_τ - λ_τ-1에 벌칙을 부여하고, 시간 상수의 극심한 변동을 제한하며, 미리 정의된 상한과 하한을 초과할 때 벌칙을 추가하는 방식으로 레규_λ를 적용합니다. 이 접근법은 AG-LNN의 유연성을 유지하면서 훈련 중 안정성을 보장하기 위해 사용되었습니다.
7. 순방향 계산 및 해석 가능성 출력
   1. AG-LNN의 순방향 계산 과정을 다음과 같은 사슬 구조로 단순화하라.
      (24)
   2. 훈련과 추론 과정에서 주의 가중치α_τ 와 액체 시간 상수 λ_τ를 지속적으로 기록하고, 이를 이용해 해석 가능한 결과, 즉 주의 열맵과 액체 시간 상수 곡선을 생성합니다. 이 시각화를 활용해 모델이 다양한 변수와 시간 척도에 집중하는 방식을 강조하여 방법의 해석 가능성을 향상시킵니다.

5. 훈련 절차

1. 데이터 분할: 다중 수질 시계열을 70%/15%/15% 분할을 사용해 훈련, 검증, 테스트 하위 집합으로 시간 순서대로 나눕니다. 시간 누수를 방지하기 위해 알려진 이상 기간을 포함하는 테스트 세트를 선택하되, 훈련 데이터와 엄격히 중복하지 않도록 하여 견고성을 보장합니다.
2. 교육 세부 사항
   1. 안정화된 명시적 오일러 스킴을 사용하여 액체층의 연속 동역학을 풀어라. 비교를 위해, 참조된^20,21 공식에 따라 닫힌 형태 이산화를 검증합니다.
   2. 주의 워밍업 일정: 처음 10 에포크 동안 주의 가중치를 거의 균일한 값(≈ 1.0)으로 고정하여 구배 흐름을 안정화합니다. 에포크 10 이후에는 다음 5 에포흐(스케일링 팩터 = 0.8)에 걸쳐 가중치 업데이트를 선형적으로 해제하여 학습 가능한 상태에 주의를 점차 조정합니다. 이 워밍업 전략을 사용해 훈련 시작 시 불안정한 진동을 방지하고 원활한 수렴을 보장합니다.
   3. 옵티마이저 및 학습률 스케줄러: β₁ = 0.9, β₂ = 0.999, ε = 1 x 10⁻⁸ 조건으로 아담 옵티마이저를 사용해 모델 매개변수를 최적화합니다. 초기 학습 속도를 1 x 10⁻³로 설정하고, 코사인 어닐링 스케줄(T_max = 50 에포크, 최소 학습률 = 1 x 10⁻⁵)로 제어합니다. GPU 메모리 용량에 따라 32에서 128 사이의 배치 크기를 선택하세요. 이러한 점진적 스케줄링을 적용하여 급격한 학습률 변화 없이 연속 시간 역학의 안정적인 적응을 보장하세요.
   4. 조기 중단 및 재현성 설정: 검증 지표(AU-PR 또는 F1)가 10년 연속 에포크(인내심 = 10) 개선되지 않으면 조기 종료. 재현성을 보장하기 위해 고정된 무작위 시드(42, 73, 101)를 사용해 각 실험을 3번 반복하세요. 최대 에포크 수를 100으로 설정하고, 테스트용으로 검증 가능한 최적의 검증 AU-PR을 가진 체크포인트를 유지하세요.
3. 하드웨어 및 소프트웨어 환경
   1. 모든 실험은 NVIDIA Tesla V100 GPU(32GB 메모리)와 256GB RAM을 탑재한 인텔 제온 골드 6230 듀얼 CPU가 장착된 리눅스 서버에서 수행하세요. 딥러닝 프레임워크로 PyTorch 2.0을 사용해 Python 3.9에서 모델을 구현하고, NumPy 1.23, SciPy 1.9, scikit-learn 1.2 등 보조 라이브러리를 사용하여 전처리 및 평가를 수행하세요. 모든 실험을 Docker 23.0으로 컨테이너화하고 Ubuntu 20.04 LTS에서 관리하여 결과의 재현성과 이식성을 보장합니다. 모든 하드웨어 장치 및 소프트웨어 도구의 상세 사양은 명확성과 재현성을 보장하기 위해 자료 표를 참조하십시오.

결과

전체 성능 비교

표 2는 수질 이상 탐지 과제를 위한 다양한 기초 모델과 제안된 AG-LNN 간의 비교 결과를 제시합니다. 전통적인 비감독 기준선 중 Isolation^{Forest 22} 와 One-Class SVM²³ 은 중간 정도의 정밀도와 회상력을 달성했으며, 이는 다중 출처 수질 데이터에 내재된 시간적 의존성을 포착하는 데 한계가 있음을 반영했습니다. LOF²⁴ 는 국소 밀도 구조를 활용해 약간 더 나은 성능을 보였으나, 딥러닝 모델에 비해 성능은 여전히 최적이 아니었습니다.

신경망 기반 방법에서는 LSTM²⁵ 와 Bi-GRU²⁶ 이 반복 구조 덕분에 회상...

토론

본 연구는 연속 시간 액체 역학과 주의 기반 게이팅 메커니즘을 결합한 새로운 수질 이상 탐지 아키텍처인 주의 개폐 액체 신경망(AG-LNN)을 소개합니다. AG-LNN의 액체 신경 성분은 학습 가능한 입력 의존 시간 상수²⁰으로 시계열을 모델링하는 액체 시상수 네트워크(LTC)에서 영감을 받았습니다. 그러나 AG-LNN은 표준 LTC를 넘어 두 가지 추가 게이트를 통합합니다: DO와 COD_Mn과 같은 이상 관련 변수를 강조하는 입력 주의 게이트와, 맥락에 따라 액체 역학을 동적으로 가속하거나 감속하는 시간상수 변조 게이트입니다. 이 이중 게이팅은 AG-LNN이 LTC의 표현적 연속 시간 특성을 계승하면서 해석 가능성과 이상에 대한 민감도를 높인다.

제안된 프레임워크는 여러 면에서 과학 분야의 발전에 기여합니다. 첫째, AG-LNN은 대규모 환...

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
256GB DDR4 RAM	삼성	M393A4K40DB3	대규모 다변량 시계열 데이터셋 처리를 위한 대용량 메모리
CUDA 11.6	엔비디아	해당 없음	PyTorch용 GPU 가속 툴킷
인텔 제온 골드 6330 CPU (2.0GHz, 28코어)	인텔	BX80708-6330	모델 훈련을 위한 주요 계산 서버로 사용됨
Matplotlib 3.4, Seaborn 0.11	오픈 소스	해당 없음	실험 결과의 시각화
넘버피 1.21, 판다스 1.3	오픈 소스	해당 없음	데이터 전처리 및 특징 공학
NVIDIA A100 GPU (40GB)	엔비디아	900-21001-0000-001	CUDA 지원을 통한 AG-LNN 가속화 교육
파이썬 3.9	파이썬 소프트웨어 재단	해당 없음	구현을 위한 주요 프로그래밍 언어
파이토치 1.12	메타 AI	해당 없음	AG-LNN 구축에 사용되는 딥러닝 프레임워크
Scikit-learn 0.24	오픈 소스	해당 없음	평가 지표 및 기준선 모델
Ubuntu 20.04 LTS OS	정경	해당 없음	계산 환경을 위한 운영 체제