方法文章

基于注意力门控液体神经网络的水质异常检测方法

DOI:

10.3791/69492

2026年2月6日

* These authors contributed equally

本文内容

摘要

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本研究提出了一种用于水质异常检测的注意力门控液体神经网络,该方法通过连续时间建模和基于注意力的门控机制,实现了更高的准确性和可解释性,从而增强了环境监测的可靠性,并支持可持续的水资源管理。

摘要

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

随着水质监测网络的迅速扩展,时间序列异常检测在保护水生环境和确保其可持续管理方面变得日益关键。然而,传统模型在实际应用中常常难以应对不规则的采样间隔、多变量相关性以及模型可解释性等问题。为解决这些挑战,本研究提出了一种注意力门控液态神经网络(Attention Gated-Liquid Neural Network, AG-LNN),该模型将液态神经网络(Liquid Neural Network, LNN)的动态建模能力与基于注意力机制的门控结构相结合。该模型引入了输入注意力门,以突出溶解氧(DO)和高锰酸盐指数(CODMn)等与异常相关的变量;同时设计了时间常数门,可自适应地调节模型的时间记忆特性。基于中国国家环境监测中心(CNEMC)在2019年至2024年间覆盖13个省份的监测数据,AG-LNN在多种基线模型上表现出更优性能,包括长短期记忆网络(LSTM)、时间卷积网络(TCN)、Transformer以及图神经网络(GNN)架构。该模型实现了0.95的精确率-召回率曲线下面积(PR-AUC)和0.90的F1分数,并在跨区域和跨时间评估中保持稳定。其轻量化版本AG-LNN-light在精度损失极小的情况下将参数量减少了62%,支持高效的边缘端部署。结果表明,基于注意力门控的连续时间建模为大规模水质异常检测提供了一种鲁棒且可解释的解决方案。

引言

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

水质监测对于保护公众健康、维持水生生态系统以及确保符合环境法规至关重要。传统的水质模型,如土壤与水资源评估工具(SWAT)、机理型QUAL模型以及统计预测方法,往往难以捕捉受化学、生物、水文和气象因素共同影响的水体系统所具有的高度非线性、多变量以及时序不规则的特征1,2,3,4,5,6。因此,提升水质数据中异常检测的准确性仍是一项紧迫的挑战。

从实际应用角度来看,所提出的框架适用于多参数水质传感网络,用于测量氢离子浓度指数(pH)、溶解氧(DO)、总氮(TN)、总磷(TP)、高锰酸盐指数(CODMn)、浊度和电导率等变量,典型采样间隔为15至60分钟。该模型能够容忍不规则采样和缺失观测数据,因此适用于地表水和水库监测系统的实际部署。

机器学习在水质异常检测中的应用

近年来,机器学习(ML)和深度学习(D....

访问受限。请登录或开始试用以查看此内容。

方案

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

注意:本研究的整体工作流程见图1

1. 数据采集

  1. 数据来源识别
    1. 从中国国家环境监测中心(CNEMC)公共数据库(https://www.cnemc.cn/sssj/)获取水质时间序列数据。获取覆盖中国主要湖泊和水库的连续国家级监测记录。关键理化指标包括 pH、溶解氧(DO)、总磷(TP)、总氮(TN)、高锰酸盐指数(CODMn)、浊度(NTU)和电导率(EC)。
    2. 确保下载的数据集包含相应的元数据,如监测时间、监测站点运行状态和水质分类(Ⅰ–Ⅴ类)。
  2. 数据集获取与文件规范
    1. 通过整理并共享处理后的数据集,文件名为 cnemc_data_2019_2024.csv,以确保数据可重复性。该文件存放于百度云仓库(https://pan.baidu.com/s/1ZXYxkCZAnx7tiOHJhuJ2Qg?pwd=u97h),供公众访问并验证所有实验。
    2. 包含来自13个省份(广东、湖北、江苏、浙江、安徽、福建、江西、河南、四川、贵州、辽宁、黑龙江和吉林)的监测数据,以确保涵盖中国北方、南方、东部、西部及高原地区等不同水文与气候区域的代表性。
    3. 为每个省份分配相同数量的监测记....

访问受限。请登录或开始试用以查看此内容。

结果

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

总体性能比较

表2展示了不同基线模型与所提出的AG-LNN在水质异常检测任务中的对比结果。在传统的无监督基线方法中,孤立森林22和一类支持向量机23仅取得了中等水平的精确率和召回率,反映出它们在捕捉多源水质数据中固有的时间依赖性方面能力有限。局部离群因子24通过利用局部密度结构表现稍好,但其性能与深度学习模型相比仍不理想。

对于基于神经网络的方法,LSTM25 和 Bi-GRU26 由于其循环结构,在召回率方面表现出提升,但在处理长序列和不规则采样时仍存在困难。TCN27 通过有效建模短期波动,在精确率方面取得了具有竞争力的性能。基于 Transformer 的架构在长距离依赖.......

访问受限。请登录或开始试用以查看此内容。

讨论

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本研究提出了一种注意力门控液体神经网络(Attention-Gated Liquid Neural Network, AG-LNN),这是一种用于水质异常检测的新型架构,结合了连续时间液体动力学与基于注意力的门控机制。AG-LNN中的液体神经组件灵感来源于液体时间常数网络(Liquid Time-constant Networks, LTCs),后者通过可学习的、依赖输入的时间常数对时间序列进行建模20。然而,AG-LNN在标准LTC的基础上进一步引入了两个额外的门控机制:输入注意力门,用于突出与异常相关的变量(如溶解氧DO和高锰酸盐指数CODMn);时间常数调制门,可根据上下文动态加速或减缓液体动力学过程。这种双重门控机制确保AG-LNN在继承LTC表达能力强的连续时间特性的同时,提升了模型的可解释性与对异常的敏感性。

该框架在多个方面推动了科学领域的发展。首先,AG-LNN 解决了大规模环境监测网络中常见的不规则采样多变量传感器数据的处理难题。与需要固定时间间隔的离散时间RNN不同,AG-L.......

访问受限。请登录或开始试用以查看此内容。

致谢

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

本研究由2024年广东省高校特色创新项目“基于无线传感器网络的水质监测与预警系统”(项目编号:2024KTSCX304)、广州南洋理工职业学院2024年校级科研项目“基于物联网的水箱管理系统”(项目编号:NY-2024KYZD-01)、2022年广东省重点领域专项(新一代电子信息)“基于HarmonyOS的水产养殖在线预测、预警与联动防控系统”(项目编号:2022ZDZX1081)以及2021年广东省高职院校高水平专业群建设项目“大数据技术专业群”(项目编号:GSPZYQ2020089)资助。

....

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
256 GB DDR4 内存SamsungM393A4K40DB3用于处理大规模多变量时间序列数据集的高容量内存
CUDA 11.6NVIDIAN/APyTorch 的 GPU 加速工具包
Intel Xeon Gold 6330 CPU (2.0GHz, 28 核)IntelBX80708-6330用作模型训练的主计算服务器
Matplotlib 3.4, Seaborn 0.11开源N/A实验结果的可视化
NumPy 1.21, Pandas 1.3开源N/A数据预处理与特征工程
NVIDIA A100 GPU (40GB)NVIDIA900-21001-0000-001支持 CUDA 的 AG-LNN 加速训练
Python 3.9Python 软件基金会N/A实现所使用的主要编程语言
PyTorch 1.12Meta AIN/A用于构建 AG-LNN 的深度学习框架
Scikit-learn 0.24开源N/A评估指标与基线模型
Ubuntu 20.04 LTS 操作系统CanonicalN/A计算环境的操作系统

参考文献

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wu, J., Wang, Z. A Hybrid Model for Water Quality Prediction Based on an Artificial Neural Network, Wavelet Transform, and Long Short-Term Memory. Water. 14 (4), 610(2022).
  2. Nazari, M., Kerachian, R.

访问受限。请登录或开始试用以查看此内容。

重印与许可

申请许可以重复使用本 JoVE 文章的文本或图表

申请许可

标签

相关文章