Методическая статья

Метод обнаружения аномалий качества воды на основе жидкой нейронной сети с контролем внимания

DOI:

10.3791/69492

⸱

6 февраля 2026 г.

 ,  ,  ,  ,  , 
1School of Architecture and Art, Guangzhou Nanyang Polytechnic College, 2School of Big Data and Artificial Intelligence, Guangdong Polytechnic of Water Resources and Electric Engineering

* These authors contributed equally

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В данном исследовании предлагается использование жидкостной нейронной сети с ограничением внимания для обнаружения аномалий качества воды, которая обеспечивает высшую точность и интерпретируемость за счёт непрерывного моделирования и контроля на основе внимания, тем самым повышая надёжность экологического мониторинга и поддерживая устойчивое управление водными ресурсами.

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

С быстрым расширением сетей мониторинга воды обнаружение аномалий по временным рядам становится всё более важным для защиты водных сред и обеспечения их устойчивого управления. Однако традиционные модели часто испытывают трудности с нерегулярными интервалами выборки, многомерными корреляциями и интерпретируемостью на практике. Для решения этих задач в исследовании предлагается нейронная сеть с ограничением внимания и жидкости (AG-LNN), которая интегрирует возможности динамического моделирования жидкой нейронной сети (LNN) с механизмами гейтинга, основанного на внимание. Модель вводит элемент входа-внимания для выделения переменных, релевантных к аномалиям, таких как растворённый кислород (DO) и индекс перманганца (COD Mn), а также временно-константный элемент, который адаптивно корректирует временную память модели. Используя данные Китайского национального центра экологического мониторинга (CNEMC), собранные в период с 2019 по 2024 год в 13 провинциях, AG-LNN продемонстрировала превосходящую производительность по сравнению с базовыми моделями, включая архитектуры долгосрочной краткосрочной памяти (LSTM), временной сверточной сети (TCN), трансформаторов и графовых нейронных сетей (GNN). Он достигает точного уровня отбора под кривой (PR-AUC) 0,95 и оценки F1 0,90, сохраняя стабильность при кросс-региональных и временных оценках. Компактная версия, AG-LNN-light, снижает параметры на 62% с минимальными потерями точности, что позволяет эффективно развертывать кромки. Результаты подтвердили, что моделирование с ограничением внимания в непрерывном времени обеспечивает надёжный и интерпретируемый подход к крупномасштабному обнаружению аномалий качества воды.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Мониторинг качества воды необходим для защиты общественного здоровья, поддержания водных экосистем и обеспечения соблюдения экологических норм. Традиционные модели качества воды, такие как Tool Soil and Water Assessment Tool (SWAT), механистическая модель QUAL и методы статистического прогнозирования, часто испытывают трудности с отражанием крайне нелинейной, многомерной и временно нерегулярной природы водных систем, одновременно под влиянием химических, биологических, гидрологических иметеорологических факторов 1,2,3,4,5,6 . Поэтому улучшение обнаружения аномалий в данных о качестве воды остаётся актуальной задачей.

На практике предлагаемая структура предназначена для многопараметрических сетей датчиков качества воды, которые измеряют такие переменные, как потенциал водорода (pH), растворённый кислород (DO), общий азот (TN), общий фосфор (TP) и индекс перманганата (COD Mn), мутность и проводимость, с типичными интервалами отбора проб от 15 до 60 минут. Эта модель терпит нерегулярный отбор проб и отсутствие наблюдений, что делает её подходящей для реального применения в системах мониторинга поверхностных вод и резервуаров.

Применение машинного обучения в обнаружении аномалий качества воды

В последние годы методы машинного обучения (ML) и глубокого обучения (DL) получили популярность в области применения качества воды. Например, Ванг и др.7 представили автоэнкодер с долговременной краткосрочной памятью и вниманием (LSTMA-AE) в сочетании с механистическими ограничениями для повышения точности и снижения ложных тревог при обнаружении аномалий при работе насоса для впрыска воды, обеспечив значительно лучшую производительность, чем методы интерполяции, случайного леса или LSTM-AE.

Аналогично, Чжао и др. предложили модель Gated Recurrent Unit with Physics-Informed Neural Network (GRU-PINN), которая учитывает физические ограничения в функцию потерь, значительно повышая интерпретируемость и F1-балл в задачах обнаружения аномалий качества воды. ЭльШафей и др. разработали архитектуру многомерной сверточной сети-LSTM (MCN-LSTM), объединив многомерные сверточные сети с LSTM для обнаружения аномалий в реальном времени в данных датчиков качества воды, демонстрируя улучшенные возможности обнаружения в полевых условиях. Ещё одним достижениемявляется модель 10 Gated-Liquid Neural Network (Gated-LNN), которая объединяет механизмы гейтинга с жидкостными нейронными сетями для точного прогнозирования Индекса качества воды (WQI) и классификации качества воды, достигаяR 2 ≈ 0,9995 и точности классификации 99,74% на индийских наборах данных.

Обнаружение аномалий временных рядов

Помимо специфических для DL приложений, обнаружение аномалий временных рядов быстро развивается в различных областях. Обнаружение аномалий по временным рядам стало ключевым методом для улучшения мониторинга качества воды и раннего предупреждения. Традиционные статистические методы часто не учитывают нелинейные и динамические характеристики данных о качестве воды, что приводит к применению моделей глубокого обучения. Например, Чжан и др.11 комбинировали эмпирическую декомпозицию (EMD) с LSTM для лучшей обработки нестационарных сигналов, значительно повысив точность прогнозирования химического спроса на кислород (COD), биохимического спроса на кислород (BOD₅), общего фосфора (TP), общего азота (TN) и аммиачного азота (NH₃-N). Основываясь на этом, Ванг и др.12 предложили метод флуктуационного анализа на основе LSTM с использованием приближённой энтропии, который повышает эффективность обнаружения аномалий в реальном времени.

Недавние достижения делают акцент на механизмах внимания и гибридных рамках. Арепалли и др.13 ввели лёгкий пространственно совместный LSTM для обнаружения гипоксии в аквакультуре, достигнув точности 99,8%, а Чжан и др.14 показали, что пространственное и временное внимание значительно улучшает прогнозирование растворённого кислорода (DO) и NH₃-N. Аналогично, Лонг и др.15 интегрировали полное эмпирическое декомпозицию ансамбля с адаптивным разложением по шуму и вариационным режимом (CEEMDAN-VMD) с повышенным вниманием LSTM, достигнув значений эффективности Нэша-Сатклиффа (NSE) до 0,99 по нескольким индикаторам. На уровне применения Се и др. 16 продемонстрировали мобильную систему LSTM-последовательность последовательность (Seq2Seq) для оперативного прогнозирования качества воды в реальном времени по речным бассейнам.

В целом эти исследования выявляют явную тенденцию в базовых линиях на основе LSTM, гибридных моделях с повышенным вниманием и системных применениях. Хотя точность значительно улучшилась, остаются проблемы с интерпретацией, надёжностью в шумных условиях и обобщением в различных сетях мониторинга.

Применение графовых нейронных сетей и пространственно-временных моделей в экологическом мониторинге

Графовые нейронные сети (GNN) и пространственно-временные модели глубокого обучения недавно продемонстрировали значительный потенциал в экологическом мониторинге, фиксируя как пространственные корреляции между пунктами мониторинга, так и временные зависимости в динамике качества воды. Например, Ву и др.17 предложили предварительное обучение, усовершенствованную нейронную сеть пространственно-временных графов (PT-STGNN) для очистных сооружений, интегрирующую трансформаторное предварительное обучение и обучение структуры графов для улучшения долгосрочного прогнозирования COD, NH₃-N, TP, TN, pH и скорости расхода. Аналогично, Ван и др.18 разработали пространственно-временную особенность GNN (STF-GNN), которая объединила графовую свёртку, GRU и механизмы внимания, значительно улучшив прогнозы растворённого кислорода (DO) и TN, одновременно демонстрируя надёжную межбассейнную обобщение.

Гибридные фреймворки вышли за рамки чисто основанных на данных дизайнах для улучшения обобщения. Mu и др.19 ввели нейронную сеть, ориентированную на физику пространственно-временных графов (ST-GPINN), которая интегрирует гидравлические принципы в модели на основе графовых нейронных сетей (GNN) для систем распределения воды. Связывая представления графов с физически обоснованными ограничениями, ST-GPINN достигает передовой точности при эффективном масштабировании от малых к крупным сетях. Вместе эти исследования подчёркивают растущую роль пространственно-временных ГНН в экологическом мониторинге, повышая точность прогнозирования, интерпретируемость и устойчивость, а также закладывая основу для интеллектуальных систем управления водными ресурсами следующего поколения.

Преимущества и потенциал жидких нейронных сетей

Жидкие нейронные сети (LNN), также известные как жидко-постоянные сети, уникально моделируют динамику непрерывного времени, используя зависимые от входа и обучаемые временные константы. Хасани и др.20 представили LNN и продемонстрировали их выразительную мощь, стабильность и эффективность в задачах с временными рядами. Их адаптивность, вдохновлённая мозгом, делает их перспективными кандидатами для моделирования динамических экологических явлений, таких как качество воды, однако их интеграция с механизмами внимания остаётся недостаточно изученной.

Механизмы внимания, особенно ворота внимания, являются мощными инструментами для фокусировки на релевантных признаках и обеспечения интерпретируемости. Хотя Attention U-Net широко используется в медицинской визуализации, он закладывает основу для селективного уточнения признаков через обучаемые элементы внимания. Внимание также было приложено в сенсорных системах обнаружения аномалий, таких как LSTMA-AE7 и GRU-PINN8, что повышает чувствительность к критическим паттернам и повышает прозрачность моделей.

В совокупности эти наблюдения указывают на необходимость гибридной архитектуры, которая сочетает непрерывную адаптивность во времени с интерпретируемыми механизмами внимания. Поэтому мы предлагаем Attention-Gateed Liquid Neural Network (AG-LNN), которая интегрирует возможности динамического моделирования жидких нейронных сетей (LNN) с элементами внимания, сосредоточенными на важных входах или временных сегментах. Эта архитектура направлена на повышение устойчивости к шуму датчиков и неправильной дискретизации, повышение чувствительности к краткосрочных аномалиям и предоставление интерпретируемости с помощью тепловых карт внимания и адаптивных траекторий со временной константой. AG-LNN оценивался на реальных многомерных данных по качеству воды и сравнивался с базами LSTM, Transformer, чисто LNN и традиционными базовыми стандартами машинного обучения. Как количественный (точность, воспоминание, F1, AUC), так и качественный (визуализации внимания, динамика временной постоянной) анализы продемонстрировали эффективность и прозрачность предлагаемой модели.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

ПРИМЕЧАНИЕ: Общий рабочий процесс этого исследования показан на рисунке 1.

1. Сбор данных

  1. Идентификация источников данных
    1. Получите данные временных рядов качества воды из публичной базы данных Китайского национального центра экологического мониторинга (CNEMC) (https://www.cnemc.cn/sssj/). Получать непрерывные записи национального мониторинга, охватывающие крупные озёра и водохранилища Китая. Ключевые физико-химические показатели включали pH, растворённый кислород (DO), общий фосфор (TP), общий азот (TN), индекс перманганатов (COD Mn), мутность (NTU) и электрическую проводимость (EC).
    2. Убедитесь, что соответствующие метаданные, такие как время мониторинга, статус работы станции и классификация качества воды (классы I-V), включены в скачанный набор данных.
  2. Извлечение наборов данных и спецификация файлов
    1. Обеспечьте воспроизводимость данных, объединив и разделяя обработанный набор данных под именем cnemc_data_2019_2024. CSV. Файл в облачном репозитории Baidu (https://pan.baidu.com/s/1ZXYxkCZAnx7tiOHJhuJ2Qg?pwd=u97h) обеспечивает публичный доступ и проверку всех экспериментов.
    2. Включать данные мониторинга из 13 провинций (Гуандун, Хубэй, Цзянсу, Чжэцзян, Аньхой, Фуцзянь, Цзянси, Хэнань, Сычуань, Гуйчжоу, Ляонин, Хэйлунцзян и Цзилинь) для обеспечения репрезентативного покрытия различных гидрологических и климатических зон Северного, Южного, Восточного, Западного и Плато регионов.
    3. Присвоить одинаковое количество мониторинговых записей каждой провинции, в общей сложности 1 832 записи, собранных с января 2019 по декабрь 2024 года. Маркировать каждую станцию с помощью идентификаторов провинций (например, GD001 для Гуандуна, HB001 для Хубэя). Для каждой записи включайте описательные характеристики, такие как бассейн, waterbody_type (озеро или водохранилище) и сезон (весна, лето, осень или зима, основанные на времени отбора проб).
    4. Добавьте опциональные поля геолокации (долготу и широту) для облегчения пространственного анализа и воспроизводимости. Полные определения полей, типы данных и единицы, используемые в cnemc_2019_2024. Значения CSV приведены в таблице 1.

2. Выбор и маркировка переменных

  1. Выбор переменных
    1. Выбирайте переменные, которые отражают наиболее часто контролируемые физико-химические параметры поверхностных вод, обеспечивая экологическую значимость и чувствительность к загрязнению или воздействиям окружающей среды. В частности, включите следующие показатели:
      pH, отражающий кислотно-щелочный баланс воды и влияющий на биологическую активность и химическую растворимость
      Растворённый кислород (DO) — прямой индикатор здоровья водных экосистем и органического загрязнения
      Общий фосфор (TP) и общий азот (TN) — два основных питательных вещества, связанных с процессами эвтрофикации
      Индекс перманганатов (COD Mn), отражающий содержание окисляемого органического вещества и косвенную меру органического загрязнения
      Мутность (Tur), которая отражает взвешенные частицы и нагрузку осадков
      Электрическая проводимость (EC), указывающая на концентрацию растворённых ионов и общую солёность
    2. Выбирайте эти переменные не только из-за их рутинной доступности на станциях мониторинга CNEMC, но и из-за их доказанной значимости в предыдущихисследованиях 10, 11, 14, 17 по оценке качества воды и обнаружению аномалий.
  2. Стратегия маркировки
    1. Определите метки аномалий для поддержки обучения и оценки моделей. Примените стратегию двойного маркировки, сочетающую два взаимодополняющих подхода.
    2. Регуляторная или экспертная маркировка: Принимайте официально задокументированные или аннотированные аномальные события (например, внезапные выбросы загрязняющих веществ, цветение водорослей или отказы приборов) от контролирующего органа в качестве аномалий по правдивости грунта.
    3. Слабое маркировка на основе данных: Выявить аномалии для интервалов мониторинга без явных экспертных аннотаций непосредственно из многомерного набора временных рядов CNEMC, применяя статистически ориентированную и учитывающую сезоны слабую систему маркировки.
    4. Структурируйте этот процесс на три основных компонента: проведение сезонной нормализации, применение квантильного обнаружения отклонений и подтверждение результатов с помощью остаточной оценки.
      1. Сезонная нормализация: Нормализуйте сезонные эффекты для каждой переменнойx i,t (например, DO,COD Mn, TP, TN, мутность), используя явное поле сезона (весна, лето, осень, зима), предоставленное в наборе данных CNEMC. Стандартизируйте каждую переменную в её соответствующем сезонном подмножестве, как показано в уравнении (1).
        Уравнение 4(1)
        где μi(s) и σi(s) — это среднее и стандартное отклонение переменной i в сезоне S. Эта нормализация компенсирует систематические сезонные сдвиги, такие как снижение DO летом или увеличениеCOD Mn в сезон дождей, обеспечивая межсезонную сопоставимость.
      2. Квантильное слабое маркирование: после нормализации идентифицируйте аномалии, применяя устойчивые квантильные пороги, вычисленные для каждой переменной в пределах того же сезона и провинциальной группы, как показано в уравнении (2).
        Уравнение 7(2)
        где Q_p (⋅) — оператор p-го квантила, Уравнение 9 — нижний и верхний порог квантиля (1-й и 99-й перцентили) для переменной i в сезоне s. Пометьте точку данных как аномальную, если она превышает эти границы, как показано в уравнении (3).
        Уравнение 10 (3)
        Этот этап адаптивно учитывает региональные и сезонные различия, тем самым избегая ложных обнаружений, вызванных естественными гидрологическими колебаниями.
      3. Остаточное подкрепление: Установить скользящую медианную базовую 15-дневную для выявления резких краткосрочных отклонений, которые квантильные пороги могут пропустить, как это выражено в уравнении (4).
        Уравнение 11 (4)
        гдеi,t — остаточное отклонение переменной i в момент времени t, медиана (x i,t-15:t+15) — 15-дневная скользящая медианная базовая линия вокруг t. Пометить точку данных как остаточную аномалию, если абсолютное остаточное отклонение превышает в три раза сезонное стандартное отклонение (|r i,t| > 3σi(s)). Это остаточное усиление эффективно захватило временные всплески, вызванные выбросом загрязняющих веществ, осадками или временными неисправностями датчиков.
      4. Комбинированное решение по слабой метке: объединить как квантильные, так и остаточные индикаторы аномалий для присвоения бинарной слабой метки yt, как определено в уравнении (5).
        Уравнение 16(5)
        где yt=1 указывает, что по крайней мере один параметр проявляет аномальное поведение в момент времени t, yt = 0 обозначает нормальные наблюдения по всем параметрам.
        Сгенерировать набор слабых аннотаций, основанных на данных, по всем 13 провинциям и пяти климатическим регионам в наборе данных CNEMC с использованием комбинированной процедуры маркировки. Интегрируйте эти метки в обучение с доверительным весом, присваивая доверительный вес 0,7 слабым меткам относительно экспертно проверенных аннотаций с весом 1,0.
    5. Доля типов аннотаций
      1. Используйте примерно 42% аннотаций, проверенных экспертами, полученных из официальных экологических отчетов, и 58% слабых аннотаций, полученных на основе данных непрерывного мониторинга. Примените эвристическое слияние порога z-балла и сезонного разложения тенденций (STL) для выявления потенциальных аномалий в многомерных временных рядах качества воды. Выбранные пропорции аннотаций подтверждаются экспериментами, представленными в разделе 5.1 (Влияние коэффициента аннотаций) раздела «Результаты». Эти результаты подтверждают, что эмпирически оптимальный баланс достигается примерно при соотношении экспертов к слабым 40:60, что соответствует фактическому составу набора данных.
    6. Валидация слабой точности аннотаций
      1. Обеспечьте надёжность слабо аннотированных выборок, проверяя случайную подгруппу из 800 слабо маркированных экземпляров с экологическими экспертами. Зафиксируйте уровень совпадения между слабыми аннотациями и экспертными решениями, который должен достигать примерно 87,5%. Удалить образцы с низкой уверенностью в аномалиях (< 0,6) или несогласием с набором экспертной валидации из обучающих данных.
      2. Сохраняйте сохраненные слабые аннотации с эффективной точностью выше 90%. Изучить надёжность слабых аннотаций и их влияние на производительность модели, где контролируемые эксперименты подтверждают, что сохранение слабой точности выше 90% эффективно предотвращает смещение обучения и обеспечивает стабильное предиктивное поведение.
    7. Снижение смещения
      1. Во время обучения применяйте стратегию обучения, взвешенную по довериям, чтобы минимизировать потенциальную предвзятость, вызванную слабыми аннотациями. Определим функцию потерь, как показано в уравнении (6).
        Уравнение 19 (6)
        где yi∈{0,1} обозначает метку основной правдивости i-й выборки, pi — предсказанную вероятность модели, wi — вес, присвоенный каждой выборке, а N — общее количество выборок.
      2. Определите вес выборки wi на основе источника и уровня доверия метки, как показано в уравнении (7).
        Уравнение 24 (7)
        Здесь ci∈[0,1] обозначает доверительный балл i-й аннотации, а α,β — глобальные коэффициенты взвешивания для экспертных и слабых меток соответственно. Эмпирический анализ показал, что настройка α=1.0 и β=0.7 обеспечивает наилучший компромисс между производительностью и стабильностью, поскольку такое взвешенное распределение эффективно подавляет остаточный шум от слабых меток, сохраняя при этом достаточный вклад в их более широкий охват.
      3. Выберите семь физико-химических параметров (pH, DO, TP, TN,COD Mn, Tur и EC) в качестве основных переменных для обнаружения аномалий. Используйте эти индикаторы для всестороннего представления статуса питательных веществ, органического загрязнения, доступности кислорода и ионного состава поверхностных вод. Дайте подробное описание каждой переменной.

3. Контроль качества и предварительная обработка данных

  1. Создать иерархический конвейер контроля качества и предварительной обработки данных для обеспечения надёжности и применимости моделирования данных мониторинга качества воды из нескольких источников. Последовательно выполняют выравнивание по времени, импутацию пропущенных значений, обнаружение аномалий, нормализацию масштаба и построение оконных выборок. Динамически выбирайте и комбинируйте соответствующие методы в соответствии с конкретными характеристиками данных.
  2. Выравнивание времени и повторная дискретизация: Выровняйте все последовательности станций мониторинга с единым временным разрешением в 15 минут, учитывая несинхронизированные временные метки. Для нерегулярно отобранных точек применяйте линейную интерполяцию между соседними наблюдениями согласно уравнению (8). Убедитесь, что последующие оконные образцы построены на согласованной временной сетке.
    Уравнение 27 (8)
  3. Обработка отсутствующих значений
    1. Отсутствующие значения классифицируются по длине последовательных промежутков на краткосрочные (<6 последовательных точек, то есть <1,5 часа) и долгосрочные пропущенные (≥6 последовательных точек), и применяются различные стратегии.
    2. Применяйте фильтрацию и сглаживание Калмана для выполнения динамической оценки для долгосрочных отсутствующих интервалов (≥ 6 последовательных точек). Моделируйте каждую переменную качества воды xt (например, DO, TN,COD MN) С ПОМОЩЬЮ ДИСКРЕТНОЙ ЛИНЕЙНОЙ ФОРМУЛИРОВКИ ПРОСТРАНСТВА СОСТОЯНИЙ, КАК ПОКАЗАНО В
      Уравнения (9) по (11).
      Уравнение 29 (9)
      Уравнение 30 (10)
      Уравнение 31 (11)
      где xt — латентное (истинное) состояние переменной качества воды в момент времени t, yt — соответствующее наблюдаемое значение; A — коэффициент перехода состояний (эмпирически заданный на 0,95) для отражания высокой временной корреляции в 15-минутных наблюдениях, H — матрица наблюдения (установлена в 1 для прямых измерений), wt ∼ N(0,Q) и vt ∼ N(0,R) — соответственно нулевый средний гауссов процесс и шум измерения; Q = (0,05σx)2 и R=(0,10σx)2, где σx — стандартное отклонение переменной в 7-дневном скользящем окне.
    3. Настройте фильтр так, чтобы он оставался чувствительным к кратковременной вариативности, одновременно подавляя случайный шум измерений. Инициализируйте начальное состояние Уравнение 39 с помощью первого доступного неотсутствующего наблюдения и установите начальную ковариацию P0|0 равной Уравнение 41. Удалите весь сегмент, если отсутствующий интервал превышает 24 часа (96 записей), чтобы предотвратить накопление ошибок при долгосрочной экстраполяции.
  4. Обнаружение и коррекция аномалий
    1. Выявлять и корректировать аномалии в два последовательных шага: жёсткие ограничения (физические пределы) и мягкие ограничения (пределы градиентов и квантильная винсоризация).
      1. Жёсткие ограничения (физические пределы): Отбрасывать измерения, выходящие за пределы физически правдоподобных диапазонов (например, pH∉[0,14], DO>20 мг/л).
      2. Мягкие ограничения (пределы градиента + квантильная победа): Помечайте точку данных как подозрительную, если абсолютная скорость изменения между двумя последовательными наблюдениями превышает эмпирически определённый порог градиента |xt - xt-1 | > θ. Набор θ=3σ_x Δt-1, где σ x обозначает стандартное отклонение переменной за скользящее окно длительностью 24 часа, а Δt = 15 мин — интервал выборки. Корректируйте экстремальные значения с помощью процедуры Винсоризации, выраженной в уравнении (12).
        Уравнение 45 (12)
        где Qα иQ 1-α обозначают соответственно 1% и 99%.
        Процедура сначала устраняет невозможные значения с помощью жёстких ограничений, затем отмечает аномальные наблюдения на основе порогов градиента и, наконец, сглаживает остаточные отклонения с помощью квантильной винсоризации. Такой иерархический подход обеспечивал как физическую достоверность, так и статистическую устойчивость очищенного набора данных.
  5. Нормализация
    1. Разные показатели качества воды имеют разные единицы и значения. Чтобы устранить различия в масштабе и предотвратить доминирование определённых переменных в процессе обучения модели, примените нормализацию z-score.
  6. Конструкция образцов окон
    1. Преобразуйте временные ряды в образцы скользящих окн с фиксированной длиной, чтобы сохранить временные зависимости. Имея длину окна W и размер шага S, постройте входные выборки согласно уравнению (13).
      Уравнение 48  (13)
      Установить W=96 (то есть 24 часа с интервалом в 15 минут) и S=1 для последовательной генерации образцов с использованием точкового скользящего окна.

4. Жидкостная нейронная сеть с контролем внимания (AG-LNN)

ПРИМЕЧАНИЕ: Общая архитектура предлагаемой жидкостной нейронной сети (AG-LNN) показана на рисунке 2. Модель интегрирует многоисточникные данные по качеству воды, механизм гейтинга, основанный на внимание, LNN с адаптивными временными постоянными и этап считывания-декодирования с выходами интерпретируемости. Такая конструкция позволяет сети динамически фиксировать сложные временные зависимости, оставаясь при этом устойчивой к шуму и неоднородной дискретизации.

  1. Многоисточниковый входный слой: Обратитесь к самой левой части рисунка 2 , чтобы визуализировать данные мониторинга качества воды в нескольких источниках {xτ}, где каждый вектор xτ∈R C представляет измерения физико-химических переменных C (например, pH, DO, TN, TP,COD Mn, мутность, EC) в момент τ. Сегментируйте входные последовательности на скользящие окна с фиксированной длиной размера W, как сформулировано в уравнении (14).
    Уравнение 53(14)
  2. Входные ворота внимания: Примените элемент внимания, как показано в нижнем левом блоке рисунка 2, чтобы подчеркнуть информативные переменные и подавить шумные колебания. Вычислите веса внимания согласно уравнению (15).
    Уравнение 54 (15)
    где ατ обозначает важность на уровне канала в момент времени τ. Этот механизм гарантирует, что переменные, сильно коррелирующие с аномальными изменениями (например, DO иCOD Mn), получают больший вес.
  3. Временно-константный элемент
    1. Модулируйте жидкую постоянную времени с помощью агрегированного сигнала внимания, как показано в верхнем блоке рисунка 2, и сформулируйте её согласно уравнению (16).
      Уравнение 56 (16)
      где λбаза — это базовая временная константа, управляющая внутренней памятью каждого жидкого нейрона; Уравнение 58 обозначает средний вес внимания по каналам C на временном шаге τ; β — коэффициент чувствительности, определяющий, насколько внимание влияет на временную реакцию.
    2. При Уравнение 58 высоком уровне λτ уменьшается, что заставляет сеть ускорять реакцию и лучше фиксировать кратковременные аномалии. Наложить связанные ограничения на λτ для стабилизации тренировки.
    3. Обеспечить численное значение и предотвратить взрыв или нулевой динамику, накладывая связанные ограничения на временную константу λτ. Установить λτ ∈ [λmin,λ max] = [0.5,2.0]. Обрезать любые значения за пределами этого диапазона до ближайшей границы во время тренировки, чтобы поддерживать контролируемое адаптивное поведение в различных условиях окружающей среды. Установка λ = 1.0 даёт оптимальную точность и устойчивость сходимости.
  4. Жидкий нейронный слой
    1. Использовать жидкую нейронную сеть (LNN) для непрерывного моделирования временных рядов и выразить её динамическую формулировку, как показано в уравнении (17).
      Уравнение 61 (17)
      где ḣ(t) обозначает вектор скрытого состояния; λ(⋅) — это обучаемая временная константа, модулируемая вниманием; σ(∙) — нелинейная функция активации (ReLU); A и B — это учебные матрицы с весом; x̃(t) — нормализованный входный вектор; b — это смещённый термин. Это уравнение гарантирует, что динамика сети меняется как с входами, так и с состояниями, при этом временная константа λ(⋅) остаётся изучаемой и зависит от контекста.
    2. Для численных вычислений используйте явный метод интегрирования Эйлера для дискретизации, как показано в уравнении (18).
      Уравнение 68 (18)
      Здесь Δτ обозначает дискретный временной шаг (интервал интеграции) между последовательными наблюдениями, вычисленный с помощью уравнения (19).
      Δ_τ=(tτ - tτ-1)/T норма (19)
      где tτ и tτ-1 — временные метки (в минутах) последовательных измерений, анорма T = 15 мин соответствует номинальному периоду отбора пробы в данных мониторинга CNEMC. Таким образом, Δτ = 1 для регулярных интервалов в 15 минут, тогда как Δτ > 1 или Δτ < 1 отражает неправильную выборку, вызванную отсутствующими или плотными наблюдениями. Этот подход естественным образом обрабатывает нерегулярную дискретизацию, сохраняя при этом интерпретируемость с учётом базовой физической динамики.
  5. Чтение и оценка аномалий
    1. После завершения обновления скрытого состояния используйте слой считывания в AG-LNN для генерации прогноза на один шаг вперёд, как это выражено в уравнении (20).
      Уравнение 77 (20)
      где Wo и c обозначают соответственно матрицу выходной проекции и вектор смещения.
    2. Вычислите остаточное значение как балл аномалии на основе расхождения между предсказанными и наблюдаемыми значениями, как показано в уравнении (21).
      Уравнение 79 (21)
    3. Примените квантильную адаптивную пороговую стратегию, чтобы определить, соответствует ли наблюдение аномалии.
    4. Определите порог аномалии θx для каждой переменной качества воды, используя 99-й процентиль остатков в обучающем наборе, как сформулировано в уравнении (22).
      Уравнение 81(22)
      где σs обозначает стандартное отклонение остаточной последовательности, а γ = 0,2 — фиксированный коэффициент безопасности, компенсирующий естественные суточные вариации.
    5. Эта конструкция соответствует примерно 1% вероятности превышения, что соответствует стандартным определениям аномалий окружающей среды. Во время вывода сеть выводит только остаточную последовательность {sτ}, для определения аномалий выполняется пост-хок согласно уравнениям (14)–(15). Такой дизайн разделения соответствует общей структуре исследования, обеспечивая сосредоточение модели на выделении признаков и измерении аномалий, а не на прямом участии в установке порогов.
  6. Цели обучения и регулярность
    1. Во время тренировки минимизируйте ошибку прогноза, одновременно применяя дополнительную регуляризацию как весов внимания, так и временные константы, чтобы предотвратить перенагонку и числовую нестабильность. Функция потерь выражается уравнением (23).
      Уравнение 84 (23)
    2. Примените Regα через регуляризацию энтропии -∑ατ log ατ или L1-норму, чтобы избежать коллапса внимания. Примените Regλ , наказывая Δλτ = λτ - λτ-1, ограничивая резкие колебания во временной константе и добавляя штрафы, если она превышает заранее определённые верхние и нижние границы. Этот подход использовался для поддержания гибкости AG-LNN при обеспечении стабильности во время обучения.
  7. Прямые вычисления и выводы интерпретируемости
    1. Упростить процесс прямых вычислений AG-LNN в следующую цепочную структуру, как показано в уравнении (24).
      Уравнение 89 (24)
    2. Во время обучения и вывода непрерывно фиксируйте веса внимания ατ и жидкие временные константы λτ, а также используйте их для получения результатов интерпретируемости, а именно тепловых карт внимания и кривых жидких временных констант. Используйте эти визуализации, чтобы подчеркнуть, как модель фокусируется на различных переменных и временных масштабах, тем самым повышая интерпретируемость метода.

5. Процедура обучения

  1. Разделение данных: Разделите временные ряды качества воды с несколькими источниками хронологически на подмножества обучения, валидации и тестирования с помощью разделения 70%/15%/15%. Обеспечьте надёжность, выбрав тестовый набор с включением известных аномальных периодов, при этом строго не совпадая с обучающими данными, чтобы предотвратить временные утечки.
  2. Детали обучения
    1. Решите непрерывную динамику в жидком слое с помощью стабилизированной явной схемы Эйлера. Для сравнения проверьте дискретизацию в замкнутой форме согласно указаннойформулировке 20,21.
    2. График разминки внимания: Зафиксировать веса внимания почти до однородного значения (≈ 1.0) в первые 10 эпох, чтобы стабилизировать градиентный поток. После 10-й эпохи постепенно отжигайте внимание к его обучаемому состоянию, линейно выпуская обновления веса в течение следующих 5 эпох (коэффициент масштабирования = 0,8). Используйте эту разминку, чтобы предотвратить нестабильные колебания в начале тренировки и обеспечить плавную конвергенцию.
    3. Оптимизатор и планировщик скорости обучения: оптимизируйте параметры модели с помощью оптимизатора Адама приβ 1 = 0,9,β 2 = 0,999, ε = 1 x 10⁻⁸. Установите начальную скорость обучения на 1 x 10⁻³ и контролируйте её с помощью графика косинусного отжига (T max = 50 эпох, минимальная скорость обучения = 1 x 10⁻⁵). Выбирайте пакетные размеры от 32 до 128, в зависимости от объёма памяти GPU. Применяйте это постепенное планирование для обеспечения стабильной адаптации динамики непрерывного времени без резких изменений скорости обучения.
    4. Раннее прекращение и настройки воспроизводимости: Прекратите обучение раньше, если метрика валидации (AU-PR или F1) не улучшается в течение 10 последовательных эпох (терпение = 10). Повторяйте каждый эксперимент 3 раза, используя фиксированные случайные семена (42, 73 и 101) для обеспечения воспроизводимости. Установить максимальное количество эпох на 100 и сохранить контрольную точку с наилучшей валидационной AU-PR для тестирования.
  3. Аппаратная и программная среда
    1. Проводите все эксперименты на сервере Linux, оснащённом видеокартами NVIDIA Tesla V100 (32 ГБ памяти) и двумя процессорами Intel Xeon Gold 6230 с 256 ГБ оперативной памяти. Реализуйте модель на Python 3.9, используя PyTorch 2.0 в качестве фреймворка глубокого обучения, а также используйте вспомогательные библиотеки, такие как NumPy 1.23, SciPy 1.9 и scikit-learn 1.2, для предварительной обработки и оценки. Контейнеризуйте все эксперименты с помощью Docker 23.0 и управляйте ими на Ubuntu 20.04 LTS для обеспечения воспроизводимости и портативности результатов. См. таблицу материалов для подробных спецификаций всех аппаратных устройств и программных инструментов для обеспечения чёткости и воспроизводимости.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Общее сравнение производительности

В таблице 2 представлены сравнительные результаты различных базовых моделей и предлагаемый AG-LNN для задачи обнаружения аномалий качества воды. Среди традиционных неконтролируемых базовых показателей IsolationForest 22 и One-ClassSVM 23 достигли лишь умеренной точности и отзыва, что отражает их ограниченную способность фиксировать временные зависимости, присущие многоисточников...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В данном исследовании представлена Attention-Gated Liquid Neural Network (AG-LNN) — новая архитектура для обнаружения аномалий качества воды, сочетающая динамику жидкости в непрерывном времени с механизмами гейтинга, основанного на внимание. Жидкий нейронный компонент AG-LNN вдохновлён жидкими временно-постоянными сетями (LTC), которые моделируют временные ряды с обучаемыми, зависящими от входа временнымиконстантами 20. Однако AG-LNN выходит за рамки стандартных L...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

У авторов нет конфликтов интересов.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Это исследование было поддержано проектом 2024 года по характерным инновациям для колледжей и университетов провинции Гуандун — система мониторинга и раннего предупреждения качества воды на базе беспроводной сенсорной сети (номер проекта: 2024KTSCX304), школьного научно-исследовательского проекта Гуанчжоуского политехнического колледжа Наньян на базе Интернета вещей (номер проекта: NY-2024KYZD-01), а также специальным проектом 2022 года для ключевых районов провинции Гуандун (новое поколение) Электронная информация) Онлайн-система прогнозирования, раннего предупреждения и контроля связей для аквакультуры на базе HarmonyOS (номер проекта: 2022ZDZX1081), а также Профессиональная группа профессиональных колледжей провинции Гуандун 2021 года (номер проекта: GSPZYQ2020089).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
256 ГБ DDR4 оперативной памятиSamsungM393A4K40DB3Память с большой ёмкостью для обработки больших многомерных наборов данных с временными рядами
CUDA 11.6NVIDIAН/ДНабор инструментов для ускорения GPU для PyTorch
Процессор Intel Xeon Gold 6330 (2.0GHz, 28 ядер)IntelBX80708-6330Используется как основной вычислительный сервер для обучения моделей
Matplotlib 3.4, Seaborn 0.11Открытый исходный кодН/ДВизуализация экспериментальных результатов
NumPy 1.21, Панды 1.3Открытый исходный кодН/ДПредварительная обработка данных и инженерия признаков
Видеокарта NVIDIA A100 (40 ГБ)NVIDIA900-21001-0000-001Ускоренное обучение AG-LNN при поддержке CUDA
Python 3.9Фонд программного обеспечения PythonН/ДОсновной язык программирования для реализации
PyTorch 1.12Meta AIН/ДФреймворк глубокого обучения, используемый для построения AG-LNN
Scikit-learn 0.24Открытый исходный кодН/ДМетрики оценки и базовые модели
Ubuntu 20.04 LTS OSКаноническийН/ДОперационная система для вычислительной среды

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wu, J., Wang, Z. A Hybrid Model for Water Quality Prediction Based on an Artificial Neural Network, Wavelet Transform, and Long Short-Term Memory. Water. 14 (4), 610(2022).
  2. Nazari, M., Kerachian, R. Optimal Operation of Reservoirs Considering Water Quantity and Quality Aspects: A Systematic State-of-the-Art Review. Water Resour Manage. 38 (15), 5911-5944 (2024).
  3. Das, S. K., et al. Calibration, Validation and Uncertainty Analysis of a SWAT Water Quality Model. Appl Water Sci. 14 (4), 86(2024).
  4. Mutlu, E., et al. Water Quality Assessment of Şehriban Stream (Kastamonu, Türkİye) from a Multi-Statistical Perspective. Int J Environ Anal Chem. 104 (19), 8229-8245 (2024).
  5. Hassan, A., Samy, G., Hegazy, M., Balah, A., Fathy, S. Statistical Analysis for Water Quality Data Using ANOVA (Case Study-Lake Burullus Influent Drains). Ain Shams Eng J. 15 (4), 102652(2024).
  6. Fang, S., Deitch, M. J., Gebremicael, T. G., Angelini, C., Ortals, C. J. Identifying Critical Source Areas of Non-Point Source Pollution to Enhance Water Quality: Integrated SWAT Modeling and Multi-Variable Statistical Analysis to Reveal Key Variables and Thresholds. Water Res. 253, 121286(2024).
  7. Wang, M., et al. Anomaly Detection in Multidimensional Time Series for Water Injection Pump Operations Based on LSTMA-AE and Mechanism Constraints. Sci Rep. 15 (1), 2020(2025).
  8. Zhao, X. Water Quality Anomaly Detection Research Based on GRU-PINN Model. E3S Web ConfEDP Sci. 628, 01003(2025).
  9. El-Shafeiy, E., Alsabaan, M., Ibrahem, M. I., Elwahsh, H. Real-Time Anomaly Detection for Water Quality Sensor Monitoring Based on Multivariate Deep Learning Technique. Sensors. 23 (20), 8613(2023).
  10. Chadalavada, S., et al. Gated LNN: Gated Liquid Neural Networks for Accurate Water Quality Index Prediction and Classification. IEEE Access. 13, 69500-69512 (2025).
  11. Zhang, Y., et al. Accurate Prediction of Water Quality in Urban Drainage Network with Integrated EMD-LSTM Model. J Cleaner Prod. 354, 131724(2022).
  12. Wang, L., Dong, H., Cao, Y., Hou, D., Zhang, G. Real-Time Water Quality Detection Based on Fluctuation Feature Analysis with the LSTM Model. J Hydroinfo. 25 (1), 140-149 (2023).
  13. Arepalli, P. G., Naik, K. J. A Deep Learning-Enabled IoT Framework for Early Hypoxia Detection in Aqua Water Using Light Weight Spatially Shared Attention-LSTM Network. J Supercomput. 80 (2), 2718-2747 (2024).
  14. Zhang, M., Zhang, Z., Wang, X., Liao, Z., Wang, L. The Use of Attention-Enhanced CNN-LSTM Models for Multi-Indicator and Time-Series Predictions of Surface Water Quality. Water Resour Manage. 38 (15), 6103-6119 (2024).
  15. Long, J., Lu, C., Lei, Y., Chen, Z. Y., Wang, Y. Application of an Improved LSTM Model Based on FECA and CEEMDAN VMD Decomposition in Water Quality Prediction. Sci Rep. 15 (1), 12847(2025).
  16. Xie, L., et al. A Novel Operational Water Quality Mobile Prediction System with LSTM-Seq2Seq Model. Environ Model Software. 185, 106290(2025).
  17. Wu, X., Chen, M., Zhu, T., Chen, D., Xiong, J. Pre-Training Enhanced Spatio-Temporal Graph Neural Network for Predicting Influent Water Quality and Flow Rate of Wastewater Treatment Plant: Improvement of Forecast Accuracy and Analysis of Related Factors. Sci Total Environ. 951, 175411(2024).
  18. Wan, H., Xiang, L., Cai, Y., Xie, Y., Xu, R. Temporal and Spatial Feature Extraction Using Graph Neural Networks for Multi-Point Water Quality Prediction in River Network Areas. Water Res. 281, 123561(2025).
  19. Mu, T., et al. ST-GPINN: A Spatio-Temporal Graph Physics-Informed Neural Network for Enhanced Water Quality Prediction in Water Distribution Systems. NPJ Clean Water. 8 (1), 74(2025).
  20. Liquid Time-Constant Networks. Hasani, R., Lechner, M., Amini, A., Rus, D., Grosu, R. Proc AAAI Conf Artif Intell, 35, 7657-7666 (2021).
  21. A Method for Stochastic Optimization. Adam, K. D. B. J. Int Conf Learning Representat ICLR, 5 (6), 1(2015).
  22. Mehrabian, A., Pahlevan, N. Identifying Anomalies in Surface Water Quality Using Isolation Forest. AGU Fall Meeting Abstracts. 2019, EP54C-09(2019).
  23. Ananias, P. H. M., Negri, R. G. Anomalous Behaviour Detection Using One-Class Support Vector Machine and Remote Sensing Images: A Case Study of Algal Bloom Occurrence in Inland Waters. Int J Digital Earth. 14 (7), 921-942 (2021).
  24. Kahn, C. The Value Proposition for Likelihood-of-Failure Modeling. J Am Water Works Assoc. 113 (1), 30-38 (2021).
  25. Gao, Z., et al. A Novel Multivariate Time Series Prediction of Crucial Water Quality Parameters with Long Short-Term Memory (LSTM) Networks. J Contaminant Hydrol. 259, 104262(2023).
  26. Mohan Raj, K., Vairavel, K. S. Quality Index Metrics with Bi-GRU-Based Water Quality Prediction. Energy Sourc Part A Recov Utilizat Environ Effects. 46 (1), 171-187 (2024).
  27. Yang, H., Yin, X., Hong, L., Jiang, K., Zhang, X. Research on Water Quality Parameter Prediction Model Based on TCN. Open Access Library J. 11 (4), 1-10 (2024).
  28. Lin, Y., et al. Transformer-Based Water Quality Forecasting with Dual Patch and Trend Decomposition. IEEE Internet Things J. 12 (8), 10987-10997 (2024).
  29. Buchhorn, K., Santos-Fernandez, E., Mengersen, K., Salomone, R. Graph Neural Network-Based Anomaly Detection for River Network Systems. F1000 Res. 12, 991(2024).
  30. Li, Z., Liu, H., Zhang, C., Fu, G. Real-Time Water Quality Prediction in Water Distribution Networks Using Graph Neural Networks with Sparse Monitoring Data. Water Res. 250, 121018(2024).
  31. Gcad: Anomaly Detection in Multivariate Time Series from the Perspective of Granger Causality. Liu, Z., Gao, M., Jiao, P. Proc AAAI Conf Artif Intell, 39, 19041-19049 (2025).
  32. Li, R., et al. Multi-Dimensional Spectrum Prediction Using Closed-Form Continuous-Time Neural Network With Graph Attention. IEEE Transact Vehicular Technol Early Access. , 1-5 (2025).
  33. Tandra, N., Kuppan, P., Arunachalam, K. P., Loganathan, G. A Hybrid Model of Prairie Dog Optimization and Closed-Form Continuous-Time Neural Networks for next Generation Lithium-Ion and Sodium-Ion Batteries. Int J Chem Reactor Eng. 23 (9), 1075-1087 (2025).
  34. Li, X., et al. A Closed-Form Continuous-Depth Neural-Based Hybrid Difference Features Re-Representation Network for RUL Prediction. Reliability Eng Sys Safety. 253, 110540(2025).
  35. Cantini, C., Rolland-Piegue, E., Schmitter, D. Exact Implementation of Closed-Form Liquid Neural Networks With Arbitrary Precision. IEEE Signal Proc Lett. 32 (2025), 921-925 (2025).
  36. Event-Driven Dynamic Attention for Multi-Object Tracking on Neuromorphic Hardware. Aitsam, M., Davies, S., Di Nuovo, A. Proc Comp Vis Pattern Recognit Conf, 2025, 5055-5062 (2025).
  37. Chen, Z., et al. Bridging Quantized Artificial Neural Networks and Neuromorphic Hardware. arXiv. , (2025).
  38. Kim, Y., Lee, C. W., Jang, H. W. Neuromorphic Hardware for Artificial Sensory Systems: A Review. J Electron Mater. 54 (5), 3609-3650 (2025).
  39. Abreu, S., Shrestha, S. B., Zhu, R. J., Eshraghian, J. Neuromorphic Principles for Efficient Large Language Models on Intel Loihi 2. arXiv. , (2025).
  40. Analyzing Energy Consumption of Loihi 2 Neuromorphic Chip in a Self-Driving Use-Case. Nagy, Á, Szabó, R., Toka, L. 2025 10th Int Conf Smart Sustainable Tech, , 1-6 (2025).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

Похожие статьи