מחקר זה מציע רשת עצבית נוזלית עם שערי קשב לזיהוי אנומליה באיכות מים, המשיגה דיוק ופרשנות מעולים באמצעות מידול בזמן רציף וגייטרינג מבוסס קשב, ובכך משפרת את אמינות הניטור הסביבתי ותמיכה בניהול מים בר-קיימא.
מאמר שיטה
* These authors contributed equally
מחקר זה מציע רשת עצבית נוזלית עם שערי קשב לזיהוי אנומליה באיכות מים, המשיגה דיוק ופרשנות מעולים באמצעות מידול בזמן רציף וגייטרינג מבוסס קשב, ובכך משפרת את אמינות הניטור הסביבתי ותמיכה בניהול מים בר-קיימא.
עם ההתרחבות המהירה של רשתות ניטור מים, זיהוי אנומליות בסדרות זמן הפך לקריטי יותר ויותר לשמירה על סביבות ימיות ולהבטחת ניהולן בר-קיימא. עם זאת, מודלים קונבנציונליים מתקשים לעיתים קרובות עם מרווחי דגימה לא סדירים, קורלציות רב-משתניות ויכולת פרשנות ביישומים מעשיים. כדי להתמודד עם אתגרים אלו, מחקר זה מציע רשת עצבית נוזלית-מחוברת קשב (AG-LNN) המשלבת את יכולת המידול הדינמי של רשת העצבים הנוזלית (LNN) עם מנגנוני שער מבוססי קשב. המודל מציג שער קלט-תשומת לב כדי להדגיש משתנים רלוונטיים לאנומליה כמו חמצן מומס (DO) ומדד הפרמנגנט (CODMn), ושער קבוע בזמן שמתאים באופן אדפטיבי את הזיכרון הזמני של המודל. באמצעות נתונים מהמרכז הלאומי למעקב סביבתי של סין (CNEMC) שנאספו בין השנים 2019 ל-2024 ב-13 מחוזות, AG-LNN הפגין ביצועים עליונים לעומת מודלים בסיסיים, כולל ארכיטקטורות זיכרון ארוך-טווח קצר (LSTM), רשת קונבולוציונית זמנית (TCN), Transformer ורשת עצבית גרפית (GNN). הוא משיג אזור דיוק-זיכרון מתחת לעקומה (PR-AUC) של 0.95 וציון F1 של 0.90, תוך שמירה על יציבות בהערכות חוצות אזורים וזמן. גרסה קומפקטית, AG-LNN-light, מפחיתה פרמטרים ב-62% עם אובדן דיוק מינימלי, ומאפשרת פריסת קצה יעילה. התוצאות אישרו כי מידול בזמן רציף מבוסס קשב מספק גישה איתנה וניתנת לפירוש לזיהוי אנומליות איכות מים בקנה מידה גדול.
ניטור איכות מים חיוני להגנה על בריאות הציבור, לשימור מערכות אקולוגיות מימיות ולהבטחת עמידה בתקנות סביבתיות. מודלים מסורתיים של איכות מים, כגון כלי הערכת קרקע ומים (SWAT), מודל QUAL המכניסטי וגישות חיזוי סטטיסטיות, לעיתים קרובות מתקשים ללכוד את האופי הלא-ליניארי, הרב-משתני והבלתי סדיר בזמן של מערכות מים המושפעות בו-זמנית מגורמים כימיים, ביולוגיים, הידרולוגיים ומטאורולוגיים 1,2,3,4,5,6 . לכן, שיפור זיהוי חריגות בנתוני איכות מים נותר אתגר דחוף.
במונחים מעשיים, המסגרת המוצעת מיועדת לרשתות חישה איכות מים רב-פרמטריות המודדות משתנים כגון פוטנציאל מימן (pH), חמצן מומס (DO), חנקן כולל (TN), זרחן כולל (TP) ומדד פרמנגן (CODMn), עכירות ומוליכות, עם מרווחי דגימה טיפוסיים הנעים בין 15 ל-60 דקות. מודל זה סובל דגימה לא סדירה ותצפיות חסרות, מה שהופך אותו למתאים לפריסה אמיתית במערכות ניטור מים עיליים ומאגרים.
יישום למידת מכונה בזיהוי אנומליות איכות מים
בשנים האחרונות, שיטות למידת מכונה (ML) ולמידה עמוקה (DL) זכו לפופולריות ליישומי איכות מים. לדוגמה, Wang ואחרים הציגו מקודד אוטומטי לזיכרון קצר טווח ארוך עם קשב (LSTMA-AE) בשילוב עם מגבלות מכניות לשיפור הדיוק ולהפחתת אזעקות שווא בזיהוי אנומליות בפעולות משאבות הזרקת מים, והשיגו ביצועים טובים משמעותית לעומת שיטות האינטרפולציה, יער אקראי או LSTM-AE.
באופן דומה, ג'או ואח' הציעו מודל יחידת Gated Recurrent Network (רשת עצבית מודעת פיזיקלית) (GRU-PINN) שמשלב מגבלות פיזיקליות בפונקציית האובדן, ומשפר משמעותית את הפרשנות ואת ציון F1 במשימות גילוי אנומליות באיכות מים. אלשאפיי ואח' פיתחו ארכיטקטורת רשת קונבולוציונית רב-משתנית-LSTM (MCN-LSTM), המשלבת רשתות קונבולוציונליות רב-משתניות עם LSTM לזיהוי אנומליות בזמן אמת בנתוני חיישני איכות מים, והדגימה יכולות זיהוי משופרות בסביבות שטח. התקדמות נוספת היא מודל10 של רשת עצבית נוזלית עם שערים (Gated-LNN), המשלב מנגנוני גייטינג ברשתות עצביות נוזליות כדי לחזות במדויק את מדד איכות המים (WQI) ולסווג איכות מים, תוך השגת R2 ≈ 0.9995 ודיוק סיווג של 99.74% במאגרי נתונים הודיים.
זיהוי אנומליות בסדרות זמן
מעבר ליישומים ספציפיים ל-DL, זיהוי אנומליות בסדרת זמן התפתח במהירות בתחומים שונים. זיהוי אנומליות בסדרות זמן הפך לטכניקה מרכזית לשיפור ניטור איכות המים והתרעה מוקדמת. שיטות סטטיסטיות מסורתיות לעיתים קרובות אינן מצליחות ללכוד את המאפיינים הלא-ליניאריים והדינמיים של נתוני איכות המים, מה שמוביל ליישום מודלים של למידה עמוקה. לדוגמה, ג'אנג ואח' שילבו את פירוק מצב אמפירי (EMD) עם LSTM כדי לטפל טוב יותר באותות לא נייחים, ושיפרו משמעותית את דיוק החיזוי של דרישת חמצן כימי (COD), ביקוש ביוכימי לחמצן (BOD₅), זרחן כולל (TP), חנקן כולל (TN) וחנקן אמוניה (NH₃-N). בהתבסס על כך, Wang ואחרים הציעו שיטת ניתוח תנודות מבוססת LSTM באמצעות אנטרופיה משוערת, המשפרת את ביצועי זיהוי אנומליות בזמן אמת.
התקדמות אחרונה הדגישה מנגנוני קשב ומסגרות היברידיות. ארפאלי ואח' הציגו LSTM קל משקל לזיהוי היפוקסיה באקווקולטורה, והשיגו דיוק של 99.8%, בעוד ש-Zhang ואחרים 14 הראו כי תשומת לב מרחבית וזמנית שיפרו משמעותית את חיזוי CNN-LSTM של חמצן מומס (DO) ו-NH₃-N. באופן דומה, לונג ואחרים, 15 שילבו את Complete Ensemble Empirical Mode Decomposition עם Adaptive Noise-Variational Mode Decomposition (CEEMDAN-VMD) עם LSTM מוגבר קשב, והשיגו ערכי Nash-Sutcliffe Efficiency (NSE) עד 0.99 במספר מדדים. ברמת היישום, Xie ואח' הדגימו מערכת LSTM-רצף-לרצף ניידת (Seq2Seq) לחיזוי איכות מים בזמן אמת בתפעול בין אגני נהרות.
בסך הכול, מחקרים אלו מדגישים מגמה ברורה בקווי בסיס מבוססי LSTM, מודלים היברידיים מוגברים על ידי קשב ויישומים ברמת המערכת. למרות שהדיוק השתפר משמעותית, עדיין קיימים אתגרים בפרשנות, עמידות בתנאי רעש והכללה בין רשתות ניטור מגוונות.
יישום רשתות עצביות גרפיות ומודלים מרחביים-זמניים בניטור סביבתי
רשתות עצביות גרפיות (GNNs) ומודלים של למידה עמוקה מרחבית-זמנית הראו לאחרונה פוטנציאל משמעותי בניטור סביבתי על ידי לכידת מתאמים מרחביים בין אתרי ניטור ותלות זמנית בדינמיקת איכות מים. לדוגמה, Wu ואח' הציעו רשת עצבית גרפים מרחבית-זמנית משופרת (PT-STGNN) למערכת טיהור שפכים, המשלבת הכשרה מוקדמת מבוססת שנאים ולמידת מבנה גרף לשיפור החיזוי ארוך הטווח של COD, NH₃-N, TP, TN, pH וקצב זרימה. באופן דומה, Wan ואחרים פיתחו GNN (STF-GNN) FEATURE SPACEIO-TEMPORAL (STF-GNN) ששילב קונבולוציה של גרפים, GRU ומנגנוני קשב, ושיפר משמעותית את תחזיות החמצן המומס (DO) ו-TN תוך הדגמת הכללה חזקה בין אגנים.
מסגרות היברידיות צמחו מעבר לעיצובים מבוססי נתונים בלבד כדי לשפר את ההכללה. מו ואח' הציגו את רשת הנוירונים המבוססת על פיזיקת גרפיקה במרחב-זמן (ST-GPINN), המשלבת עקרונות הידראוליים במודלים מבוססי רשת עצבית גרפית (GNN) למערכות הפצת מים. על ידי שילוב ייצוגי גרפים עם מגבלות מבוססות פיזיקה, ST-GPINN משיג דיוק מתקדם תוך התרחבות יעילה מרשתות קטנות לגדולות. יחד, מחקרים אלו מדגישים את התפקיד ההולך וגדל של GNNs מרחב-זמן בניטור סביבתי, בקידום דיוק חיזוי, פרשנות ועמידות, ומניחים את היסודות למערכות ניהול מים חכמות מהדור הבא.
יתרונות ופוטנציאל של רשתות עצביות נוזליות
רשתות עצביות נוזליות (LNNs), הידועות גם כרשתות קבועות זמן נוזלי, מדמות באופן ייחודי דינמיקה בזמן רציף באמצעות קבועי זמן תלויי קלט וניתנים ללמידה. חסאני ואח' הציגו LNNs והדגים את עוצמת הביטוי שלהן, יציבותן ויעילותן במשימות בסדרת זמן. ההסתגלות שלהם בהשראת המוח הופכת אותם למועמדים מבטיחים למידול תופעות סביבתיות דינמיות כמו איכות מים, אך השילוב שלהם עם מנגנוני הקשב עדיין לא נחקר.
מנגנוני קשב, במיוחד שערי קשב, הם כלים רבי עוצמה להתמקדות בתכונות רלוונטיות ולאפשר פרשנות אפשרית. למרות השימוש הנרחב בהדמיה רפואית, Attention U-Net מהווה בסיס לשיפור תכונות סלקטיבי באמצעות שערי קשב ללמידה. תשומת לב יושמה גם במסגרות זיהוי אנומליות מבוססות חיישנים, כגון LSTMA-AE7 ו-GRU-PINN8, מה שהגביר את הרגישות לדפוסים קריטיים ושיפר את שקיפות המודלים.
ביחד, תצפיות אלו מצביעות על הצורך בארכיטקטורה היברידית שמשלבת התאמה בזמן רציף עם מנגנוני קשב ניתנים לפרשנות. לכן, אנו מציעים רשת עצבית נוזלית עם שערי קשב (AG-LNN) המשלבת את יכולות המידול הדינמי של רשתות עצביות נוזליות (LNNs) עם שערי קשב המתמקדים בקלטים בולטים או במקטעים זמניים. ארכיטקטורה זו שואפת לשפר עמידות לרעש חיישנים ודגימה לא סדירה, לשפר רגישות לאנומליות קצרות מועד, ולהציע פרשנות באמצעות מפות חום קשב ומסלולים אדפטיביים קבועים בזמן. ה-AG-LNN הוערך על פי מאגרי איכות מים רב-משתניים בעולם האמיתי והושוו מול LSTM, Transformer, LNN טהור וקווי בסיס של ML מסורתי. גם ניתוחים כמותיים (דיוק, זיכרון, F1, AUC) וגם איכותניים (ויזואליזציות קשב, דינמיקה קבועה בזמן) הראו את היעילות והשקיפות של המודל המוצע.
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
הערה: תהליך העבודה הכולל של מחקר זה מוצג באיור 1.
1. רכישת נתונים
2. בחירת ותיוג משתנים
(1)
(2)
הוא הסף התחתון והעליון של הקוונטים (האחוזון הראשון וה-99) עבור המשתנה i בעונה s. סמן נקודת נתונים כאנומלית אם היא חורגת מהגבולות הללו, כפי שמוצג במשוואה (3).
(3)
(4)
(5)
(6)
(7)3. בקרת איכות נתונים ועיבוד מוקדם
(8)
(9)
(10)
(11)
ההתחלתי באמצעות התצפית הראשונה שאינה חסרה והגדר את הקווריאנטיות ההתחלתית P0|0 ל-
. הסר את כל המקטע אם התקופה החסרה עולה על 24 שעות (96 רשומות) כדי למנוע הצטברות שגיאות מהסקפולציה ארוכת טווח.
(12)
(13)4. רשת עצבית נוזלית עם שערי קשב (AG-LNN)
הערה: הארכיטקטורה הכוללת של רשת העצבים הנוזלית המוגבלת קשב (AG-LNN) המוצעת מוצגת באיור 2. המודל משלב קלטי איכות מים מרובי מקורות, מנגנון שער מבוסס קשב, LNN עם קבועי זמן אדפטיביים, ושלב קריאה-פענוח עם פלטי פרשנות. עיצוב זה מאפשר לרשת ללכוד דינמית תלות זמנית מורכבת תוך שמירה על עמידות לרעש ולדגימות לא אחידות.
(14)
(15)
(16)
מציין את משקל הקשב הממוצע בין ערוצי C בצעד זמן τ; β הוא מקדם רגישות הקובע עד כמה תשומת הלב משפיעה על תגובתיות הזמן.
הוא גבוה, λτ יורד, מה שמוביל את הרשת להאיץ את תגובתה וללכוד אנומליות קצרות מועד טוב יותר. הטיל מגבלות קשורות על λτ כדי לייצב את האימון.
(17)
(18)
(20)
(21)
(22)
(23)
(24)5. הליך אימון
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
השוואת ביצועים כוללת
טבלה 2 מציגה את התוצאות ההשוואתיות של מודלי הבסיס השונים ואת ה-AG-LNN המוצע למשימת זיהוי אנומליות איכות המים. מבין קווי הבסיס המסורתיים ללא פיקוח, יער בידוד22 ו-One-Class SVM23 השיגו דיוק וזיכרון מתונים בלבד, מה שמשקף את יכולתם המוגבלת ללכוד את התלות הזמנית הטבועה בנתוני איכות מים מרובי מקורות. LOF24 ביצע מעט טוב יותר על ידי ניצול מבני צפיפות מקומיים, אך ביצועיו נותרו ...
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
מחקר זה מציג רשת עצבית נוזלית מוגבלת קשב (AG-LNN), ארכיטקטורה חדשנית לזיהוי אנומליה באיכות מים המשלבת דינמיקת נוזלים בזמן רציף עם מנגנוני שער מבוססי קשב. הרכיב העצבי הנוזלי ב-AG-LNN מושפע מרשתות קבועות זמן נוזליות (LTCs), המדמות סדרות זמן עם קבועי זמן20 הניתנים ללמידה ותלויי קלט. עם זאת, AG-LNN חורג מ-LTCs סטנדרטיים על ידי שילוב שני שערים נוספים: שער קשב קלט, המדגיש משתנים רלוונטיים לאנומליה כמו DOו-COD Mn, ושער מודולציה קבוע בזמן, שמאיץ או מאט...
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
למחברים אין ניגודי עניינים.
מחקר זה נתמך על ידי פרויקט החדשנות האופיינית למכללות ואוניברסיטאות במחוז גואנגדונג לשנת 2024 מבוסס רשת חיישנים אלחוטית (מספר פרויקט: 2024KTSCX304), פרויקט מחקר מדעי ברמת בית ספר של מכללת גואנגג'ואו נאניונג פוליטכניק מערכת ניהול מיכלי מים מבוססת אינטרנט של הדברים לשנת 2024 (מספר פרויקט: NY-2024KYZD-01), פרויקט אזור מפתח מחוז גואנגדונג לשנת 2022 (דור חדש) מידע אלקטרוני) מערכת חיזוי מקוונת, התרעה מוקדמת ומניעת ובקרת קישורים לאקווקולטורה המבוססת על HarmonyOS (מספר פרויקט: 2022ZDZX1081), ומכללות מקצועיות במחוז גואנגדונג בשנת 2021 פרויקט בניית קבוצות מקצועיות ברמה גבוהה בביג דאטה (מספר פרויקט: GSPZYQ2020089).
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
| שם | חברה | מספר קטלוג | הערות |
|---|---|---|---|
| זיכרון DDR4 בנפח 256 GB | סמסונג | M393A4K40DB3 | זיכרון בעל קיבולת גבוהה לטיפול במאגרי נתונים גדולים בסדרות זמן רב-משתניות |
| CUDA 11.6 | NVIDIA | לא זמין | ערכת כלים להאצת GPU עבור PyTorch |
| מעבד Intel Xeon Gold 6330 (2.0GHz, 28 ליבות) | אינטל | BX80708-6330 | משמש כשרת החישוב הראשי לאימון מודלים |
| Matplotlib 3.4, Seaborn 0.11 | קוד פתוח | לא זמין | המחשה של תוצאות ניסוי |
| NumPy 1.21, פנדות 1.3 | קוד פתוח | לא זמין | קדם-עיבוד נתונים והנדסת תכונות |
| כרטיס מסך NVIDIA A100 (40GB) | NVIDIA | 900-21001-0000-001 | הכשרה מואצת של AG-LNN בתמיכת CUDA |
| פייתון 3.9 | קרן התוכנה של פייתון | לא זמין | שפת התכנות הראשית למימוש |
| פייטורץ' 1.12 | מטא AI | לא זמין | מסגרת למידה עמוקה המשמשת לבניית AG-LNN |
| Scikit-learn 0.24 | קוד פתוח | לא זמין | מדדי הערכה ומודלים בסיסיים |
| Ubuntu 20.04 LTS OS | קנוני | לא זמין | מערכת הפעלה לסביבה החישובית |
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה
בקש הרשאה