מיזוג קשב אינטראקטיבי רב-קנה מידה עם רשת קונבולוציה דלילה לזיהוי שינויים בתמונות לוויין

Deepak Gupta; Om Prakash Singh; Satyasundara Mahapatra

doi:10.3791/69815

Method Article

מיזוג קשב אינטראקטיבי רב-קנה מידה עם רשת קונבולוציה דלילה לזיהוי שינויים בתמונות לוויין

DOI:

10.3791/69815

⸱

March 10th, 2026

Deepak Gupta¹ , Om Prakash Singh² , Satyasundara Mahapatra³

¹Department of Computer Science and Engineering, Amity School of Engineering and Technology, Amity University Uttar Pradesh, Lucknow Campus, ²Department of Electronics and Communication, Amity School of Engineering and Technology, Amity University Uttar Pradesh, Lucknow Campus, ³Department of Computer Science and Engineering, Pranveer Singh Institute of Technology, Kanpur

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה מציג מודל אינטראקטיבי של מיזוג קשב רב-קנה מידה עם רשתות קונבולוציה דלילות במטרה לשפר את זיהוי שינוי תמונת הלוויין. הגישה מנצלת חילוץ תכונות רב-קנה מידה, מיקוד סלקטיבי בתשומת לב וקונבולוציות דלות כדי לזהות ולמקם שינוי בתמונות לוויין דו-זמניות על ידי הפחתת מורכבות חישובית.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

זיהוי שינויים באמצעות דימות לוויין דו-זמניים הוא בעיה חשובה בניטור כדור הארץ שמטרתה לזהות ולאתר שינויים על פני השטח בין רכישה זמנית ולהבחין בין שינויים מדומים בפועל הנובעים ממחזורי עונה, גורמים אטמוספיריים או התפתחויות מלאכותיות. שיטות הלמידה העמוקה הנוכחיות בדרך כלל מתמודדות עם הטיה חד-כיוונית במידול הזמן, שמגביל את השימושיות של יחסים מרחביים בקנה מידה גדול כדי להעצים את האפיון הנכון של דפוסי השינוי. למרות שטכניקות מבוססות טרנספורמטורים עדכניות מדויקות מאוד, הדרישות החישוביות שלהן גם הן גדולות למדי, מה שמגביל את השימוש בהן במשימות מוגבלות במשאבים. בתגובה למגבלות אלו, מוצעת במאמר זה רשת אינטראקטיבית Multiscale Attention Fusion (IMAF) עם Sperse Feature Convolution (SFC) המבוססת על מודולי Ghost להשגת חילוץ תכונות רב-קנה מידה יעיל. הרשת עושה שימוש בארכיטקטורת מקודד-מפענח מתקדמת המושלמת במודולי תשומת לב אינטראקטיביים בקני מידה שונים. הרשת פועלת עם זרמי קשב משלימים קדימה ואחורה: הראשונה מתעדת שונות זמנית פרוגרסיבית והשנייה מאשרת עקביות של השינויים באמצעות ניתוח זמני הפוך. שיטה אינטראקטיבית זו מאפשרת ייצוג יעיל של מודל הדופלקס של מערכות יחסים זמניות מבלי להיות מסובכת חישובית, ומשפרת גישות טובות בהרבה להבחין בין תנועות כיסוי קרקע לגיטימיות, לבין רעש ללא שינוי שנגרם מרעש. שני מערכי נתונים מדדי ביצועים נבדקו: מערך נתוני זיהוי שינוי לוויינים של אונרה (OSCD), ומאגרי הנתונים של SZTAKI AirChange. הניסויים המשמעותיים שנערכו על מאגרי נתוני OSCD מגלים כי הגישה המוצעת משיגה שיעורי F1 תחרותיים של 58.14% (13 ערוצים) ו-50.68% (3 ערוצים) עם 2.13 מיליון פרמטרים בלבד ו-19.6G FLOPS, פי 19 מעט פרמטרים, ו-5.6x מחזור הסקה לעומת ChangeFormer. ביצועים תחרותיים בדגימות סט הבדיקה Szada/1 ו-Tiszadob/3 של מערך הנתונים SZTAKI, ציון F1 של 74.29% ו-92.86% בהתאמה, מאפשרים ליישם במכשירי קצה מרבי, אנליטיקה בזמן אמת ומערכות מיפוי נרחבות שבהן אנרגיה תפעולית תלויה ישירות באנרגיה חישובית.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

רמות חסרות תקדים של עיור בסביבה הגלובלית, אובדן משאבים סביבתיים ושינויים בנוף בעקבות האקלים עוררו ישירות את הצורך לספק מערכת ניטור מדויקת, בזמן ואוטומטית שיכולה לזהות ולמדוד שינויים על פני כדור הארץ. חישה מרחוק לוויינית הפכה לאבן הבניין הבסיסית של ניטור סביבתי המוני, שכן היא מספקת כיסוי זמני ומרחב עקבי בנוסף לחיוניותו לבחינה מלאה של השינוי. זיהוי שינויים בתמונות לוויין דו-זמניות הוא אפיון של שינויים במשטח בין שתי רכישות רציפות של אותו אזור גאוגרפי. עם זאת, זהו תהליך מורכב, בשל המשתנים המבלבלים הרבים, כולל השינויים בעונות השנה, תנאי מזג האוויר, תכונות החיישנים, עיוותים גאומטריים ושינויים פנומנולוגיים שעשויים להסתיר או להידמות למציאות בכיסוי הקרקע. הפרשנות הידנית של תמונות לוויין בשימוש כיום גוזלת זמן, סובייקטיבית ואינה מתאימה להתמודדות עם כמויות הולכות וגדלות של מידע תצפית כדור הארץ שנוצרות על ידי קבוצות הלוויין הנוכחיות. זו המגבלה הבסיסית שהובילה ליצירת פתרונות אוטומטיים לזיהוי שינויים. שיטות גילוי^{שינוי מבוססות} פיקסל ואובייקט^{מבוססות פיקסל 2} נוטות להיות לא מתאימות לפעול בתוך גבולות המורכבויות הללו ויש להן סטנדרט עמידות נמוך ליישום על טווח רחב של יחידות גאוגרפיות וסולמות זמניים. ארכיטקטורות למידה עמוקה, במיוחד רשתות עצביות קונבולוציוניות ווריאנטים, מאפשרות חילוץ של תכונות היררכיות המייצגות פרטים ספקטרליים ברמה נמוכה ודפוסים סמנטיים ברמה גבוהה הרלוונטיים להבחנה בין שינויים. מודלים לזיהוי שינויים בלמידה עמוקה הוכיחו את עצמם כמבטיחים מאוד בלכידת שינויים מרחב-זמניים סמויים בנתוני חישה מרחוק, ובזיהוי השינויים האמיתיים בין כיסוי הקרקע לשינויים פסאודו, שנגרמו על ידי גורמים חיצוניים. גישות למידה מקצה לקצה אלו מנצלות את העובדה שניתן להפיק תכונות וסיווג ניתן לבצע בצורה מיטבית בו-זמנית. למרות התקדמות משמעותית בדיוק זיהוי שינויים, רוב הגישות הקיימות עדיין קשות ליישום בסביבות מבצעיות אמיתיות. גישות מבוססות שנאי³, אף שהן יעילות בהקשר הגלובלי, כוללות מספר פרמטרים גבוה, מורכבות חישובית ריבועית, השהיית הסקה וצריכת אנרגיה גבוהה. לעומת זאת, ארכיטקטורות מבוססות CNN סיאמיות הן עדיפות ביעילותן, אך בעלות שדות קליטה קטנים וחסרות במידה רבה מודל הקשר גלובלי, מה שמפחיר משמעותית את הביצועים. מגבלות אלו מחמירות עוד יותר בסביבות גדולות ומוגבלות במשאבים, שבהן יכולת הרחבה ועלות תפעולית הם שיקולים קריטיים. יכולת הרחבה, יעילות אנרגטית ומהירות הסקת המסקנות הם לעיתים קרובות חיוניים במסגרת תגובה חירום, ויש צורך ליצור פתרונות שמאזנים בין ביצועים לפריסה. לכן, נותר פער בין מודלים ממוקדי דיוק ואינטנסיביים חישוב לבין הדרישות המעשיות של פריסה בעולם האמיתי.

כדי להתגבר על בעיות אלו, מוצעת רשת אינטראקטיבית רב-קנית של מיזוג קשב (IMAF) עם קונבולוציה של תכונות דליל (SFC), המתמקדת בתכנון מסגרת זיהוי שינוי יעילה וניתנת לפריסה במקום באופטימיזציה של דיוק בלבד. הפתרון המוצע מתמקד בזוגות תמונות לוויין אופטיות, בדרך כלל RGB או תמונות רב-ספקטרליות ברזולוציה גבוהה (ברזולוציה 0.5-30 מ'), הנרכשות על ידי לוויינים, כגון Landsat, Sentinel-2 או WorldView. הטכניקה מניחה רישום גיאומטרי מדויק של זוגות דו-זמניים, משום שגם שגיאות רישום יכולות להשפיע משמעותית על הזיהוי. הוא עוסק בזיהוי שינויים בינאריים (בניגוד לשינוי סמנטי רב-מחלקתי) ואינו יכול להבחין בין סוגי שינוי שונים. יותר מזה, השיטה עושה שימוש בדימות מתוקנים רדיומטרית כדי להפחית את השפעות השינויים העונתיים, האטמוספיריים והאור, שייתפסו בטעות כשינוי בכיסוי הקרקע. בניגוד ל-CNNs⁴ הסיאמיים המסורתיים שמפרידים תמונות דו-זמניות בעזרת שרשור פשוט, מודול IMAF המוצע מאפשר מיזוג הקשר רב-קנה מידה של תכונות גלובליות ומקומיות כאחד. גישות מבוססות טרנספורמרים עדכניות, כמו BIT⁵ ו-ChangeFormer³, מקבלות תוצאות טובות מאוד, אך מנגנוני הקשב העצמי שלהן הם בעלי מורכבות O(N2^). המסגרת המוצעת לוכדת שינויים עדינים עם תשומת לב דו-כיוונית, ומפחיתה את המורכבות החישובית והשהיית ההסקה. בנוסף לכך, העיצוב המוצע מודע לדלילות, מה שעדיף על עיצובים צפופים של מיזוג רב-קנה מידה כמו UNet+⁺^6,7 ו-SNUNet⁸. הקונבולוציה של תכונות דלילות עם מודול הרפאים מפחיתה את FLOPs בכ-50%, ושומרת על איכות הייצוג. לכן, המסגרת המוצעת מעדיפה פשרה בין דיוק ליעילות לפריסה אמינה בסביבות מוגבלות משאבים.

התרומות המרכזיות של מחקר זה הן: (i) גלאי שינוי קל משקל שמשיג ציון F1 תחרותי באמצעות פי 19 פחות פרמטרים בהשוואה למקבילות מבוססי שנאי. (ii) מודול אינטראקטיבי למיזוג קשב רב-קנה מידה שמקבל מידע קונטקסטואלי גלובלי ללא העלות החישובית הריבועית של מנגנוני הקשב העצמי המסורתיים. (iii) סכמת קונבולוציה עם דלילות תכונות המבוססת על מודולי Ghosts, שמצמצמת את פעולות הנקודה הצפה ב-49.4 אחוזים ללא ירידה באיכות הייצוג של התכונות. (iv) אימות ניסויי נרחב על מערך נתונים גדול של מדדי ייחום, עם פשרות טובות יותר בין יעילות לדיוק ויישום סביר בפועל בעולם האמיתי.

שאר מאמר זה כולל את החלקים הבאים: סעיף 2 מספק סקירה מקיפה של העבודה האחרונה בתחום שיטות זיהוי שינוי בינארי, עם דגש מיוחד על פתרונות למידה עמוקה ויישומם על מדדים סטנדרטיים. סעיף 3 נותן את הרקע התיאורטי והעיצוב המבני של הפתרון המוצע, ייצוג מתמטי של מנגנון המיזוג הזמני ורכיבי הקשב, מאפייני ההגדרה הניסויית, מערכי נתונים, מדדי הערכה ופרטי יישום הנדרשים להפקת מחקר שניתן לשחזור. סעיף 4 ממחיש ממצאים ניסיוניים מפורטים הכוללים אבלרציה, השוואות לאלגוריתמים האחרונים לזיהוי שינוי בינארי שמסבירים את הקיבולת באזורים גאוגרפיים שונים במאגרי נתוני OSCD ו-SZTAKI Airchange. סעיף 5 קובע את תוצאות הממצאים, מגבלות הגישה הנוכחית, ואפשרויות למחקר עתידי בגילוי שינוי.

פיתוח אלגוריתמי זיהוי שינוי בחישה מרחוק השתנה באופן משמעותי משיטות מבוססות פיקסלים למסגרות למידה עמוקה. נהלי זיהוי שינויים מוקדמים התבססו בעיקר על תהליכים אלגבריים כמו הבדל תמונה, קיצוב תמונה וניתוח וקטור שינוי, שעבדו ישירות על ערכי פיקסלים כדי לזהות שינויים זמניים ^9,10. פותחו שיטות חלופיות שכללו השוואה לאחר הסיווג, שבהן כל תמונה זמנית סווגה באופן עצמאי ואז הושוותה לטבלאות צולבות¹¹. טכניקות זיהוי שינויים מבוססות אובייקטים ייצגו שלב חשוב בהתקדמות עם הכנסת הקשר מרחבי וכן הפחתת רעש ברמת פיקסל ^2,12.

הופעת טכניקות הלמידה העמוקה חוללה מהפכה בתחום זיהוי השינויים בחישה מרחוק וסללה את הדרך להתגבר על מספר מגבלות בטכניקות המסורתיות. לאחרונה, רשתות עצביות קונבולוציה (CNN) הפכו לארכיטקטורה הסטנדרטית לחילוץ אוטומטי של תכונות וסיווג שינוי^13,14. Siamese NestedUNet for Change Detection¹⁴ו-Siamese^{Swin-Unet 15} הפכו לחדשנות משמעותית בזכות טופולוגיית רשת סיאמית מחוברת בצפיפות, המסייעת לשמור ביעילות על מידע על לוקליזציה בכל ההיררכיה של הרשת.

בעיית גילוי שינוי דו-זמני בחישה מרחוק אופטית ברזולוציה גבוהה עדיין קשה לפתרון בשל מגוון גורמים מבלבלים, ורשתות שנאים רב-קנה מידה מבוססות קשב עם תכונות מורכבות הוצעו אסטרטגיות מיזוג¹⁶. מסגרת EGMT-CD הציעה טרנספורמטורים מולטימודליים מונחי קצה של זוגות תמונה הטרוגניים, כאשר התמונות ההומולוגיות אינן נגישות בשל כיסוי ענן¹⁷. ארכיטקטורות כמו DASUNet פורצות צווארי בקבוק ידניים ללמידה עמוקה במיזוג תכונות בקנה מידה מלא, עם שיפור גבוה ב-0.85% במדד F1 לעומת SNUNet-24 במאגר הנתונים של CDD באמצעות זרימת גרדיאנט¹⁸ משופרת. מודלים היברידיים של CNN-טרנספורמר מתמודדים עם בעיית שלילי שגויים בעלות גבוהה יותר על ידי מתן תוספת תשלום על רכיבי התדר ללמידת תכונות¹⁹. רשתות השנאים ההיברידיות^{בצורת U 20}, עם זאת, עדיין קשה לספק אינטגרציה של תכונות מקומיות-גלובליות ושינויים באזורים שמתרחשים מדי פעם, אפילו בקנה מידה קטן. השימוש בזיהוי שינויים סמנטי מרובי משימות, וזיהוי מדויק של מיקום ומחלקות, מורכב יותר בהשוואה למשימות בינאריות^21,22. קורלציות דו-זמניות ניתנות למידול מוצלח באמצעות קשב צולב ללא שינויים אדריכליים^{משמעותיים} ^14,23. הביטוי של פרדיגמת שפת פרספקטיבה הוא גם חזית חדשה, כאשר עיצובים מבוססי CLIP המשלבים הסברים טקסטואליים להתאמה לשינוי²⁴ ודפוסים חצי-מפוקחים, ומבטלים את התלות בנתונים מסומנים²⁵. צ'יינג' ממבה מציג את מודלי מרחב המצבים של מודלים מרחב-זמניים^26,27. יישומים שונים של שיטות קשב מיוחדות מוצגים: התייחסות לשימוש בזיהוי אנומליה היפרספקטרלית²⁸, סיווג יעד רב-אזורי²⁹, או סגמנטציה מוגבלת^{תווית 30}, והדגמת גמישות מנגנוני הקשב בניתוח חישה מרחוק.

מחברים	שיטה/ארכיטקטורה	מפרטים טכניים	חדשנות מרכזית וממצאים / ביצועי מאגר נתונים
סינג, א. [8]	שיטות מסורתיות	הפרש מבוסס פיקסלים, CVA	מסגרת זיהוי שינויים דיגיטלית, מאגרי נתונים מרובים, דיוק: 65-80%
מאס, ג'.פ. [10]	לאחר הסיווג	סיווג זמני עצמאי	ניתוח מתודולוגיה השוואתי, דימות טרופיים, OA: 72-85%
לו ואח' [9]	שיטות מסורתיות	פעולות אלגבריות, CVA, PCA	השוואת טכניקות מקיפה, מקורות מרובים, דיוק: 70-88%
בנדק & סיראני [23]	מודל מרקוב מעורב	מסגרת מותנית רב-שכבתית	מידול שינוי הסתברותי (Sztaki AirChange), DA: 92.1%
בלשקה, ט. [2]	מבוסס אובייקטים	ניתוח מבוסס סגמנטציה	אינטגרציה של הקשר מרחבי, תמונות משאבי אנוש שונות, SA: 85-92%
צ'ן ואח' [11]	מבוסס אובייקטים	סגמנטציה רב-קנית	ניתוח אובייקטים היררכי, תמונות HR, OA: 87.3%
ז'אן ואח' [12]	CNN סיאמית	CNN בן 5 שכבות, גודל ליבה 3×3	אדריכלות סיאמית עמוקה ל-CD, תמונות אוויריות, F1: 0.847, IoU: 0.735
דאודט ואח' [4]	FCN סיאמי	FC-EF, FC-Siam-diff, FC-Siam-conc	אסטרטגיות מיזוג מוקדמות/מאוחרות, OSCD, F1: 0.431, IoU: 0.276
פנג ואח' [26]	UNet++	U-Net מקונן, חיבורי דילוגים צפופים	אגרגציה של תכונות בקנה מידה רב, לוויין HR, F1: 0.753, IoU: 0.604
צ'ן ושי [25]	תשומת לב מרחבית-זמנית	חסימות קשב, מידול זמני	למידת תכונה מרחבית-זמנית, LEVIR-CD, F1: 0.887, IoU: 0.797
פאנג ואחרים. [7]	SNUNet-CD	Siamese NestedUNet, dense connections	אופטימיזציה של העברת מידע, LEVIR: F1: 0.897, WHU: F1: 0.904
צ'ן ואח' [5]	BIT-CD	מקודד ResNet18 + טרנספורמר	למידת תכונות זמניות בינארית, OSCD: F1: 0.635, LEVIR: F1: 0.919
בנדרה ופאטל [3]	ChangeFormer	מקודד טרנספורמטור היררכי	קשב שנאי בקנה מידה רב, OSCD: F1: 0.654, LEVIR: F1: 0.905
סונג ואח' [27]	ACANet	תשומת לב צירית + עמוד שדרה CNN	חישוב קשב יעיל, LEVIR: F1: 0.901, WHU: F1: 0.913
שי ואח' [28]	מאמר סקירה	סקר שיטות מקיף של בינה מלאכותית	ניתוח שיטתי של גישות בינה מלאכותית, 50+ מערכי נתונים שנותחו
לי ואח' [14]	AMST-Net	טרנספורמטור רב-קנה מידה, פירמידה קשב	חילוץ תכונות רב-קנה מידה אדפטיבי, תמונות אופטיות HR, mIoU: 0.823
שיאנג ואח' [15]	EGMT-CD	ארכיטקטורה מולטימודלית מונחית קצה	יישור תכונות חוצה-מודלי, זוגות הטרוגניים, F1: 0.756
מיאו ואחרים. [16]	DASUNet	פיקוח צפוף, מיזוג מלא	פיקוח עמוק בכל רמות המפענחים, CDD: שיפור של 0.85% ב-F1 לעומת SNUNet
טאנג ואח' [29]	סיאמית סווין-אונט	Swin Transformer + מיזוג Unet	תשומת לב היררכית לחלון, LEVIR: F1: 0.923, WHU: F1: 0.925
וו ואח' [18]	היברידי U-טרנספורמר	בלוקי עמוד השדרה של UNet++ +	אינטגרציה של תכונות גלובליות-מקומיות, תמונות HR, IoU: 0.851, F1: 0.919
דונג ואחרים. [20]	ChangeCLIP	שפת ראייה מבוססת CLIP	הבנה סמנטית רב-מודלית, זוגות RS, דיוק סמנטי: 94.1%
לי ואח' [21]	סמי-CD-VL	שפת חזון חצי-מפוקחת	דרישות הערות מופחתות, תוויות מוגבלות, F1: 0.889
צ'ן ואח' [22]	ChangeMamba	מודלים של מרחבי מצב (SSM)	מידול זמני במורכבות ליניארית, תמונות RS, יעילות: פי 3 מהר יותר

טבלה 1: סיכום שיטות זיהוי שינויים בחישה מרחוק אנא לחצו כאן להורדת הטבלה הזו.

סיכום מחקרים קודמים מוצג בטבלה 1. שיטות מסורתיות כוללות תכונות מעוצבות בעבודת יד שאינן מתאימות לשינויים מרחביים-זמניים מורכבים³¹, וארכיטקטורת למידה עמוקה (UNet, FPN, PSPNet) כוללת קונבולוציות חישוביות צפופות ויקרות. המודלים הנוכחיים אינם כוללים מערכות שילוב רב-קנה מידה יעילות ומערכות קשב דינמי. כדי למלא את הפערים הללו, המחקר הנוכחי מציע מיזוג קשב אינטראקטיבי רב-קנה מידה עם רשת קונבולוציה דלילה, שמטרתה ללכוד את השינויים העדינים בקני מידה שונים תוך שמירה על יעילות חישובית מרחוק, במיוחד בשינויים מבניים עירוניים ומלאכותיים.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. הצהרת אתיקה

שני מערכי הנתונים Onera Satellite Change Detection (OSCD) ו-SZTAKI AirChange ששימשו במחקר זה כוללים תמונות RGB ורב-ספקטרליות זמינות לציבור המכסות מאפיינים גאוגרפיים מגוונים. מערכי נתונים אלו אינם מכילים נתונים מוגבלים או רגישים. לכן, אין צורך בהסכמה אתית לעבודה זו.

2. חומרים וציוד

בצע בדיקות על מחשב Windows 11 המכיל מעבד Intel Core i7 10870H, שבב NVIDIA GeForce GTX 1650 Ti עם 4GB זיכרון VRAM ו-32GB זיכרון RAM.
הערה: סביבת התכנות היא Python 3.8, וסביבת התכנות תלויה במסגרת PyTorch (גרסה 1.12.1) וב-Torchvision (גרסה 0.13.1) כדי לממש למידה עמוקה.
הורדה והתקנה של ספריות כמו scikit-learn (גרסה 1.0.2), המכילות כלי למידת מכונה, ו-NumPy (גרסה 1.21.0), המכילה פעולות מספריות.
ודאו שאתם מתקינים את CUDA Toolkit גרסה 11.3 ו-cuDNN גרסה 8.2 שסופקו על ידי NVIDIA Corporation כדי להיות במצב שבו תוכלו לנצל את האצת כרטיס המסך.
הכשרה והערכת ביצועים באמצעות מאגר הנתונים OSCD ו-SZTAKI Airchange הזמין לציבור.

3. הכנת מערך נתונים

בחרו ב-OSCD⁴, המורכב מתמונות אוויריות לווייניות RGB אופטיות ותמונות רב-ספקטרליות, כל אחת בגודל 600 על 600 פיקסלים ברזולוציה של 10 מ', ומערך הנתונים SZTAKI AirChange³² , שמורכב מ-13 זוגות תמונות אוויריות אופטיות, כל אחד בגודל 952 x 640 פיקסלים ברזולוציה של 1.5 מ' לפיקסל כמערכי נתונים מדדי ביצוע.
חלק את 24 הערים במאגר הנתונים של OSCD ל-14 ערים קבועות ומוגדרות מראש להכשרה ו-10 ערים לבדיקה.
הקצו זוגות תמונות קבועים ולא אקראיים של Szada/1 ו-Tiszadob/3 ממערך הנתונים של SZTAKI AirChange לקבוצת הבדיקה, ואת זוגות התמונה הנותרים כסט אימון כמדד ביצועים קונבנציונלי.
לבצע זיהוי שינויים על קבוצת הבדיקה וכימות ביצועים בריצה אחת באמצעות זוגות תמונות עם הערות מכל מאגר נתונים.

4. קדם-עיבוד

הפעילו עיבוד מקדים מבוסס פאץ'.
1. חלץ טלאי תמונה באופן עצמאי לכל תמונה זמנית באותם מיקומים בזמן כדי לנהל תמונות לוויין ברזולוציה גבוהה ביעילות.
2. חלק כל תמונה לכתמים חופפים של 128 × 128 פיקסלים באמצעות צעד של 64 פיקסלים.
3. יישר אזורים חופפים בין טלאים סמוכים כדי לשמור על עקביות גבולות ולשמור על מידע על הקצוות.
בצע שדרוג נתונים לפי מחלקה.
1. החלו הגדלה דיפרנציאלית במהלך האימון על שני התיקונים בזוג, בהתבסס על יחס פיקסלי השינוי כדי להתמודד עם חוסר איזון בין אזורי "שינוי" ל"ללא שינוי".
2. הגדל את זוג התיקונים (כאלה עם > 1% משני פיקסלים) שש פעמים באמצעות הטרנספורמציות הבאות: הפיכות אופקיות ואנכיות, סיבובים של 90°, רטט צבע (בהירות, ניגודיות ורוויה ± 30%), טרנספורמציות אפיניות (סיבוב ± 15°, תרגום ± 10 פיקסלים, קנה מידה של 95-105%).
3. הגדל את זוג התיקונים ללא שינוי רק פעם אחת כדי למנוע חוסר איזון במערכי נתונים.
  הערה: אסטרטגיית ההגברה הזו, המבוססת על שיעורים, מספקת אימון מאוזן באזורים של שינוי ואי-שינוי.
נרמול ושיפור איכות התמונה.
1. נרמל את כל התיקונים באמצעות ממוצע וסטיית תקן של ImageNet: ממוצע = (0.485, 0.456, 0.406), Std = (0.229, 0.224, 0.225).
  1. השתמש ב-Contrast Adaptive Histogram Adaptive Equalization (CLAHE) עם מגבלת קליפ = 2.0, גודל רשת האריחים=8 x 8, במרחב צבע LAB (ערוץ L בלבד) כדי להבהיר את הניגודיות של האזורים עם ניגודיות נמוכה כדי שניתן להבחין בין התכונות בתמונה, עם נורמל עוצמות ל-[0,255].
  2. נקה פאצ'ים שקטן מ-128 על 128 פיקסלים וריפד את הפאצ'ים הקטנים כך שיהיו בגודל זהה לתיקונים הגדולים ולשמור על שלמותם המרחבית במהלך אימון המודלים.

5. בניית דגם

הגדר קלט ופלט.
1. המסגרת המוצעת לוקחת כקלט זוג תמונות לוויין רשומות במשותף I₁, I₂∈ R^H×W×Cשנאספו במופעים זמניים שונים ויוצרת מפת שינוי בינארית M ∈ R^H×W×2 שמגדילה במדויק אזורים שהשתנו ולא השתנו.
מסגרת מוצעת
1. עבד את המסגרת המוצעת כצינור עיבוד בשלושה שלבים. בשלב הראשון, מבצעים מידול קשב זמני על רצפי קלט כדי ללכוד שינוי לאורך זמן.
2. השתמש באינטראקטיביות בהקשב חוצה כדי ללכוד תלות זמן סימטרית בין תכונות דו-זמניות בשלב מידול הקשב הזמני.
3. חילוץ ייצוגים היררכיים של תכונות רלוונטיות מתמונה מדומה זמנית באמצעות ארכיטקטורת מקודד מבוססת תכונות דליל בשלב השני, שבו הרזולוציה המרחבית יורדת בהדרגה בעוד שממד התכונה גדל.
4. השתמש במפענח שמחובר לדילוג עם דגימה אדפטיבית כדי לייצר מפות שינוי ברזולוציה גבוהה בשלב השחזור, תוך שמירה על פרטים מרחביים בקנה מידה נמוך יותר.
  הערה: איור 1 מציג את זרימת הנתונים הכוללת מתמונות לוויין דו-זמניות קלט אל המקודד המשותף, בלוקי עיבוד תשומת לב בינונית ומפענח, שכולם יחד יוצרים את מפת זיהוי השינויים.
מקודד תכונות דליל
1. לבנות מקודד קל משקל שנבנה מבלוקים קונבולוציונליים של גוסט עם יחס = 2, כאשר נרמול אצווה ופונקציית הפעלה של ReLU מיושמים ברצף כדי להפחית את המורכבות החישובית תוך שמירה על איכות הייצוג.
2. הרכיבו את המקודד ברצף מתוך שלושת סוגי הבלוקים הבאים.
  בלוק₁: גוסט (in_channels → 32) → BN → ReLU → גוסט (32 → 64) → BN → ReLU → MaxPool(2×2)
  בלוק₂: גוסט (64 → 96) → BN → ReLU → גוסט (96 → 128) → BN → ReLU → MaxPool(2×2)
  בלוק₃: גוסט (128 → 128) → BN → ReLU
3. חבר את הבלוקים כדי לשמור על זרימת תכונות חלקה דרך המקודד ולשמור על רזולוציה מרחבית לשלבים הבאים.
  הערה: החידוש המרכזי בגישה זו טמון במנגנון אינטראקטיבי של קשב צולב שמאפשר אינטראקציה סימטרית בין תמונות דו-זמניות. לכל זוג תמונות, מופקות תכונות עמוקות F_1,F ₂∈R^B×C×H'×W' כאשר H' = H/4, W'=W/4, C=128 מייצגים את ממד התכונה. תכונות מרחביות אלו מעוצבות מחדש לפורמט רצף שמייצג את אורך הרצף המרחבי, ו-D=C מייצג את ממד התכונה.
מידול קשב זמני
1. מיישם פעולת קשב חוצה באמצעות ניסוח קשב נקודתי-מכפל סטנדרטי כפי שמודגם באיור 2
  
  כאשר Q, K ו-V מייצגים מטריצות שאילתה, מפתח וערכים בהתאמה, ו-d_kמסמן את הממד של וקטורי המפתח.
  הערה: קשב רב-ראשי עם h = 8 ראשים ללכידת סוגים שונים של יחסים זמניים בו זמנית מיושם באופן עצמאי בכל סולם. כל ראש תשומת לב מעבד תת-מרחב שונה של ייצוגי התכונות, מה שמאפשר למודל להתמקד בהיבטים שונים של שינויים זמניים.
2. חשב את פלט הקשב המרובה ראשי כך:
  רב-ראש (Q,K,V) = קונקט (ראש₁,...,_{ראש ח)} W^O
  כאשר כל אחת מהן היא מטריצות הקרנה שנלמדו.
קשב אינטראקטיבי סימטרי
1. אסטרטגיית הקשב האינטראקטיבית לוכדת מידע על שינוי סימטרי באמצעות פעולות קדימה ואחורית ( מוצגת באיור 3). תשומת לב קדמית מאפשרת לתכונות מהתמונה הזמנית הראשונה להסתמך על תכונות מהתמונה הטמפורלית השנייה, המחושבות כך:
  
  כאשר התכונות הזמניות הראשונות משמשות כשאילתות בעוד שהתכונות השנייה מספקות מפתחות וערכים.
2. לעומת זאת, קשב לאחור מאפשר לתכונות מהתמונה הזמנית השנייה להתייחס לתכונות מהתמונה הזמנית הראשונה, המנוסחות כך:
  
  המאפיינים המטופלים משני הכיוונים מחוברים ומוקרנים דרך טרנספורמציה ליניארית ליצירת הייצוג הסופי:
  
  הערה: מנגנון אינטראקטיבי זה מבטיח שהיחסים הזמניים יתפסו באופן סימטרי, מה שהופך את הרשת לבלתי משתנה לסדר תמונות הקלט, דבר קריטי ליישומי זיהוי שינויים שבהם רצף הזמן לא אמור להטות את תוצאות הגילוי.
מפענח ושחזור מפת שינוי
1. מיזוג התכונות המטופלות עם יציאות המקודד באמצעות חיבורים מדלגים כדי לשמור על פרטים מרחביים.
2. יש ליישם אינטרפולציה בילינארית עם פרמטרים זהים בכל שלבי המפענח לצורך שינוי גודל אדפטיבי כדי להבטיח יישור מושלם בין חיבורי דילוג.
3. בשלב הראשון, הפחת ערוצים מ-256 ל-96 פיקסלים באמצעות קונבולוציות רפאים ב-H/4×W/4 והעלו דגימה ל-H/2×W/2 והתמזגו עם תכונות המקודד המתאימות.
4. בשלב השני, תכונות עיבוד עם קונבולוציות רוח רפאים כדי להקטין ערוצים מ-160 ל-64 פיקסלים ולהעלות דגימה לרזולוציה מלאה H×W ולהשתלב עם תכונות דילוג ברמת המקודד.
5. לבסוף, מיישם קונבולוציות רפאים כדי להפחית ערוצים ל-32 ולהשתמש בקונבולוציה סופית של 1 × 1 ליצירת מפת שינוי בינארית דו-ערוצית.
6. סכם את צינור העיבוד המלא באמצעות המסגרת האלגוריתמית הבאה, שמאחדת את כל הרכיבים האדריכליים למערכת זיהוי שינויים מגובשת.
  הערה: סימון: E^k_iמציין תכונות מקודד מתמונה i ∈ {1,2} ברמה k; F_iהוא התכונה המקודדת הסופית; הוא הגרסה השטוחה שלו; היא התכונה המוגברת על תשומת הלב; A היא מטריצת הקשב; D_j הם פלטי מפענח; φ_k,ψ _j הם בלוקי מקודד/מפענח; [·;·] מציין שרשור לפי ערוץ; _{W out} הוא גרעין שכבת הפלט.
  ראו אלגוריתם קובץ משלים 1 ל"זיהוי שינוי מבוסס מיזוג קשב רב-קנה מידה אינטראקטיבי

figure-protocol-9
איור 1: מתודולוגיה מוצעת אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של האיור.

figure-protocol-10
איור 2: ארכיטקטורת קשב צולב אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-protocol-11
איור 3: ארכיטקטורת אינטראקטיבית Cross Attention אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

6. הליך האימון

פונקציית אובדן
הערה: תהליך ההכשרה עושה שימוש בפונקציית אובדן טברסקי מוקד כדי להתמודד עם חוסר האיזון המחלקתי הנפוץ במאגרי זיהוי שינוי.
1. נסח את פונקציית ההפסד כך: יהי p_i∈ [0,1] ההסתברות החזויה לפיקסל i, ו-g_i∊ {0,1} האמת הבסיסית המתאימה. מדד טברסקי (TI) מוגדר כך:
  
  כאשר α ו-β שולטות בעונש על חיוביים שגויים ושליליים שגויים, בהתאמה, ו-ε הוא מונח החלקה.
2. לאחר מכן הביטו את אובדן הטברסקי המוקדי כך:
  
  עם γ מודולציה של המיקוד על פיקסלים שקשה לסווג.
תצורת היפרפרמטר
1. החלו חיפוש רשת שיטתי מבוסס אימות צולב בחמישה חלקים על קבוצת הרכבות כדי לבחור ערכים מיטביים.
2. הגדר את מקדמי משקל הירידה למשימת זיהוי השינוי ל-α = 0.3, β = 0.7, γ = 1.0, ו-ε = 1.0. ערכים אלו מדגישים מזעור זיהויים שלא נעשו במקום חיוביים שגויים, דבר שחשוב למערכי נתונים לא מאוזנים שבהם השינויים נדירים יחסית.
  הערה: משקל א-סימטרי עם β > α מתמקד בקריאה, כלומר שליליות שגויות משוקללות יותר מחיוביים שגויים, והיא תואמת את התכנון, במיוחד ביישומי ניטור אסונות.
אופטימייזר ואסטרטגיית למידה
1. השתמש באופטימייזר AdamW עם דעיכת משקל של 1×10⁻⁴ כדי לשפר את הרגולריזציה ולמנוע התאמת יתר.
2. אתחול קצב הלמידה ב-1×10⁻³ והחלו לוח זמנים של אנילינג קוסינוס כדי להבטיח התכנסות חלקה ויציבה במהלך האימון.
3. השתמש בגודל אצווה של 8 כדי לשמור על תאימות לסביבת זיכרון GPU של 4 GB.
לוח אימונים
1. לאמן את המודל בנפרד על OSCD, הכולל 14 זוגות מוגדרים מראש לאימון ו-10 זוגות לבדיקה, ואז על מאגר הנתונים SZTAKI Airchange עם Szada/1 ו-Tiszabob/3 כמדדי בדיקה סטנדרטיים.
2. חלקו את זוגות האימון לחמישה חלקיים, השתמשו בקפל אחד כסט אימות בכל איטרציה, והמשיכו באימון למקסימום 100 אפוקים.
3. יש לנטר אובדן אימות בסוף כל קיפול וליישם קריטריוני עצירה מוקדמים של 10 תקופות לאחר שההתכנסות מתייצבת כדי למנוע התאמת יתר ולהפחית חישוב מיותר.
4. בחר את ההיפרפרמטרים בהתבסס על ביצועי האימות הממוצעים הטובים ביותר בכל הקיפולים.
5. לבצע זיהוי שינויים בקבוצת הבדיקה וכימות ביצועים בריצה אחת באמצעות זוגות תמונות עם הערות מכל מערך נתונים.
אופטימיזציה של זיכרון
1. הפעל נקודת ביקורת גרדיאנטית כדי להוריד את השימוש בזיכרון GPU בכ-40%, מושג על ידי חישוב מחדש של הפעלות ביניים במהלך המעבר האחורי.
2. אפשר אימון דיוק מעורב לשימוש בפעולות FP16 כאשר הן יציבות מספרית, ובכך לשפר את המהירות ולהפחית עומס זיכרון.
3. השתמש בקנה מידה אדפטיבי בגודל אצווה כדי להתאים דינמית את השימוש בזיכרון למקסימום יעילות GPU.

7. הערכה

ודאו שלא ייכללו תיקונים מערי בדיקה בהדרכה או באימות כדי למנוע דליפת נתונים.
ארגן תיקוני תמונה ומפות אמת קרקעיות מתאימות להערכה לפי אצוות.
טען את משקלי המודל המאומן מהתקופה בעלת הביצועים הטובים ביותר שנקבעה על ידי אובדן הוולידציה.
בחר סף של 0.5 כדי להמיר מפות הסתברות למפות שינוי בינאריות.
חישוב מדדי הערכה לפי פיקסלים למדידת ביצועי זיהוי שינוי¹⁰
דיוק (P): חלק מהפיקסלים הצפויים שהם פיקסלי שינוי אמיתיים.
Recall (R): חלק מהפיקסלים האמיתיים שזוהו כראוי.
ציון F1: ממוצע הרמוני של דיוק וקריאה.
הפקת תיקון תמונה בזמן אמת תוך אימון והערכת מודלים במידות של 128 x 128 פיקסלים וצעד של 64 פיקסלים.
הערה: יצירה דינמית כזו מבטיחה יעילות זיכרון וכן עקביות בגבולות.
בדוק את נכונות העיבוד המוקדם ומיקום התיקונים על ידי בדיקת מדגם מייצג של תמונות תכונות מובנות או בינוניות שנוצרו.
הערה: ייצוגי תכונות מקודדים שנוצרים על ידי המקודד מבוסס CNN נשמרים בזיכרון בצורת טנזורים לשימוש מאוחר יותר בשלבים, המשמשים כנקודות ביקורת בעת אימות תכונות. מפות שינוי שנוצרו מאוחסנות כקבצי תמונה רגילים (e.g. PNG או TIFF) לצפייה ויזואלית כדי להעריך את השינויים שזוהו.
רשמו את מדדי ההתכנסות (עקומות אובדן, מדדי דיוק) באימון המודל, ובדקו אם נקודות המודל נשמרות במרווחים מוגדרים כדי שניתן יהיה לשחזר, לשפר או לשחזר את כל תהליך האימון.
הערה: הצגה מפורשת של פורמט הפלט, שלבי האימות ופרטי נקודות הביקורת מסייעת להבטיח שקיפות, מאפשרת לאימות להתבצע שלב אחר שלב וגם מאפשרת לשכפול ואימות הפרוטוקול על ידי חוקרים אחרים. פרוטוקול זה מספק תהליך עבודה מעמיק ומפורט כיצד להכין מאגר נתונים ולהמשיך בשלב העיבוד המוקדם, בניית הרשת, ההדרכה וההערכה. על ידי הקפדה על השלבים, ניתן יהיה ליישם את השיטה המוצעת בתנאים שנקבעו בצורה חוזרת. תוצאות הליך כזה מוצגות בסעיף התוצאות הבא.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

שיטת זיהוי השינויים המוצעת הוערכה מול גישות בסיסיות מבוססות באמצעות שני מערכי נתונים של מדדים זמינים לציבור, כדי להעריך את ביצועיה ברזולוציות ספקטרליות שונות ותנאי סביבה. תוצאות הניסוי מראות שיפורים משמעותיים באיזון בין דיוק זיהוי לבין שליטה חיובית שגויה, ובמיוחד מדגימה את יכולת השיטה לשמור על שיעורי שחזור גבוהים תוך שיפור משמעותי של הדיוק בהשוואה לשיטות מסורתיות.

נתונים

רשת

דיוק ...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה מציג רשת אינטראקטיבית רב-קנה מידה מבוססת מיזוג קשב לזיהוי שינויים בתמונות לוויין דו-זמניות. שילוב מנגנון תשומת לב דו-כיווני, בניגוד לשיטות חד-כיווניות, מאפשר אינטראקציה מלאה בין תכונה חוצת זמן עם אותות קשב משלימים קדימה ואחורה. שינויים זמניים מתקדמים בזרם הקשב הקדמי נתפסים על ידי הפרש הקשב, כלומר רכישות זמניות ישנות לחדשות, בעוד שעקביות השינוי נבדקת על ידי מערכת רכישה לאחור שמזהה תכונות פופ. תכונה זו בעלת שתי רצועות הוכיחה את עצמה כיעילה יותר בהפרדת שינויים אמיתיים בכיסוי קרקע ור...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מצהירים שאין ביניהם ניגוד עניינים.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה לא קיבל מענק ספציפי מסוכנות מימון כלשהי במגזר הציבורי, המסחרי או הלא-רווחי.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
Name	Company	Catalog Number	Comments
ערכת כלים של CUDA	תאגיד NVIDIA	גרסה 11.3	האצת GPU לחישובי למידה עמוקה
cuDNN	תאגיד NVIDIA	גרסה 8.2	ספריית למידה עמוקה מותאמת ל-GPU
Intel מעבד	חברת אינטל	Core i7 10870H	פלטפורמת חישוב המשמשת להדרכה והערכת מודל הלמידה העמוקה המוצע
NumPy	קוד פתוח	גרסה 1.21.0	עיבוד מערך נומרי
NVIDIA GeForce	תאגיד NVIDIA	GTX 1650 Ti (4GB VRAM)	יחידת עיבוד גרפיקה המשמשת לאימון מודלים מואץ
מערך נתוני זיהוי שינוי לווייני אונרה (OSCD)	ONERA	מאגר נתונים אופטי RGB ורב-ספקטרלי זמין לציבור המשמש להדרכה והערכה.	https://rcdaudt.github.io/oscd/
פייתון	קרן התוכנה של פייתון	גרסה 3.8	שפת תכנות המשמשת למימוש אלגוריתמים
פייטורץ'	מטא-AI (קוד פתוח)	גרסה 1.12.1	מסגרת למידה עמוקה בקוד פתוח משמשת לפיתוח ואימון המודל המוצע
Scikit-learn	קוד פתוח	גרסה 1.0.2	מדדי הערכת ביצועים
מערך הנתונים של SZTAKI AirChange	שטאקי	מאגר נתוני תמונות אוויריות אופטיות RGB זמין לציבור המשמש לאימון והערכה.	http://web.eee.sztaki.hu/remotesensing/airchange_benchmark.html
טורצ'וויז'ן	מטא-AI (קוד פתוח)	גרסה 0.13.1	טעינת מערכי נתונים וטרנספורמציות תמונה
מערכת ההפעלה של Windows	מיקרוסופט	11	מערכת הפעלה

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ahmed, O. S., Franklin, S. E., Wulder, M. A., White, J. C. Characterizing stand-level forest canopy cover and height using Landsat time series, samples of airborne lidar, and the random forest algorithm. ISPRS J Photogramm. Remote Sens. 101, 89-101 (2015).
Blaschke, T. Object based image analysis for remote sensing. ISPRS J. Photogramm. Remote Sens. 65 (1), 2-16 (2010).
Bandara, W. G. C., Patel, V. M. A. transformer-based Siamese network for change detection. IGARSS. , 207-210 (2022).
Daudt, R. C., Le Saux, B., Boulch, A., Gousseau, Y. Urban change detection for multispectral earth observation using convolutional neural networks. Proc. IEEE Int. Geosci. Remote (IGARSS). , 2115-2118 (2018).
Chen, H., Qi, Z., Shi, Z. Remote sensing image change detection with transformers. IEEE Trans. Geosci. and Remote. 60, 1-14 (2021).
UNet++: A nested U-Net architecture for medical image segmentation. Zhou, Z., Siddiquee, M. M. R., Tajbakhsh, N., Liang, J. Proc. Int. Workshop Deep Learn. Med. Image Anal. Multimodal, 11045, 3-11 (2018).
Peng, D., Zhang, Y., Guan, H. End-to-end change detection for high resolution satellite images using improved Unet++. Remote Sens. 11 (11), 1382(2019).
Fang, S., Li, K., Shao, J., Li, Y. SNUNet-CD: A densely connected Siamese network for change detection of VHR images. IEEE Geosci. Remote Sens. Lett. 19, 1-5 (2021).
Singh, A. Digital change detection techniques using remotely-sensed data. Int. J. Remote Sens. 10 (6), 989-1003 (1989).
Lu, D., Mausel, P., Brondizio, E., Moran, E. Change detection techniques. Int. J. Remote Sens. 25 (12), 2365-2401 (2004).
Mas, J. F. Monitoring land-cover changes: a comparison of change detection techniques. Int. J. Remote Sens. 20 (1), 139-152 (1999).
Chen, G., Hay, G. J., Carvalho, L. M., Wulder, M. A. Object-based change detection. Int. J. Remote Sens. 33 (14), 4434-4457 (2012).
Zhan, Y., Fu, K., Yan, M., Sun, X., Wang, H., Qiu, X. Change detection based on deep Siamese convolutional network for optical aerial images. IEEE Geosci. Remote Sens. Lett. 14 (10), 1845-1849 (2017).
Pacifici, F., Del Frate, F. Automatic change detection in very high-resolution images with pulse-coupled neural networks. IEEE Geosci. Remote Sens. Lett. 7 (1), 58-62 (2009).
Tang, Y., Cao, Z., Guo, N., Jiang, M. A Siamese Swin-unet for image change detection. Sci. Rep. 14 (1), 4577(2024).
Liu, W., Lin, Y., Liu, W., Yu, Y., Li, J. An attention-based multiscale transformer network for remote sensing image change detection. ISPRS J. Photogramm. Remote Sens. 202, 599-609 (2023).
Xiang, Y., Tian, X., Xu, Y., Chen, Z. EGMT-cd: Edge-guided multimodal transformers change detection from satellite and aerial images. Remote Sens. 16 (1), 86(2023).
Miao, R., et al. DASUNET: A deeply supervised change detection network integrating full-scale features. Sci. Rep. 14, 12464(2024).
Yang, J., Wan, H., Shang, Z. Enhanced hybrid CNN and transformer network for remote sensing image change detection. Sci. Rep. 15 (1), 10161(2025).
Wu, H., Yuan, M., Zhan, T. A hybrid U-shaped and transformer network for change detection in high-resolution remote sensing images. IET Image Process. 18 (5), 1373-1384 (2024).
Wang, Y., Zhao, L., Hu, Y., Dai, H., Zhang, Y. Multitask semantic change detection guided by spatiotemporal semantic interaction. Sci. Rep. 15 (1), 16003(2025).
Wang, G., Li, B., Zhang, T., Zhang, S. A network combining a transformer and a convolutional neural network for remote sensing image change detection. Remote Sens. 14 (9), 2228(2022).
Song, L., Xia, M., Weng, L., Lin, H., Qian, M. Axial cross attention meets cnn: Bibranch fusion network for change detection. IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens. 16, 21-32 (2022).
Dong, S., Wang, L., Du, B., et al. Changeclip: Remote sensing change detection with multimodal vision-language representation learning. ISPRS J. Photogramm. Remote Sens. 208, 53-69 (2024).
Li, K., Cao, X., Deng, Y., et al. SemiCD-VL: Visual-language model guidance makes better semi-supervised change detector. IEEE Trans. Geosci. Remote Sens. 63, 1-13 (2025).
Chen, H., et al. Changemamba: Remote sensing change detection with spatio-temporal state space model. IEEE Trans. Geosci. Remote Sens. 62, 1-20 (2024).
Chen, H., Shi, Z. A spatial-temporal attention-based method and a new dataset for remote sensing image change detection. Remote Sens. 12 (10), 1662(2020).
Zhang, L., et al. Improved central attention network-based tensor RX for hyperspectral anomaly detection. Remote Sens. 14 (22), 5865(2022).
Liu, H., et al. Multiarea target attention for hyperspectral image classification. IEEE Trans. Geosci. Remote Sens. 61, 1-16 (2023).
Liu, H., et al. SegHSI: Semantic segmentation of hyperspectral images with limited labeled pixels. IEEE Trans. Image Process. 33, 6469-6482 (2024).
Shi, W., Zhang, M., Zhang, R., Chen, S., Zhan, Z. Change detection based on artificial intelligence: State-of-the-art and challenges. Remote Sens. 12 (10), 1688(2020).
Benedek, C., Szirányi, T. Change detection in optical aerial images by a multilayer conditional mixed markov model. IEEE Trans. Geosci. Remote Sensing. 47 (10), 3416-3430 (2009).
Liu, J., Gong, M., Qin, K., Zhang, P. A deep convolutional coupling network for change detection based on heterogeneous optical and radar images. IEEE Trans. Neural Networks Learn. Syst. 29 (3), 545-559 (2018).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

מיזוג קשב אינטראקטיבי רב-קנה מידה עם רשת קונבולוציה דלילה לזיהוי שינויים בתמונות לוויין

In This Article

Summary

Abstract

Introduction

Protocol

Results

Discussion

Disclosures

Acknowledgements

Materials

References

Reprints and Permissions

Tags

Related Articles