סינון יעיל של תחום שיפוע רב-ממדי להסרת ערפול של תמונות ווידאו עם קוהרנטיות זמנית משופרת

Summary

הפרוטוקול כאן משלב תת-דגימה לשימור מינימלי עם סינון מודרך משוקלל בתחום השיפוע כדי לשפר את יכולות הסרת הטשטוש בזמן אמת של מודל פיזור האור. חישוב ממוצע של ערכי RGB מהפיקסלים הבהירים ביותר של 0.1% בתמונת המקור בערוץ הכהה מפיק אור אטמוספרי, וגורם המתאם המבוסס על מעבר צבע משמש לעקביות עיבוד וידאו.

Abstract

הסרת ערפול היא חיונית בראייה ממוחשבת כדי להחזיר את בהירות התמונה המושפעת מפיזור אטמוספרי. השיטות הקיימות סובלות מעלויות חישוביות גבוהות, אובדן פרטי שיפוע וחפצים מהבהבים ביישומי וידאו. כדי לשפר את היעילות והאיכות החזותית, עבודה זו מציעה טכניקת הסרת ערפול מבוססת מסנן תמונה מודרכת משוקללת בתחום שיפוע רב-ממדי המתאימה הן לסרטונים והן לתמונות. כדי להעריך פרמטרים אטמוספריים ולהפחית את המורכבות החישובית, נעשה שימוש בתת-דגימה לשימור מינימלי (MPS). לאחר מכן, תהליך דגימה איטרטיבי עם מסנן התמונה המודרכת המשוקלל של תחום השיפוע (GWGIF) מעדן את מפת השידור, משמר כמות משמעותית של תכונות שיפוע ובכך משפר את המרקם ושימור הקצוות. עבור הסרת ערפול וידאו, מוצג גורם המתאם מבוסס השיפוע (GCF), וכתוצאה מכך הפחתה משמעותית בחפצים מהבהבים בהשוואה לשיטות הקיימות. הערכות ניסיוניות מדגימות את עליונות הגישה שלנו, והשיגו ציון מעריך איכות תמונה מבוסס תפיסה (PIQE) של 26.98, ציון מעריך איכות תמונה טבעית (NIQE) של 2.78, וציון מעריך איכות מרחבית של תמונה עיוורת/ללא התייחסות (BRISQE) של 20.18, המשקף איכות תפיסתית משופרת. יתר על כן, השיטה המוצעת מבטיחה קוהרנטיות זמנית גבוהה בהסרת ערפול וידאו, עם סטיית שגיאה ריבועית ממוצעת (MSE) של 0.003, מה שהופך אותה לאידיאלית עבור יישומים בזמן אמת כגון רכבים אוטונומיים, מעקב וחישה מרחוק.

Introduction

אובך הוא תופעה אטמוספרית המקשה על ראיית עצמים רחוקים כאשר האור מתפזר על ידי עשן, טיפות מים או חלקיקי אבק. הידרדרות התמונה עקב אובך מזיקה ליישומי ראייה ממוחשבת ^1,2, כולל ניתוח וידאו, רכבים אוטונומיים ומעקב. כדי לשפר את ביצועי הראייה הממוחשבת, כצעד ראשון בעיבוד, אסטרטגיית הסרת ערפול חיונית להסרת רכיבי אובך מתמונות. המונח "הסרת ערפול" מתייחס לשלבים המשמשים להחזרת הבהירות לתמונה מטושטשת או בלתי שמישה אחרת. בשנים האחרונות פותחו מספר טכניקות להסרת ערפול תמונה. בעיית הסרת הערפל מייצגת את תמונת המטרה (המעורפלת) I^{מעורפלת} (x) של ערוץ הצבע במיקום x כפי שמוצג ב-(1) כפי שנלקח מ-He et ^al.3.

    1

J^clear(x) מייצג את התמונה השקופה, בעוד ש-L_{atm ו-t} map מייצגים את האור האטמוספרי העולמי ואת מפת השידור הבינונית, בהתאמה. חלק האור שנקלט על ידי חיישני המצלמה מסומן על ידי מרחק_מפת t d(x) כפי שמחושב על ידי המרחק בין הסצנה למצלמה ב-He et ^al.3כפי שמוצג ב-(2).

    2

כאן, β מייצג את מקדם ההולכה לפיזור אוויר.

שחזור J^clear(x) מ-I^מעורפל(x) במהלך תהליך הסרת הערפל, הוא מוצג ב-(3), אשר מושג לאחר סידור מחדש של (1). כאן, t מייצג את העברת האור של האטמוספירה, הידועה גם כמקדם השידור.

    3

מודל הערוץ האפל הקודם (DCP)³ הוא בין המודלים האטמוספריים הידועים ביותר למטרה זו. מבין טכניקות הסרת הערפל הידועות המבוססות על מודלים פיזיים, DCP היא הנפוצה ביותר, המניחה שלפחות ערוץ צבע אחד מכיל פיקסלים בעוצמות נמוכות במיוחד בתמונה נטולת אובך. קודם זה משמש להערכת מפת השידור באמצעות DCP ולשחזור קרינת הסצנה מ-(1). עם זאת, טכניקה זו גוזלת זמן ומרווה יתר על המידה את אזור השמיים בתמונה.

המוטיבציה למחקר זה נובעת מהצורך לשפר את הנראות ביישומי ראייה ממוחשבת שבהם אובך פוגע משמעותית באיכות התמונה. הגישה לא רק מאיצה את תהליך הסרת הטשטוש אלא גם מבטיחה שפרטי התמונה, כגון קצוות ומרקמים, יישמרו. יתר על כן, המחקר מרחיב את האלגוריתם שלו לסרטונים, ומתמודד עם בעיה קריטית בעיבוד וידאו. לעיתים, בתנאי תאורה שונים, נראות התמונות משתנה, מה שמציב אתגר נוסף ביישומים רבים, כגון נהיגה אוטונומית ומעקב.

אימות האלגוריתם המוצע בוצע באמצעות ניסויים נרחבים על מערכי נתונים שונים של תמונות ווידאו הזמינים לציבור. מערכי הנתונים כוללים סצנות מעורפלות סינתטיות ובעולם האמיתי, מה שמאפשר הערכה מקיפה בתנאים מגוונים. אימות ניסיוני על פני רצפי וידאו מגוונים בעולם האמיתי (Riverside, Crossroad, Haze road, Ship)⁴ ותמונות סטטיות⁵ עם צפיפות אובך משתנה, המוערכת באמצעות מדדים מבוססים (FADE, NIQE, PIQE, BRISQUE⁾⁶ ובהשוואה לתשע שיטות מתקדמות, מדגים את הישימות המעשית של האלגוריתם בתחומי מחשוב רכב, מעקב, ימי ונייד תוך שמירה על ביצועים בזמן אמת. הביצועים הוערכו באמצעות השוואות חזותיות סובייקטיביות ומדדי איכות אובייקטיביים, המדגימים תחרותיות עם גישות חדישות במונחים של דיוק ויעילות חישובית.

העבודה המוצעת מיועדת לביצועים בזמן אמת ונבדקה על תמונות וסרטונים ברזולוציות של עד 1920 × 1080 פיקסלים. כדי להבטיח עיבוד יעיל, כל הניסויים נערכו בתחנת עבודה המצוידת במעבד Intel i3-6006U (2.00 ג'יגה הרץ) ו- 12 ג'יגה-בייט זיכרון RAM. בעוד שהשיטה מדגימה ביצועים חזקים בתרחישים שונים בעולם האמיתי, היא עשויה להפגין דיוק מופחת בתנאי אובך צפופים במיוחד שבהם הערכת השידור הופכת לא אמינה. פרטים אלה מדגישים את המעשיות והמגבלות של הגישה המוצעת בפריסה בעולם האמיתי.

כדי להתגבר על אתגרים שונים, מחקר זה מציע גישה חדשה המשתמשת ב-GWGIF רב-ממדי להסרת תמונות וסרטונים. על ידי שילוב שיטת MPS, המחקר מציג טכניקה יעילה מבחינה חישובית להערכת מפת השידור, המהווה גורם מפתח בהסרת ערפול. חפצים מהבהבים טופלו על ידי שילוב שיטת GCF חדשה השומרת על קוהרנטיות זמנית בין פריימים עוקבים, ומבטיחה הן יעילות חישובית והן תוצאות באיכות גבוהה. מחקר זה תורם לפיתוח טכניקות חזקות יותר לשיפור תמונה ווידאו. איור 1 ממחיש את מפת השידור המחושבת בשיטת MPS, ואיור 2 מציג את השיטה המוצעת המשלבת MPS ו-GCF. החידוש בעבודתנו טמון בפיתוח אלגוריתם דה-הייזינג של תמונה ווידאו בזמן אמת המבוסס על ריבוי קנה מידה עם מסנן מונחה משוקלל מבוסס שיפוע, המטפל בצווארי בקבוק חישוביים של שיטות דה-הייזינג מסורתיות. באופן ספציפי, התרומות החדשניות העיקריות שלנו הן: (1) טכניקת MPS השומרת על אזורים כהים קריטיים להערכת שידור מדויקת תוך הפחתת עומס חישובי; (2) GWGIF השומר באופן ספציפי על קצוות יציבים במהלך עידון מפת השידור; (3) הערכת אור אטמוספרי אופטימלית המתמקדת רק ב-0.1% הפיקסלים העליונים הבהירים ביותר; (4) GCF להסרת ערפול וידאו המודד דמיון פריימים באמצעות מידע שיפוע; (5) מערכת אופטימיזציה זמנית העושה שימוש חוזר בחישובים בין פריימים דומים של וידאו כדי להשיג עיבוד בזמן אמת.

שיטה זו משיגה ביצועים בזמן אמת תוך מתן איכות הסרת ערפול דומה או טובה יותר מזו של אלגוריתמים מתקדמים, כפי שהודגם על ידי ניסויים נרחבים שהוצגו במאמר [איור 3, איור 4, איור 5, איור 6 ואיור 7].

Protocol

עבודה זו השתמשה בדימויי סצנה סינתטיים או טבעיים ללא מעורבות של נושאים אנושיים. לכן, לא נדרש אישור אתיקה.

פרוטוקול הסרת ערפול תמונה זה פותח במערך מחשוב סטנדרטי ונועד לשפר את הבהירות והנראות של תמונות מעורפלות. סביבת העבודה היא MATLAB⁷. הגישה עוקבת אחר תהליך שיטתי הכולל הערכת אובך, עידון ושחזור תמונה. על ידי שיפור הדרגתי של איכות התמונה תוך שמירה על פרטים חשובים, השיטה מספקת תוצאות ברורות ומושכות מבחינה ויזואלית. הוא נבדק על מערכי נתונים בשימוש נרחב⁸ והוערך באמצעות מדדי איכות תמונה סטנדרטיים, המדגימים את יעילותו והתאמתו ליישומים אקדמיים או מבוססי מחקר. הסברים ומשוואות חשובים עבור הפרוטוקול, החומרים והציוד, כמו גם שלבי הפתרון המוצע, ניתנו בסעיפים שלהלן. כמו כן תוארו פרמטרים להערכה.

1. חומרים וציוד

הניסוי פותח באמצעות MATLAB Online (24.2.0.2871072 (R2024b) Update 5) ומבוצע על מערכת עם מעבד Intel i3-6006U (2.00 GHz). מערכי הנתונים של התמונות ^5,8 המשמשים ליישום מקורם בספרות המוזכרת. המתודולוגיה כוללת שימוש במסנן גאוס 5 × 5 עם אינטרפולציה דו-ליניארית, הערכת מפת שידור באמצעות אלגוריתם MPS⁹ ושכלול באמצעות מסנן GWGIF, הכל מתבצע על גבי תשתית מחשוב מתאימה. פרטים וקישורים של כל החומרים והציוד ששימשו במחקר מוזכרים בטבלת החומרים.

2. מערך ניסוי

המערך הניסיוני כולל יישום גישת הסרת התמונה והווידאו המוצעת בסביבת מחשוב מדעית התומכת בעיבוד תמונה והדמיה מבוססי מטריצה. מערכי נתונים סטנדרטיים של בנצ'מרק ^5,8, המורכבים מתמונות וסרטונים מעורפלים¹⁰, כפי שמוזכר בספרות מבוססת, שימשו להערכת ביצועי השיטה. האלגוריתם עוקב אחר מסגרת עיבוד רב-ממדית, תוך שימוש בפירמידות תמונה ומתאם מבוסס שיפוע כדי להנחות את החישוב והעידון של מפת השידור האדפטיבית. עבור רצפי וידאו, מסגרות מחולצות במרווחי זמן קבועים, וה-GCF משמש כדי לקבוע אם לעשות שימוש חוזר או לחשב מחדש את מפת השידור. האפקטיביות של הפלטים שהוסתרו הוערכה באמצעות מדדי איכות תמונה מוכרים, כולל NIQE, PIQE, BRISQE, FADE ו-MSE, מה שמבטיח הערכה סובייקטיבית ואובייקטיבית של איכות השחזור.

3. פרמטרים המשמשים להערכה

לצורך הערכה אובייקטיבית, נעשה שימוש בחמישה מדדי איכות: (1) FADE (Fog-Aware Density Evaluator)⁸; (2) NIQE (מעריך איכות תמונה טבעית)¹¹; (3) PIQE (מעריך איכות תמונה מבוסס תפיסה)¹²; (4) BRISQUE (מעריך איכות מרחבית של תמונה עיוורת/ללא התייחסות)¹³; (5) MSE (שגיאה ממוצעת בריבוע) בין מסגרות עוקבות¹⁴.

4. מתודולוגיה של הסרת ערפל של תמונה בודדת ווידאו

1. המרה ובנייה של פירמידת תמונות
   הסרת ערפול של תמונה בודדת מתחילה בהמרת תמונת צבע הקלט לגווני אפור (). פירמידת תמונה {, ...,, } נבנית לאחר מכן על ידי דגימה רקורסיבית של I^מעורפל עם פקטור של 2 עד להשגת הרמה הגסה ביותר I_L , כך שהממד המקסימלי אינו גדול מ-320 פיקסלים. משמעות הדבר היא ש-L נקבע על ידי הדרישה ש-max(W, H) <= 320, כאשר W ו-H מייצגים את הרוחב והגובה ברמה הגסה ביותר L. ערך L מציין את מספר פעולות ההפחתה הנדרשות כדי להגיע לרמה הגסה ביותר הרצויה במבנה הפירמידה, כמו באיור 2.
2. אומדן מפת שידור
   מפת השידור מציגה את אחוז האור שאינו מפוזר ומגיע לחיישן המצלמה. מפת השידור מייצגת במדויק את מידע העומק של התמונה, מכיוון שהיא פונקציה של עומק עוקב. מפת השידור, ט_מפהמחושב באמצעות אור סביבתי כדי לשחזר תמונה נטולת אובך, J^clear (x). המטרה העיקרית של המחקר היא לפתח שיטת הערכת שידור יעילה מבחינה חישובית כדי לזרז את תהליך הפחתת האוורור, שכן נמצא כי חישוב מפת שידור הוא השלב הגוזל ביותר זמן. ליתר דיוק, לאחר הערכת השידור ברזולוציה נמוכה יותר ובהנחה שמפת השידור מורכבת מחלקים קבועים, התוצאות נדגמו, כפי שמתואר ב איור 2.
   1. הערכת מפת שידור ראשונית בגישה רב-סקאלית ב-MPS
      מפת השידור הראשונית, מתקבלת מה-ImageImage , שכבר חושבה על ידי הפחתת דגימת התמונה המעורפלת הקלט ברמה הגסה ביותר, L. באמצעות גישת MPS⁹ ואילך, התמונה מחולקת כעת ל-5 × בלוקים מרובעים בגודל 5, כפי שמוצג ב-[איור 1]. יתר על כן, מחושב על ידי בחירת הערך המינימלי מכל בלוק 5 × 5 כדי לקבל תמונה שנדגמה למטה, עם מידות (M/m) × (N/m) המוצגות ב-(4) מ-Kansal et ^al.9. כאן, min מייצג את הפונקציה המתמטית לחישוב ערך העוצמה המינימלי בבלוק _{BI i}.
      4
      תמונת הערוץ הכהה ברמה הגסה ביותר 4 מתקבלת לאחר מכן על ידי החלת מסנן מינימלי של 3 × 3 כפי שמוצג ב-(5) שנלקח מ-Kansal et al. עבודה⁹.
       5
      כאשר ω הוא חלון בגודל 3 × 3. מפת השידור הראשונית מוערכת לבסוף באמצעות:
      6
      כאשר w הוא גורם קבוע (בדרך כלל 0).
      מפת השידור מבוססת MPS מבטיחה ניגודיות משופרת ושחזור פרטים באזורים המושפעים קשות מאובך על ידי שמירה על ערכי המינימום המקומיים בתוך התיקונים המתאימים. עם זאת, הגישה המבוססת על טרנספורמציה ליניארית²² מניבה מפת שידור אחידה יותר (ופחות מדויקת) בהסרת אובך, מכיוון שהיא אינה מסוגלת להבחין בין אזורים עם רמות שונות של עוצמת אובך.
   2. חידוד תיבת ההילוכים
      מכיוון שמפת השידור הראשונית () מוערכת רק ברמה הגסה ביותר (L) של פירמידת התמונה, יש לדגום אותה כך שתתאים לרזולוציה של תמונת הקלט המקורית. דגימה דו-ליניארית פשוטה של B_Up(·) מיושמת כדי להשיג מפת שידור ברזולוציה מלאה. יתר על כן, כדי לשמר את פרטי הקצה במפת השידור, יש לחדד. שימוש במסנן מונחה ומסנן מונחה שיפוע, כפי שיושם ב-Van et ^al.14 ו-Kansal et ^al.9, יגרום לטשטוש חפצים במפת השידור, וכתוצאה מכך לאובדן פרטי מרקם ומידע קצה, מה שבסופו של דבר יפגע בביצועי הסרת האוורור. כדי לטפל בבעיה זו, נעשה שימוש בשיטת סינון תמונה מודרך משוקלל תחום שיפוע (GWGIF)¹⁵ כדי לשמר פרטי תמונה ביעילות. לבסוף, השידור המזוקק מתקבל כמפורט להלן מוואנג ^{ואחרים.16}.
       7
      GWGIF מחדד את מפת השידור הראשונית על ידי שימור מבני קצה והימנעות מטשטוש חפצים המוכנסים בדרך כלל על ידי מסננים מונחים סטנדרטיים. השלב הבא בוצע כדי ליישם את הפונקציה GWGIF¹⁷.
      קלט:
      מפת שידור ראשונית (ברזולוציה נמוכה או גסה):
      תמונה מעורפלת מקורית (משמשת כהנחיה):
      פלט:
      
      שלב 1: למעלה דגמו את מפת השידור הראשונית
      הגודל השתנה כך שיתאים לגודל של אני^מעורפל
      שלב 2: המרה אני^מעורפל לגווני אפור
      I^מעורפל = rgb2gray (אני^מעורפל)
      שלב 3: החלת המסנן המודרך המשוקלל של תחום השיפוע כמו ב- (7)
      מפת שידור מעודנת שהושגה
      התהליך מחשב את גודל השיפוע מתמונת ההנחיה באמצעות אופרטור Sobel, מייצר משקולות מבוססות שיפוע ומשלב אותם במשוואת הסינון המודרך כדי לשפר את ההחלקה המודעת לקצה. הפלט הוא מפת שידור מעודנת המשפרת משמעותית את איכות הסרת האוורור ושימור הפרטים, כפי שמוצג באיור 4.
3. הערכת אור אטמוספרי
   אור אטמוספרי גלובלי, במונחים של הסרת ערפול תמונה מבוססת מודל, הוא חיוני. כפי שצוין על ידי Zhang et ^al.18, תמונות בהירות יותר ללא ערפול מיוצרות על ידי ערכים נמוכים יותר של אור אטמוספרי, בעוד שערכים גבוהים יותר של אור אטמוספרי מייצרים את התמונות הכהות ביותר ללא ערפול. העבודה המוצעת מעריכה את האור האטמוספרי מתמונת הערוץ הכהה () המתקבלת מתמונת הערפל הקלט. לאחר מכן, ערכי ה-RGB המתאימים ל-0.1% הפיקסלים הבהירים ביותר בתמונת הערוץ הכהה נבחרים כדי לקבל את הערך הסופי של האור האטמוספרי, כפי שמוצג ב-(8) כפי שניתן ב-He et ^al.3. כאן, γ מייצג את 0.1 הפיקסלים הבהירים ביותר. פיקסלים אלה מתאימים בדרך כלל לאזורים האטומים ביותר לערפל בתמונה. מהפיקסלים שנבחרו הללו, ערכי ה-RGB המתאימים שלהם בתמונה המקורית מחולצים ומחושבים בממוצע כדי לקבוע את האור האטמוספרי הגלובלי_{L atm.}
    8
   אור אטמוספרי L_atm מחושב על-ידי בחירת הפיקסלים הבהירים ביותר ב- 0.1% העליונים מתמונת הערוץ הכהה. פעולה זו מתבצעת באופן הבא:
   קלט:
   תמונה מעורפלת I תמונת RGB^{מעורפלת})
   פלט:
   אור אטמוספרי L_atm (וקטור RGB בעל 3 אלמנטים)
   שלבים:
   שלב 1: חישוב הערוץ הכהה של התמונה:
   תמונת הערוץ הכהה היא .
   שלב 2: מצאתי את רוב הפיקסלים האטומים לערפל
   שיטח את הערוץ הכהה למערך חד-ממדי
   מיינו את ערכי הפיקסלים בסדר יורד.
   בחר את הפיקסלים הבהירים ביותר ב- 0.1% (כלומר, הערכים הגבוהים ביותר בערוץ כהה → ריכוז ערפול גבוה).
   שלב 3: פיקסלים מועמדים נבחרים בתמונת הקלט
   מבין 0.1% הפיקסלים העליונים שנבחרו (מהערוץ הכהה), זהה את הפיקסלים המתאימים בתמונה המעורפלת המקורית אני^מעורפל.
   עבור כל פיקסל שנבחר, חושבה העוצמה (למשל, סכום או נורמה של ערכי ה-RGB שלו).
   שלב 4: הגדר_כספומט אור אטמוספרי L
   ערך ה-RGB של הפיקסל הבהיר ביותר שנבחר לעיל נלקח כאור האטמוספרי המשוער.
   ההליך לעיל מעריך באופן שיטתי את האור האטמוספרי,_{L atm}.
   ההליך לעיל מעריך באופן שיטתי את _{אטמוספירת} האור L על ידי מינוף הערוץ הכהה לפני זיהוי האזורים המושפעים ביותר מהאובך בתמונה. על ידי אי הכללת אזורים בהירים וברורים והתמקדות ב-0.1% האזורים הכהים ביותר העליונים (מעיד על אובך צפוף), השיטה מבטיחה הערכה חזקה ומדויקת של האור האטמוספרי העולמי, המהווה פרמטר קריטי להסרת אובך יעילה באלגוריתמים של הסרת ערפול בתמונה אחת.
   1. שחזור תמונה מעורפל
      לבסוף, לאחר מציאת_האור האטמוספרי L atm ומפת השידור המעודנת, התמונה נטולת האובך J^clear(x) מתקבלת באמצעות Van et ^al.14, ניסוח ב-(9), הניתן על ידי
      9
      כאשר γ הוא הגבול התחתון של תיבת ההילוכים (מוגדר ל-0.05)
      כפי שמוצג באיור 1, שיטת חידוד מפת השידור המוצעת משמרת ביעילות את המאפיינים המורכבים של התמונה ומאפשרת שחזור תמונה ללא אובך.
4. שחזור וידאו מעורפל
   גישת הסרת הווידיאו המוצגת בעבודה זו מתבססת על אלגוריתם דה-הייזינג של תמונה בודדת על ידי שילוב שיקולי קוהרנטיות זמנית כדי למנוע חפצים מהבהבים. המחברים מכירים בכך שהחלת דה-הייזינג של תמונה בודדת באופן עצמאי על כל פריים בסרטון תשבור את הקוהרנטיות הזמנית בין הפריימים, וכתוצאה מכך חוסר עקביות חזותית. כדי לטפל בבעיה זו, פותח אלגוריתם חדש להסרת ערפול וידאו המכמת קוהרנטיות זמנית בין פריימים ראשוניים עוקבים. מידע זה משמש להערכה אדפטיבית של מפות שידור וערכי אור אטמוספרי עבור המסגרות הקרובות.
   1. חפצים מהבהבים
      אותו אזור תמונה עשוי להילכד בקואורדינטות פיקסלים שונות במסגרות עוקבות של סרטון עקב תנועת האובייקט ו/או המצלמה. חפצים מהבהבים מופיעים כתוצאה מתנועות אלה, המשנות את ערכי השידור באותה נקודה. ניתן להשתמש בטכניקות הערכת תנועה, כגון הערכת זרימה אופטית¹⁹, כדי לעקוב אחר מיקומו של אובייקט נייד ולטפל בבעיות אלו. עם זאת, שיטות הערכת תנועה זקוקות לרוב לרמה גבוהה של סיבוכיות חישובית. לכן, נעשה שימוש במודל הסתברות פשוט הנקרא GCF במקום לחשב במפורש את התנועות בין מסגרות. התמונה הדיפרנציאלית בין שתי המסגרות הרצופות משמשת כבסיס למודל זה.
   2. גורם מתאם מבוסס שיפוע
      גורם המתאם המבוסס על שיפוע (GCF) מודד את הדמיון בין שני פריימים רצופים של וידאו על סמך שיפועי הפיקסלים שלהם. התמונות/מסגרות I₁ ו-I₂ דומות מאוד, כפי שמצוין על ידי ערכי מתאם גבוהים (I₁, I₂) ≈ 1, מה שמרמז על כך שהפיקסל (x, y) מייצג את האובייקט המשוכפל או תוכן הסצנה בשתי המסגרות. ערכי מתאם נמוכים (I₁, I₂) ≈ 0 מצביעים על כך שהתמונות והמסגרות אינן זהות, ככל הנראה בגלל תנועה או חסימות. מכיוון שלתמונה מעורפלת יש פחות ניגודיות ובהירות, לא ניתן להשתמש בערכי הפיקסלים של התמונה כדי לצפות במתאם בין שתי פריימים.
      תמונות מעורפלות נראות לרוב לבנבן עקב פיזור וספיגת האור, מה שמוביל לעלייה כללית בעוצמת הפיקסלים ולהפחתת הניגודיות. כתוצאה מכך, רוב הפיקסלים על פני שתי פריימים מעורפלים רצופים הופכים דומים, מה שהופך את המתאם הישיר מבוסס הפיקסלים ללא יעיל מכיוון שהערפל מסתיר את פרטי הסצנה בפועל. בהקשר זה, ה-GCF הופך למשמעותי יותר. בניגוד למתאם פיקסלים, המושפע מאוד מהאובך, GCF מתמקד בשיפועים, שינויים בעוצמה ומעברי צבע בין פיקסלים שכנים. מעברי צבע אלה מושפעים פחות מהבהירות הכוללת של התמונה ולוכדים טוב יותר מידע מבני, כגון קצוות וקווי מתאר. זה הופך את GCF למדד אמין יותר לדמיון בין פריימים בתנאי ערפל בהשוואה לגורם המתאם מבוסס הפיקסלים (CF) בין שתי מסגרות, כפי שמוצג בטבלה 1.
      המתאם בין מסגרות וידאו עוקבות I^{K ו-I K-1}הוא כדלקמן.
      10
      כאשר מספר הפיקסלים במסגרת הוא N ו- σ = 10. והם תמונות השיפוע המתאימות למסגרות הווידאו I^{K ו-I K-1}. שלב פשוט לחישוב GCF הוא:
      קלט: מסגרת I^{K ו-IK-1}.
      השיפוע בין כל מסגרת למסגרת הקודמת שלה חושב, ולאחר מכן (10) הוחל לחישוב ה-CGF, ששימש לאחר מכן לקביעת מפת השידור והאור האטמוספרי הנדרש לחישוב המסגרת הנוכחית, או שניתן להשתמש בו כדי לחשב את המסגרת הראשונית ואת השלבים החוזרים על עצמם עבור כל פריים הבא. GCF מחשב את המתאם בין שתי מסגרות עוקבות. אם המתאם גבוה, זה מצביע על כך ששתי פריימים רצופים כמעט זהים; אחרת, זה מצביע על מתאם נמוך.
   3. החלטה מבוססת GCF עבור הערכת אור אטמוספרי ומפת שידור
      ה-GCF ממלא תפקיד מכריע בקביעת אופן הטיפול באור אטמוספרי ובהערכת מפות שידור בתהליכי דה-הייזינג. ה-GCF מודד את הדמיון בין פריימים עוקבים של וידאו על סמך השיפועים שלהם, מה שעוזר להעריך עד כמה הסצנה השתנתה בין פריימים, בהתחשב בגורמים כמו תנועה או חסימות.
      כאשר ערך ה- GCF גבוה, במיוחד גדול מ- 0.85, זה מצביע על כך שהמסגרת הנוכחית דומה מאוד לקודמתה. במקרים כאלה, ההנחה היא שמפת השידור מהמסגרת הקודמת עדיין תקפה, מכיוון שהסצנה לא השתנתה באופן משמעותי. השימוש במפת השידור מהמסגרת הקודמת מסייע לשמור על עקביות בין מסגרות ומונע חישובים מחדש מיותרים, ובכך משפר את היעילות החישובית.
      עם זאת, אם ערך ה-GCF יורד מתחת ל-0.5, זה מצביע על הבדל משמעותי בין המסגרות, ככל הנראה עקב תנועה או שינויים דינמיים אחרים בסצנה. במקרים כאלה, הסתמכות על מפת השידור של המסגרת הקודמת תוביל לתוצאות לא מדויקות. לכן, יש לחשב מחדש את האור האטמוספרי L_atm כדי להסתגל לתנאי הסצנה החדשים. בנוסף, מפת שידור חדשה מחושבת כדי לייצג טוב יותר את תוכן המסגרת הנוכחית. כיול מחדש זה מבטיח שתהליך הסרת הערפול לוקח בחשבון את המאפיינים המעודכנים של הסצנה, ומחזיר במדויק את הבהירות והניגודיות.
      תהליך קבלת החלטות זה, בהנחיית ה-GCF, מאפשר לאלגוריתם הסרת הערפול להסתגל באופן דינמי לשינויים בדמיון המסגרת, וכתוצאה מכך שחזור תמונה מדויק ואמין יותר. על ידי התאמת מפת השידור והאור האטמוספרי על סמך המתאם שנצפה, הפרוטוקול מטפל ביעילות בסצנות דינמיות ובתנאי אובך משתנים, ומשפר את איכות התמונות המעורפלות.

5. סיכום שלב אחר שלב של גישת הסרת ערפול של תמונה בודדת ווידאו

מסופק סיכום שלב אחר שלב של גישת הסרת הערפל של תמונה בודדת ווידאו, בהנחיית איור 2, המספק את המסגרת הראשונית של האלגוריתם. (1) טען את תמונת הקלט המעורפלת למערכת לעיבוד; (2) המרת התמונה לגווני אפור והפחתת דגימה חוזרת ונשנית בפקטור של 2 כ-{ , ...,   }. בחר את התמונה הגסה ביותר כך ש-max (W, H) <= 320, כאשר W ו-H מייצגים את הרוחב והגובה ברמה הגסה ביותר L; (3) חילק את התמונה הגסה לבלוקים של מ × מ '. כאן, m נבחר כ- (5); (4) חישב את העוצמה המינימלית בכל בלוק כדי לקבל את התמונה המופחתת עם מימד ; (5) תמונת הערוץ הכהה ברמה הגסה ביותר, , מתקבלת לאחר מכן על ידי החלת מסנן מינימלי של 3 × 3 על ; (6) העריך את מפת השידור הראשונית באמצעות הנוסחה, כאשר w נבחר כ-0.95 בעבודה זו; (7) ליטש את מפת השידור על ידי שימוש ב-GWGIF(.) כדי להשיג ; (8) אור אטמוספרי משוער L_atm על ידי חישוב ממוצע ערך ה-RGB המתאים למיקומי הפיקסלים הבהירים ביותר של 0.1% בערוץ הכהה () של התמונה המעורפלת; (9) שחזר את התמונה המעורפלת J^clear (x) באמצעות מודל פיזור האור

; (10) עבור וידאו, פריימים שחולצו במרווחי זמן קבועים; (11) חישב את גורם המתאם מבוסס השיפוע (GCF) בין שתי מסגרות עוקבות כדי למדוד דמיון במסגרות; (12) אם < 0.5, חישב מפת שידור חדשה למסגרת הנוכחית; אם GCF≥0.85, עשה שימוש חוזר במפת השידור מהמסגרת הקודמת; (13) ליטש כל מסגרת ושחזר את המסגרות המעורפלות באמצעות אותם שלבים כמו עבור תמונות; (14) הערכת איכות הפלט באמצעות מדדים כמו NIQE¹¹, PIQE¹², BRISQE¹³, FADE⁸ ו-MSE¹⁴.

Results

תוצאות איכותיות וכמותיות מספקות תובנות משלימות בעת הערכת שיטה או ניסוי. תוצאות איכותניות מתמקדות בהערכות סובייקטיביות, לעתים קרובות באמצעות השוואות חזותיות, הערכות תפיסתיות או חוות דעת מומחים כדי לנתח את היעילות של גישה. הם עוזרים להמחיש שיפורים בתרחישים בעולם האמיתי אך יכולים להיות מושפעים מהתפיסה האנושית. לעומת זאת, תוצאות כמותיות מסתמכות על מדדים מספריים אובייקטיביים, כגון דיוק, כמו NIQE¹¹, PIQE¹², BRISQE¹³, FADE⁸ ו-MSE

Discussion

סינון תחום השיפוע היעיל המוצע עבור דה-הייזינג של תמונה ווידאו עם גישת קוהרנטיות זמנית משופרת מטפל בצוואר הבקבוק החישובי באלגוריתמים של דה-הייזינג מבוססי מודל פיזיקלי על ידי הערכה יעילה של אור אטמוספרי ומפות שידור באמצעות מבנה פירמידת תמונה. החידוש העיקרי הוא ביצוע הערכת מפת שידור MPS ברמת הפירמידה הגסה ביותר, לאחר סינון GWGIF במהלך דגימה כדי לשמר פרטי תמונה חשובים. עבור סרטונים, השיטה משלבת שיקולי GCF כדי להפחית ארטיפקטים מהבהבים על ידי שמירה על עקביות בערכי השידור בין מסגרות סמוכות. השל...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
מערך נתונים	המעבדה לראייה ועיבוד תמונה, אוניברסיטת ווטרלו	5http : //ivc.uwaterloo.ca/database/Dehaze/	הערכת אלגוריתמים להסרת ערפול של תמונה ווידאו
מסנן מונחה משוקלל מבוסס שיפוע (יישום Matlab)	וואנג  ואחרים.	16 https://arxiv.org/pdf/2211.16796	ליטוש יעיל של מפת שידור
MATLAB (עם ארגז כלים לעיבוד תמונה)	גרסה: MATLAB Online (24.2.0.2871072 (R2024b) עדכון 5)	https://www.mathworks.com/products/matlab.html	יישום אלגוריתמים מוצעים ובסיסיים
מעבד	מעבד Intel i3-6006U (2.00 ג'יגה הרץ)	https://www.intel.com/content/www/us/en/products/sku/91157/intel-core-i36006u-processor-3m-cache-2-00-ghz/specifications.html	הפעלת אלגוריתמים
קודי מקור עבור שיטות בסיסיות	קים ואחרים; al.3, Van et  al.14, יאנג ואחרים 20,   Ren et al.21,  חן ואחרים; al.23, Li B et al.26	3https://github.com/metinsuloglu/Haze-Removal	הערכת שיטות דה-הייזינג מבוססות למידה
		14https://github.com/viengiaan/MGF הסרת ערפול
		20https://github.com/legendongary/Proximal-Dehaze-Net-CPU
		21https://github.com/rwenqi/GFN-dehazing
		23https://cchen156.github.io/code/robustdehaze.zip
		26https://github.com/Boyiliee/EVD-Net
		4 http : //live.ece.utexas.edu/research/f og/f adedef ade.html