Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Chemistry
Click here for the English version

Chemistry

החלת הדמיית רפלקטיביות היפרספקטרלית כדי לחקור את לוחות הצבעים ואת הטכניקות של ציירים

Published: June 18, 2021 doi: 10.3791/62202
Automatic Translation
1, 1, 1,2, 2, 2,3, 1
1Dipartimento di Scienza dei Materiali, Università degli Studi di Milano-Bicocca, 2CNR-IBFM, 3Dipartimento di Fisica, Università degli Studi di Milano-Bicocca

Summary

היפרספקטרלי רפלקטיבי הדמיית hypercubes כוללים מידע יוצא דופן לתוך כמות גדולה של נתונים. לכן, הבקשה לפרוטוקולים אוטומטיים לניהול ולמידה של ערכות הנתונים מוצדקת באופן נרחב. השילוב של ממפה זווית ספקטרלי, מניפולציה בנתונים ושיטת ניתוח מתכווננת למשתמש מהווה סיבוב מפתח לחקר תוצאות הניסוי.

Abstract

ספקטרוסקופיית רפלקטיביות (RS) וספקטרוסקופיית רפלקטיביות מחזירי סיבים אופטיים (FORS) הן טכניקות מבוססות היטב לחקירת יצירות אמנות עם תשומת לב מיוחדת לציורים. רוב המוזיאונים המודרניים עומדים לרשות קבוצות המחקר שלהם ציוד נייד, שיחד עם אי פולשניות מהותית של RS ו- FORS, מאפשרת את האוסף במקום של ספקטרום רפלקטיביות מפני השטח של חפצים. ההשוואה, שבוצעה על ידי מומחים בפיגמנטים ובחומרי ציור, של הנתונים הניסיוניים עם מסדי נתונים של ספקטרום התייחסות מניעה את אפיון לוחות הצבעים ואת הטכניקות המשמשות את האמנים. עם זאת, גישה זו דורשת מיומנויות ספציפיות וזה זמן רב במיוחד אם מספר הספקטרום להיחקר הופך גדול כמו במקרה של Hyperspectral רפלקטורליות הדמיית רפלקטיבית (HRI) ערכות נתונים. ההגדרות הניסיוניות של HRI הן מצלמות רב-ממדיות המקשרות את המידע הספקטרלי, שניתן על ידי ספקטרום ההשתקפות, עם לוקליזציה מרחבית של הספקטרום על פני השטח המצוירים. ערכות הנתונים המתקבלות הן קוביות תלת-ממד (הנקראות היפרקובים או קוביות נתונים) שבהן שני הממדים הראשונים מאתרים את הספקטרום מעל הציור והשלישי הוא הספקטרום עצמו (כלומר, ההשתקפות של אותה נקודה של המשטח הצבוע לעומת אורך הגל בטווח האופרטיבי של הגלאי). היכולת של הגלאי לאסוף בו זמנית מספר רב של ספקטרום (בדרך כלל הרבה יותר מ -10,000 עבור כל hypercube) עושה את הנתונים HRI ערכות מאגרי מידע גדולים ומצדיק את הצורך בפיתוח של פרוטוקולים חזקים, ואולי, אוטומטיים כדי לנתח את הנתונים. לאחר תיאור ההליך המיועד לרכישת הנתונים, אנו מציגים שיטת ניתוח המנצלת באופן שיטתי את הפוטנציאל של hypercubes. בהתבסס על ממפה זווית ספקטרלי (SAM) ועל המניפולציה של הספקטרום שנאסף, האלגוריתם מטפל ומנתח אלפי ספקטרום ובו בזמן הוא תומך המשתמש לחשוף את התכונות של הדגימות הנחקרות. כוחה של הגישה מומחש על ידי החלתה על קווארטו סטאטו, יצירת המופת האייקונית של ג'וזפה פליצה דה וולפדו, שנערכה במוזיאון דל נובסנטו במילאנו (איטליה).

Introduction

ספקטרוסקופיית רפלקטיביות (RS) וספקטרוסקופיית רפלקטיביות סיבים אופטיים (FORS) מבוססות על גילוי האור המוחזרים על ידי משטחים שאוירו בעבר על ידי מקור אור, בדרך כלל מנורת טונגסטן-הלוגן. התפוקה של מערכת הרכישה נוצרת על ידי ספקטרום שבו רפלקטיביות מנוטרת כפונקציה של אורך הגל בטווח התלוי במאפייני ההתקנה הניסיונית המועסקת1,2,3. הוצגו במהלך ארבעת העשורים האחרונים4,5, RS ו FORS משמשים בדרך כלל בשילוב עם פלואורסצנטיות רנטגן וספקטרוקופיות אחרות כדי לתאר את החומרים והטכניקות המשמשות אמנים למימוש יצירות המופת שלהם6,7,8,9. המחקר של ספקטרום רפלקטיביות מבוצע בדרך כלל על ידי השוואת הנתונים מהמדגם עם קבוצה של ספקטרום ייחוס שנבחר על ידי המשתמש במסדי נתונים אישיים או ציבוריים. לאחר שזוהתה ספקטרום הייחוס העומד בתקופת המימוש של המדגם ועם דפוס הפעולה של האמן, המשתמש מזהה את התכונות העיקריות של ספקטרום ההשתקפות (כלומר, מעבר, ספיגה, ולהקות השתקפות1,2,10,11) ולאחר מכן, בעזרת טכניקות אחרות6,7,8 הם מבחינים בין הפיגמנטים ששימשו בציורים. לבסוף הם דנים בהבדלים הקלים הקיימים בין ההתייחסויות לבין הספקטרום הניסיוני7,9.

ברוב המקרים, ערכות הנתונים הניסיוניות מורכבות מכמה ספקטרום, שנאסף מאזורים שנבחרו על ידי מומחי אמנות והניחו שהוא משמעותי לאפיון הציור6,12,13. למרות הכישורים והניסיון של המשתמש, כמה ספקטרום לא יכול למצות באופן מלא את המאפיינים של כל המשטח הצבוע. יתר על כן, התוצאה של הניתוח תמיד תהיה תלויה מאוד במומחיות של המבצע. בתרחיש זה, הדמיית רפלקטיביות היפרספקטרלית (HRI3,14,15) יכולה להיות משאב שימושי. במקום כמה ספקטרום מבודד, ההתקנות הניסיוניות מחזירות את תכונות ההשתקפות של חלקים מורחבים או אפילו של החפץ כולו תחת חקירה16. שני היתרונות העיקריים ביחס לרכישת הספקטרום המבודד ניכרים. מצד אחד, הזמינות של ההתפלגות המרחבית של תכונות רפלקטיביות מאפשרת זיהוי של אזורים המסתירים תכונות מעניינות, למרות שהם אולי לא נראים מוזרים17. מצד שני, hypercubes להבטיח מספר ספקטרום גבוה מספיק כדי לאפשר את הניתוח הסטטיסטי של הנתונים. עובדות אלה תומכות בהבנת התפלגות הפיגמנטים בתוך המשטח המצויר18,19.

עם HRI, ההשוואה של הנתונים הניסיוניים עם הפניות יכול להיות קשה להתמודד עם 15. גלאי טיפוסי מחזיר היפרקובים של ספקטרום של לפחות 256 x 256. זה יחייב את המשתמש להעריך יותר מ 65,000 ספקטרום רפלקטיביות נגד כל התייחסות, משימה כמעט בלתי אפשרית להתבצע באופן ידני בזמן סביר. לכן, הבקשה לפרוטוקולים חזקים ואולי אוטומטיים לניהול וניתוח של ערכות נתונים של HRI היא יותר מ- 15,17 מוצדקת. השיטה המוצעת עונה על צורך זה על ידי טיפול בהליך האנליטי כולו במינימום מעורבות ובגמישות המרבית.

אלגוריתם הכולל קבוצה של קודים תוצרת בית (טבלת חומרים) קורא, מנהל ומארגן את הקבצים המוחזרים על-ידי ההתקנה הניסיונית. הוא מאפשר לחקור את הבחירה המשובחת של חלקי שדות הראייה (FOVs, שדה ראייה אחד הוא שטח הציור המנוטר על ידי היפרקוב יחיד) ולבצע את ניתוח הנתונים בהתבסס על שיטת ממפה זווית ספקטרלי (SAM) 20,21 ועל המניפולציה של הספקטרום המקורי. SAM מחזירה תמונות מזויפות בצבע אפור הנקראות מפות דמיון. הערכים של הפיקסלים של מפות אלה תואמים לזוויות הספקטרליות שהן הזוויות בין הספקטרום המאוחסן בהיפרקובים לבין מה שמכונה חברי קצה (EMs, קבוצה של ספקטרום התייחסות שאמור לתאר את התכונות של פני השטח המנוטרים על ידי hypercubes)22. במקרה של RS החל על ציורים, EMs הם ספקטרום רפלקטיביות של פיגמנטים שאמורים להתאים את לוח הצבעים של המאסטר. הם נבחרים על סמך המידע הזמין על האמן, תקופת מימוש הציור ומומחיות המשתמש. לכן, הפלט של SAM הוא קבוצה של מפות המתארות את ההפצות המרחביות של פיגמנטים אלה על משטח הציור וזה תומך המשתמש להסיק את החומרים המשמשים את האמן ואת הארגון שלהם בחפץ. האלגוריתם מציע את האפשרות להשתמש בכל מיני הפניות באופן עצמאי ממקורם. ההתייחסויות יכולות להיות ספקטרום ספציפי שנבחר בתוך hypercubes, לבוא ממסדי נתונים, להירכש על ידי מכשיר אחר על משטח אחר (כגון דגימות של פיגמנטים או לוח הצבעים של האמן, למשל), או לקבל באמצעות כל סוג של ספקטרוסקופיית רפלקטיביות, כולל FORS.

SAM הועדף בין שיטות הסיווג הזמינות מכיוון שהוא הוכח כיעיל לאפיון פיגמנטים (עיין בספר של Richard23 כדי לקבל סקירה של שיטות הסיווג הזמינות העיקריות). במקום זאת, הרעיון לפתח פרוטוקול תוצרת בית במקום לאמץ את אחד הכלים הרבים הזמינים בחופשיות ברשת 24,25 מסתמך על שיקול מעשי. למרות האפקטיביות והיסוד המדעי של ה- GUIs והתוכנה הקיימים, כלי אחד בקושי עונה על כל הצרכים של המשתמש. ייתכן שקיימת בעיית קלט/פלט (קלט/פלט) מאחר שכלי אינו מנהל את הקובץ המכיל את הנתונים הגולמיים. ייתכנו בעיה לגבי ניתוח הנתונים מכיוון שכלי אחר אינו מספק את הגישה הרצויה. ייתכן שקיימת מגבלה בטיפול בנתונים מכיוון שאין תמיכה בניתוח סימולטני של ערכות נתונים מרובות. בכל מקרה, כלי מושלם אינו קיים. יש להתאים כל שיטה לנתונים או להיפך. לכן, פיתוח פרוטוקול תוצרת בית היה מועדף.

הגישה המוצגת אינה מציעה קבוצה שלמה של שיטות אנליטיות (ראה, לשם השוואה, הכלי המוצע על ידי Mobaraki ו- Amigo24) ולא ממשק משתמש קל לניהול (ראה, לשם השוואה, את התוכנה המועסקת על ידי Zhu ו- עמיתים לעבודה25), אבל, בתמורה, הוא מתמקד בהיבט עדיין מוערך של ניתוח נתונים היפרספקטרלי: ההזדמנות לתפעל את הספקטרום שזוהה. כוחה של הגישה מומחש על ידי החלתה על הציור קווארטו סטאטו מאת ג'וזפה פיליצה דה וולפדו (איור 1), שמן איקוני על בד המוחזק במוזיאון דל נובסנטו במילאנו, איטליה. שים לב כי מאחר שהגישה דורשת הפעלת קודים תוצרת בית, היזם בחר באופן שרירותי את שמות הקודים ואת משתני הקלט והפלט המשמשים בתיאור הפרוטוקול. שמות המשתנים יכולים להשתנות על ידי המשתמש אך יש לספק אותם כדלקמן: משתני הקלט והיצוי חייבים להיכתב בהתאמה בתוך סוגריים מרובעים ובסופו של דבר מופרדים באמצעות פסיק ובתוך סוגריים מרובעים ובסופו של דבר מופרדים על ידי רווח לבן. להיפך לא ניתן לשנות את שמות הקודים.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

1. הגדר את הרזולוציה המרחבית של hypercubes

  1. בצע בדיקה ראשונית של המשטח הצבוע (איור 1) הנתמך על ידי מומחי אמנות כדי לזהות את המאפיינים העיקריים של הציור.
    1. להכיר את הטכניקות הציוריות בהן השתמש האמן ליצירת הציור.
    2. זהה את משיכות המברשת השונות של צבע על בד הציור.
    3. להעריך, באופן איכותי, את המאפיינים של משיחות המברשת עם תשומת לב מיוחדת לגודל שלהם.
  2. לחקות את הטכניקה הציורית המשמשת את האמן על ידי יצירת דגימות בדיקה אד הוק שבו משיחות המכחול להראות מאפיינים דומים לאלה מיושם על ידי האמן.
    הערה: פליזה דה וולפדו היה צייר דיוויזיה. משחזר התבקש להכין כמה דגימות בדיקה שמשחזרות באופן איכותי את משיחות המברשת של בד הציור (איור 2, עמודה A).
  3. הגדר את המרחק בין פני השטח תחת חקירה וציוד הרכישה.
    הערה: המרחק קובע את הרזולוציה המרחבית של hypercubes26 ולכן את האפשרות להבחין בין משיחות המברשת בתמונות ובמפות SAM של המשטח הצבוע.
    1. להעריך את המרחק בין פני השטח של המדגם ואת ציוד הרכישה תוך התחשבות במאפייני המצלמה hyperspectral26 (טבלת החומרים) ואת גודל משיחות המברשת שצוירו בדגימות הבדיקה.
    2. שים את שלב הרכישה ואת המצלמה hyperspectral במרחק מוערך בשלב הקודם. מסדרים את דגימות הבדיקה על הבמה ומבטיחים תאורה אחידה של פני השטח של הדגימות.
    3. בצע כיול לבן באמצעות ההפניה הסטנדרטית הלבנה המסופקת עם המצלמה ההיפרספקטרלית. לרכוש את hypercubes.
      הערה: עבור כל FOV, המצלמה היפרספקטרלית מחזירה תמונות גולמיות ומכוילות. אלה שימשו לניתוח.
    4. הורד את הקבצים המוחזרים על-ידי המכשיר ושמור אותם בתיקיה ייעודית.
  4. בדוק אם הרזולוציה המרחבית של ההיפרקובים יכולה להבחין בין משיחות המברשת השונות בתמונות ובמפות SAM של המשטח הצבוע.
    1. בדקו את תמונות ה-RGB שהוחזרו על-ידי מצלמת ההיפרספקטרליות כדי לוודא שניתן לזהות את משיחות המברשת המשמשות למימוש דגימות הבדיקה (איור 2, עמודה A). אם כן, עבור לשלבים הבאים; אחרת חזור לשלב 1.3.1 והפעל מחדש.
    2. פרט את הקבצים המכילים את הנתונים ההיפרספקטרליים ואת תמונות ה- RGB של FOVs על-ידי הפעלת קוד קריאת הנתונים, HS_FileLister. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף של השפה המשמשת לפיתוח הקודים (טבלת חומרים) והקש Enter כדי להפעיל את הקוד:
      [HS_DataList HS_ImageList] = HS_FileLister;
      1. אין צורך בקלט ויש שני יציאות: רשימת הקבצים המכילים את hypercubes, HS_DataList, ואת רשימת התמונות המוחזרות על ידי המצלמה hyperspectral, HS_ImageList.
        הערה: הגודל של כל היפרקוב הוא 512 x 512 x 204 voxels שבו 204 הוא מספר הערוצים המשמשים לניטור אות ההשתקפות. הערוצים משתרעים על פני טווח גל בין 400 ל 1,000 ננומטר עם רזולוציה ספקטרלית של 7 ננומטר ב FWHM26.
    3. הגדר את החלק 3D של hypercubes שיש לנתח על ידי הפעלת קוד חיתוך, HS_Crop_png. הגדר את החלק הרצוי של כל קוביית נתונים על-ידי בחירת אזור מעל חלון אינטראקטיבי המציג את תמונת ה- RGB הדו-פעמית של ה- FOV המנוטרת על-ידי כל היפרקוב. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      [HS_ImageList] = HS_Crop_png(HS_ImageList);
      1. יש קלט אחד (רשימת התמונות שהוחזרו על ידי המצלמה היפרספקטרלית, HS_ImageList) ופלט אחד (רשימת הקלט שנוספה עם הקואורדינטות המרחביות כדי בסופו של דבר לחתוך את hypercubes).
    4. החל את D65 illuminant ו 1931 משקיף מן CIE (הנציבות הבינלאומית על תאורה) סטנדרטים כדי לאחזר את תמונות RGB של FOV(ים) מתוך ספקטרום רפלקטיביות על ידי הפעלת קוד בנייה מחדש, HS_RGB_rebuild. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      [HS_ImageList] = HS_RGB_rebuild(HS_ImageList, HS_DataList);
      1. ישנם שני כניסות (הרשימה המכילה את התמונות המוחזרות על ידי המצלמה hyperspectral, HS_ImageList, ואת רשימת הקבצים המכילים hypercubes, HS_DataList) ופלט אחד (רשימת הקלט המכילה את התמונות המוחזרות על ידי המצלמה hyperspectral הוסיף עם תמונות RGB של משטחי hypercubes שאוחזרו ספקטרום רפלקטיביות).
        הערה: HS_RGB_Rebuild מנצל את הפונקציות שפותחו על ידי ג'ף מאתר27 כדי ליישם את הצופה המהולל D65 ו- 1931 מ- CIE לנתונים.
    5. בחר באופן ידני ספקטרום הפניה כלשהו על המשטחים של דגימות הבדיקה (עיגולים לבנים ומספרים באיור 2, עמודה A) על-ידי הפעלת קוד בחירת נקודות המדידה המבודד, PointSel. בחר את נקודות המדידה על-ידי לחיצה על חלון אינטראקטיבי המציג, בזה אחר זה, את תמונות ה- 2D, RGB של ה- FOV. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      [הפניות] = PointSel(HS_DataList, HS_ImageList);
      1. ישנם שני כניסות (הרשימה המכילה את התמונות המוחזרות על ידי המצלמה hyperspectral, HS_ImageList, ואת רשימת הקבצים המכילים hypercubes, HS_DataList) ופלט אחד (משתנה, הפניות, המכיל את הספקטרום שנבחר כהפניות בתוך FOV(ים)).
    6. אם תרצה, אחסן את מיקום ההפניות על פני השטח של הדגימות בערכת תמונות על-ידי הפעלת הקוד הייעודי , SaveImPoint. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      SaveImPoint(הפניות, HS_ImageList);
      1. ישנם שני כניסות (המשתנה המכיל את ספקטרום הייחוס, הפניות והרשימה המכילה את התמונות המוחזרות על-ידי המצלמה ההיפרספקטרלית, HS_ImageList) ואין יציאות (הקוד שומר .png תמונות בתיקיית העבודה הנוכחית).
    7. ארגן את ההפניות לתוך מטריצה על-ידי הפעלת קוד ההמרה, RefListToMatrix. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      [References_Matrix] = RefListToMatrix(הפניות, HS_ImageList(1). WaveL);
      1. ישנם שני כניסות (המשתנה המכיל את ספקטרום הייחוס, הפניות ורשימת אורכי הגל שבהם הגלאי סופר את הפוטונים במהלך רכישת הנתונים של הספקטרום, HS_ImageList(1). WaveL) ופלט אחד (אותה ספקטרום ייחוס המאורגן במטריצה, References_Matrix).
        הערה: שלב זה הוא הכרחי מכיוון שהקוד המעריך את מפות SAM דורש שספקטרום הייחוס יהיה מאורגן במטריצה. התחביר של הקלט השני, HS_ImageList(1). WaveL, נדרש כדי לאחזר את WaveL המשתנה מהרשימה HS_ImageList. המספר 1 בתוך סוגריים מרובעים מתייחס לרכיב הראשון ברשימה בשם HS_ImageList; עם זאת, מאז כל hypercubes יש את אותו טווח אורך גל, זה יכול להיות מוחלף על ידי כל מספר מינורי או שווה למספר הכולל של תמונות המפורטות.
    8. חלץ את מפות SAM באמצעות הספקטרום כולו על-ידי הפעלת קוד ההערכה הסטנדרטי של מפות SAM, SAM_Standard. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      SAM_Standard(HS_ImageList, HS_DataList, References_Matrix);
      1. ישנם שלושה כניסות (הרשימה המכילה את התמונות המוחזרות על ידי המצלמה hyperspectral, HS_ImageList; רשימת הקבצים המכילים hypercubes, HS_DataList; ואת המטריצה של ספקטרום הייחוס, References_Matrix) וללא פלט: הקוד שומר את מפות SAM כמו .png תמונות בתיקיית העבודה הנוכחית.
    9. בדוק אם מפות הדמיון המתקבלות (איור 2, עמודות B - E) מציגות את פרטי משיחות המברשת המשמשות למימוש דגימות הבדיקה. אם זה המקרה, עבור לשלב הבא של הפרוטוקול; אחרת חזור לשלב 1.3.1 והפעל מחדש.

2. התאמת הפרמטרים הניסיוניים לציור

  1. זהה את האזורים של עניין, החזרי על הוצאות על החיים, של הציור שיש לחקור (מלבנים אדומים באיור 3A).
    הערה: זה נפוץ כי יותר מ- FOV אחד יש צורך לכסות ROI יחיד.
  2. סדר את הגדרת הרכישה ואת הציור במרחק שהוגדר בשלבים הקודמים ובצע את הכיול הלבן תוך שימוש בהפניה הסטנדרטית הלבנה המסופקת עם המצלמה ההיפרספקטרלית.
    הערה: אם המשתמשים חייבים לבצע רכישה במקום (כלומר, הם חייבים ללמוד ציור שנחשף במוזיאון או בתערוכה), הם יכולים רק לנהל את המצלמה. זהו המקרה של קווארטו סטטו, אשר נחשף לצמיתות בחלל ייעודי במוזיאון דל נובסנטו במילאנו, איטליה.
  3. רכשו את הנתונים ההיפרספקטרליים מלפחות FOV אחד בקצה כל החזר על ההחזר על החיים (אזורים שלא צלו בתוך המלבנים האדומים באיור 3A).
  4. הורד את הקבצים המוחזרים על-ידי המכשיר ושמור אותם בתיקיה ייעודית.
  5. בדוק אם התאורה של פני השטח של הציור נקבעה באופן אחיד על-ידי התבוננות בתמונות ה-RGB המוחזרות על-ידי המצלמה ההיפרספקטרלית. במקרה זה, עבור לשלבים הבאים, אחרת חזור לשלב 2.2 והפעל מחדש.
    הערה: איור 4 ממחיש את חשיבותה של בדיקה זו (עיין בסעיף דיון לפרטים).
  6. חזור על שלבי המשנה של שלב 1.4.
  7. בדקו אם לנתונים יש רזולוציה מרחבית גבוהה מספיק כדי להבחין בין משיחות המברשת על-ידי התבוננות בתמונות ה-RGB של ה-FOVs (איור 3B) ובמפות ה-SAM (איור 3C) הקשורות לספקטרומת הייחוס שנבחרה בתוך ה-FOVs (עיגולים ירוקים באיור 3B).
  8. אם התאורה והרזולוציה המרחבית הוגדרו כראוי, השלם את איסוף הנתונים הרוכשת את ה- FOVs האחרים הדרושים לכיסוי ה- ROI( ים); אחרת חזור לשלב 2.2 והפעל מחדש.
    הערה: כאשר ROI דורש יותר מ- FOV אחד כדי להיות מכוסה, להבטיח מידה מסוימת של superposition בין FOVs סמוכים כדי לתפור בקלות את המפות המתקבלות3,15. היקף החפיפה תלוי במרחק שבין המצלמה ההיפרספקטרלית לדגימה, בתרגום ובזווית הראייה האופקית של הגלאי28. במקרה של הקמפיין הניסיוני שהושפע על קווארטו סטטו, החפיפה נקבעה להיות לפחות 40% של FOVs.

3. היפרקובים וניהול ספקטרום הייחוס

  1. בצע את קלט/פלט של הנתונים הגולמיים: ארגן, קרא ונהל את ההיפר-קוביים.
    1. הפעל את קוד HS_FileLister כדי לאחסן את רשימת הקבצים המכילים את hypercubes ואת המידע הקשור לשני משתנים העומדים לרשות האלגוריתם (ראה שלב 1.4.2 לקבלת הפרטים המעשיים).
      הערה: המצלמה hyperspectral מחזירה קבצי HDR (טווח דינמי גבוה) כי הקוד מנהל ניצול גרסה מחדש של התסריט שפותח על ידי Jarek Tuszinsky29.
    2. הפעל את קוד HS_Crop_png כדי לבחור את החלק של כל FOV שישמש בניתוח הנתונים (ראה שלב 1.4.3 לקבלת הפרטים המעשיים).
    3. הפעל את קוד HS_RGB_Rebuild כדי לאחזר את תמונות ה- RGB של FOVs מפרטטרום ההשתקפות (ראה שלב 1.4.4 לקבלת הפרטים המעשיים).
  2. ארגן, קרא (במידת הצורך) ונהל את ספקטרום הייחוס.
    הערה: ספקטרום הייחוס ימלא את תפקידם של חברי הקצה בשיטת SAM20,21. חלק זה של האלגוריתם אינו נקבע באופן חד משמעי אלא תלוי במצב הבחירה ובמקור ספקטרום הייחוס.
    1. הפעל את קוד PointSel ולחץ בתוך החלון האינטראקטיבי המוצג כדי לזהות את ספקטרום הייחוס כנקודות מדידה מבודדות על פני השטחים המנוטרים (איור 5A) (ראה שלב 1.4.5 לקבלת הפרטים המעשיים).
    2. בחר באופן אוטומטי את ספקטרום הייחוס כרטיקולום רגיל של נקודות מדידה על גבי פני השטח של האזורים המנוטרים על-ידי הפעלת קוד בחירת הרשתית, ReticularSel (איור 5B). הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      [הפניות] = רשתית (HS_DataList, HS_ImageList, n_pixel);
      1. ישנם שלושה כניסות (הרשימה המכילה את התמונות המוחזרות על ידי המצלמה hyperspectral, HS_ImageList; רשימת הקבצים המכילים hypercubes, HS_DataList; ואת המרווח של reticulum, n_pixel, לידי ביטוי במספר פיקסלים) ופלט אחד: משתנה המכיל את הספקטרום שנבחר כהפניות בתוך FOVs, הפניות.
    3. הפעל את קוד יבואן ההפניות החיצוניות, Spectra_Importer, כדי ליצור משתנה המכיל הפניות מערכות נתונים ומאגרי נתונים ללא תלות בהיפרקובים שנרכשו ב- Quarto Stato. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
      [ExtReferences] = Spectra_Importer(file_extension);
      1. יש קלט אחד (סיומת הקובץ המכילה את ספקטרום הייחוס הבלתי תלוי, file_extension, שנכתב בין חסות) ופלט אחד (משתנה המכיל את ההפניות החיצוניות, ExtReferences).
        הערה: קוד יבואן ההפניה החיצונית עבר אופטימיזציה לייבוא קבצי tmr, אך במידת הצורך, ניתן לשנות אותו בקלות כדי להתמודד עם כל סוג של קובץ טקסט.
    4. הפעל את קוד RefListToMatrix כדי להכניס את ההפניות למטריצה, References_Matrix או ExtReferences_Matrix, כנדרש על-ידי הקוד המעריך את מפות SAM (ראה שלב 1.4.7 לקבלת הפרטים המעשיים).
    5. המתן לקוד RefListToMatrix כדי להשוות הן את טווח אורך הגל והן את הרזולוציה הספקטרלית (כלומר, מספר הרכיבים) של hypercubes ואת ההפניות.
      הערה: הקוד מזהה את טווחי אורך הגל של ההיפראקובים וההפניות. הקוד משווה את טווחי אורך הגל וחותך את מרווחי אורך הגל שאינם מנוטרים הן על-ידי ההיפרקובים והן על-ידי ההפניות. הקוד מזהה את קבוצת ההיפר-וקטורים (ההיפר-קוביות או ההפניות) המרכיבים את מספר הרכיבים הנמוך יותר (כלומר, המאופיין ברזולוציה הספקטרלית הנמוכה יותר) בטווח אורך הגל המשווון. הקוד מפחית את מספר הרכיבים של היפר-וקטורים ארוכים יותר (ההפניות או hypercubes) לזה של הקצרים יותר (hypercubes או ההפניות). זה נעשה על ידי שמירה, עבור כל אורך גל של hyper-vectors קצר, רק את הערכים של hyper-vectors ארוך יותר המתאים אורך הגל הקרוב ביותר לזה של hyper-vectors קצר יותר.
      1. הקוד מבצע באופן אוטומטי את השוויון. אם ההפניות נבחרו בתוך hypercubes, טווח אורך הגל והרזולוציה הספקטרלית אינם צריכים להיות שווים והם נשארים ללא שינוי.
    6. אם תרצה, לאחסן את המיקום של הפניות על פני השטח של הדגימות לתוך קבוצה של תמונות על ידי הפעלת הקוד הייעודי (ראה שלב 1.4.7 עבור הפרטים המעשיים).
      הערה: אפשרות זו זמינה רק אם ההפניות נבחרו בתוך hypercubes (שלבים 3.2.1 ו- 3.2.2).

4. ניתוח SAM

  1. הפעל את קוד SAM_Complete כדי להעריך את מפות הדמיון. הקלד את שורת הפקודה הבאה (נקודה-פסיק כלולה) בחלון המסוף והקש Enter כדי להפעיל את הקוד:
    SAM_Complete (HS_ImageList, HS_DataList, References_Matrix);
    1. ישנם שלושה כניסות (הרשימה המכילה את התמונות המוחזרות על ידי המצלמה hyperspectral, HS_ImageList; רשימת הקבצים המכילים את hypercubes, HS_DataList; ואת מטריצת הייחוס, References_Matrix או ExtReferences_Matrix) ואין יציאות (הקוד שומר את מפות SAM כמו קבצי .png בתיקיית העבודה הנוכחית).
      הערה: מלבד שלושת משתני הקלט המתוארים, יש להאכיל את קוד SAM_complete עם מעט פרמטרים נוספים כדי להתאים את פרוטוקול הניתוח בהתאם להעדפות המשתמש (ראה את השלבים הבאים).
  2. בעת הצורך, הזן את הקוד באפשרות עיבוד קדם על-ידי הקלדת המספר 0 או 1 בתיבת הדו-שיח בהתאם לפעולת קדם העיבוד הרצויה והקש Enter כדי להמשיך.
    1. אפשרות עיבוד קדם מוגדרת ל- 0: השטח המופחת על-ידי כל ספקטרום שיקוף מנורמל ל- 1.
    2. אפשרות עיבוד קדם מוגדרת ל- 1: השטח המופחת על-ידי כל ספקטרום רפלקטיביות מנורמל ל- 1 ולאחר מכן הספקטרום המנורמל נגזר פעם אחת.
      הערה: הן ההיפר-קוביות והן ההפניות עוברות את אותה אפשרות טרום עיבוד.
  3. בחר את חברי הקצה שישמשו לניתוח SAM בין מטריצת הייחוס על-ידי הזנת הקוד במספרי העמודות התואמות לספקטרום הרצוי. בעת הצורך, הזן בתיבת הדו-שיח את רצף המספרים המתאימים לעמודות הרצויות על-ידי הקלדת המספרים המופרדים באמצעות רווח לבן. הקש Enter כדי להמשיך.
    הערה: הרצף [12 3] תואם לבחירת שלוש העמודות הראשונות של מטריצת הייחוס; וקטור ריק מתאים לבחירת כל העמודות של מטריצת הייחוס.
  4. הזן את הקוד במחרוזת המכילה את החלק הראשון של השם שיזהה את ערכות המפות שיש לשמור (כלומר, החלק המשותף של שם הקבצים .png המוחזרים על-ידי SAM_Complete). בעת הצורך, הוסף את המחרוזת לתיבת הדו-שיח. הקש Enter כדי להמשיך.
    הערה: אם סוגי המשתמשים בודקים, השם של כל הפלט .png תמונות יתחיל בבדיקה.
  5. בעת הצורך, הזן את הקוד בשיטה שנבחרה כדי לטפל בנתונים על-ידי הקלדת המספר 0, 1 או 2 בתיבת הדו-שיח בהתאם לשיטת המזהה הרצויה והקש Enter כדי להמשיך.
    1. הגדר את פעולת השירות כ- 0 ללא מניפולציה של הנתונים.
    2. הגדר את השיטה ל- 1 כדי לדרוש בחירה ידנית של טווחי אורך הגל של הספקטרום לפני תחילת הניתוח (איור 6).
    3. הגדר את השיטה ל- 2 כדי לדרוש מהאלגוריתם להזמין את הנתונים על בסיס קריטריון ספציפי לפני הערכת מפות SAM (איור 7).
  6. המתן עד שהפרוטוקול יעבד את הנתונים וישמור את מפות SAM בתיקיית העבודה הנוכחית כקבצי .png.
    הערה: אם שיטת המזהה הייחודי (handle) הוגדרה כ- 0 או 2, על המשתמש פשוט להמתין. אם הוא הוגדר ל- 1, על המשתמש לבחור את החלקים של הספקטרום שיש להשתמש בו להערכת מפות SAM על-ידי לחיצה על חלון אינטראקטיבי (איור 6).

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

הפרוטוקול המוצע מציע סדרה של תכונות מעניינות לניהול וניתוח נתוני HRI. קלט/פלט (שלב 3.1) של הנתונים הגולמיים הוא תמיד הבעיה הראשונה שיש לפתור לפני החלת שיטת ניתוח כלשהי והיא יכולה להפוך לבעיה קריטית בעת התמודדות עם כמויות גדולות של נתונים. במקרה הנוכחי, המשימה היחידה לגבי הנתונים הגולמיים היא לאחסן את תוצאות הניסוי בתיקיה ייעודית ולבחור אותה על ידי גלישה בדיסק הקשיח בעת הפעלת קוד הקריאה (שלב 3.1.1). לאחר מכן, חיתוך וקודי הבנייה מחדש של RGB מאפשרים לנתח את עידון בחירת הנתונים (שלב 3.1.2) ובודקים שתנאי הניסוי הוגדרו כראוי ברגע רכישת ההיפרקובים (שלב 3.1.3, ראו איור 4 וסעיף הדיון לפרטים נוספים).

לאחר אימות כי קוביות הנתונים נרכשו כראוי, האלגוריתם מציע אפשרויות שונות כדי לבחור את חברי הקצה עבור ניתוח SAM20,21 (שלב 3.2). שתי האפשרויות הראשונות (שלבים 3.2.1 ו- 3.2.2) מאחזרות את ההפניות בין היתר על-ידי בחירה ידנית של כמה נקודות מדידה מבודדות (איור 5A) או על-ידי דגימה אוטומטית של פני השטח של הציור המספקים בחירה רשתית של נקודות מדידה בתוך FOV אחד או יותר (איור 5B). הניתוח המבוסס על נקודות מדידה מבודדות מהיר יותר מאשר אחד מבוסס רשתית, אבל זה מרמז על תצפית זהירה, אולי, מושכלת של FOV(ים) כדי לזהות את הספקטרום המשמעותי; משמעות הדבר היא ניסיון טוב בהתמודדות עם פיגמנטים ומשטחים צבועים. בחירת הרשתית הופכת את האלגוריתם לגוזל זמן ומכריחה את המשתמש להתבונן בהרבה תמונות פלט כדי לאחזר קומץ מפות דמיון שימושיות. עם זאת, בחירת הרשתית מספקת הקרנה מלאה של hypercubes, ובעיקר, זה יכול להתבצע ללא ניסיון של ההקשר הניסיוני. באופן עקרוני, ברגע שמרחק הדגימה, n_pixel, נקבע, המשתמש יכול להזניח את התצפית של FOV(s) עם סבירות נמוכה מאוד לאבד פרטים.

בנוסף לבחירת ספקטרום הייחוס בתוך hypercubes, האלגוריתם מציע את ההזדמנות להשוות את הנתונים מן המדגם תחת חקירה עם הפניות השייכים למקורות אחרים (שלב 3.2.4). קוד ספקטרום הייחוס החיצוני מנהל את קלט/פלט של הפניות שאינן שייכות לפני השטח של הציור. קוד ממיר המטריצה משווה את טווחי אורך הגל ואת הרזולוציה הספקטרלית של ההיפרקובים וההפניות החיצוניות (שלב 3.2.4). אפשרות זו מרחיבה את היכולות של המשתמש לגבי אפיון המדגם. ואכן, המשתמש יכול לנצל כל סוג של משאב זמין במונחים של נתוני רפלקטיביות. ניתן להשוות את hypercubes עם מסדי נתונים ציבוריים, עם הארכיונים הספקטרליים של המשתמש, עם נתונים חדשים שנאספו על דוגמאות אד הוק מוכן או אפילו על חפצים אחרים (ציורים, לוחות, גוונים, או מה שלא יהיה) השייכים המחבר או אמנים אחרים. יתר על כן, ניתן להשיג את ההפניות החיצוניות תוך ניצול כל סוג של טכניקות רפלקטיביות עד כדי כך שההפניות המוצגות באיור 6 ובאיור 7 נרכשו על-ידי ספקטרומטר מיניאטורי נייד של FORS (טבלת חומרים) ולא על-ידי המצלמה המשמשת לנתוני HRI.

מעבר לניהול הנתונים, האלגוריתם מציע גישה מקורית גם לניתוח הנתונים. זה מאפשר מניפולציה של הספקטרום לפני הערכת מפות SAM (שלבים 4.1-4.5). אפשרות זו מוצאת את הרציונל שלה בבחירת שיטת SAM לחקור את ההפצות של הפיגמנטים. למעשה, SAM שוקל את ספקטרום המשקף כפי שהם יהיו וקטורים במרחב רב מימדי (כלומר, hyper-vectors עם מספר רכיבים השווים לזה של ערוצי הרכישה). לכן, אם המטרה העיקרית של הניתוח היא להשוות הפניות שונות אך דומות כדי להבחין איזה מהם מתאים בצורה הטובה ביותר לפיגמנטים המשמשים את האמן, אז הרכיבים הכמעט זהים של ספקטרום הייחוס (כלומר, אורכי הגל המתאימים לערכים כמעט זהים בהיפר-וקטורים) לא צריכים להיות שימושיים במיוחד והאלגוריתם מאפשר להוציא רכיבים אלה מהניתוח.

הפרוטוקול תומך בשתי אפשרויות למניפולציה בנתונים (שלב 4.5): המשתמש יכול להגדיר את החלקים באורך הגל של נתוני ההשתקפות שיש לנתח באופן ידני (איור 6) או באופן אוטומטי (איור 7). הבחירה הידנית פשוטה. ספקטרום הייחוס המעובד מראש או נגזרותיהם הראשונות, בהתאם לאפשרות קדם העיבוד שנבחרה (שלב 4.2), מופיעים בחלון אינטראקטיבי, איור 6A, והמשתמש בוחר מרווח זמן אחד או יותר לאורך הגל, איור 6B, על-ידי לחיצה על משטח התרשים. הבחירה האוטומטית מבוססת על הקריטריון המתמטי של השונות המרבית המוחלת על ספקטרום הייחוס המעובד מראש או על נגזרותיהם הראשונות, בהתאם לאפשרות קדם העיבוד שנבחרה (שלב 4.2). האלגוריתם מחשב את השונות (מנורמלת ומוצגת כשורה מקווקות באיור 7A) בתוך ההפניות שנבחרו ומסדר את כל הספקטרום (הן את ההפניות והן את ההיפרקובים) בהתאם לקריטריון זה ( הקו המקווקו באיור 7B מייצג את השונות המנורמלת והמסדרת). במילים אחרות, אם השונות המרבית תואמת את אורך הגל nth, התוכן של הרכיב nth של כל ספקטרום מעובד מראש (הפניות והיפרקובים) יועבר למיקום הראשון של היפר-וקטור מסודר וכן הלאה (החלקים הצבעוניים של הרקע באיור 7A ובאיור 7B מסבירים באופן גרפי את הסידור מחדש של הנתונים). למעשה, הרכיבים של הספקטרום המעובד מראש מסודרים בדומה לניתוח הרכיבים העיקרי30.

לאחר הספקטרום כבר מניפולציה, האלגוריתם מעריך את מפות SAM. בעקבות המניפולציה הידנית (איור 6), הפרוטוקול מחזיר שלוש קבוצות של מפות: שתיים המתאימות לקבוצות של אורכי גל נבחרים ונדחו ואחת שהושגו תוך שימוש בספקטרום כולו. אחרת, לאחר המניפולציה האוטומטית (איור 7), האלגוריתם מחיל סף צף על ערכי השונות ומעריך את מפות SAM בהגדלת הסף הן עבור רכיבי היפר-וקטור המסודרים מחדש המתאימים לסף היתר (כלומר, נבחר באופן אוטומטי) והן לערכי הסף התחתון (כלומר, שנדחו באופן אוטומטי) של השונות. ערכות אלה של מפות, יחד עם זה המתקבל מן הספקטרום כולו (תמיד הוחזר על ידי האלגוריתם), לגרום סך של (2N + 1) ערכות של מפות שבו N הוא מספר הערכים להניח על ידי הסף. ערכות מפות הדמיון המתקבלות בהגדלת הסף (איור 8) ממחישות כי מניפולציה בנתונים אינה משנה את התוכן אלא מספקת תובנות חדשות על פרטי האזורים הממופים, וכתוצאה מכך יכולה לסייע להבחין בין קווי דמיון והבדלים בין הדגימות לבין ההפניות.

Figure 1
איור 1: קווארטו סטטו. תמונה של הציור, 1899-1901, 293 x 545 ס"מ, שמן על בד, ג'וזפה פיליזה דה וולפדו, מוזיאון דל נובסנטו, מילאנו, איטליה. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Figure 2
איור 2: הגדרת תנאי הניסוי. (א) דגימות הבדיקה המוכנות אד הוק ; העיגולים הלבנים והמספרים מזהים את נקודות המדידה המתאימות לספקטרום שנבחר כהפניות. (ב) מפות SAM מוערכים ביחס לספקטרום ההפניה מספר 1, (ג) מספר 2, (D) מספר 3 ו- (E) מספר 4. סרגל הצבע האפור מציין את טווח הערכים של הזוויות הספקטרליות. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Figure 3
איור 3: יישום תנאי הניסוי המוגדרים לקוורטו סטטו. (א) החזרי ההון הנבחרים לקמפיין הניסיוני (מלבנים אדומים); בכל מלבן FOV של אלה הדרושים כדי לכסות את החזר על ההשערות הודגש (אזורים ללא צל). (ב) תמונות ה- RGB של ארבעת האזורים שלא נוצלו בחלונית A. (C) מפות SAM מוערכים ביחס לספקטרום הפניות שנבחר בכל FOV (עיגולים ירוקים). סרגל הצבע האפור מציין את טווח הערכים של הזוויות הספקטרליות. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Figure 4
איור 4: תאורה נכונה לעומת לא נכונה של פני השטח של המדגם. (A) חלק מה- FOV שבו חלק קטן מהמשטח המצויר (עיגול אדום) מושפע ממאפייני רפלקטיביות שהשתנו עקב תאורה לא נאותה. (B) אותו חלק קטן של הציור (עיגול כחול) כפי שהוא תוצאות כאשר FOV מואר כראוי. (ג) ספקטרום ההשתקפות של נקודת המדידה במרכז העיגולים כאשר ה- FOV מואר בצורה לא נכונה ונכונה (קו אדום וכחול בהתאמה). (ד) מפת SAM של ה- FOV המתקבלת באמצעות הספקטרום של נקודת המדידה המוארת הלא נכונה כהתייחסות. (ה) מפת SAM של ה- FOV המתקבלת באמצעות הספקטרום של נקודת המדידה המוארת הנכונה כהפניה. סרגל הצבע האפור מתייחס ל- (D) ו- (E) ומציין את טווח הערכים של הזוויות הספקטרליות המתקבלות המשווה את הנגזרות הראשונות של הספקטרום של היפרקוב של ה- FOV הנבחר ואת הנגזרת הראשונה של הספקטרום של נקודת המדידה במרכז העיגולים הצבעוניים ב- (A) ו- (B). אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Figure 5
איור 5: בחירת הפניות בתוך היפרקובים. (A) מצב בחירת נקודות המדידה המבודד; העיגולים הירוקים מציינים את מיקום ספקטרום ההפניה שנבחר באופן ידני ב- FOV המוצג. (B) מצב בחירת הרשתית; העיגולים הירוקים מציינים את המיקום של ספקטרום הייחוס שנבחר על-ידי החלת רטיקולום כאשר מרווח הדגימה (n_pixel) מוגדר לחמישה פיקסלים ל- FOV המוצג. התמונה המדווחת הן (A) והן (B) היא ההמרה בגווני אפור של תמונת ה- RGB של ה- FOV שאוחזרה מפרטטרום רפלקטיביות המיישם את הצופה המאיר D65 ו- 1931 מסטנדרטים של CIE להיפרקוב; סרגל הצבע האפור מתייחס לעוצמה הנורמלית של תמונה זו. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Figure 6
איור 6: מצב מניפולציה ידני של נתונים. (א) ההיבט של החלון האינטראקטיבי המאפשר למשתמש לחלק את ספקטרום הייחוס לשברים שנבחרו ונדחו של אורכי גל. (ב) אותן הפניות של (A) שבהן חלקים מהנתונים שנבחרו להערכת מפות SAM הודגשו על-ידי רקע ורוד. (A) ו-(B) מציגים את הספקטרום המעובד מראש של ההפניות. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Figure 7
איור 7: מצב מניפולציה אוטומטית בנתונים. (א) הנגזרות הראשונות של ארבע ההפניות המנורמלות המדווחות באיור 6 (קווים צבעוניים) והשונות המרבית המנורמלת שלהן (קו מקווקו שחור). (ב) אותן נגזרות של (A) ממוינות בהתאם לקריטריון השונות המרבית; הערכים הממוינים של השונות המרבית מנורמלת דווחו גם (קו מקווקו שחור). חלקים מסוימים של הרקע נצבעו בגוונים שונים בניסיון להמחיש חזותית את הסידור מחדש של הווקטורים העל-עוריים. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Figure 8
איור 8: מפות SAM המתקבלות על-ידי מצב מניפולציה אוטומטי של נתונים. (א-ג) הערכים הממוינים של השונות המרבית המנורמלת המוערכת בנגזרות הראשונות של ספקטרום הייחוס של איור 7; המקטעים הירוקים והאדומים של העקומה מציינים, בהתאמה, את החלק הנבחר (מעל ערכי הסף) ואת החלק שנדחה מהנתונים (מתחת לערכי הסף). הלוחות מראים מה קורה בהגדלת הסף (פלח מנוקד שחור); כל פאנל מדווח על מפות SAM עבור שתי קבוצות הערכים שהושגו עבור ארבע הנגזרות של הספקטרום של איור 7; 'מפות בעלות קצה ירוק' מתייחסות לשברירי הסף מעל, בעוד שמפות הקצה האדום מתייחסות ל'מפות הסף שמתחת'. סרגלי הצבע האפור מציינים את טווח הערכים של הזוויות הספקטרליות. בדוגמה זו, השלב הקובע את הגדלת הסף שווה ל- 0.5% מההשתנות המרבית המנורמלת; ערכי הסף המדווחים ב- (C) הם 0.09 והוא ערך הסף האחרון שנחשב מכיוון שעלייה נוספת תפחית את מספר הרכיבים הנבחרים של הווקטורים-על מתחת לגבול התחתון הקבוע באופן שרירותי של 20 ערכים, כלומר, 10% מהמספר הכולל של ערוצי הרכישה של המצלמה ההיפרספקטרלית. אנא לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

ערכות נתונים של הדמיית רפלקטיביות היפרספקטרליות הן מאגרי מידע גדולים; לכן, פיתוח פרוטוקולים חזקים, ואולי אוטומטיים לנתח את הנתונים הוא תפנית מפתח לנצל את הפוטנציאל שלהם15,17. האלגוריתם המוצע עונה על צורך זה בתחום המורשת התרבותית בתשומת לב מיוחדת לאפיון הפיגמנטים של הציורים. בהתבסס על SAM20,21, האלגוריתם תומך במשתמש במהלך כל תהליך הניתוח מהגדרת תנאי הניסוי ועד להערכת התפלגות הפיגמנטים. למרות שלאלגוריתם עדיין אין ממשק גרפי מלא וכי הוא אינו מספק כלי להצגת התוצאות (לשם כך נעשה שימוש בתוכנת קוד פתוח31 ומומלץ, ראה טבלת חומרים), קבוצת האפשרויות המיושמות כדי לווסת את הגישה לניתוח הנתונים מאזנת בהרחבה חסרונות אלה.

הפרוטוקול קובע את מערכת הרכישה על פי המאפיינים של המדגם והגלאי. מצד אחד, הטכניקה החטיבתית שהופעלה על ידי פליצה דה וולפדו ליצירת קווארטו סטטו דורשת שההיפרקובים יבחינו בין משיכות מכחול קטנות של פיגמנטים שונים הממוקמים זה לצד זה. מצד שני, המצלמה hyperspectral יש טווח מיקוד בין 150 מ"מ אינסופי עם מערכת כוונון ידני כי במרחק של 1 מ 'ליעד מזהה שטח של 0.55 x 0.55 מ 'עם רזולוציה מרחבית של 1.07 מ"מ26. היישום של האלגוריתם על כמה hypercubes שנרכשו על דגימות הבדיקה (איור 2) מסייע ליצור מרחק עבודה מתאים לרכישת הנתונים. תצפית המדידות מאפשרת להגדיר את מרחק העבודה של הקמפיין הניסיוני ל -30 ס"מ, בהתאם לרזולוציה של 0.31 מ"מ ביעד.  מרחק עבודה זה אומץ בהצלחה גם במהלך המפגשים הניסיוניים שנערכו בקוורטו סטטו (איור 3). ברגע שמוגדר מרחק העבודה, הארת פני השטח של המדגם נותרה סוגיה קריטית3,15. כאשר חלק מ-FOV מציג לא אחיד (עיגול אדום באיור 4A) במקום תאורה אחידה (עיגול כחול באיור 4B), מאפייני ההשתקפות משתנים באופן דרמטי (איור 4C) וכל ההליך נפגע (איור 4D לעומת איור 4E). הפרוטוקול מונע תאורה לא אחידה (ועוד באופן כללי נגד חפצים באזורים המנוטרים) במהלך רכישת הנתונים (על ידי החזרת RGB, שלב 1.4.1 ומפות SAM, שלב 1.4.9, שניתן לבדוק על ידי המשתמש) ואחורי על ידי אי הכללת החלקים שנפרצו של FOVs מהניתוח באמצעות קוד החיתוך (שלבים 1.4.2 ו- 3.1.2).

הפרוטוקול מאפשר למשתמש לבחור את ההפניות (כלומר, חברי הקצה המשמשים להערכת מפות SAM) עם החופש המרבי. מצד אחד, ניתן לבחור את ה- EMs בקצוות ההיפר-קוביות בשני נימוסים: בחירת נקודות מדידה מבודדת (איור 5A בשלבים 1.4.5 ו- 3.1.2) או בחירת נקודות מדידה ברשתית (איור 5B בשלב 3.1.3). הראשון יכול להיות מוגדר כבחירה מושכלת מכיוון שהוא דורש מומחיות מסוימת במשתמש כדי לזהות באופן ידני את נקודות המדידה המשמעותיות. זה האחרון יכול להיות מוגדר כבחירה עיוורת כי דגימה רשתית של FOVs דורש רק את הערך של מרווח הדגימה להתבצע. מצד שני, ניתן לאחזר את ה- EMs מחוץ לציור הנחקר (שלב 3.1.4). במהלך הקמפיין הניסיוני שנערך ב- Quarto Stato, נעשה שימוש בספקטרומטר FORS מיניאטורי נייד (שולחן החומרים) לאיסוף ספקטרום מדגימות טיוטה השייכות לאמן ונשמר כיום במוזיאון הסטודיו הממוקם בוולפדו (Pellizza da Volpedo Studio Museo, Volpedo (AL), איטליה). נתוני רפלקטיביות אלה שימשו להערכת מפות SAM וחלקם מדווחים באיור 6 ובאיור 7. מכיוון שהוא מגביל את החשיבות של העוצמה המוחלטת ושל בסיס הספקטרום, העיבוד המקדים הוא חובה הן עבור hypercubes והן עבור EMs, במיוחד אם הם התקבלו מהגדרות שונות במקצת או תנאים אופרטיביים32.

התכונה העיקרית האחרונה של הפרוטוקול היא ההזדמנות לתפעל את הנתונים הניסיוניים. עבור מניפולציה, זה נועד כי זיהוי של הרכיבים המשמעותיים ביותר של EMs (כלומר, של אותם חלקים של הספקטרום של חברי הקצה צריך לעזור לאפיין את החומרים המשמשים את האמן). ניתן לבצע משימה זו באופן ידני (איור 6) או באופן אוטומטי (איור 7). במקרה הראשון, האלגוריתם מנצל את המומחיות של המבצע ואילו, במקרה השני, זהו קריטריון סטטיסטי הקובע את הרכיבים, כי, פעם אחר פעם, ישמשו להערכת מפות SAM. בשני המקרים, המניפולציה מגדילה את מספר מפות הדמיון המתקבלות וכתוצאה מכך מרחיבה את היכולת לחשוף את המידע המועבר על ידי hypercubes. בפרט, הבחירה המבוססת על קריטריון יוצרת מספר רב של תובנות על המשטח המצויר (איור 8).

נלקח בנפרד, התכונות שנהספירה יכול להופיע רק יתרונות טכניים, אבל יחד הם מרמזים לפחות שתי נקודות מפתח עיקריות. האלגוריתם יכול להיות מיושם בהצלחה על ידי כל סוג של משתמש וזה יכול להרחיב באופן משמעותי את התרחיש של הניתוח. למעשה, השלבים העיקריים של הפרוטוקול (כלומר, בחירת ההפניות והמניפולציה של הנתונים) יכולים להתבצע באופן אוטומטי, תוך התעלמות מהמיומנויות ומהניסיון של המשתמש. עם האפשרות להניע את הניתוח עם ספקטרום מחוץ hypercubes, כל נתוני רפלקטיביות בסילוק של החוקרים ניתן לנצל לאפיון של המדגם תחת חקירה.

לסיכום, הפרוטוקול יכול להיות כלי גמיש ביותר. עם כמה שיפורים לגבי הממשק הגרפי ומספר שיטות הניתוח הנתמכות, זה יכול להיות צעד מעבר למצב האמנות לגבי הטיפול וניתוח של נתונים המתקבלים מפנים צבועים באמצעות הדמיית רפלקטיביות היפרספקטרלית.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

למחברים אין מה לחשוף.

Acknowledgments

מחקר זה מומן על ידי Regione Lombardia במסגרת פרויקט MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-arti - Call Accordi per la Ricerca e l'Innovazione.

המחברים אסירי תודה לצוות במוזיאון דל נובסנטו על התמיכה במהלך המפגשים הניסיוניים במקום ולפיליצה דה וולפדו של אסוזיאזיונה על הגישה לסטודיו Museo.

Materials

Name Company Catalog Number Comments
ImageJ/Fiji Specim (Oulo, Finlad) N/A Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b StellarNet Inc (Tampa, Florida, USA) N/A Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera National Institutes of Health (Bethesda, Maryland, USA) N/A  Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer  MathWorks (Natick, Massachusset, USA) N/A Program Language and numerical computing environment

DOWNLOAD MATERIALS LIST

References

  1. Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , Springer. 259-265 (2002).
  2. Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
  3. Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
  4. Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
  5. Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
  6. Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
  7. Pouyet, E. K., et al. New insights into Pablo Picasso's La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
  8. Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
  9. Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
  10. Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
  11. Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
  12. Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
  13. Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
  14. Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
  15. Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
  16. Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
  17. Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
  18. Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
  19. Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
  20. Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
  21. Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
  22. Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
  23. Richards, J. A. Remote sensing digital image analysis. 3, Springer. (1999).
  24. Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
  25. Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
  26. Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
  27. Mather, J. Spectral and XYZ Color Functions. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021).
  28. Chen, C. -Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
  29. Tuszynski, J. read_envihdr. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021).
  30. Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
  31. Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
  32. Rinnan, Å, Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).

Tags

כימיה גיליון 172 הדמיית רפלקטיביות היפרספקטרלית ספקטרוסקופיית רפלקטיביות ספקטרוסקופיית רפלקטיביות של סיבים אופטיים ממפה זווית ספקטרלי מניפולציה בנתונים ניתוח מתכוונן בהתאמה אישית ציורים פיגמנטים
החלת הדמיית רפלקטיביות היפרספקטרלית כדי לחקור את לוחות הצבעים ואת הטכניקות של ציירים
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Caccia, M., Caglio, S., Galli, A.,… More

Caccia, M., Caglio, S., Galli, A., Interlenghi, M., Castiglioni, I., Martini, M. Applying Hyperspectral Reflectance Imaging to Investigate the Palettes and the Techniques of Painters. J. Vis. Exp. (172), e62202, doi:10.3791/62202 (2021).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter