Subskrypcja JoVE jest wymagana do oglądania tego materiału. Zaloguj się lub rozpocznij bezpłatny okres próbny.

Artykuł metodologiczny

Zastosowanie obrazowania hiperspektralnego odbicia do badania palet i technik malarzy

2.2K wyświetleń

⸱

DOI:

10.3791/62202

⸱

18 czerwca 2021

 ,  ,  ,  ,  , 
1Dipartimento di Scienza dei Materiali, Università degli Studi di Milano-Bicocca, 2CNR-IBFM, 3Dipartimento di Fisica, Università degli Studi di Milano-Bicocca

W tym artykule

Podsumowanie

Hiperspektralne obrazowanie odbicia Hiperkostki zawierają niezwykłe informacje w dużej ilości danych. W związku z tym wniosek o zautomatyzowane protokoły do zarządzania zbiorami danych i ich badania jest szeroko uzasadniony. Połączenie Spectral Angle Mapper, manipulacji danymi i metody analizy dostosowywanej przez użytkownika stanowi kluczowy zwrot w badaniu wyników eksperymentalnych.

Streszczenie

Spektroskopia odbicia (RS) i spektroskopia odbicia światłowodów (FORS) są dobrze znanymi technikami badania dzieł sztuki ze szczególnym uwzględnieniem obrazów. Większość współczesnych muzeów oddaje do dyspozycji swoich grup badawczych przenośny sprzęt, który w połączeniu z samoistną nieinwazyjnością RS i FORS umożliwia zbieranie in situ widm odbicia od powierzchni artefaktów. Porównanie, dokonane przez ekspertów w dziedzinie pigmentów i materiałów malarskich, danych eksperymentalnych z bazami danych widm referencyjnych wpływa na charakterystykę palet i technik stosowanych przez artystów. Podejście to wymaga jednak szczególnych umiejętności i jest czasochłonne, zwłaszcza jeśli liczba widm do zbadania staje się duża, jak ma to miejsce w przypadku zestawów danych obrazowania hiperspektralnego odbicia (HRI). Eksperymentalne konfiguracje HRI to wielowymiarowe kamery, które kojarzą informacje spektralne dostarczane przez widma odbicia z przestrzenną lokalizacją widm na pomalowanej powierzchni. Wynikowe zestawy danych to sześciany 3D (zwane hipersześcianami lub kostkami danych), w których pierwsze dwa wymiary lokalizują widmo nad obrazem, a trzeci to samo widmo (tj. współczynnik odbicia tego punktu pomalowanej powierzchni w stosunku do długości fali w zakresie operacyjnym detektora). Zdolność detektora do jednoczesnego zbierania dużej liczby widm (zwykle znacznie więcej niż 10 000 dla każdego hipersześcianu) sprawia, że zbiory danych HRI są dużymi rezerwuarami informacji i uzasadniają potrzebę opracowania solidnych i być może zautomatyzowanych protokołów do analizy danych. Po opisie procedury przeznaczonej do pozyskiwania danych, przedstawiamy metodę analizy, która w systematyczny sposób wykorzystuje potencjał hipersześcianów. Opierając się na Spectral Angle Mapper (SAM) i manipulacji zebranymi widmami, algorytm obsługuje i analizuje tysiące widm, jednocześnie wspierając użytkownika w odkrywaniu cech badanych próbek. Siłę tego podejścia ilustruje zastosowanie go do Quarto Stato, kultowego arcydzieła Giuseppe Pellizzy da Volpedo, znajdującego się w Museo del Novecento w Mediolanie (Włochy).

Wprowadzenie

Spektroskopia odbicia (RS) i spektroskopia odbicia światłowodów (FORS) opierają się na wykrywaniu światła odbitego od powierzchni niegdyś oświetlonych przez źródło światła, zazwyczaj lampę wolframowo-halogenową. Wyjściem systemu akwizycji są widma, w których współczynnik odbicia jest monitorowany w funkcji długości fali w zakresie zależnym od charakterystyki zastosowanego układu doświadczalnego1,2,3. Wprowadzone w ciągu ostatnich czterech dekad4,5, RS i FORS są zwykle używane w połączeniu z fluorescencją rentgenowską i innymi spektroskopiami do opisania materiałów i technik używanych przez artystów do realizacji ich arcydzieł6,7,8,9. Badanie widm odbicia odbywa się zwykle poprzez porównanie danych z próbki z grupą widm referencyjnych wybranych przez użytkownika w osobistych lub publicznych bazach danych. Po zidentyfikowaniu widm referencyjnych, które są zgodne z okresem realizacji próbki i modus operandi artysty, użytkownik rozpoznaje główne cechy widm odbicia (tj. pasma przejścia, absorpcji i odbicia1,2,10,11), a następnie, za pomocą innych technik6,7,8 rozróżniają pigmenty, które zostały użyte w obrazach. Na koniec omówiono niewielkie różnice, jakie istnieją między odniesieniami a widmami eksperymentalnymi7,9.

W większości przypadków eksperymentalne zestawy danych składają się z kilku widm, zebranych z obszarów wybranych przez ekspertów sztuki i zakładanych jako istotne dla charakterystyki obrazu6, 12,13. Pomimo umiejętności i doświadczenia użytkownika, kilka widm nie jest w stanie w pełni wyczerpać charakterystyki całej malowanej powierzchni. Co więcej, wynik analizy zawsze będzie silnie zależał od wiedzy specjalistycznej wykonawcy. W tym scenariuszu obrazowanie odbicia hiperspektralnego (HRI3,14,15) może być użytecznym zasobem. Zamiast kilku izolowanych widm, układy eksperymentalne zwracają właściwości odbicia rozszerzonych fragmentów lub nawet całego badanego artefaktu16. Dwie główne zalety w odniesieniu do pozyskiwania izolowanych widm są oczywiste. Z jednej strony dostępność przestrzennego rozkładu właściwości odbicia pozwala na identyfikację obszarów, które skrywają interesujące cechy, nawet jeśli mogą nie wydawać się osobliwe17. Z drugiej strony, hiperkostki gwarantują liczbę widm na tyle wysoką, aby umożliwić statystyczną analizę danych. Fakty te potwierdzają zrozumienie rozkładu pigmentów w pomalowanej powierzchni18,19.

W przypadku HRI, porównanie danych eksperymentalnych z odniesieniami może być trudne do opanowania15. Typowy detektor zwraca hipersześciany o widmach co najmniej 256 x 256. Wymagałoby to od użytkownika oceny ponad 65 000 widm odbicia w odniesieniu do każdego odniesienia, co jest zadaniem prawie niemożliwym do wykonania ręcznie w rozsądnym czasie. W związku z tym zapotrzebowanie na solidne i być może zautomatyzowane protokoły do zarządzania i analizowania zbiorów danych HRI jest więcej niż uzasadnione15,17. Proponowana metoda odpowiada na tę potrzebę, obsługując całą procedurę analityczną przy minimalnym zaangażowaniu i maksymalnej elastyczności.

Algorytm składający się z zestawu kodów domowej roboty (Tabela Materiałów) odczytuje, zarządza i porządkuje pliki zwrócone przez instalację eksperymentalną. Pozwala na precyzyjny wybór części pól widzenia (FOV, jedno pole widzenia to obszar obrazu monitorowany przez pojedynczy hipersześcian) do zbadania i przeprowadza analizę danych w oparciu o metodę mapowania kątów spektralnych (SAM)20,21 oraz na manipulacji oryginalnymi widmami. Funkcja SAM zwraca obrazy w skali szarości o fałszywych kolorach, zwane mapami podobieństwa. Wartości pikseli tych map odpowiadają kątom widmowym, które są kątami między widmami przechowywanymi w hipersześcianach a tzw. Elementami Końcowymi (EMs, grupa widm referencyjnych, które powinny opisywać cechy powierzchni monitorowanej przez hiperkostki)22. W przypadku RS zastosowanego do obrazów, EM są widmami odbicia pigmentów, które powinny pasować do palety Mistrza. Są one wybierane na podstawie dostępnych informacji o artyście, okresu realizacji obrazu oraz wiedzy użytkownika. W związku z tym wynikiem SAM jest zestaw map, które opisują przestrzenne rozmieszczenie tych pigmentów na powierzchni malarskiej i które pomagają użytkownikowi wywnioskować materiały użyte przez artystę i jego organizację w artefakcie. Algorytm daje możliwość wykorzystania wszelkiego rodzaju odniesień niezależnie od ich pochodzenia. Referencje mogą być specyficznymi widmami wybranymi w hipersześcianach, pochodzić z baz danych, być uzyskane za pomocą innego instrumentu na innej powierzchni (np. próbki pigmentów lub paleta artysty) lub być uzyskane przy użyciu dowolnego rodzaju spektroskopii odbicia, w tym FORS.

SAM był preferowany spośród dostępnych metod klasyfikacji, ponieważ wykazano, że jest skuteczny w charakteryzowaniu pigmentów (zobacz książkę Richarda23, aby uzyskać przegląd głównych dostępnych metod klasyfikacji). Zamiast tego, pomysł opracowania domowego protokołu, zamiast przyjmowania jednego z wielu narzędzi dostępnych swobodnie w sieci24, 25 opiera się na względach praktycznych. Pomimo skuteczności i naukowych podstaw istniejących graficznych interfejsów użytkownika i oprogramowania, pojedyncze narzędzie ledwo zaspokaja wszystkie potrzeby użytkownika. Może wystąpić problem z wejściami/wyjściami (I/O), ponieważ narzędzie nie zarządza plikiem zawierającym nieprzetworzone dane. Może wystąpić problem z analizą danych, ponieważ inne narzędzie nie zapewnia pożądanego podejścia. Może istnieć ograniczenie w obsłudze danych, ponieważ jednoczesna analiza wielu zestawów danych nie jest obsługiwana. W każdym razie nie ma idealnego narzędzia. Każda metoda musi być dostosowana do danych lub odwrotnie. Dlatego preferowane jest opracowanie domowego protokołu.

Przedstawione podejście nie oferuje ani kompletnego zestawu metod analitycznych (zobacz, dla porównania, narzędzie proponowane przez Mobarakiego i Amigo24), ani łatwego w zarządzaniu interfejsu użytkownika (zobacz, dla porównania, oprogramowanie używane przez Zhu i współpracowników25), ale w zamian skupia się na wciąż niedocenianym aspekcie analizy danych hiperspektralnych: możliwości manipulowania wykrytymi widmami. Siła tego podejścia jest zilustrowana przez zastosowanie go do obrazu Quarto Stato Giuseppe Pellizza da Volpedo (Ilustracja 1), ikonicznego obrazu olejnego na płótnie znajdującego się w Museo del Novecento w Mediolanie we Włoszech. Należy pamiętać, że ponieważ podejście to wymaga uruchamiania domowych kodów, programista arbitralnie wybrał nazwy kodów oraz zmienne wejściowe i wyjściowe użyte w opisie protokołu. Nazwy zmiennych mogą być zmieniane przez użytkownika, ale muszą być podane w następujący sposób: zmienne wejściowe i wyjściowe muszą być zapisane odpowiednio w nawiasach kwadratowych i ostatecznie oddzielone przecinkiem i w nawiasach kwadratowych, a ostatecznie oddzielone białym znakiem. Wręcz przeciwnie, nazwy kodów nie mogą być zmieniane.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

1. Ustaw rozdzielczość przestrzenną hipersześcianów

  1. Przeprowadź wstępną inspekcję pomalowanej powierzchni (Rysunek 1) wspieraną przez ekspertów w dziedzinie sztuki, aby zidentyfikować główne cechy obrazu.
    1. Rozpoznaj techniki malarskie użyte przez artystę do stworzenia obrazu.
    2. Zidentyfikuj różne pociągnięcia pędzlem farby na płótnie.
    3. Oceń jakościowo cechy pociągnięć pędzlem, zwracając szczególną uwagę na ich wielkość.
  2. Naśladuj technikę malarską zastosowaną przez artystę, tworząc próbki testowe ad hoc, w których pociągnięcia pędzlem wykazują cechy podobne do tych zastosowanych przez artystę.
    UWAGA: Pellizza da Volpedo był malarzem dywizjonistą. Konserwator został poproszony o przygotowanie próbek testowych, które jakościowo odwzorowują pociągnięcia pędzlem interesującego nas płótna (Rysunek 2, kolumna A).
  3. Ustaw odległość między badaną powierzchnią a sprzętem do akwizycji.
    UWAGA: Odległość określa rozdzielczość przestrzenną hypercubes26, a tym samym możliwość rozróżnienia pociągnięć pędzla na obrazach i mapach SAM malowanej powierzchni.
    1. Oceń odległość między powierzchnią próbki a sprzętem do akwizycji, biorąc pod uwagę charakterystykę kamery hiperspektralnej26 (Tabela materiałów) oraz rozmiar pociągnięć pędzlem narysowanych w próbkach testowych.
    2. Umieść etap akwizycji i kamerę hiperspektralną w odległości ocenionej w poprzednim kroku. Ułożyć badane próbki na stoliku i zapewnić równomierne oświetlenie powierzchni próbek.
    3. Wykonaj kalibrację bieli przy użyciu wzorca białego dostarczonego z kamerą hiperspektralną. Pobierz hypercubes.
      UWAGA: Dla każdego pola widzenia kamera hiperspektralna zwraca zarówno surowe, jak i skalibrowane obrazy. Te ostatnie zostały wykorzystane do analizy.
    4. Pobierz pliki zwrócone przez instrument i zapisz je w dedykowanym folderze.
  4. Sprawdź, czy rozdzielczość przestrzenna hipersześcianów jest w stanie rozróżnić różne pociągnięcia pędzlem na obrazach i mapach SAM pomalowanej powierzchni.
    1. Sprawdź obrazy RGB zwrócone przez kamerę hiperspektralną, aby upewnić się, że pociągnięcia pędzlem użyte do realizacji próbek testowych mogą zostać rozpoznane (Rysunek 2, kolumna A). Jeśli tak, przejdź do kolejnych kroków; W przeciwnym razie wróć do kroku 1.3.1 i uruchom ponownie.
    2. Wyświetl listę plików zawierających dane hiperspektralne i obrazy RGB pól widzenia, uruchamiając kod odczytu danych HS_FileLister. Wpisz następujący wiersz poleceń (w tym średnik) w oknie terminala języka używanego do tworzenia kodów (Tabela materiałów) i naciśnij Enter, aby uruchomić kod:
      [HS_DataList HS_ImageList] = HS_FileLister;
      1. Nie są wymagane żadne dane wejściowe i istnieją dwa wyjścia: lista plików zawierających hiperkostki, HS_DataList, oraz lista obrazów zwróconych przez kamerę hiperspektralną, HS_ImageList.
        UWAGA: Rozmiar każdego hipersześcianu wynosi 512 x 512 x 204 wokseli, gdzie 204 to liczba kanałów używanych do monitorowania sygnału odbicia. Kanały obejmują zakres długości fal od 400 do 1,000 nm z rozdzielczością spektralną 7 nm przy FWHM26.
    3. Zdefiniuj część 3D hipersześcianów, która musi być analizowana, uruchamiając kod przycinania HS_Crop_png. Zdefiniuj żądaną część każdej kostki danych, wybierając obszar nad interaktywnym oknem, który pokazuje obraz 2D RGB pola widzenia monitorowanego przez każdy hipersześcian. Wpisz następujący wiersz poleceń (w tym średnik) w oknie terminala i naciśnij Enter, aby uruchomić kod:
      [HS_ImageList] = HS_Crop_png(HS_ImageList);
      1. Jest jedno wejście (lista obrazów zwróconych przez kamerę hiperspektralną, HS_ImageList) i jedno wyjście (lista wejściowa dodana ze współrzędnymi przestrzennymi, aby ostatecznie przyciąć hiperkostki).
    4. Zastosuj iluminant D65 i obserwatora 1931 ze standardów CIE (Międzynarodowa Komisja ds. Oświetlenia) do hipersześcianów, aby pobrać obrazy RGB FOV (s) z widm odbicia, uruchamiając kod przebudowy HS_RGB_rebuild. Wpisz następujący wiersz poleceń (w tym średnik) w oknie terminala i naciśnij Enter, aby uruchomić kod:
      [HS_ImageList] = HS_RGB_rebuild(HS_ImageList, HS_DataList);
      1. Istnieją dwa wejścia (lista zawierająca obrazy zwrócone przez kamerę hiperspektralną, HS_ImageList, oraz lista plików zawierających hiperkostki, HS_DataList) i jedno wyjście (lista wejściowa zawierająca obrazy zwrócone przez kamerę hiperspektralną dodane wraz z obrazami RGB powierzchni hipersześcianów pobranymi z widm odbicia).
        UWAGA: HS_RGB_Rebuild wykorzystuje funkcje opracowane przez Jeffa Mathera27 w celu zastosowania do danych źródła światła D65 i obserwatora z 1931 roku.
    5. Ręcznie wybierz niektóre widma referencyjne na powierzchniach próbek testowych (białe kółka i liczby w Rysunek 2, kolumna A), uruchamiając kod wyboru izolowanych punktów pomiarowych, PointSel. Wybierz punkty pomiaru, klikając interaktywne okno, które pokazuje, jeden po drugim, obrazy 2D RGB pól widzenia. Wpisz następujący wiersz poleceń (w tym średnik) w oknie terminala i naciśnij Enter, aby uruchomić kod:
      [Odwołania] = PointSel(HS_DataList, HS_ImageList);
      1. Istnieją dwa wejścia (lista zawierająca obrazy zwrócone przez kamerę hiperspektralną, HS_ImageList, oraz lista plików zawierających hiperkostki, HS_DataList) i jedno wyjście (zmienna, References, zawierająca widma wybrane jako odniesienia w ramach FOV(s)).
    6. W razie potrzeby zapisz położenie odwołań na powierzchni próbek w zestawie obrazów, uruchamiając dedykowany kod SaveImPoint. Wpisz następujący wiersz poleceń (w tym średnik) w oknie terminala i naciśnij Enter, aby uruchomić kod:
      SaveImPoint(Referencje, HS_ImageList);
      1. Istnieją dwa wejścia (zmienna zawierająca widma referencyjne, Referencje oraz lista zawierająca obrazy zwrócone przez kamerę hiperspektralną, HS_ImageList) i brak wyjść (kod zapisuje .png obrazy w bieżącym folderze roboczym).
    7. Uporządkuj odwołania w macierz, uruchamiając kod konwersji RefListToMatrix. Wpisz następujący wiersz poleceń (w tym średnik) w oknie terminala i naciśnij Enter, aby uruchomić kod:
      [References_Matrix] = RefListToMatrix(Odwołania, HS_ImageList(1). Fala L);
      1. Istnieją dwa wejścia (zmienna zawierająca widma referencyjne, Referencje oraz lista długości fal, przy których detektor zlicza fotony podczas zbierania danych widm, HS_ImageList(1). WaveL) i jedno wyjście (te same widma referencyjne zorganizowane w matrycę, References_Matrix).
        UWAGA: Ten krok jest obowiązkowy, ponieważ kod, który ocenia mapy SAM, wymaga, aby widma referencyjne były zorganizowane w macierz. Składnia drugiego wejścia HS_ImageList(1). WaveL, jest wymagany do wywołania zmiennej WaveL z listy HS_ImageList. Liczba 1 w nawiasach odnosi się do pierwszego elementu listy o nazwie HS_ImageList; Ponieważ jednak wszystkie hipersześciany mają ten sam zakres długości fali, może on być zastąpiony przez każdą liczbę mniejszą lub równą całkowitej liczbie wymienionych obrazów.
    8. Wyodrębnij mapy SAM przy użyciu całego widma, uruchamiając standardowy kod oceny map SAM, SAM_Standard. Wpisz następujący wiersz poleceń (w tym średnik) w oknie terminala i naciśnij Enter, aby uruchomić kod:
      SAM_Standard(HS_ImageList, HS_DataList, References_Matrix);
      1. Istnieją trzy dane wejściowe (lista zawierająca obrazy zwrócone przez kamerę hiperspektralną, HS_ImageList; lista plików zawierających hiperkostki, HS_DataList; oraz matryca widm referencyjnych, References_Matrix) i brak danych wyjściowych: kod zapisuje mapy SAM jako obrazy .png w bieżącym folderze roboczym.
    9. Sprawdź, czy uzyskane mapy podobieństwa (Rysunek 2, kolumny B - E) wyświetlają szczegóły pociągnięć pędzlem użytych do realizacji próbek testowych. W takim przypadku przejdź do następnego kroku protokołu; W przeciwnym razie wróć do kroku 1.3.1 i uruchom ponownie.

2. Dostosuj parametry eksperymentalne do obrazu

  1. Zidentyfikuj region(y) zainteresowania, ROI(s) obrazu, który ma być badany (czerwone prostokąty w Rysunek 3A).
    UWAGA: Często zdarza się, że do pokrycia jednego zwrotu z inwestycji potrzeba więcej niż jednego pola widzenia.
  2. Ustaw konfigurację akwizycji i malowanie w odległości określonej w poprzednich krokach i wykonaj kalibrację bieli, korzystając z odniesienia do białego wzorca dostarczonego z kamerą hiperspektralną.
    UWAGA: Jeśli użytkownicy muszą dokonać akwizycji in situ (tj. muszą przestudiować obraz wystawiony w muzeum lub na wystawie), mogą tylko zarządzać kamerą. Tak jest w przypadku Quarto Stato, które jest na stałe wyeksponowane w dedykowanej przestrzeni w Museo del Novecento w Mediolanie we Włoszech.
  3. Uzyskaj dane hiperspektralne z co najmniej jednego pola widzenia na krawędzi każdego ROI (niezacienione obszary w czerwonych prostokątach w Rysunek 3A).
  4. Pobierz pliki zwrócone przez instrument i zapisz je w dedykowanym folderze.
  5. Sprawdź, czy oświetlenie powierzchni obrazu zostało równomiernie ustawione, patrząc na obrazy RGB zwracane przez kamerę hiperspektralną. W takim przypadku przejdź do następnych kroków, w przeciwnym razie wróć do kroku 2.2 i uruchom ponownie.
    UWAGA: Rysunek 4 ilustruje znaczenie tego sprawdzenia (szczegóły w sekcji Dyskusja).
  6. Powtórz kroki podrzędne z kroku 1.4.
  7. Sprawdź, czy dane mają wystarczająco wysoką rozdzielczość przestrzenną, aby rozróżnić pociągnięcia pędzlem, obserwując obrazy RGB pól widzenia ( Rysunek 3B) i mapy SAM ( Rysunek 3C) związane z widmami referencyjnymi wybranymi w ramach FOV (zielone kółka w Rysunek 3B).
  8. Jeśli oświetlenie i rozdzielczość przestrzenna zostały prawidłowo ustawione, zakończ zbieranie danych, uzyskując inne pola widzenia niezbędne do pokrycia ROI; w przeciwnym razie wróć do kroku 2.2 i uruchom ponownie.
    UWAGA: Gdy zwrot z inwestycji wymaga pokrycia więcej niż jednego pola widzenia, upewnij się, że istnieje pewien stopień superpozycji między sąsiednimi polami widzenia, aby łatwo zszyć wynikowe mapy3,15. Zakres nakładania się zależy od odległości między kamerą hiperspektralną a próbką, od translacji i poziomego kąta widzenia detektora28. W przypadku eksperymentalnej kampanii prowadzonej na Quarto Stato ustalono, że pokrywanie się wynosi co najmniej 40% pól widzenia.

3. Hiperkostki i zarządzanie widmami referencyjnymi

  1. Wykonaj operacje we/wy nieprzetworzonych danych: organizuj, odczytuj i zarządzaj hipermodułami.
    1. Uruchom kod HS_FileLister, aby zapisać listę plików zawierających hiperkostki i powiązane informacje w dwóch zmiennych do dyspozycji algorytmu (zobacz krok 1.4.2, aby uzyskać praktyczne informacje).
      UWAGA: Kamera hiperspektralna zwraca pliki hdr (high dynamic range), którymi zarządza kod, wykorzystując zrewidowaną wersję skryptu opracowaną przez Jarka Tuszinsky'ego29.
    2. Uruchom kod HS_Crop_png, aby wybrać część każdego pola widzenia, która ma być używana w analizie danych (zobacz krok 1.4.3, aby uzyskać praktyczne informacje).
    3. Uruchom kod HS_RGB_Rebuild, aby pobrać obrazy RGB pól widzenia z widm odbicia (zobacz krok 1.4.4, aby uzyskać praktyczne informacje).
  2. Organizuj, odczytuj (w razie potrzeby) i zarządzaj widmami referencyjnymi.
    UWAGA: Widma referencyjne będą odgrywać rolę elementów końcowych w metodzie SAM20,21. Ta część algorytmu nie jest jednoznacznie określona, ale zależy od trybu selekcji i pochodzenia widm odniesienia.
    1. Uruchom kod PointSel i kliknij w wyświetlonym interaktywnym oknie, aby zidentyfikować widma referencyjne jako izolowane punkty pomiarowe na powierzchni monitorowanego obszaru (obszarów) (Rysunek 5A) (patrz krok 1.4.5 w celu uzyskania praktycznych informacji).
    2. Automatycznie wybierz widma referencyjne jako regularną siateczkę punktów pomiarowych nałożonych na powierzchnię monitorowanego obszaru (obszarów), uruchamiając siatkowy kod wyboru, ReticularSel (Rysunek 5B). Wpisz następujący wiersz poleceń (w tym średnik) w oknie terminala i naciśnij Enter, aby uruchomić kod:
      [Odwołania] = ReticularSel(HS_DataList, HS_ImageList, n_pixel);
      1. Istnieją trzy wejścia (lista zawierająca obrazy zwrócone przez kamerę hiperspektralną, HS_ImageList; lista plików zawierających hiperkostki, HS_DataList; oraz odstępy między siateczkami, n_pixel, wyrażone w liczbie pikseli) i jedno wyjście: zmienna zawierająca widma wybrane jako odniesienia w ramach FOV, References.
    3. Uruchom kod importera odniesień zewnętrznych Spectra_Importer, aby utworzyć zmienną zawierającą odwołania z zestawów danych i baz danych niezależnych od hiperkostek uzyskanych w Quarto Stato. Wpisz następujący wiersz poleceń (w tym średnik) w oknie terminala i naciśnij Enter, aby uruchomić kod:
      [ExtReferences] = Spectra_Importer(file_extension);
      1. Jest jedno wejście (rozszerzenie pliku zawierającego niezależne widma referencyjne, file_extension, zapisywane między wierzchołkami) i jedno wyjście (zmienna zawierająca zewnętrzne odniesienia, ExtReferences).
        UWAGA: Kod importera odniesień zewnętrznych został zoptymalizowany pod kątem importowania plików tmr, ale w razie potrzeby można go łatwo zmodyfikować, aby radził sobie z dowolnym rodzajem pliku tekstowego.
    4. Uruchom kod RefListToMatrix, aby umieścić odwołania w macierzy, References_Matrix lub ExtReferences_Matrix, zgodnie z wymaganiami kodu, który ocenia mapy SAM (zobacz krok 1.4.7, aby uzyskać praktyczne informacje).
    5. Poczekaj, aż kod RefListToMatrix wyrówna zarówno zakres długości fali, jak i rozdzielczość widmową (tj. liczbę składników) hipersześcianów i odniesień.
      UWAGA: Kod identyfikuje zakresy długości fal zarówno hipersześcianów, jak i odniesień. Kod porównuje zakresy długości fal i odcina przedziały długości fal, które nie są monitorowane zarówno przez hiperkostki, jak i odniesienia. Kod identyfikuje grupę hiperwektorów (hipersześcianów lub odniesień) utworzonych przez mniejszą liczbę składowych (tj. charakteryzujących się niższą rozdzielczością widmową) w wyrównanym zakresie długości fal. Kod redukuje liczbę składowych dłuższych hiperwektorów (referencji lub hipersześcianów) do liczby krótszych (hipersześcianów lub referencji). Odbywa się to poprzez zachowanie, dla każdej długości fali krótszych hiperwektorów, tylko wartości dłuższych hiperwektorów, które odpowiadają długości fali najbliższej długości fali krótszych hiperwektorów.
      1. Kod automatycznie wykonuje wyrównanie. Jeśli odniesienia zostały wybrane w obrębie hipersześcianów, zakres długości fali i rozdzielczość spektralna nie muszą być wyrównywane i pozostają niezmienione.
    6. W razie potrzeby zapisz położenie odniesień na powierzchni próbek w zestawie obrazów, uruchamiając dedykowany kod (szczegóły praktyczne znajdują się w kroku 1.4.7).
      UWAGA: Ta opcja jest dostępna tylko wtedy, gdy odniesienia zostały wybrane w hipersześcianach (kroki 3.2.1 i 3.2.2).

4. Analiza SAM

  1. Uruchom SAM_Complete kod, aby ocenić mapy podobieństwa. Wpisz następujący wiersz poleceń (w tym średnik) w oknie terminala i naciśnij Enter, aby uruchomić kod:
    SAM_Complete(HS_ImageList, HS_DataList, References_Matrix);
    1. Istnieją trzy wejścia (lista zawierająca obrazy zwrócone przez kamerę hiperspektralną, HS_ImageList; lista plików zawierających hiperkostki, HS_DataList; oraz macierz referencyjna, References_Matrix lub ExtReferences_Matrix) i brak wyjść (kod zapisuje mapy SAM jako pliki .png w bieżącym folderze roboczym).
      UWAGA: Poza trzema opisanymi zmiennymi wejściowymi, kod SAM_complete musi być zasilany kilkoma dodatkowymi parametrami, aby dostosować protokół analizy do preferencji użytkownika (patrz kolejne kroki).
  2. W razie potrzeby wprowadź kod z opcją przetwarzania wstępnego, wpisując liczbę 0 lub 1 w oknie dialogowym w zależności od żądanej operacji przetwarzania wstępnego i naciśnij Enter, aby kontynuować.
    1. Opcja przetwarzania wstępnego ustawiona na 0: obszar objęty każdym widmem odbicia jest znormalizowany do 1.
    2. Opcja przetwarzania wstępnego ustawiona na 1: obszar objęty każdym widmem odbicia jest normalizowany do 1, a następnie znormalizowane widmo jest wyprowadzane jeden raz.
      UWAGA: Zarówno hiperkostki, jak i odwołania są poddawane tej samej opcji przetwarzania wstępnego.
  3. Wybierz pręty końcowe, które mają być użyte do analizy SAM spośród macierzy odniesienia, wprowadzając do kodu numery kolumn odpowiadających żądanym widmom. W razie potrzeby wprowadź w oknie dialogowym sekwencję liczb odpowiadającą żądanym kolumnom, wpisując liczby oddzielone białym znakiem. Naciśnij Enter, aby kontynuować.
    UWAGA: Sekwencja [1 2 3] odpowiada wyborowi pierwszych trzech kolumn macierzy odniesienia; Pusty wektor odpowiada zaznaczeniu wszystkich kolumn macierzy odniesienia.
  4. Nadaj kodowi ciąg znaków zawierający pierwszą część nazwy, która będzie identyfikować zestawy map do zapisania (tj. część wspólną nazwy plików .png zwracanych przez SAM_Complete). W razie potrzeby wstaw ciąg w oknie dialogowym. Naciśnij Enter, aby kontynuować.
    UWAGA: Jeśli użytkownik wpisze test, nazwy wszystkich obrazów .png wyjściowych będą zaczynać się od test.
  5. W razie potrzeby wprowadź kod z metodą wybraną do obsługi danych, wpisując liczbę 0, 1 lub 2 w oknie dialogowym w zależności od żądanej metody obsługi, a następnie naciśnij Enter, aby kontynuować.
    1. Ustaw metodę na 0, aby nie manipulować danymi.
    2. Ustaw metodę na 1, aby wymagać ręcznego wyboru zakresów długości fal widm, które mają być brane pod uwagę przed rozpoczęciem analizy (Rysunek 6).
    3. Ustaw metodę na 2, aby algorytm wymagał uporządkowania danych na podstawie określonego kryterium przed oceną map SAM (Rysunek 7).
  6. Poczekaj, aż protokół przetworzy dane i zapisze mapy SAM w bieżącym folderze roboczym jako .png files.
    UWAGA: Jeśli metoda uchwytu została ustawiona na 0 lub 2, użytkownik musi po prostu czekać. Jeśli została ustawiona na 1, użytkownik musi wybrać część (części) widma, które ma być wykorzystane do oceny map SAM, klikając na interaktywne okno (Rysunek 6).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

Proponowany protokół oferuje zestaw interesujących funkcji do zarządzania i analizy danych HRI. Wejście/wyjście (krok 3.1) surowych danych jest zawsze pierwszym problemem, który należy rozwiązać przed zastosowaniem jakiejkolwiek metody analizy, i może stać się kwestią krytyczną przy pracy z dużymi ilościami danych. W niniejszym przypadku jedynym zadaniem dotyczącym surowych danych jest zapisanie wyników eksperymentalnych w dedykowanym folderze i wybranie go poprzez przeglądanie dysku twardego podczas uruchamiania kodu od...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

Zestawy danych obrazowania odbicia hiperspektralnego są dużymi rezerwuarami informacji; W związku z tym opracowanie solidnych i być może zautomatyzowanych protokołów do analizy danych jest kluczowym krokiem w kierunku wykorzystania ich potencjału15,17. Proponowany algorytm odpowiada na tę potrzebę w zakresie dziedzictwa kulturowego, ze szczególnym uwzględnieniem charakterystyki pigmentów obrazów. Algorytm oparty na SAM 20,21

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

Autorzy nie mają nic do ujawnienia.

Podziękowania

Badania zostały sfinansowane przez Regione Lombardia w ramach Projektu MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici - Call Accordi per la Ricerca e l'Innovazione.

Autorzy są wdzięczni pracownikom Museo del Novecento za wsparcie podczas sesji eksperymentalnych in situ oraz Associazione Pellizza da Volpedo za dostęp do Studio Museo.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
ImageJ/FijiSpecim (Oulo, Finlad)N/APrzenośna kamera hiperspektralna refleksyjna używana do pozyskiwania hipersześcianów
MATLAB 2019bStellarNet Inc (Tampa, Floryda, USA)Nie dotyczyPrzenośny spektrometr odbicia używany do pozyskiwania niezależnych widm odbicia
Kamera hiperspektralna Specim IQNational Institutes of Health (Bethesda, Maryland, USA)N/A  Program do przetwarzania obrazów Java o otwartym kodzie źródłowym
StellarNet BLUE-wave Miniature Spectrometer  MathWorks (Natick, Massachusset, USA)N/AJęzyk programowania i numeryczne środowisko obliczeniowe

Bibliografia

  1. Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , Springer. 259-265 (2002).
  2. Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
  3. Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
  4. Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
  5. Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
  6. Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
  7. Pouyet, E. K., et al. New insights into Pablo Picasso's La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
  8. Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
  9. Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
  10. Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
  11. Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
  12. Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
  13. Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
  14. Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
  15. Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
  16. Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
  17. Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
  18. Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
  19. Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390(2003).
  20. Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
  21. Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
  22. Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
  23. Richards, J. A. Remote sensing digital image analysis. 3, Springer. (1999).
  24. Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
  25. Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175(2021).
  26. Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441(2018).
  27. Mather, J. Spectral and XYZ Color Functions. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021).
  28. Chen, C. -Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
  29. Tuszynski, J. read_envihdr. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021).
  30. Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202(2016).
  31. Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
  32. Rinnan, Å, Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Tagi

Spektroskopia odbiciowaodbicie wiat owodowetechniki malarskieanaliza pigment wmapowanie k ta widmowegocharakterystyka paletyanaliza poci gni p dzlaobrazowanie nieinwazyjnekonserwacja dzie sztuki
Zastosowanie obrazowania hiperspektralnego odbicia do badania palet i technik malarzy
Skontaktuj się z nami
Poleć bibliotece

Prywatność

Warunki korzystania z usługi

Zasady

Prawa autorskie © 2026 MyJoVE Corporation. Wszelkie prawa zastrzeżone.