Summary
Hyperspectral Reflectance Imaging Hyperwürfel enthalten bemerkenswerte Informationen in einer großen Datenmenge. Daher ist die Forderung nach automatisierten Protokollen zur Verwaltung und Untersuchung der Datensätze weitgehend gerechtfertigt. Die Kombination aus Spectral Angle Mapper, Datenmanipulation und einer vom Benutzer einstellbaren Analysemethode stellt einen Schlüssel für die Erforschung der experimentellen Ergebnisse dar.
Abstract
Reflexionsspektroskopie (RS) und Faseroptik-Reflexionsspektroskopie (FORS) sind etablierte Techniken zur Untersuchung von Kunstwerken mit besonderem Augenmerk auf Gemälde. Die meisten modernen Museen stellen ihren Forschungsgruppen tragbare Geräte zur Verfügung, die zusammen mit der intrinsischen Nicht-Invasivität von RS und FORS die In-situ-Sammlung von Reflexionsspektren von der Oberfläche von Artefakten ermöglichen. Der von Experten für Pigmente und Malmaterialien durchgeführte Vergleich der experimentellen Daten mit Datenbanken von Referenzspektren treibt die Charakterisierung der Paletten und der von den Künstlern verwendeten Techniken voran. Dieser Ansatz erfordert jedoch spezifische Fähigkeiten und ist zeitaufwendig, insbesondere wenn die Anzahl der zu untersuchenden Spektren groß wird, wie dies bei HRI-Datensätzen (Hyperspectral Reflectance Imaging) der Fall ist. Die HRI-Versuchsaufbauten sind mehrdimensionale Kameras, die die spektrale Information, die durch die Reflexionsspektren gegeben wird, mit der räumlichen Lokalisierung der Spektren über der gemalten Oberfläche assoziieren. Die resultierenden Datensätze sind 3D-Würfel (Hyperwürfel oder Datenwürfel genannt), bei denen die ersten beiden Dimensionen das Spektrum über dem Gemälde lokalisieren und die dritte das Spektrum selbst ist (dh die Reflexion dieses Punktes der gemalten Oberfläche gegenüber der Wellenlänge im operativen Bereich des Detektors). Die Fähigkeit des Detektors, gleichzeitig eine große Anzahl von Spektren (typischerweise viel mehr als 10.000 für jeden Hyperwürfel) zu sammeln, macht die HRI-Datensätze zu großen Informationsreservoirs und rechtfertigt die Notwendigkeit der Entwicklung robuster und möglicherweise automatisierter Protokolle zur Analyse der Daten. Nach der Beschreibung des für die Datenerfassung konzipierten Verfahrens stellen wir eine Analysemethode vor, die das Potenzial der Hyperwürfel systematisch ausschöpft. Basierend auf dem Spectral Angle Mapper (SAM) und der Manipulation der gesammelten Spektren verarbeitet und analysiert der Algorithmus Tausende von Spektren und unterstützt gleichzeitig den Benutzer bei der Enthüllung der Merkmale der untersuchten Proben. Die Kraft des Ansatzes wird durch die Anwendung auf Quarto Stato veranschaulicht, das ikonische Meisterwerk von Giuseppe Pellizza da Volpedo, das im Museo del Novecento in Mailand (Italien) aufbewahrt wird.
Introduction
Reflexionsspektroskopie (RS) und Faseroptik-Reflexionsspektroskopie (FORS) basieren auf der Detektion des Lichts, das von Oberflächen reflektiert wird, die einmal von einer Lichtquelle, typischerweise einer Wolfram-Halogenlampe, beleuchtet werden. Die Ausgabe des Erfassungssystems besteht aus Spektren, bei denen der Reflexionsgrad als Funktion der Wellenlänge in einem Bereich überwacht wird, der von den Eigenschaften des verwendeten Versuchsaufbaus abhängt1,2,3. Eingeführt in den letzten vier Jahrzehnten4,5, werden RS und FORS typischerweise in Kombination mit Röntgenfluoreszenz und anderen Spektroskopien verwendet, um die Materialien und Techniken zu beschreiben, die von Künstlern zur Realisierung ihrer Meisterwerke verwendet werden6,7,8,9. Die Untersuchung der Reflexionsspektren erfolgt in der Regel durch Vergleich der Daten aus der Stichprobe mit einer Gruppe von Referenzspektren, die vom Benutzer in persönlichen oder öffentlichen Datenbanken ausgewählt wurden. Sobald die Referenzspektren identifiziert wurden, die der Realisierungsperiode der Probe und dem Modus Operandi des Künstlers entsprechen, erkennt der Benutzer die Hauptmerkmale der Reflexionsspektren (d.h. Übergangs-, Absorptions- und Reflexionsbänder1,2,10,11) und dann mit Hilfe anderer Techniken6,7,8 sie unterscheiden die Pigmente, die in den Gemälden verwendet wurden. Schließlich diskutieren sie die geringfügigen Unterschiede, die es zwischen den Referenzen und den experimentellen Spektren7,9 gibt.
In den meisten Fällen bestehen die experimentellen Datensätze aus wenigen Spektren, die aus von Kunstexperten ausgewählten Bereichen gesammelt wurden und von denen angenommen wird, dass sie für die Charakterisierung des Gemäldes von Bedeutung sind6,12,13. Trotz der Fähigkeiten und der Erfahrung des Benutzers können einige Spektren die Eigenschaften der gesamten lackierten Oberfläche nicht vollständig ausschöpfen. Darüber hinaus wird das Ergebnis der Analyse immer stark von der Expertise des Darstellers abhängen. In diesem Szenario könnte Hyperspectral Reflectance Imaging (HRI3,14,15) eine nützliche Ressource sein. Anstelle einiger isolierter Spektren geben die Versuchsaufbauten die Reflexionseigenschaften ausgedehnter Teile oder sogar des gesamten untersuchten Artefakts zurück16. Die beiden Hauptvorteile in Bezug auf die Erfassung der isolierten Spektren liegen auf der Hand. Auf der einen Seite ermöglicht die Verfügbarkeit der räumlichen Verteilung der Reflexionseigenschaften die Identifizierung von Bereichen, die interessante Merkmale verbergen, auch wenn sie nicht eigenartig erscheinen mögen17. Auf der anderen Seite garantieren die Hyperwürfel eine Anzahl von Spektren, die hoch genug sind, um die statistische Analyse der Daten zu ermöglichen. Diese Tatsachen unterstützen das Verständnis der Verteilung von Pigmenten innerhalb der lackierten Oberfläche18,19.
Mit HRI könnte der Vergleich der experimentellen Daten mit den Referenzen schwierig zu handhaben sein15. Ein typischer Detektor liefert Hyperwürfel von mindestens 256 x 256 Spektren. Dies würde erfordern, dass der Benutzer mehr als 65.000 Reflexionsspektren gegen jede Referenz auswertet, eine Aufgabe, die in angemessener Zeit fast unmöglich manuell ausgeführt werden kann. Daher ist die Forderung nach robusten und möglicherweise automatisierten Protokollen zur Verwaltung und Analyse von HRI-Datensätzen mehr als gerechtfertigt15,17. Die vorgeschlagene Methode erfüllt diesen Bedarf, indem sie das gesamte Analyseverfahren mit minimalem Aufwand und maximaler Flexibilität behandelt.
Ein Algorithmus, der aus einem Satz von selbst erstellten Codes (Table of Materials) besteht, liest, verwaltet und organisiert die dateien, die vom experimentellen Setup zurückgegeben werden. Es ermöglicht die Feinauswahl der Teile der Sichtfelder (FOVs, ein Sichtfeld ist der Bereich des Gemäldes, der von einem einzigen Hyperwürfel überwacht wird) zu untersuchen und führt die Analyse der Daten basierend auf der Spectral Angle Mapper (SAM) Methode20,21 und auf der Manipulation der ursprünglichen Spektren durch. SAM gibt Falschfarben-Graustufenbilder zurück, die als Ähnlichkeitskarten bezeichnet werden. Die Werte der Pixel dieser Karten entsprechen den spektralen Winkeln, die die Winkel zwischen den in den Hyperwürfeln gespeicherten Spektren und den sogenannten End members (EMs, einer Gruppe von Referenzspektren, die die Merkmale der von den Hyperwürfeln überwachten Oberfläche beschreiben sollen)22 sind. Im Falle von RS, die auf Gemälde angewendet werden, sind die EMs die Reflexionsspektren von Pigmenten, die der Palette des Masters entsprechen sollten. Sie werden auf der Grundlage der verfügbaren Informationen über den Künstler, den Realisierungszeitraum des Gemäldes und das Fachwissen des Benutzers ausgewählt. Daher ist die Ausgabe des SAM ein Satz von Karten, der die räumlichen Verteilungen dieser Pigmente über die Malfläche beschreibt und den Benutzer dabei unterstützt, auf die vom Künstler verwendeten Materialien und deren Organisation im Artefakt zu schließen. Der Algorithmus bietet die Möglichkeit, alle Arten von Referenzen unabhängig von ihrer Herkunft zu verwenden. Die Referenzen können spezifische Spektren sein, die innerhalb der Hyperwürfel ausgewählt wurden, aus Datenbanken stammen, von einem anderen Instrument auf einer anderen Oberfläche erfasst werden (z. B. Pigmentproben oder die Palette des Künstlers) oder mit jeder Art von Reflexionsspektroskopie, einschließlich FORS, erhalten werden.
SAM wurde unter den verfügbaren Klassifikationsmethoden bevorzugt, da es sich als wirksam bei der Charakterisierung von Pigmenten erwiesen hat (siehe das Buch von Richard23, um einen Überblick über die wichtigsten verfügbaren Klassifikationsmethoden zu erhalten). Stattdessen beruht die Idee, ein selbst erstelltes Protokoll zu entwickeln, anstatt eines der vielen im Netz frei verfügbaren Tools zu übernehmen24,25, auf einer praktischen Überlegung. Trotz der Effektivität und wissenschaftlichen Fundierung der bestehenden GUIs und Software befriedigt ein einziges Tool kaum alle Bedürfnisse des Anwenders. Möglicherweise liegt ein E/A-Problem (Input/Output) vor, da ein Tool die Datei mit den Rohdaten nicht verwaltet. Es könnte ein Problem bei der Analyse der Daten geben, da ein anderes Tool nicht den gewünschten Ansatz bietet. Es kann eine Einschränkung bei der Verarbeitung der Daten geben, da die gleichzeitige Analyse mehrerer Datensätze nicht unterstützt wird. Ein perfektes Werkzeug gibt es jedenfalls nicht. Jede Methode muss an die Daten angepasst werden oder umgekehrt. Daher wurde die Entwicklung eines hausgemachten Protokolls bevorzugt.
Der vorgestellte Ansatz bietet weder einen vollständigen Satz analytischer Methoden (siehe zum Vergleich das von Mobaraki und Amigo24 vorgeschlagene Tool) noch eine einfach zu verwaltende Benutzeroberfläche (siehe zum Vergleich die von Zhu und Mitarbeitern verwendete Software25), sondern konzentriert sich im Gegenzug auf einen immer noch unterschätzten Aspekt der hyperspektralen Datenanalyse: die Möglichkeit, die erkannten Spektren zu manipulieren. Die Kraft des Ansatzes wird veranschaulicht, indem man ihn auf das Gemälde Quarto Stato von Giuseppe Pellizza da Volpedo (Abbildung 1) anwendet, ein ikonisches Öl auf Leinwand, das im Museo del Novecento in Mailand, Italien, aufbewahrt wird. Beachten Sie, dass der Entwickler, da der Ansatz das Ausführen von selbst erstellten Codes erfordert, willkürlich die Namen der Codes und sowohl die Eingabe- als auch die Ausgabevariablen ausgewählt hat, die in der Beschreibung des Protokolls verwendet werden. Die Namen der Variablen können vom Benutzer geändert werden, müssen jedoch wie folgt angegeben werden: Die Eingabe- und Ausgangsvariablen müssen jeweils in Klammern geschrieben und schließlich durch Komma und eckige Klammern getrennt und schließlich durch ein Leerzeichen getrennt werden. Im Gegenteil, die Namen der Codes können nicht geändert werden.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. Stellen Sie die räumliche Auflösung der Hyperwürfel ein
- Führen Sie eine vorläufige Inspektion der bemalten Oberfläche (Abbildung 1) durch, die von Kunstexperten unterstützt wird, um die Hauptmerkmale des Gemäldes zu identifizieren.
- Erkenne die Bildtechniken, die der Künstler verwendet hat, um das Gemälde zu schaffen.
- Identifizieren Sie die verschiedenen Pinselstriche auf der Leinwand.
- Schätzen Sie qualitativ die Eigenschaften der Pinselstriche mit besonderem Augenmerk auf ihre Größe.
- Ahmen Sie die vom Künstler verwendete Bildtechnik nach, indem Sie Ad-hoc-Testmuster erstellen, bei denen die Pinselstriche ähnliche Eigenschaften aufweisen wie die des Künstlers.
ANMERKUNG: Pellizza da Volpedo war ein divisionistischer Maler. Ein Restaurator wurde gebeten, einige Testproben vorzubereiten, die die Pinselstriche der interessierenden Leinwand qualitativ reproduzieren (Abbildung 2, Spalte A). - Legen Sie den Abstand zwischen der untersuchten Oberfläche und der Erfassungsausrüstung fest.
HINWEIS: Der Abstand bestimmt die räumliche Auflösung der Hyperwürfel26 und damit die Möglichkeit, die Pinselstriche auf den Bildern und SAM-Karten der gemalten Oberfläche zu unterscheiden.- Bewerten Sie den Abstand zwischen der Oberfläche der Probe und der Erfassungsausrüstung unter Berücksichtigung der Eigenschaften der Hyperspektralkamera26 (Materialtabelle) und der Größe der in den Testproben gezeichneten Pinselstriche.
- Setzen Sie die Erfassungsstufe und die Hyperspektralkamera auf die im vorherigen Schritt bewertete Entfernung. Ordnen Sie die Prüfmuster auf der Bühne an und sorgen Sie für eine gleichmäßige Ausleuchtung der Oberfläche der Proben.
- Führen Sie eine weiße Kalibrierung mit der weißen Standardreferenz durch, die mit der Hyperspektralkamera geliefert wird. Erwerben Sie die Hyperwürfel.
HINWEIS: Für jedes Sichtfeld gibt die Hyperspektralkamera sowohl rohe als auch kalibrierte Bilder zurück. Letztere wurden für die Analyse verwendet. - Laden Sie die vom Gerät zurückgegebenen Dateien herunter und speichern Sie sie in einem speziellen Ordner.
- Prüfen Sie, ob die räumliche Auflösung der Hyperwürfel die verschiedenen Pinselstriche auf den Bildern und SAM-Karten der gemalten Oberfläche unterscheiden kann.
- Überprüfen Sie die von der Hyperspektralkamera zurückgegebenen RGB-Bilder, um sicherzustellen, dass die Pinselstriche, die zur Realisierung der Testproben verwendet wurden, erkannt werden können (Abbildung 2, Spalte A). Wenn ja, fahren Sie mit den nächsten Schritten fort. Andernfalls kehren Sie zu Schritt 1.3.1 zurück und starten Sie ihn neu.
- Listen Sie die Dateien auf, die die hyperspektralen Daten und die RGB-Bilder der FOVs enthalten, indem Sie den Datenlesecode ausführen, HS_FileLister. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster der Sprache ein, die zum Entwickeln der Codes verwendet wurde (Tabelle der Materialien) und drücken Sie die Eingabetaste , um den Code auszuführen:
[HS_DataList HS_ImageList] = HS_FileLister;- Es ist keine Eingabe erforderlich und es gibt zwei Ausgaben: die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList und die Liste der bilder, die von der Hyperspektralkamera zurückgegeben werden, HS_ImageList.
HINWEIS: Die Größe jedes Hyperwürfels beträgt 512 x 512 x 204 Voxel, wobei 204 die Anzahl der Kanäle ist, die zur Überwachung des Reflexionssignals verwendet werden. Die Kanäle umfassen den Wellenlängenbereich zwischen 400 und 1.000 nm mit einer spektralen Auflösung von 7 nm bei FWHM26.
- Es ist keine Eingabe erforderlich und es gibt zwei Ausgaben: die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList und die Liste der bilder, die von der Hyperspektralkamera zurückgegeben werden, HS_ImageList.
- Definieren Sie den 3D-Teil der Hyperwürfel, der analysiert werden muss, indem Sie den Zuschneidecode ausführen, HS_Crop_png. Definieren Sie den gewünschten Teil jedes Datenwürfels, indem Sie einen Bereich über einem interaktiven Fenster auswählen, der das 2D-RGB-Bild des von jedem Hyperwürfel überwachten FOV anzeigt. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
[HS_ImageList] = HS_Crop_png(HS_ImageList);- Es gibt eine Eingabe (die Liste der von der Hyperspektralkamera zurückgegebenen Bilder, HS_ImageList) und eine Ausgabe (die Eingabeliste, die mit den räumlichen Koordinaten hinzugefügt wurde, um schließlich die Hyperwürfel zuzuschneiden).
- Wenden Sie das Leuchtmittel D65 und den Beobachter von 1931 aus den CIE-Standards (International Commission on Illumination) auf die Hyperwürfel an, um die RGB-Bilder der FOV(s) aus den Reflexionsspektren abzurufen, indem Sie den Rebuild-Code HS_RGB_rebuild ausführen. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
[HS_ImageList] = HS_RGB_rebuild(HS_ImageList, HS_DataList);- Es gibt zwei Eingaben (die Liste mit den von der Hyperspektralkamera zurückgegebenen Bildern, HS_ImageList, und die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList) und eine Ausgabe (die Eingabeliste mit den von der Hyperspektralkamera zurückgegebenen Bildern, die mit den RGB-Bildern der Oberflächen der Hyperwürfel aus den Reflexionsspektren hinzugefügt wurden).
HINWEIS: HS_RGB_Rebuild nutzt die von Jeff Mather27 entwickelten Funktionen, um die D65-Leuchtmittel und den 1931-Beobachter von CIE auf die Daten anzuwenden.
- Es gibt zwei Eingaben (die Liste mit den von der Hyperspektralkamera zurückgegebenen Bildern, HS_ImageList, und die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList) und eine Ausgabe (die Eingabeliste mit den von der Hyperspektralkamera zurückgegebenen Bildern, die mit den RGB-Bildern der Oberflächen der Hyperwürfel aus den Reflexionsspektren hinzugefügt wurden).
- Wählen Sie manuell einige Referenzspektren auf den Oberflächen der Testproben aus (Weiße Kreise und Zahlen in Abbildung 2, Spalte A), indem Sie den isolierten Messpunktauswahlcode PointSel ausführen. Wählen Sie die Messpunkte aus, indem Sie auf ein interaktives Fenster klicken, das nacheinander die 2D-RGB-Bilder der Sichtfelder anzeigt. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
[Referenzen] = PointSel(HS_DataList, HS_ImageList);- Es gibt zwei Eingaben (die Liste mit den von der Hyperspektralkamera zurückgegebenen Bildern, HS_ImageList, und die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList) und eine Ausgabe (eine Variable, References, die die Spektren enthält, die als Referenzen innerhalb der FOV(s) ausgewählt wurden).
- Speichern Sie bei Bedarf die Position der Verweise über der Oberfläche der Beispiele in einem Satz von Bildern, indem Sie den dedizierten Code SaveImPoint ausführen. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
SaveImPoint(Verweise, HS_ImageList);- Es gibt zwei Eingaben (die Variable mit den Referenzspektren, Referenzen und die Liste mit den bildern, die von der Hyperspektralkamera zurückgegeben werden, HS_ImageList) und keine Ausgaben (der Code speichert .png Bilder im aktuellen Arbeitsordner).
- Organisieren Sie die Verweise in einer Matrix, indem Sie den Konvertierungscode RefListToMatrix ausführen. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
[References_Matrix] = RefListToMatrix(Referenzen, HS_ImageList(1). WaveL);- Es gibt zwei Eingänge (die Variable mit den Referenzspektren, Referenzen und die Liste der Wellenlängen, bei denen der Detektor die Photonen während der Datenerfassung der Spektren zählt, HS_ImageList(1). WaveL) und einem Ausgang (die gleichen Referenzspektren, die in einer Matrix organisiert sind, References_Matrix).
HINWEIS: Dieser Schritt ist obligatorisch, da der Code, der die SAM-Zuordnungen auswertet, erfordert, dass die Referenzspektren in einer Matrix organisiert werden. Die Syntax der zweiten Eingabe , HS_ImageList(1). WaveL ist erforderlich, um die Variable WaveL aus der Liste HS_ImageList abzurufen. Die Zahl 1 in Klammern bezieht sich auf das erste Element der Liste, das als HS_ImageList bezeichnet wird. Da jedoch alle Hyperwürfel den gleichen Wellenlängenbereich haben, kann sie durch jede Kleine oder Gleichzahl der Gesamtzahl der aufgelisteten Bilder ersetzt werden.
- Es gibt zwei Eingänge (die Variable mit den Referenzspektren, Referenzen und die Liste der Wellenlängen, bei denen der Detektor die Photonen während der Datenerfassung der Spektren zählt, HS_ImageList(1). WaveL) und einem Ausgang (die gleichen Referenzspektren, die in einer Matrix organisiert sind, References_Matrix).
- Extrahieren Sie die SAM-Karten unter Verwendung der gesamten Spektren, indem Sie den Standard-SAM-Karten-Evaluierungscode ausführen, SAM_Standard. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
SAM_Standard(HS_ImageList, HS_DataList, References_Matrix);- Es gibt drei Eingaben (die Liste mit den bildern, die von der Hyperspektralkamera zurückgegeben werden, HS_ImageList; die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList; und die Matrix der Referenzspektren, References_Matrix) und keine Ausgabe: Der Code speichert die SAM-Karten als .png Bilder im aktuellen Arbeitsordner.
- Prüfen Sie, ob die erhaltenen Ähnlichkeitskarten (Abbildung 2, Spalten B - E) die Details der Pinselstriche anzeigen, die zur Realisierung der Testproben verwendet wurden. Wenn dies der Fall ist, fahren Sie mit dem nächsten Schritt des Protokolls fort. Andernfalls kehren Sie zu Schritt 1.3.1 zurück und starten Sie ihn neu.
2. Passen Sie die experimentellen Parameter an das Gemälde an
- Identifizieren Sie die Region(en) von Interesse, ROI(s), des zu untersuchenden Gemäldes (rote Rechtecke in Abbildung 3A).
HINWEIS: Es ist üblich, dass mehr als ein FOV erforderlich ist, um einen einzigen ROI abzudecken. - Ordnen Sie die Aufnahmeeinrichtung und das Gemälde in dem in den vorherigen Schritten definierten Abstand an und führen Sie die Weißkalibrierung unter Verwendung der mit der Hyperspektralkamera gelieferten weißen Standardreferenz durch.
HINWEIS: Wenn die Benutzer eine In-situ-Akquisition durchführen müssen (d. H. Sie müssen ein Gemälde studieren, das in einem Museum oder in einer Ausstellung ausgestellt ist), können sie nur die Kamera verwalten. Dies ist der Fall von Quarto Stato, das dauerhaft in einem eigenen Raum im Museo del Novecento in Mailand, Italien, ausgestellt ist. - Erfassen Sie die Hyperspektraldaten von mindestens einem Sichtfeld am Rand jedes ROI(s) (nicht schattierte Bereiche innerhalb der roten Rechtecke in Abbildung 3A).
- Laden Sie die vom Gerät zurückgegebenen Dateien herunter und speichern Sie sie in einem speziellen Ordner.
- Überprüfen Sie, ob die Beleuchtung der Oberfläche des Gemäldes gleichmäßig eingestellt wurde, indem Sie sich die von der Hyperspektralkamera zurückgegebenen RGB-Bilder ansehen. Wenn dies der Fall ist, fahren Sie mit den nächsten Schritten fort, kehren Sie andernfalls zu Schritt 2.2 zurück und starten Sie ihn neu.
HINWEIS: Abbildung 4 veranschaulicht die Bedeutung dieser Überprüfung (siehe Abschnitt Diskussion für die Details). - Wiederholen Sie die Unterschritte von Schritt 1.4.
- Überprüfen Sie, ob die Daten eine räumliche Auflösung haben, die hoch genug ist, um die Pinselstriche zu unterscheiden, indem Sie die RGB-Bilder der FOVs (Abbildung 3B) und die SAM-Karten (Abbildung 3C) in Bezug auf die in den FOVs ausgewählten Referenzspektren (grüne Kreise in Abbildung 3B) beobachten.
- Wenn die Beleuchtung und die räumliche Auflösung richtig eingestellt wurden, schließen Sie die Erfassung der Daten ab, indem Sie die anderen FOVs erfassen, die zur Deckung des ROI (der ROI) erforderlich sind. Andernfalls kehren Sie zu Schritt 2.2 zurück, und starten Sie ihn neu.
HINWEIS: Wenn ein ROI erfordert, dass mehr als ein FOV abgedeckt wird, stellen Sie ein gewisses Maß an Überlagerung zwischen benachbarten FOVs sicher, um die resultierenden Karten leicht zu stitchen3,15. Das Ausmaß der Überlappung hängt vom Abstand zwischen der Hyperspektralkamera und der Probe, von der Translation und dem horizontalen Blickwinkel des Detektors28 ab. Im Falle der experimentellen Kampagne, die auf Quarto Stato durchgeführt wurde, wurde die Überschneidung auf mindestens 40% der FOVs festgelegt.
3. Hyperwürfel und das Referenzspektrenmanagement
- Führen Sie die E/A der Rohdaten aus: Organisieren, Lesen und Verwalten der Hyperwürfel.
- Führen Sie den HS_FileLister Code aus, um die Liste der Dateien, die die Hyperwürfel und die zugehörigen Informationen enthalten, in zwei Variablen zu speichern, die dem Algorithmus zur Verfügung stehen (siehe Schritt 1.4.2 für die praktischen Details).
HINWEIS: Die Hyperspektralkamera gibt HDR-Dateien (High Dynamic Range) zurück, die der Code verwaltet, indem sie eine überarbeitete Version des von Jarek Tuszinsky29 entwickelten Skripts ausnutzt. - Führen Sie den HS_Crop_png Code aus, um den Teil jedes Sichtfelds auszuwählen, der bei der Analyse der Daten verwendet werden soll (siehe Schritt 1.4.3 für die praktischen Details).
- Führen Sie den HS_RGB_Rebuild Code aus, um die RGB-Bilder der FOVs aus den Reflexionsspektren abzurufen (siehe Schritt 1.4.4 für die praktischen Details).
- Führen Sie den HS_FileLister Code aus, um die Liste der Dateien, die die Hyperwürfel und die zugehörigen Informationen enthalten, in zwei Variablen zu speichern, die dem Algorithmus zur Verfügung stehen (siehe Schritt 1.4.2 für die praktischen Details).
- Organisieren, lesen (falls erforderlich) und verwalten Sie die Referenzspektren.
HINWEIS: Die Referenzspektren spielen die Rolle der Endelemente innerhalb der SAM-Methode20,21. Dieser Teil des Algorithmus ist nicht eindeutig bestimmt, sondern hängt vom Auswahlmodus und der Herkunft der Referenzspektren ab.- Führen Sie den PointSel-Code aus und klicken Sie in das angezeigte interaktive Fenster, um die Referenzspektren als isolierte Messpunkte über der Oberfläche der überwachten Bereiche zu identifizieren (Abbildung 5A) (siehe Schritt 1.4.5 für die praktischen Details).
- Wählen Sie die Referenzspektren automatisch als reguläres Retikulum von Messpunkten aus, die der Oberfläche der überwachten Bereiche überlagert sind, indem Sie den retikulären Selektionscode ReticularSel ausführen (Abbildung 5B). Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
[Referenzen] = ReticularSel(HS_DataList, HS_ImageList, n_pixel);- Es gibt drei Eingaben (die Liste mit den Bildern, die von der Hyperspektralkamera zurückgegeben werden, HS_ImageList; die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList; und den Abstand des Retikulums, n_pixel, ausgedrückt in Pixeln) und eine Ausgabe: eine Variable, die die Spektren enthält, die als Referenzen in den FOVs ausgewählt wurden, Referenzen.
- Führen Sie den Importercode für externe Referenzen Spectra_Importer aus, um eine Variable zu erstellen, die Verweise aus Datensätzen und Datenbanken enthält, die unabhängig von den auf Quarto Stato erfassten Hyperwürfeln sind. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
[ExtReferences] = Spectra_Importer(file_extension);- Es gibt eine Eingabe (die Erweiterung der Datei, die die unabhängigen Referenzspektren enthält, file_extension, die zwischen Apices geschrieben werden) und eine Ausgabe (eine Variable, die die externen Referenzen enthält, ExtReferences).
HINWEIS: Der Code des externen Referenzimportprogramms wurde für den Import von tmr-Dateien optimiert, kann aber bei Bedarf leicht geändert werden, um mit jeder Art von Textdatei umzugehen.
- Es gibt eine Eingabe (die Erweiterung der Datei, die die unabhängigen Referenzspektren enthält, file_extension, die zwischen Apices geschrieben werden) und eine Ausgabe (eine Variable, die die externen Referenzen enthält, ExtReferences).
- Führen Sie den RefListToMatrix-Code aus, um die Verweise in eine Matrix References_Matrix oder ExtReferences_Matrix einzufügen, wie es der Code erfordert, der die SAM-Zuordnungen auswertet (praktische Details finden Sie in Schritt 1.4.7).
- Warten Sie, bis der RefListToMatrix-Code sowohl den Wellenlängenbereich als auch die spektrale Auflösung (d. h. die Anzahl der Komponenten) der Hyperwürfel und der Referenzen entzerrt hat.
HINWEIS: Der Code identifiziert die Wellenlängenbereiche sowohl der Hyperwürfel als auch der Referenzen. Der Code vergleicht die Wellenlängenbereiche und schneidet die Wellenlängenintervalle ab, die nicht sowohl von den Hyperwürfeln als auch von den Referenzen überwacht werden. Der Code identifiziert die Gruppe von Hypervektoren (die Hyperwürfel oder die Referenzen), die durch die geringere Anzahl von Komponenten (d.h. gekennzeichnet durch die niedrigere spektrale Auflösung) im entzerrten Wellenlängenbereich gebildet wird. Der Code reduziert die Anzahl der Komponenten der längeren Hypervektoren (die Referenzen oder die Hyperwürfel) auf die der kürzeren (die Hyperwürfel oder die Referenzen). Dies geschieht, indem für jede Wellenlänge der kürzeren Hypervektoren nur die Werte der längeren Hypervektoren beibehalten werden, die der Wellenlänge der der kürzeren Hypervektoren am nächsten liegen.- Der Code führt automatisch die Entzerrung durch. Wenn die Referenzen innerhalb der Hyperwürfel ausgewählt wurden, müssen der Wellenlängenbereich und die spektrale Auflösung nicht ausgeglichen werden und bleiben unverändert.
- Speichern Sie bei Bedarf die Position der Referenzen über der Oberfläche der Samples in einer Reihe von Bildern, indem Sie den dedizierten Code ausführen (siehe Schritt 1.4.7 für die praktischen Details).
HINWEIS: Diese Option ist nur verfügbar, wenn die Referenzen innerhalb der Hyperwürfel ausgewählt wurden (Schritte 3.2.1 und 3.2.2).
4. SAM-Analyse
- Führen Sie den SAM_Complete Code aus, um die Ähnlichkeitszuordnungen auszuwerten. Geben Sie die folgende Befehlszeile (einschließlich Semikolon) in das Terminalfenster ein und drücken Sie die Eingabetaste , um den Code auszuführen:
SAM_Complete(HS_ImageList, HS_DataList, References_Matrix);- Es gibt drei Eingaben (die Liste mit den bildern, die von der Hyperspektralkamera zurückgegeben werden, HS_ImageList; die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList; und die Referenzmatrix, References_Matrix oder ExtReferences_Matrix) und keine Ausgaben (der Code speichert die SAM-Karten als .png Dateien im aktuellen Arbeitsordner).
HINWEIS: Abgesehen von den drei beschriebenen Eingabevariablen muss der SAM_complete Code mit wenigen zusätzlichen Parametern gefüttert werden, um das Analyseprotokoll an die Präferenzen des Benutzers anzupassen (siehe die nächsten Schritte).
- Es gibt drei Eingaben (die Liste mit den bildern, die von der Hyperspektralkamera zurückgegeben werden, HS_ImageList; die Liste der Dateien, die die Hyperwürfel enthalten, HS_DataList; und die Referenzmatrix, References_Matrix oder ExtReferences_Matrix) und keine Ausgaben (der Code speichert die SAM-Karten als .png Dateien im aktuellen Arbeitsordner).
- Wenn erforderlich, füttern Sie den Code mit der Vorverarbeitungsoption, indem Sie je nach gewünschtem Vorverarbeitungsvorgang die Zahl 0 oder 1 in das Dialogfeld eingeben und die Eingabetaste drücken, um fortzufahren.
- Vorverarbeitungsoption auf 0 gesetzt: Der von jedem Reflexionsspektrum subtente Bereich wird auf 1 normiert.
- Vorverarbeitungsoption auf 1 gesetzt: Der von jedem Reflexionsspektrum subtente Bereich wird auf 1 normiert und dann wird das normalisierte Spektrum einmal abgeleitet.
HINWEIS: Sowohl die Hyperwürfel als auch die Referenzen durchlaufen die gleiche Vorverarbeitungsoption.
- Wählen Sie in der Referenzmatrix die für die SAM-Analyse zu verwendenden Endelemente aus, indem Sie den Code mit den Nummern der Spalten füttern, die den gewünschten Spektren entsprechen. Geben Sie bei Bedarf in das Dialogfeld die Zahlenfolge ein, die den gewünschten Spalten entspricht, indem Sie die Zahlen durch ein Leerzeichen getrennt eingeben. Drücken Sie die Eingabetaste , um fortzufahren.
ANMERKUNG: Die Reihenfolge [1 2 3] entspricht der Auswahl der ersten drei Spalten der Referenzmatrix; ein leerer Vektor entspricht der Auswahl aller Spalten der Referenzmatrix. - Füttern Sie den Code mit einer Zeichenfolge, die den ersten Teil des Namens enthält, der die zu speichernden Kartensätze identifiziert (d. h. den gemeinsamen Teil des Namens der .png von SAM_Complete zurückgegebenen Dateien). Fügen Sie bei Bedarf die Zeichenfolge in das Dialogfeld ein. Drücken Sie die Eingabetaste , um fortzufahren.
HINWEIS: Wenn der Benutzer test eingibt, beginnt der Name aller ausgabefähigen .png Bilder mit test. - Geben Sie den Code bei Bedarf mit der methode ein, die für die Verarbeitung der Daten ausgewählt wurde, indem Sie je nach gewünschter Handlemethode die Zahl 0, 1 oder 2 in das Dialogfeld eingeben, und drücken Sie die EINGABETASTE , um fortzufahren.
- Legen Sie die Methode auf 0 fest, damit die Daten nicht bearbeitet werden.
- Setzen Sie die Methode auf 1, um vor Beginn der Analyse eine manuelle Auswahl der Wellenlängenbereiche der zu berücksichtigenden Spektren zu erfordern (Abbildung 6).
- Setzen Sie die Methode auf 2, damit der Algorithmus die Daten vor der Auswertung der SAM-Karten anhand eines bestimmten Kriteriums ordnet (Abbildung 7).
- Warten Sie, bis das Protokoll die Daten verarbeitet und die SAM-Zuordnungen im aktuellen Arbeitsordner als .png Dateien speichert.
HINWEIS: Wenn die Handle-Methode auf 0 oder 2 festgelegt wurde, muss der Benutzer einfach warten. Wenn sie auf 1 gesetzt ist, muss der Benutzer durch Klicken auf ein interaktives Fenster die Teile der Spektren auswählen, die für die Auswertung der SAM-Karten verwendet werden sollen (Abbildung 6).
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Das vorgeschlagene Protokoll bietet eine Reihe interessanter Funktionen für die Verwaltung und Analyse von HRI-Daten. Die E/A (Schritt 3.1) der Rohdaten ist immer das erste Problem, das vor der Anwendung einer Analysemethode gelöst werden muss, und es kann zu einem kritischen Problem werden, wenn es um große Datenmengen geht. Im vorliegenden Fall besteht die einzige Aufgabe in Bezug auf die Rohdaten darin, die experimentellen Ergebnisse in einem dedizierten Ordner zu speichern und durch Durchsuchen der Festplatte beim Ausführen des Lesecodes auszuwählen (Schritt 3.1.1). Danach ermöglichen die Cropping- und rgb-Rebuilding-Codes die Verfeinerung der Auswahl der zu analysierenden Daten (Schritt 3.1.2) und prüfen, ob die experimentellen Bedingungen zum Zeitpunkt der Erfassung der Hyperwürfel richtig eingestellt wurden (Schritt 3.1.3, siehe Abbildung 4 und den Abschnitt Diskussion für weitere Details).
Nach Überprüfung, dass die Datenwürfel korrekt erfasst wurden, bietet der Algorithmus verschiedene Möglichkeiten, die Endelemente für die SAM-Analyse auszuwählen20,21 (Schritt 3.2). Die ersten beiden Optionen (Schritte 3.2.1 und 3.2.2) rufen die Referenzen zwischen den Hyperwürfeln ab, indem einige isolierte Messpunkte manuell ausgewählt werden (Abbildung 5A) oder indem automatisch die Oberfläche des Gemäldes abgetastet wird, wodurch eine retikuläre Auswahl von Messpunkten innerhalb eines oder mehrerer FOVs ermöglicht wird (Abbildung 5B). Die Analyse auf der Grundlage isolierter Messpunkte ist schneller als die retikuläre, aber sie impliziert eine sorgfältige und möglicherweise fundierte Beobachtung des FOV(s), um die signifikanten Spektren zu identifizieren; das bedeutet gute Erfahrung im Umgang mit Pigmenten und lackierten Oberflächen. Die retikuläre Auswahl macht den Algorithmus zeitaufwändig und zwingt den Benutzer, viele Ausgabebilder zu beobachten, um eine Handvoll nützlicher Ähnlichkeitskarten abzurufen. Die retikuläre Selektion bietet jedoch ein vollständiges Screening der Hyperwürfel und kann meist ohne Erfahrung des experimentellen Kontextes durchgeführt werden. Im Prinzip kann der Benutzer, sobald der Abtastabstand n_pixel festgelegt ist, die Beobachtung des FOV (der FOV) mit einer sehr geringen Wahrscheinlichkeit, Details zu verlieren, vernachlässigen.
Neben der Auswahl der Referenzspektren innerhalb der Hyperwürfel bietet der Algorithmus die Möglichkeit, die Daten aus der untersuchten Stichprobe mit Referenzen aus anderen Quellen zu vergleichen (Schritt 3.2.4). Der Code des externen Referenzspektrenimporteurs verwaltet die E/A von Referenzen, die nicht zur Oberfläche des Gemäldes gehören. Der Matrixwandlercode gleicht die Wellenlängenbereiche und die spektrale Auflösung sowohl der Hyperwürfel als auch der externen Referenzen aus (Schritt 3.2.4). Diese Möglichkeit erweitert die Möglichkeiten des Anwenders hinsichtlich der Charakterisierung der Probe. In der Tat kann der Benutzer jede Art von verfügbarer Ressource in Bezug auf Reflexionsdaten nutzen. Die Hyperwürfel können mit öffentlichen Datenbanken, mit den Spektralarchiven des Benutzers, mit neuen Daten verglichen werden, die auf ad hoc vorbereiteten Proben oder sogar auf anderen Objekten (Gemälde, Paletten, Farbtöne oder was auch immer) des Autors oder anderer Künstler gesammelt werden. Darüber hinaus können die externen Referenzen unter Ausnutzung jeglicher Art von Reflexionstechniken so erhalten werden, dass die in Abbildung 6 und Abbildung 7 gezeigten Referenzen von einem tragbaren FORS-Miniaturspektrometer (Materialtabelle) und nicht von der für die HRI-Daten verwendeten Kamera erfasst wurden.
Über das Datenmanagement hinaus bietet der Algorithmus auch einen originellen Ansatz für die Datenanalyse. Es ermöglicht die Manipulation der Spektren vor der Auswertung der SAM-Karten (Schritte 4.1-4.5). Diese Möglichkeit findet ihre Begründung in der Wahl der SAM-Methode zur Untersuchung der Verteilungen der Pigmente. Tatsächlich betrachtet SAM die Reflexionsspektren als Vektoren in einem mehrdimensionalen Raum (d.h. Hypervektoren mit einer Anzahl von Komponenten, die der der Erfassungskanäle entspricht). Wenn also das Hauptziel der Analyse darin besteht, verschiedene, aber ähnliche Referenzen zu vergleichen, um zu unterscheiden, welche am besten zu den vom Künstler verwendeten Pigmenten passt, dann sollten die fast identischen Komponenten der Referenzspektren (dh die Wellenlängen, die fast identischen Werten in den Hypervektoren entsprechen) nicht besonders nützlich sein und der Algorithmus erlaubt es, diese Komponenten von der Analyse auszuschließen.
Das Protokoll unterstützt zwei Optionen zur Manipulation der Daten (Schritt 4.5): Der Benutzer kann die Wellenlängenanteile der zu analysierenden Reflexionsdaten manuell (Abbildung 6) oder automatisch (Abbildung 7) definieren. Die manuelle Auswahl ist unkompliziert. Die vorverarbeiteten Referenzspektren oder ihre ersten Ableitungen werden je nach ausgewählter Vorverarbeitungsoption (Schritt 4.2) in einem interaktiven Fenster angezeigt, Abbildung 6A, und der Benutzer wählt ein oder mehrere Wellenlängenintervalle aus, Abbildung 6B, indem er auf die Diagrammoberfläche klickt. Die automatische Auswahl basiert auf dem mathematischen Kriterium der maximalen Varianz, die auf die vorverarbeiteten Referenzspektren oder deren erste Ableitungen angewendet wird, abhängig von der gewählten Vorverarbeitungsoption (Schritt 4.2). Der Algorithmus berechnet die Varianz (normalisiert und in Abbildung 7A als gestrichelte Linie dargestellt) innerhalb der ausgewählten Referenzen und ordnet alle Spektren (sowohl die Referenzen als auch die Hyperwürfel) entsprechend diesem Kriterium an (die gestrichelte Linie in Abbildung 7B stellt die normalisierte und geordnete Varianz dar). Mit anderen Worten, wenn die maximale Varianz der n-ten Wellenlänge entspricht, wird der Inhalt der n-ten Komponente jedes vorverarbeiteten Spektrums (Referenzen und Hyperwürfel) an die erste Position eines neu angeordneten Hypervektors usw. verschoben (die farbigen Teile des Hintergrunds in Abbildung 7A und Abbildung 7B erklären grafisch die Neuanordnung der Daten). In der Praxis sind die Komponenten der vorverarbeiteten Spektren ähnlich wie die Hauptkomponentenanalyse geordnet30.
Nachdem die Spektren manipuliert wurden, wertet der Algorithmus die SAM-Karten aus. Nach der manuellen Manipulation (Abbildung 6) gibt das Protokoll drei Kartensätze zurück: zwei, die den Gruppen ausgewählter und abgelehnter Wellenlängen entsprechen, und eine, die unter Verwendung der gesamten Spektren erhalten wurde. Andernfalls wendet der Algorithmus nach der automatischen Manipulation (Abbildung 7) einen schwebenden Schwellenwert auf die Varianzwerte an und wertet die SAM-Zuordnungen bei der Erhöhung des Schwellenwerts sowohl für die neu angeordneten Hypervektorkomponenten aus, die den Werten über dem Schwellenwert (d. h. automatisch ausgewählt) als auch den Werten unter dem Schwellenwert (d. h. automatisch abgelehnt) der Varianz entsprechen. Diese Kartensätze ergeben zusammen mit den aus den gesamten Spektren erhaltenen Karten (die immer vom Algorithmus zurückgegeben werden) insgesamt (2N + 1) Kartensätze, wobei N die Anzahl der vom Schwellenwert angenommenen Werte ist. Die sätze von Ähnlichkeitskarten, die bei der Erhöhung des Schwellenwerts erhalten wurden (Abbildung 8), veranschaulichen, dass die Datenmanipulation den Inhalt nicht verändert, sondern vielmehr neue Einblicke in die Details der zugeordneten Bereiche liefert und folglich dazu beitragen kann, Ähnlichkeiten und Unterschiede zwischen den Stichproben und den Referenzen zu unterscheiden.
Abbildung 1: Quarto Stato. Ein Bild des Gemäldes, 1899-1901, 293 x 545 cm, Öl auf Leinwand, Giuseppe Pellizza da Volpedo, Museo del Novecento, Mailand, Italien. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 2: Definition der Experimentellen Bedingungen. (A) Die ad hoc vorbereiteten Testproben; die Weißen Kreise und Zahlen identifizieren die Messpunkte, die den als Referenzen ausgewählten Spektren entsprechen. (B) Die SAM-Karten, die in Bezug auf das Referenzspektrum Nummer 1, (C) Nummer 2, (D) Nummer 3 und (E) Nummer 4 ausgewertet werden. Der graue Farbbalken gibt den Wertebereich der Spektralwinkel an. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 3: Die Anwendung der definierten experimentellen Bedingungen auf Quarto Stato. (A) die für die experimentelle Kampagne ausgewählten ROIs (Rote Rechtecke); In jedem Rechteck wurde ein Sichtfeld derjenigen hervorgehoben, die zur Abdeckung des ROI erforderlich sind (Unschattierte Bereiche). (B) Die RGB-Bilder der vier unschattigen Bereiche von Panel A. (C) Die SAM-Karten werden in Bezug auf ein Referenzspektrum ausgewertet, das in jedem Sichtfeld ausgewählt wurde (Grüne Kreise). Der graue Farbbalken gibt den Wertebereich der Spektralwinkel an. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 4: Richtige oder unsachgemäße Beleuchtung der Oberfläche der Probe. (A) Ein Teil des Sichtfelds, bei dem ein kleiner Teil der lackierten Oberfläche (Roter Kreis) durch veränderte Reflexionseigenschaften aufgrund unsachgemäßer Beleuchtung beeinträchtigt wird. (B) Derselbe kleine Bruchteil des Gemäldes (Blauer Kreis), der entsteht, wenn das Sichtfeld richtig beleuchtet ist. (C) Die Reflexionsspektren des Messpunktes in der Mitte der Kreise, wenn das Sichtfeld unsachgemäß und richtig beleuchtet ist (Rote bzw. Blaue Linie ). (D) Die SAM-Karte des Sichtfeldes, die unter Verwendung des Spektrums der falsch beleuchteten Messstelle als Referenz erhalten wird. (E) Die SAM-Karte des Sichtfeldes, die unter Verwendung des Spektrums des richtigen beleuchteten Messpunktes als Referenz erhalten wird. Der graue Farbbalken bezieht sich auf (D) und (E) und gibt den Wertebereich der Spektralwinkel an, die beim Vergleich der ersten Ableitungen der Spektren des Hyperwürfels des ausgewählten Sichtfelds und der ersten Ableitung des Spektrums des Messpunktes in der Mitte der farbigen Kreise in (A) und (B) erhalten wurden. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 5: Verweist auf die Auswahl innerhalb der Hyperwürfel. (A) Der Auswahlmodus für isolierte Messpunkte; Die grünen Kreise zeigen die Position der Referenzspektren an, die manuell im angezeigten Sichtfeld ausgewählt wurden. (B) der retikuläre Auswahlmodus; Die Grünen Kreise zeigen die Position der Referenzspektren an, die durch Anwenden eines Retikulums mit dem abtastbaren Intervall (n_pixel) auf fünf Pixel auf das angezeigte Sichtfeld ausgewählt wurden. Das bild, das sowohl in (A) als auch in (B) berichtet wird, ist die Graustufenkonvertierung des RGB-Bildes des FOV, das aus den Reflexionsspektren unter Anwendung der D65-Leuchtmittel und des 1931-Beobachters von CIE-Standards auf den Hyperwürfel abgerufen wurde; Der graue Farbbalken bezieht sich auf die normalisierte Intensität dieses Bildes. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 6: Der manuelle Datenmanipulationsmodus. (A) Der Aspekt des interaktiven Fensters, der es dem Benutzer ermöglicht, die Referenzspektren in die ausgewählten und abgelehnten Bruchteile von Wellenlängen zu unterteilen. (B) Die gleichen Referenzen von (A), wo die für die Auswertung der SAM-Karten ausgewählten Datenteile durch einen rosa Hintergrund hervorgehoben wurden. (A) und (B) zeigen die vorverarbeiteten Spektren der Referenzen an. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 7: Der automatische Datenmanipulationsmodus. (A) Die ersten Ableitungen der vier normalisierten Referenzen in Abbildung 6 (Farbige Linien) und ihre normalisierte maximale Varianz (Schwarze gestrichelte Linie). (B) die gleichen Ableitungen von (A), sortiert nach dem Kriterium der maximalen Varianz; die sortierten Werte der normalisierten maximalen Varianz wurden ebenfalls gemeldet (Schwarze gestrichelte Linie). Einige Teile des Hintergrunds wurden mit verschiedenen Farbtönen eingefärbt, um die Neuanordnung der Hypervektoren visuell zu veranschaulichen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 8: Die SAM-Karten, die durch den automatischen Datenmanipulationsmodus erhalten wurden. (A-C) Die sortierten Werte der normalisierten maximalen Varianz, ausgewertet innerhalb der ersten Ableitungen der Referenzspektren von Abbildung 7; Der grüne und der rote Schnitt der Kurve geben jeweils den ausgewählten (über Schwellenwerten) und den abgelehnten Bruchteil der Daten (unter Schwellenwerten) an. Die Panels zeigen, was bei der Erhöhung des Schwellenwerts passiert (Black Dotted Segment); Jedes Panel berichtet die SAM-Karten für beide Wertegruppen, die für die vier Ableitungen der Spektren in Abbildung 7 erhalten wurden. Die Green Edged Maps beziehen sich auf die Brüche über dem Schwellenwert, während die Red Edged Maps auf die Brüche unter dem Schwellenwert verweisen. Die grauen Farbbalken zeigen den Wertebereich der Spektralwinkel an. In diesem Beispiel entspricht der Schritt, der die Erhöhung des Schwellenwerts bestimmt, 0,5 % der normalisierten maximalen Varianz. die in (C) angegebenen Schwellenwerte betragen 0,09 und sind der letzte in Betracht gezogene Schwellenwert, da eine weitere Erhöhung die Anzahl der ausgewählten Komponenten der Hypervektoren unter die willkürlich festgelegte untere Grenze von 20 Werten, d. h. 10% der Gesamtzahl der Erfassungskanäle der Hyperspektralkamera, reduzieren würde. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Hyperspektrale Reflexionsbildgebungsdatensätze sind große Informationsreservoirs; Daher ist die Entwicklung robuster und möglicherweise automatisierter Protokolle zur Analyse der Daten eine Schlüsselrolle, um ihr Potenzial auszuschöpfen15,17. Der vorgeschlagene Algorithmus beantwortet diesen Bedarf im Bereich des kulturellen Erbes mit besonderem Augenmerk auf die Charakterisierung der Pigmente von Gemälden. Basierend auf SAM20,21 unterstützt der Algorithmus den Anwender während des gesamten Analyseprozesses von der Einstellung der experimentellen Bedingungen bis zur Bewertung der Pigmentverteilung. Obwohl der Algorithmus immer noch keine vollständige grafische Oberfläche hat und kein Werkzeug zum Anzeigen der Ergebnisse bietet (zu diesem Zweck wurde eine Open-Source-Software verwendet31 und es wird empfohlen, siehe Tabelle der Materialien), gleicht die Reihe von Möglichkeiten, die implementiert wurden, um den Ansatz zur Datenanalyse zu modulieren, diese Nachteile weitgehend aus.
Das Protokoll stellt das Erfassungssystem entsprechend den Eigenschaften der Probe und des Detektors ein. Auf der einen Seite erfordert die divisionistische Technik, die von Pellizza Da Volpedo zur Schaffung von Quarto Stato angewendet wird, dass die Hyperwürfel zwischen kleinen Pinselstrichen verschiedener Pigmente unterscheiden, die nebeneinander platziert sind. Auf der anderen Seite hat die Hyperspektralkamera einen Fokusbereich zwischen 150 mm und unendlich mit einem manuellen Verstellsystem, das in 1 m Entfernung zum Ziel eine Fläche von 0,55 x 0,55 m mit einer räumlichen Auflösung von 1,07 mm26 erfasst. Die Anwendung des Algorithmus auf wenige hyperwürfel, die auf den Testproben erfasst wurden (Abbildung 2), hilft, einen geeigneten Arbeitsabstand für die Datenerfassung zu ermitteln. Die Beobachtung der Messungen erlaubt es, den Arbeitsabstand für die experimentelle Kampagne auf 30 cm einzustellen, was einer Auflösung von 0,31 mm am Ziel entspricht. Dieser Arbeitsabstand wurde auch während der experimentellen Sitzungen auf Quarto Stato erfolgreich übernommen (Abbildung 3). Sobald der Arbeitsabstand definiert wurde, bleibt die Beleuchtung der Oberfläche der Probe ein kritisches Problem3,15. Wenn ein Teil eines Sichtfelds ungleichmäßig (Roter Kreis in Abbildung 4A) anstelle einer gleichmäßigen Beleuchtung (Blauer Kreis in Abbildung 4B) zeigt, ändern sich die Reflexionseigenschaften dramatisch (Abbildung 4C) und die gesamte Prozedur wird beeinträchtigt (Abbildung 4D vs. Abbildung 4E). Das Protokoll verhindert eine ungleichmäßige Beleuchtung (und generell gegen Artefakte in den überwachten Bereichen) während der Datenerfassung (durch Rückgabe von RGB,Schritt 1.4.1 und SAM-Karten, Schritt 1.4.9, die vom Benutzer überprüft werden können) und a posteriori, indem die kompromittierten Teile der FOVs mittels des Cropping-Codes (Schritte 1.4.2 und 3.1.2) von der Analyse ausgeschlossen werden.
Das Protokoll ermöglicht es dem Benutzer, die Referenzen (d.h. die für die Auswertung der SAM-Karten verwendeten Endelemente) mit maximaler Freiheit auszuwählen. Zum einen können die EMs innerhalb der Kanten der Hyperwürfel auf zwei Arten gewählt werden: isolierte Messpunktauswahl (Abbildung 5A in den Schritten 1.4.5 und 3.1.2) oder retikuläre Messpunktauswahl (Abbildung 5B in Schritt 3.1.3). Die erste kann als fundierte Auswahl definiert werden, da sie einige Fachkenntnisse des Benutzers erfordert, um die signifikanten Messpunkte manuell zu identifizieren. Letzteres kann als Blindauswahl definiert werden, da für die retikuläre Probenahme der FOVs nur der Wert des Abtastintervalls durchgeführt werden muss. Zum anderen können die EMs von außerhalb des untersuchten Gemäldes abgerufen werden (Schritt 3.1.4). Während der experimentellen Kampagne, die auf Quarto Stato durchgeführt wurde, wurde ein tragbares Miniatur-FORS-Spektrometer (Table of Materials) verwendet, um Spektren aus Entwurfsmustern des Künstlers zu sammeln, die derzeit im Studiomuseum in Volpedo (Pellizza da Volpedo Studio Museo, Volpedo (AL), Italien) aufbewahrt werden. Diese Reflexionsdaten wurden für die Auswertung der SAM-Karten verwendet und einige von ihnen sind in Abbildung 6 und Abbildung 7 dargestellt. Da sie die Bedeutung der absoluten Intensität und der Basislinie der Spektren einschränkt, ist die Vorverarbeitung sowohl für die Hyperwürfel als auch für die EMs obligatorisch, insbesondere wenn sie aus leicht unterschiedlichen Setups oder Betriebsbedingungen gewonnen wurden32.
Das letzte Hauptmerkmal des Protokolls ist die Möglichkeit, die experimentellen Daten zu manipulieren. Für die Manipulation ist beabsichtigt, dass die Identifizierung der wichtigsten Komponenten der EMs (d.h. der Teile der Spektren der Endglieder sollte helfen, die vom Künstler verwendeten Materialien zu charakterisieren). Diese Aufgabe kann manuell (Abbildung 6) oder automatisch (Abbildung 7) ausgeführt werden. Im ersten Fall nutzt der Algorithmus das Fachwissen des Ausführenden, während es im zweiten Fall ein statistisches Kriterium ist, das die Komponenten bestimmt, die von Zeit zu Zeit zur Auswertung der SAM-Karten verwendet werden. In beiden Fällen erhöht die Manipulation die Anzahl der resultierenden Ähnlichkeitskarten und erweitert folglich die Fähigkeit, die von den Hyperwürfeln getragenen Informationen offenzulegen. Insbesondere die kriterienbasierte Auswahl generiert eine Vielzahl von Einblicken in die bemalte Oberfläche (Abbildung 8).
Einzeln betrachtet könnten die aufgezählten Merkmale als rein technischer Nutzen erscheinen, aber zusammen implizieren sie mindestens zwei Hauptpunkte. Der Algorithmus kann von jeder Art von Benutzer erfolgreich angewendet werden und kann das Szenario der Analyse erheblich erweitern. Tatsächlich können die Hauptschritte des Protokolls (d.h. die Auswahl der Referenzen und die Manipulation der Daten) automatisch durchgeführt werden, wobei die Fähigkeiten und die Erfahrung des Benutzers außer Acht gelassen werden. Mit der Möglichkeit, die Analyse mit Spektren von außerhalb der Hyperwürfel voranzutreiben, können alle Reflexionsdaten, die den Forschern zur Verfügung stehen, für die Charakterisierung der untersuchten Probe genutzt werden.
Zusammenfassend lässt sich sagen, dass das Protokoll ein äußerst flexibles Werkzeug sein kann. Mit einigen Verbesserungen hinsichtlich der grafischen Oberfläche und der Anzahl der unterstützten Analysemethoden kann es einen Schritt über den Stand der Technik hinausgehen, was die Handhabung und Analyse von Daten aus lackierten Oberflächen mittels hyperspektraler Reflexionsbildgebung betrifft.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Die Autoren haben nichts preiszugeben.
Acknowledgments
Diese Forschung wurde von der Region Lombardia im Rahmen des Projekts MOBARTECH finanziert: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici - Call Accordi per la Ricerca e l'Innovazione.
Die Autoren danken den Mitarbeitern des Museo del Novecento für die Unterstützung während der experimentellen In-situ-Sitzungen und der Associazione Pellizza da Volpedo für den Zugang zum Studio Museo.
Materials
| Name | Company | Catalog Number | Comments |
| ImageJ/Fiji | Specim (Oulo, Finlad) | N/A | Portable reflectance hyperspectral camera used to acquire the hypercubes |
| MATLAB 2019b | StellarNet Inc (Tampa, Florida, USA) | N/A | Portable reflectance spectrometer used to acquire independent reflectance spectra |
| Specim IQ Hyperspectral Camera | National Institutes of Health (Bethesda, Maryland, USA) | N/A | Open source Java image processing program |
| StellarNet BLUE-wave Miniature Spectrometer | MathWorks (Natick, Massachusset, USA) | N/A | Program Language and numerical computing environment |
References
- Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , Springer. 259-265 (2002).
- Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
- Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
- Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
- Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
- Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
- Pouyet, E. K., et al. New insights into Pablo Picasso's La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
- Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
- Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
- Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
- Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
- Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
- Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
- Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
- Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
- Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
- Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
- Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
- Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
- Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
- Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
- Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
- Richards, J. A. Remote sensing digital image analysis. 3, Springer. (1999).
- Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
- Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
- Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
- Mather, J. Spectral and XYZ Color Functions. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021).
- Chen, C. -Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
- Tuszynski, J. read_envihdr. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021).
- Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
- Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
- Rinnan, Å, Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).
