Summary
Hyperspectral Reflectance Imaging hyperkubussen nemen opmerkelijke informatie op in een grote hoeveelheid gegevens. Daarom is de vraag naar geautomatiseerde protocollen om de datasets te beheren en te bestuderen breed gerechtvaardigd. De combinatie van Spectral Angle Mapper, datamanipulatie en een door de gebruiker instelbare analysemethode vormt een belangrijke wending voor het verkennen van de experimentele resultaten.
Abstract
Reflectance Spectroscopy (RS) en Fiber Optics Reflectance Spectroscopy (FORS) zijn gevestigde technieken voor het onderzoeken van kunstwerken met bijzondere aandacht voor schilderijen. De meeste moderne musea stellen draagbare apparatuur ter beschikking van hun onderzoeksgroepen die, samen met de intrinsieke non-invasiviteit van RS en FORS, de in situ collectie van reflectiespectra van het oppervlak van artefacten mogelijk maakt. De vergelijking, uitgevoerd door experts in pigmenten en schildermaterialen, van de experimentele gegevens met databases van referentiespectra drijft de karakterisering van de paletten en van de technieken die door de kunstenaars worden gebruikt. Deze aanpak vereist echter specifieke vaardigheden en het is tijdrovend, vooral als het aantal te onderzoeken spectra groot wordt, zoals het geval is bij Hyperspectral Reflectance Imaging (HRI) datasets. De HRI-experimentele opstellingen zijn multidimensionale camera's die de spectrale informatie, gegeven door de reflectiespectra, associëren met de ruimtelijke lokalisatie van de spectra over het geverfde oppervlak. De resulterende datasets zijn 3D-kubussen (hyperkubussen of datakubussen genoemd) waarbij de eerste twee dimensies het spectrum over het schilderij lokaliseren en de derde het spectrum zelf is (d.w.z. de reflectie van dat punt van het geverfde oppervlak versus de golflengte in het operatieve bereik van de detector). Het vermogen van de detector om tegelijkertijd een groot aantal spectra te verzamelen (meestal veel meer dan 10.000 voor elke hyperkubus) maakt de HRI-datasets grote reservoirs van informatie en rechtvaardigt de noodzaak van de ontwikkeling van robuuste en mogelijk geautomatiseerde protocollen om de gegevens te analyseren. Na de beschrijving van de procedure die is ontworpen voor de gegevensverzameling, presenteren we een analysemethode die systematisch het potentieel van de hyperkubussen benut. Gebaseerd op Spectral Angle Mapper (SAM) en op de manipulatie van de verzamelde spectra, verwerkt en analyseert het algoritme duizenden spectra terwijl het tegelijkertijd de gebruiker ondersteunt om de kenmerken van de onderzochte monsters te onthullen. De kracht van de aanpak wordt geïllustreerd door het toe te passen op Quarto Stato, het iconische meesterwerk van Giuseppe Pellizza da Volpedo, gehouden in het Museo del Novecento in Milaan (Italië).
Introduction
Reflectance Spectroscopy (RS) en Fiber Optics Reflectance Spectroscopy (FORS) zijn gebaseerd op de detectie van het licht dat wordt gereflecteerd door oppervlakken die eenmaal zijn verlicht door een lichtbron, meestal een wolfraam-halogeenlamp. De output van het acquisitiesysteem wordt gevormd door spectra waarbij de reflectie wordt bewaakt als functie van de golflengte in een bereik dat afhankelijk is van de kenmerken van de gebruikte experimentele opstelling1,2,3. Geïntroduceerd in de afgelopen vier decennia4,5, worden RS en FORS meestal gebruikt in combinatie met röntgenfluorescentie en andere spectroscopieën om de materialen en de technieken te beschrijven die door kunstenaars worden gebruikt om hun meesterwerken te realiseren6,7,8,9. De studie van de reflectiespectra wordt meestal uitgevoerd door de gegevens van het monster te vergelijken met een groep referentiespectra die door de gebruiker is geselecteerd in persoonlijke of openbare databases. Zodra de referentiespectra die voldoen aan de realisatieperiode van het monster en aan de modus operandi van de kunstenaar zijn geïdentificeerd, herkent de gebruiker de belangrijkste kenmerken van de reflectiespectra (d.w.z. overgangs-, absorptie- en reflectiebanden1,2,10,11) en vervolgens, met behulp van andere technieken6,7,8 ze onderscheiden de pigmenten die in de schilderijen zijn gebruikt. Ten slotte bespreken ze de kleine verschillen die er bestaan tussen de referenties en de experimentele spectra7,9.
In de meeste gevallen zijn de experimentele datasets samengesteld uit enkele spectra, verzameld uit gebieden die door kunstexperts zijn gekozen en waarvan wordt aangenomen dat ze belangrijk zijn voor de karakterisering van het schilderij6,12,13. Ondanks de vaardigheden en de ervaring van de gebruiker, kunnen enkele spectra de kenmerken van het hele geverfde oppervlak niet volledig uitputten. Bovendien zal het resultaat van de analyse altijd sterk afhankelijk zijn van de expertise van de uitvoerder. In dit scenario kan Hyperspectral Reflectance Imaging (HRI3,14,15) een nuttige bron zijn. In plaats van een paar geïsoleerde spectra, geven de experimentele opstellingen de reflectie-eigenschappen van uitgebreide delen of zelfs van het hele artefact dat wordt onderzocht terug16. De twee belangrijkste voordelen met betrekking tot de verwerving van de geïsoleerde spectra zijn duidelijk. Aan de ene kant maakt de beschikbaarheid van de ruimtelijke verdeling van de reflectie-eigenschappen het mogelijk om gebieden te identificeren die interessante kenmerken verbergen, ook al lijken ze misschien niet eigenaardig17. Aan de andere kant garanderen de hyperkubussen een aantal spectra die hoog genoeg zijn om de statistische analyse van de gegevens mogelijk te maken. Deze feiten ondersteunen het begrip van de verdeling van pigmenten binnen het geschilderde oppervlak18,19.
Met HRI zou de vergelijking van de experimentele gegevens met de referenties moeilijk te hanteren kunnen zijn15. Een typische detector retourneert hyperkubussen van ten minste 256 x 256 spectra. Dit zou vereisen dat de gebruiker meer dan 65.000 reflectiespectra evalueert tegen elke referentie, een taak die bijna onmogelijk handmatig kan worden uitgevoerd in een redelijke tijd. Daarom is de vraag naar robuuste en mogelijk geautomatiseerde protocollen voor het beheren en analyseren van HRI-datasets meer dan gerechtvaardigd15,17. De voorgestelde methode beantwoordt aan deze behoefte door de hele analytische procedure met minimale betrokkenheid en maximale flexibiliteit af te handelen.
Een algoritme dat bestaat uit een set zelfgemaakte codes (Table of Materials) leest, beheert en organiseert de bestanden die door de experimentele installatie worden geretourneerd. Het maakt het mogelijk om de fijne selectie van de delen van de gezichtsvelden (FOV's, één gezichtsveld is het gebied van het schilderij bewaakt door een enkele hyperkubus) te bestuderen en voert de analyse uit van de gegevens op basis van de Spectral Angle Mapper (SAM) -methode20,21 en op de manipulatie van de oorspronkelijke spectra. SAM retourneert valse kleuren grijsschaalafbeeldingen die gelijkeniskaarten worden genoemd. De waarden van de pixels van deze afbeeldingen komen overeen met de spectrale hoeken die de hoeken zijn tussen de spectra die zijn opgeslagen in de hyperkubussen en de zogenaamde End Members (EM's, een groep referentiespectra die de kenmerken van het oppervlak moeten beschrijven die door de hyperkubussen worden bewaakt)22. In het geval van RS toegepast op schilderijen, zijn de EM's de reflectiespectra van pigmenten die moeten overeenkomen met het palet van de Meester. Ze worden gekozen op basis van de beschikbare informatie over de kunstenaar, de realisatieperiode van het schilderij en de expertise van de gebruiker. Daarom is de output van de SAM een set kaarten die de ruimtelijke verdelingen van deze pigmenten over het schilderoppervlak beschrijft en die de gebruiker ondersteunt om de materialen af te leiden die door de kunstenaar en hun organisatie in het artefact worden gebruikt. Het algoritme biedt de mogelijkheid om onafhankelijk van hun oorsprong allerlei referenties in te zetten. De referenties kunnen specifieke spectra zijn die binnen de hyperkubussen zijn geselecteerd, afkomstig zijn uit databases, worden verkregen door een ander instrument op een ander oppervlak (zoals monsters van pigmenten of het palet van de kunstenaar, bijvoorbeeld), of worden verkregen met behulp van elke vorm van reflectiespectroscopie, inclusief FORS.
SAM heeft de voorkeur gekregen onder de beschikbare classificatiemethoden omdat is aangetoond dat het effectief is voor het karakteriseren van pigmenten (zie het boek van Richard23 voor een overzicht van de belangrijkste beschikbare classificatiemethoden). In plaats daarvan is het idee om een zelfgemaakt protocol te ontwikkelen in plaats van een van de vele tools die vrij beschikbaar zijn op het net24,25, afhankelijk van een praktische overweging. Ondanks de effectiviteit en wetenschappelijke onderbouwing van de bestaande GUI's en software, voldoet één tool nauwelijks aan alle behoeften van de gebruiker. Er kan een I/O-probleem (Input/Output) optreden omdat een hulpprogramma het bestand met de onbewerkte gegevens niet beheert. Er kan een probleem zijn met betrekking tot de analyse van de gegevens omdat een andere tool niet de gewenste aanpak biedt. Er kan een beperking zijn in de verwerking van de gegevens omdat de gelijktijdige analyse van meerdere datasets niet wordt ondersteund. In ieder geval bestaat er geen perfect hulpmiddel. Elke methode moet worden aangepast aan de gegevens of omgekeerd. Daarom heeft de ontwikkeling van een zelfgemaakt protocol de voorkeur gekregen.
De gepresenteerde benadering biedt noch een complete reeks analytische methoden (zie ter vergelijking de tool voorgesteld door Mobaraki en Amigo24) noch een eenvoudig te beheren gebruikersinterface (zie ter vergelijking de software van Zhu en collega's25), maar richt zich in ruil daarvoor op een nog steeds onderschat aspect van hyperspectrale data-analyse: de mogelijkheid om de gedetecteerde spectra te manipuleren. De kracht van de aanpak wordt geïllustreerd door het toe te passen op het schilderij Quarto Stato van Giuseppe Pellizza da Volpedo (figuur 1), een iconische olieverf op doek in het Museo del Novecento in Milaan, Italië. Merk op dat, aangezien de aanpak het uitvoeren van zelfgemaakte codes vereist, de ontwikkelaar willekeurig de namen van de codes en zowel de invoer- als uitvoervariabelen heeft gekozen die worden gebruikt in de beschrijving van het protocol. De namen van de variabelen kunnen door de gebruiker worden gewijzigd, maar ze moeten als volgt worden opgegeven: de invoer- en uitvariabelen moeten respectievelijk tussen haakjes worden geschreven en uiteindelijk worden gescheiden door komma's en tussen vierkante haken en uiteindelijk worden gescheiden door een witruimte. Integendeel, de namen van de codes kunnen niet worden gewijzigd.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. Stel de ruimtelijke resolutie van de hyperkubussen in
- Voer een voorlopige inspectie uit van het geschilderde oppervlak (figuur 1) ondersteund door kunstexperts om de belangrijkste kenmerken van het schilderij te identificeren.
- Herken de picturale technieken die door de kunstenaar zijn gebruikt om het schilderij te maken.
- Identificeer de verschillende penseelstreken van verf op het canvas.
- Schat, kwalitatief, de kenmerken van de penseelstreken met bijzondere aandacht voor hun grootte.
- Boots de picturale techniek na die door de kunstenaar wordt gebruikt door ad-hoc testmonsters te maken waarbij de penseelstreken kenmerken vertonen die vergelijkbaar zijn met die van de kunstenaar.
OPMERKING: Pellizza da Volpedo was een divisionistische schilder. Een restaurateur werd gevraagd om enkele testmonsters voor te bereiden die de penseelstreken van het doek van belang kwalitatief reproduceren (figuur 2, kolom A). - Stel de afstand in tussen het onderzochte oppervlak en de aanschafapparatuur.
OPMERKING: De afstand bepaalt de ruimtelijke resolutie van de hyperkubussen26 en dus de mogelijkheid om de penseelstreken op de afbeeldingen en SAM-kaarten van het geverfde oppervlak te onderscheiden.- Evalueer de afstand tussen het oppervlak van het monster en de acquisitieapparatuur, rekening houdend met de kenmerken van de hyperspectrale camera26 (Materiaaltabel) en de grootte van de penseelstreken die in de testmonsters zijn getrokken.
- Plaats de acquisitiefase en de hyperspectrale camera op de afstand die in de vorige stap is geëvalueerd. Plaats de testmonsters op het podium en zorg voor een gelijkmatige verlichting van het oppervlak van de monsters.
- Voer een witte kalibratie uit met behulp van de witte standaardreferentie die bij de hyperspectrale camera wordt geleverd. Verkrijg de hyperkubussen.
OPMERKING: Voor elke FOV retourneert de hyperspectrale camera zowel onbewerkte als gekalibreerde beelden. Deze laatste zijn gebruikt voor de analyse. - Download de bestanden die door het instrument worden geretourneerd en sla ze op in een speciale map.
- Controleer of de ruimtelijke resolutie van de hyperkubussen de verschillende penseelstreken op de afbeeldingen en SAM-kaarten van het geverfde oppervlak kan onderscheiden.
- Inspecteer de RGB-foto's die door de hyperspectrale camera worden geretourneerd om ervoor te zorgen dat de penseelstreken die zijn gebruikt om de testmonsters te realiseren, kunnen worden herkend (figuur 2, kolom A). Ga dan naar de volgende stappen; Ga anders terug naar stap 1.3.1 en start opnieuw op.
- Maak een lijst van de bestanden met de hyperspectrale gegevens en de RGB-afbeeldingen van de FOV's door de gegevensleescode uit te voeren, HS_FileLister. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster van de taal die is gebruikt om de codes te ontwikkelen (Tabel met materialen) en druk op Enter om de code uit te voeren:
[HS_DataList HS_ImageList] = HS_FileLister;- Er is geen invoer vereist en er zijn twee uitgangen: de lijst met de bestanden met de hyperkubussen, HS_DataList en de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList.
OPMERKING: De grootte van elke hyperkubus is 512 x 512 x 204 voxels, waarbij 204 het aantal kanalen is dat wordt gebruikt om het reflectiesignaal te bewaken. De kanalen beslaan het golflengtegebied tussen 400 en 1.000 nm met een spectrale resolutie van 7 nm bij FWHM26.
- Er is geen invoer vereist en er zijn twee uitgangen: de lijst met de bestanden met de hyperkubussen, HS_DataList en de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList.
- Definieer het 3D-gedeelte van de hyperkubussen dat moet worden geanalyseerd door de bijsnijdcode uit te voeren, HS_Crop_png. Definieer het gewenste gedeelte van elke datakubus door een gebied boven een interactief venster te selecteren dat de 2D, RGB-afbeelding van de FOV toont die door elke hyperkubus wordt bewaakt. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
[HS_ImageList] = HS_Crop_png, lid HS_ImageList);- Er is één invoer (de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList) en één uitvoer (de invoerlijst toegevoegd met de ruimtelijke coördinaten om uiteindelijk de hyperkubussen bij te snijden).
- Pas de D65-verlichtingssterkte en 1931-waarnemer van CIE-normen (International Commission on Illumination) toe op de hyperkubussen om de RGB-beelden van de FOV('s) uit de reflectiespectra op te halen door de herbouwcode uit te voeren, HS_RGB_rebuild. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
[HS_ImageList] = HS_RGB_rebuild(HS_ImageList, HS_DataList);- Er zijn twee ingangen (de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList en de lijst met de bestanden met de hyperkubussen, HS_DataList) en één uitvoer (de invoerlijst met de beelden die door de hyperspectrale camera worden geretourneerd, toegevoegd met de RGB-beelden van de oppervlakken van de hyperkubussen die zijn opgehaald uit de reflectiespectra).
OPMERKING: HS_RGB_Rebuild maakt gebruik van de functies die door Jeff Mather27 zijn ontwikkeld om de D65-illuminant en 1931-waarnemer van CIE op de gegevens toe te passen.
- Er zijn twee ingangen (de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList en de lijst met de bestanden met de hyperkubussen, HS_DataList) en één uitvoer (de invoerlijst met de beelden die door de hyperspectrale camera worden geretourneerd, toegevoegd met de RGB-beelden van de oppervlakken van de hyperkubussen die zijn opgehaald uit de reflectiespectra).
- Selecteer handmatig enkele referentiespectra op de oppervlakken van de testmonsters (witte cirkels en getallen in figuur 2, kolom A) door de selectiecode voor geïsoleerde meetpunten , PointSel, uit te voeren. Selecteer de meetpunten door op een interactief venster te klikken dat één voor één de 2D- en RGB-afbeeldingen van de FOV('s) toont. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
[Referenties] = PointSel(HS_DataList, HS_ImageList);- Er zijn twee ingangen (de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList en de lijst met de bestanden met de hyperkubussen, HS_DataList) en één uitgang (een variabele, Referenties, met de spectra die zijn geselecteerd als referenties binnen de FOV (s)).
- Sla desgewenst de positie van de verwijzingen over het oppervlak van de monsters op in een reeks afbeeldingen door de speciale code SaveImPoint uit te voeren. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
SaveImPoint(Referenties, HS_ImageList);- Er zijn twee ingangen (de variabele met de referentiespectra, Referenties en de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList) en geen uitgangen (de code slaat .png afbeeldingen op in de huidige werkmap).
- Organiseer de verwijzingen in een matrix door de conversiecode RefListToMatrix uit te voeren. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
[References_Matrix] = RefListToMatrix(Referenties, HS_ImageList(1). Wavel);- Er zijn twee ingangen (de variabele met de referentiespectra, Referenties, en de lijst van de golflengten waarop de detector de fotonen telt tijdens de data-acquisitie van de spectra, HS_ImageList(1). WaveL) en één uitgang (dezelfde referentiespectra georganiseerd in een matrix, References_Matrix).
OPMERKING: Deze stap is verplicht omdat de code die de SAM-kaarten evalueert, vereist dat de referentiespectra in een matrix worden georganiseerd. De syntaxis van de tweede invoer, HS_ImageList(1). WaveL, is vereist om de variabele WaveL terug te roepen uit de lijst HS_ImageList. Het getal 1 tussen haakjes verwijst naar het eerste element van de lijst dat wordt genoemd als HS_ImageList; omdat alle hyperkubussen echter hetzelfde golflengtebereik hebben, kan het worden vervangen door elk getal dat klein is of gelijk is aan het totale aantal vermelde afbeeldingen.
- Er zijn twee ingangen (de variabele met de referentiespectra, Referenties, en de lijst van de golflengten waarop de detector de fotonen telt tijdens de data-acquisitie van de spectra, HS_ImageList(1). WaveL) en één uitgang (dezelfde referentiespectra georganiseerd in een matrix, References_Matrix).
- Extraheer de SAM-kaarten met behulp van de hele spectra door de standaard SAM-kaartenevaluatiecode uit te voeren, SAM_Standard. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
SAM_Standard(HS_ImageList, HS_DataList, References_Matrix);- Er zijn drie ingangen (de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList; de lijst met de bestanden met de hyperkubussen, HS_DataList; en de matrix van de referentiespectra, References_Matrix) en geen uitvoer: de code slaat de SAM-kaarten op als .png afbeeldingen in de huidige werkmap.
- Controleer of de verkregen gelijkeniskaarten (figuur 2, kolommen B - E) de details weergeven van de penseelstreken die zijn gebruikt om de testmonsters te realiseren. Als dit het geval is, ga dan naar de volgende stap van het protocol; Ga anders terug naar stap 1.3.1 en start opnieuw op.
2. Pas de experimentele parameters aan het schilderij aan
- Identificeer de regio('s) van belang, ROI(s) van het te bestuderen schilderij (rode rechthoeken in figuur 3A).
OPMERKING: Het is gebruikelijk dat meer dan één FOV nodig is om een enkele ROI te dekken. - Rangschik de acquisitie-opstelling en het schilderij op de afstand die in de vorige stappen is gedefinieerd en voer de witte kalibratie uit met behulp van de witte standaardreferentie die bij de hyperspectrale camera wordt geleverd.
OPMERKING: Als de gebruikers een in situ acquisitie moeten doen (d.w.z. ze moeten een schilderij bestuderen dat in een museum of op een tentoonstelling is tentoongesteld), kunnen ze alleen de camera beheren. Dit is het geval van Quarto Stato, dat permanent wordt blootgesteld in een speciale ruimte in het Museo del Novecento in Milaan, Italië. - Verkrijg de hyperspectrale gegevens van ten minste één FOV binnen de rand van elke ROI(s) (onbeschaduwde gebieden binnen de rode rechthoeken in figuur 3A).
- Download de bestanden die door het instrument worden geretourneerd en sla ze op in een speciale map.
- Controleer of de verlichting van het oppervlak van het schilderij uniform is ingesteld door te kijken naar de RGB-beelden die door de hyperspectrale camera worden geretourneerd. Als dit het geval is, gaat u naar de volgende stappen, anders gaat u terug naar stap 2.2 en start u opnieuw op.
OPMERKING: Figuur 4 illustreert het belang van deze controle (zie het gedeelte Discussie voor de details). - Herhaal de substappen van stap 1.4.
- Controleer of de gegevens een ruimtelijke resolutie hebben die hoog genoeg is om de penseelstreken te onderscheiden door de RGB-foto's van de FOV's (figuur 3B) en de SAM-kaarten (figuur 3C) te observeren met betrekking tot de referentiespectra die zijn geselecteerd in de FOV's (groene cirkels in figuur 3B).
- Als de verlichting en de ruimtelijke resolutie correct zijn ingesteld, voltooit u de verzameling van de gegevens waarmee de andere FOV's worden verzameld die nodig zijn om de ROI (s) te dekken; Ga anders terug naar stap 2.2 en start opnieuw op.
OPMERKING: Wanneer een ROI vereist dat meer dan één FOV wordt gedekt, zorg dan voor een zekere mate van superpositie tussen aangrenzende FOV's om de resulterende kaarten gemakkelijk te naaien3,15. De mate van overlapping hangt af van de afstand tussen de hyperspectrale camera en het monster, van de vertaling en de horizontale beeldhoek van de detector28. In het geval van de experimentele campagne op Quarto Stato is de overlapping vastgesteld op ten minste 40% van de FOV's.
3. Hyperkubussen en het beheer van referentiespectra
- Voer de I/O van de onbewerkte gegevens uit: organiseer, lees en beheer de hyperkubussen.
- Voer de HS_FileLister code uit om de lijst met de bestanden met de hyperkubussen en de gerelateerde informatie op te slaan in twee variabelen die ter beschikking staan van het algoritme (zie stap 1.4.2 voor de praktische details).
OPMERKING: De hyperspectrale camera retourneert hdr-bestanden (hoog dynamisch bereik) die de code beheert door gebruik te maken van een herziene versie van het script dat is ontwikkeld door Jarek Tuszinsky29. - Voer de HS_Crop_png code uit om het gedeelte van elke FOV te selecteren dat moet worden gebruikt bij de analyse van de gegevens (zie stap 1.4.3 voor de praktische details).
- Voer de HS_RGB_Rebuild code uit om de RGB-beelden van de FOV's uit de reflectiespectra op te halen (zie stap 1.4.4 voor de praktische details).
- Voer de HS_FileLister code uit om de lijst met de bestanden met de hyperkubussen en de gerelateerde informatie op te slaan in twee variabelen die ter beschikking staan van het algoritme (zie stap 1.4.2 voor de praktische details).
- Organiseer, lees (indien nodig) en beheer de referentiespectra.
OPMERKING: De referentiespectra spelen de rol van de eindleden binnen de SAM-methode20,21. Dit deel van het algoritme is niet eenduidig bepaald, maar hangt af van de selectiemodus en van de oorsprong van de referentiespectra.- Voer de PointSel-code uit en klik in het weergegeven interactieve venster om de referentiespectra te identificeren als geïsoleerde meetpunten over het oppervlak van het bewaakte gebied of de bewaakte gebieden (figuur 5A) (zie stap 1.4.5 voor de praktische details).
- Selecteer automatisch de referentiespectra als een reticulum van meetpunten bovenop het oppervlak van het bewaakte gebied of de bewaakte gebieden door de reticulaire selectiecode ReticularSel uit te voeren (figuur 5B). Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
[Referenties] = RetiicularSel(HS_DataList, HS_ImageList, n_pixel);- Er zijn drie ingangen (de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList; de lijst van de bestanden met de hyperkubussen, HS_DataList; en de afstand van het reticulum, n_pixel, uitgedrukt in aantal pixels) en één uitgang: een variabele met de spectra die zijn geselecteerd als referenties binnen de FOVs, Referenties.
- Voer de importcode voor externe referenties uit, Spectra_Importer, om een variabele te maken die verwijzingen bevat uit datasets en databases die onafhankelijk zijn van de hyperkubussen die op Quarto Stato zijn verkregen. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
[ExtReferences] = Spectra_Importer(file_extension);- Er is één ingang (de extensie van het bestand met de onafhankelijke referentiespectra, file_extension, geschreven tussen apices) en één uitgang (een variabele met de externe verwijzingen, ExtReferences).
OPMERKING: De externe referentie-importcode is geoptimaliseerd voor het importeren van tmr-bestanden, maar kan indien nodig eenvoudig worden gewijzigd om met elk type tekstbestand om te gaan.
- Er is één ingang (de extensie van het bestand met de onafhankelijke referentiespectra, file_extension, geschreven tussen apices) en één uitgang (een variabele met de externe verwijzingen, ExtReferences).
- Voer de RefListToMatrix-code uit om de verwijzingen in een matrix te plaatsen, References_Matrix of ExtReferences_Matrix, zoals vereist door de code die de SAM-kaarten evalueert (zie stap 1.4.7 voor de praktische details).
- Wacht tot de RefListToMatrix-code zowel het golflengtebereik als de spectrale resolutie (d.w.z. het aantal componenten) van de hyperkubussen en de referenties gelijk maakt.
OPMERKING: De code identificeert de golflengtebereiken van zowel de hyperkubussen als de referenties. De code vergelijkt de golflengtebereiken en snijdt het golflengte-interval (de golflengten) af die niet worden bewaakt door zowel de hyperkubussen als de referenties. De code identificeert de groep hypervectoren (de hyperkubussen of de referenties) gevormd door het lagere aantal componenten (d.w.z. gekenmerkt door de lagere spectrale resolutie) in het geëgaliseerde golflengtebereik. De code reduceert het aantal componenten van de langere hypervectoren (de verwijzingen of de hyperkubussen) tot dat van de kortere (de hyperkubussen of de referenties). Dit wordt gedaan door voor elke golflengte van de kortere hypervectoren alleen de waarden van de langere hypervectoren te houden die overeenkomen met de dichtstbijzijnde golflengte bij die van de kortere hypervectoren.- De code voert automatisch de egalisatie uit. Als de referenties binnen de hyperkubussen zijn geselecteerd, hoeven het golflengtebereik en de spectrale resolutie niet te worden geëgaliseerd en blijven ze ongewijzigd.
- Sla desgewenst de positie van de referenties over het oppervlak van de monsters op in een reeks afbeeldingen door de speciale code uit te voeren (zie stap 1.4.7 voor de praktische details).
OPMERKING: Deze optie is alleen beschikbaar als de verwijzingen zijn geselecteerd in de hyperkubussen (stappen 3.2.1 en 3.2.2).
4. SAM-analyse
- Voer de SAM_Complete code uit om de gelijkeniskaarten te evalueren. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
SAM_Complete(HS_ImageList, HS_DataList, References_Matrix);- Er zijn drie ingangen (de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList; de lijst met de bestanden met de hyperkubussen, HS_DataList; en de referentiematrix, References_Matrix of ExtReferences_Matrix) en geen uitgangen (de code slaat de SAM-toewijzingen op als .png bestanden in de huidige werkmap).
OPMERKING: Afgezien van de drie beschreven invoervariabelen, moet de SAM_complete code worden gevoed met enkele extra parameters om het analyseprotocol aan te passen aan de voorkeuren van de gebruiker (zie de volgende stappen).
- Er zijn drie ingangen (de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList; de lijst met de bestanden met de hyperkubussen, HS_DataList; en de referentiematrix, References_Matrix of ExtReferences_Matrix) en geen uitgangen (de code slaat de SAM-toewijzingen op als .png bestanden in de huidige werkmap).
- Voer indien nodig de code in met de voorbewerkingsoptie door het cijfer 0 of 1 in het dialoogvenster te typen, afhankelijk van de gewenste voorbewerkingsbewerking en druk op Enter om door te gaan.
- Voorbewerkingsoptie ingesteld op 0: het gebied dat door elk reflectiespectrum wordt onderbroken, wordt genormaliseerd naar 1.
- Voorbewerkingsoptie ingesteld op 1: het gebied dat door elk reflectiespectrum wordt onderbroken, wordt genormaliseerd tot 1 en vervolgens wordt het genormaliseerde spectrum één keer afgeleid.
OPMERKING: Zowel de hyperkubussen als de referenties ondergaan dezelfde voorbewerkingsoptie.
- Selecteer de eindelementen die moeten worden gebruikt voor de SAM-analyse in de referentiematrix door de code in te voeren met de nummers van de kolommen die overeenkomen met de gewenste spectra. Voer indien nodig in het dialoogvenster de reeks getallen in die overeenkomt met de gewenste kolommen door de getallen te typen die worden gescheiden door een witruimte. Druk op Enter om door te gaan.
OPMERKING: De volgorde [1 2 3] komt overeen met de selectie van de eerste drie kolommen van de referentiematrix; een lege vector komt overeen met de selectie van alle kolommen van de referentiematrix. - Voer de code in met een tekenreeks met het eerste deel van de naam die de sets kaarten identificeert die moeten worden opgeslagen (d.w.z. het gemeenschappelijke deel van de naam van de .png bestanden die door SAM_Complete worden geretourneerd). Voeg indien nodig de tekenreeks in het dialoogvenster in. Druk op Enter om door te gaan.
OPMERKING: Als de gebruiker test typt, begint de naam van alle uitvoer .png afbeeldingen met de test. - Voer indien nodig de code in met de methode die is geselecteerd om de gegevens te verwerken door het cijfer 0, 1 of 2 in het dialoogvenster te typen, afhankelijk van de gewenste greepmethode en druk op Enter om door te gaan.
- Stel de methode in op 0 zodat de gegevens niet worden gemanipuleerd.
- Stel de methode in op 1 om handmatige selectie van het golflengtebereik of de golflengten van de spectra te vereisen voordat de analyse wordt gestart (figuur 6).
- Stel de methode in op 2 om het algoritme te verplichten de gegevens te ordenen op basis van een specifiek criterium vóór de evaluatie van de SAM-kaarten (figuur 7).
- Wacht tot het protocol de gegevens heeft verwerkt en de SAM-toewijzingen in de huidige werkmap heeft opgeslagen als .png bestanden.
OPMERKING: Als de handle-methode is ingesteld op 0 of 2, moet de gebruiker gewoon wachten. Als het is ingesteld op 1, moet de gebruiker het deel of de delen van de spectra selecteren die moeten worden gebruikt voor het evalueren van de SAM-kaarten door op een interactief venster te klikken (figuur 6).
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Het voorgestelde protocol biedt een reeks interessante functies voor het beheer en de analyse van HRI-gegevens. De I/O (stap 3.1) van de ruwe gegevens is altijd het eerste probleem dat moet worden opgelost voordat een analysemethode wordt toegepast en het kan een kritiek probleem worden bij het omgaan met grote hoeveelheden gegevens. In het onderhavige geval is de enige taak met betrekking tot de onbewerkte gegevens het opslaan van de experimentele resultaten in een speciale map en deze te selecteren door op de harde schijf te bladeren bij het uitvoeren van de leescode (stap 3.1.1). Daarna maken de bijsnijd- en de RGB-herbouwcodes het mogelijk om de selectie van de te analyseren gegevens te verfijnen (stap 3.1.2) en controleert of de experimentele omstandigheden correct zijn ingesteld op het moment van de verwerving van de hyperkubussen (stap 3.1.3, zie figuur 4 en de sectie Discussie voor meer informatie).
Na verificatie dat de data-cubes correct zijn verkregen, biedt het algoritme verschillende mogelijkheden om de eindleden te selecteren voor de SAM-analyse20,21 (stap 3.2). De eerste twee opties (stappen 3.2.1 en 3.2.2) halen de referenties tussen de hyperkubussen op door handmatig enkele geïsoleerde meetpunten te selecteren (figuur 5A) of door automatisch het oppervlak van het schilderij te bemonsteren, waardoor een reticulaire selectie van meetpunten binnen een of meer FOV's ontstaat (figuur 5B). De analyse op basis van geïsoleerde meetpunten is sneller dan de reticulaire, maar impliceert een zorgvuldige en mogelijk geïnformeerde waarneming van de FOV('s) om de significante spectra te identificeren; dit betekent goede ervaring met het omgaan met pigmenten en geverfde oppervlakken. De reticulaire selectie maakt het algoritme tijdrovend en dwingt de gebruiker om veel uitvoerafbeeldingen te observeren om een handvol nuttige gelijkeniskaarten op te halen. De reticulaire selectie biedt echter een volledige screening van de hyperkubussen en kan meestal worden uitgevoerd zonder ervaring met de experimentele context. In principe kan de gebruiker, zodra de bemonsteringsafstand, n_pixel, de waarneming van de FOV('s) verwaarlozen met een zeer lage kans op verlies van details.
Naast de selectie van de referentiespectra binnen de hyperkubussen biedt het algoritme de mogelijkheid om de gegevens van het onderzochte monster te vergelijken met referenties uit andere bronnen (stap 3.2.4). De externe referentiespectra-importcode beheert de I/O van referenties die niet tot het oppervlak van het schilderij behoren. De matrixomvormercode egaliseert de golflengtebereiken en de spectrale resolutie van zowel de hyperkubussen als de externe referenties (stap 3.2.4). Deze mogelijkheid breidt de mogelijkheden van de gebruiker uit met betrekking tot de karakterisering van het monster. Inderdaad, de gebruiker kan elke soort beschikbare bron exploiteren in termen van reflectiegegevens. De hyperkubussen kunnen worden vergeleken met openbare databases, met de spectrale archieven van de gebruiker, met nieuwe gegevens verzameld op ad hoc voorbereide monsters of zelfs op andere objecten (schilderijen, paletten, tinten of wat dan ook) van de auteur of van andere kunstenaars. Bovendien kunnen de externe referenties worden verkregen met behulp van elke vorm van reflectietechnieken, zozeer zelfs dat de referenties in figuur 6 en figuur 7 zijn verkregen door een draagbare FORS-miniatuurspectrometer (Table of Materials) en niet door de camera die wordt gebruikt voor de HRI-gegevens.
Naast het gegevensbeheer biedt het algoritme ook een originele benadering van de gegevensanalyse. Het maakt manipulatie van de spectra mogelijk voordat de SAM-kaarten worden geëvalueerd (stappen 4.1-4.5). Deze mogelijkheid vindt zijn beweegredenen in de keuze voor de SAM-methode om de verdelingen van de pigmenten te onderzoeken. In feite beschouwt SAM de reflectiespectra als vectoren in een multidimensionale ruimte (d.w.z. hypervectoren met een aantal componenten gelijk aan die van de acquisitiekanalen). Daarom, als het belangrijkste doel van de analyse is om verschillende maar vergelijkbare referenties te vergelijken om te onderscheiden welke het beste overeenkomt met de pigmenten die door de kunstenaar worden gebruikt, dan zouden de bijna identieke componenten van de referentiespectra (d.w.z. de golflengten die overeenkomen met bijna identieke waarden in de hypervectoren) niet bijzonder nuttig moeten zijn en het algoritme het mogelijk maakt om deze componenten uit de analyse uit te sluiten.
Het protocol ondersteunt twee opties voor het manipuleren van de gegevens (stap 4.5): de gebruiker kan het golflengtegedeelte (s) van de reflectiegegevens definiëren dat handmatig (figuur 6) of automatisch (figuur 7) moet worden geanalyseerd. De handmatige selectie is eenvoudig. De voorbewerkte referentiespectra of hun eerste afgeleiden, afhankelijk van de geselecteerde voorbewerkingsoptie (stap 4.2), verschijnen in een interactief venster, figuur 6A, en de gebruiker selecteert een of meer golflengte-interval(s), figuur 6B, door op het grafiekoppervlak te klikken. De automatische selectie is gebaseerd op het wiskundige criterium van de maximale variantie toegepast op de voorbewerkte referentiespectra of hun eerste afgeleiden, afhankelijk van de geselecteerde voorbewerkingsoptie (stap 4.2). Het algoritme berekent de variantie (genormaliseerd en weergegeven als een stippellijn in figuur 7A) binnen de geselecteerde referenties en rangschikt alle spectra (zowel de referenties als de hyperkubussen) overeenkomstig dit criterium (de stippellijn in figuur 7B vertegenwoordigt de genormaliseerde en geordende variantie). Met andere woorden, als de maximale variantie overeenkomt met de n-de golflengte, wordt de inhoud van de n-de component van elk voorbewerkt spectrum (referenties en hyperkubussen) verplaatst naar de eerste positie van een opnieuw gerangschikte hypervector enzovoort (de gekleurde delen van de achtergrond in figuur 7A en figuur 7B verklaren grafisch de herschikking van de gegevens). Praktisch gezien zijn de componenten van de voorbewerkte spectra geordend op dezelfde manier als de hoofdcomponentenanalyse30.
Zodra de spectra zijn gemanipuleerd, evalueert het algoritme de SAM-kaarten. Na de handmatige manipulatie (figuur 6) retourneert het protocol drie sets kaarten: twee die overeenkomen met de groepen geselecteerde en afgewezen golflengten en één die is verkregen met behulp van de hele spectra. Anders past het algoritme na de automatische manipulatie (figuur 7) een zwevende drempel toe op de variantiewaarden en evalueert het de SAM-toewijzingen bij het verhogen van de drempel voor zowel de opnieuw gerangschikte hypervectorcomponenten die overeenkomen met de overdrempel (d.w.z. automatisch geselecteerd) als met de onderdrempel (d.w.z. automatisch afgewezen) waarden van de variantie. Deze verzamelingen kaarten, samen met die verkregen uit de hele spectra (altijd geretourneerd door het algoritme), resulteren in een totaal van (2N + 1) sets van kaarten waarbij N het aantal waarden is dat door de drempel wordt verondersteld. De reeksen gelijkeniskaarten die bij het verhogen van de drempel zijn verkregen (figuur 8) illustreren dat gegevensmanipulatie de inhoud niet verandert, maar veeleer nieuwe inzichten biedt in de details van het in kaart gebrachte gebied of de in kaart gebrachte gebieden en bijgevolg kan helpen om overeenkomsten en verschillen tussen de steekproeven en de referenties te onderscheiden.
Figuur 1: Quarto Stato. Een afbeelding van het schilderij, 1899-1901, 293 x 545 cm, olieverf op doek, Giuseppe Pellizza da Volpedo, Museo del Novecento, Milaan, Italië. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 2: Definitie van de experimentele omstandigheden. (A) De ad hoc voorbereide testmonsters; de witte cirkels en getallen identificeren de meetpunten die overeenkomen met de spectra die als referentie zijn geselecteerd. (B) De SAM-kaarten geëvalueerd met betrekking tot referentiespectrumnummer 1, (C) nummer 2, (D) nummer 3 en (E) nummer 4. De grijze kleurenbalk geeft het waardenbereik van de spectrale hoeken aan. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 3: De toepassing van de gedefinieerde experimentele omstandigheden op Quarto Stato. (A) de voor de experimentele campagne geselecteerde ROIs (rode rechthoeken); in elke rechthoek is een FOV gemarkeerd van de rechthoeken die nodig zijn om de ROI te dekken (Unshaded Areas). (B) De RGB-afbeeldingen van de vier onbeschaduwde gebieden van paneel A. (C) De SAM-kaarten geëvalueerd met betrekking tot een referentiespectrum dat binnen elke FOV (groene cirkels) is geselecteerd. De grijze kleurenbalk geeft het waardenbereik van de spectrale hoeken aan. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 4: Juiste versus onjuiste verlichting van het oppervlak van het monster. (A) Een deel van de FOV waar een klein deel van het geverfde oppervlak (Rode Cirkel) wordt beïnvloed door veranderde reflectie-eigenschappen als gevolg van onjuiste verlichting. (B) Dezelfde kleine fractie van het schilderij (Blue Circle) als wanneer de FOV goed wordt belicht. (C) De reflectiespectra van het meetpunt in het midden van de cirkels wanneer de FOV onjuist en goed verlicht is (respectievelijk rode en blauwe lijn ). D) De SAM-kaart van de FOV, verkregen met behulp van het spectrum van het onjuist verlichte meetpunt als referentie. (E) De SAM-kaart van de FOV verkregen met behulp van het spectrum van het juiste verlichte meetpunt als referentie. De Grijze Kleurenbalk verwijst naar (D) en (E) en geeft het bereik van waarden aan van de spectrale hoeken die worden verkregen door de eerste afgeleiden van de spectra van de hyperkubus van de geselecteerde FOV en de eerste afgeleide van het spectrum van het meetpunt in het midden van de gekleurde cirkels in (A) en (B) te vergelijken. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 5: Referentieselectie binnen de hyperkubussen. (A) De geïsoleerde meetpuntenselectiemodus; de groene cirkels geven de locatie aan van de referentiespectra die handmatig zijn geselecteerd op de getoonde FOV. B) de reticulaire selectiemodus; de groene cirkels geven de locatie van de geselecteerde referentiespectra aan door een reticulum toe te passen met het bemonsteringsinterval (n_pixel) ingesteld op vijf pixels op de getoonde FOV. Het beeld gerapporteerd in zowel (A) als (B) is de grijswaardenconversie van het RGB-beeld van de FOV dat is opgehaald uit de reflectiespectra met toepassing van de D65-verlichtingsbron en 1931-waarnemer van CIE-standaarden naar de hyperkubus; de grijze kleurenbalk verwijst naar de genormaliseerde intensiteit van deze afbeelding. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 6: De handmatige gegevensmanipulatiemodus. (A) Het aspect van het interactieve venster waarmee de gebruiker de referentiespectra kan verdelen in de geselecteerde en afgewezen fracties van golflengten. (B) Dezelfde referenties van (A) waarbij de delen van de gegevens die zijn geselecteerd voor de evaluatie van de SAM-kaarten zijn gemarkeerd door een roze achtergrond. (A) en (B) de voorbewerkte spectra van de referenties weergeven. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 7: De automatische gegevensmanipulatiemodus. (A) De eerste afgeleiden van de vier genormaliseerde referenties gerapporteerd in figuur 6 (Gekleurde lijnen) en hun genormaliseerde maximale variantie (Zwarte stippellijn). B) dezelfde afgeleiden van (A) gesorteerd volgens het criterium van de maximale variantie; de gesorteerde waarden van de genormaliseerde maximale variantie zijn ook gerapporteerd (Black Dashed Line). Sommige delen van de achtergrond zijn gekleurd met verschillende tinten in een poging om de herschikking van de hypervectoren visueel te illustreren. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 8: De SAM-kaarten verkregen door de automatische gegevensmanipulatiemodus. (A-C) De gesorteerde waarden van de genormaliseerde maximale variantie geëvalueerd binnen de eerste afgeleiden van de referentiespectra van figuur 7; de groene en rode secties van de curve geven respectievelijk de geselecteerde (boven drempelwaarden) en de afgekeurde fractie van de gegevens (onder drempelwaarden) aan. De panelen laten zien wat er gebeurt bij het verhogen van de drempel (Black Dotted Segment); elk panel rapporteert de SAM-kaarten voor beide groepen waarden die zijn verkregen voor de vier afgeleiden van de spectra van figuur 7; de Green Edged Maps verwijzen naar de bovendrempelfracties, terwijl de Red Edged Maps verwijzen naar de kaarten onder de drempelwaarden. De grijze kleurenbalken geven het waardenbereik van de spectrale hoeken aan. In dit voorbeeld is de stap die de verhoging van de drempel bepaalt gelijk aan 0,5% van de genormaliseerde maximale variantie. de in punt C vermelde drempelwaarden 0,09 bedragen en dit is de laatste overwogen drempelwaarde omdat een verdere verhoging het aantal geselecteerde componenten van de hypervectoren zou verminderen tot onder de willekeurig vastgestelde ondergrens van 20 waarden, d.w.z. 10% van het totale aantal acquisitiekanalen van de hyperspectrale camera. Klik hier om een grotere versie van deze figuur te bekijken.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Hyperspectrale reflectie imaging datasets zijn grote reservoirs van informatie; daarom is de ontwikkeling van robuuste en mogelijk geautomatiseerde protocollen om de gegevens te analyseren een belangrijke wending om hun potentieel te benutten15,17. Het voorgestelde algoritme beantwoordt aan deze behoefte op het gebied van cultureel erfgoed met bijzondere aandacht voor de karakterisering van de pigmenten van schilderijen. Op basis van SAM20,21 ondersteunt het algoritme de gebruiker tijdens het hele analyseproces van het instellen van de experimentele omstandigheden tot de evaluatie van de verdeling van pigmenten. Hoewel het algoritme nog steeds geen volledige grafische interface heeft en dat het geen hulpmiddel biedt voor het bekijken van de resultaten (voor dit doel is een open-source software gebruikt31 en het wordt aanbevolen, zie Tabel met materialen), weegt de reeks mogelijkheden die zijn geïmplementeerd om de benadering van de gegevensanalyse te moduleren deze nadelen uitgebreid in evenwicht.
Het protocol stelt het acquisitiesysteem in op basis van de kenmerken van zowel het monster als de detector. Aan de ene kant vereist de Divisionist-techniek die door Pellizza Da Volpedo wordt gebruikt om Quarto Stato te maken, dat de hyperkubussen onderscheid maken tussen kleine penseelstreken van verschillende pigmenten die naast elkaar worden geplaatst. Aan de andere kant heeft de hyperspectrale camera een scherpstelbereik tussen 150 mm en oneindig met een handmatig instelsysteem dat op 1 m afstand tot het doel een gebied van 0,55 x 0,55 m detecteert met een ruimtelijke resolutie van 1,07 mm26. De toepassing van het algoritme op enkele hyperkubussen die op de testmonsters zijn verkregen (figuur 2) helpt bij het vaststellen van een geschikte werkafstand voor de gegevensverzameling. De observatie van de metingen maakt het mogelijk om de werkafstand voor de experimentele campagne in te stellen op 30 cm, wat overeenkomt met een resolutie van 0,31 mm op het doel. Deze werkafstand werd ook met succes toegepast tijdens de experimentele sessies op Quarto Stato (figuur 3). Zodra de werkafstand is gedefinieerd, blijft de verlichting van het oppervlak van het monster een kritiek punt3,15. Wanneer een deel van een FOV ongelijkmatig is (rode cirkel in figuur 4A) in plaats van uniforme verlichting (blauwe cirkel in figuur 4B), veranderen de reflectie-eigenschappen dramatisch (figuur 4C) en wordt de hele procedure aangetast (figuur 4D versus figuur4E). Het protocol voorkomt ongelijke verlichting (en meer in het algemeen tegen artefacten in de bewaakte gebieden) tijdens het verzamelen van de gegevens (door RGB, stap 1.4.1, en SAM-kaarten, stap 1.4.9, die door de gebruiker kunnen worden gecontroleerd) en a posteriori door de gecompromitteerde delen van de FOVs uit te sluiten van de analyse door middel van de bijsnijdcode (stappen 1.4.2 en 3.1.2).
Het protocol stelt de gebruiker in staat om de referenties (d.w.z. de eindleden die worden gebruikt voor de evaluatie van de SAM-kaarten) met de maximale vrijheid te selecteren. Enerzijds kunnen de EM's binnen de randen van de hyperkubussen op twee manieren worden gekozen: selectie van geïsoleerde meetpunten (figuur 5A in stap 1.4.5 en 3.1.2) of selectie van reticulaire meetpunten (figuur 5B in stap 3.1.3). De eerste kan worden gedefinieerd als geïnformeerde selectie omdat het enige expertise in de gebruiker vereist om de belangrijke meetpunten handmatig te identificeren. Dit laatste kan worden gedefinieerd als blinde selectie omdat de reticulaire bemonstering van de FOV's alleen de waarde van het bemonsteringsinterval vereist. Aan de andere kant kunnen de EM's worden opgehaald van buiten het onderzochte schilderij (stap 3.1.4). Tijdens de experimentele campagne op Quarto Stato werd een draagbare miniatuur FORS-spectrometer (Table of Materials) gebruikt om spectra te verzamelen van schetsmonsters van de kunstenaar en momenteel bewaard in het Studio Museum in Volpedo (Pellizza da Volpedo Studio Museo, Volpedo (AL), Italië). Deze reflectiegegevens zijn gebruikt voor de evaluatie van de SAM-kaarten en sommige zijn gerapporteerd in figuur 6 en figuur 7. Omdat het het belang van de absolute intensiteit en van de basislijn van de spectra beperkt, is de voorbewerking verplicht voor zowel de hyperkubussen als de EM's, vooral als ze zijn verkregen uit enigszins verschillende opstellingen of operationele omstandigheden32.
Het laatste hoofdkenmerk van het protocol is de kans om de experimentele gegevens te manipuleren. Voor manipulatie is het de bedoeling dat de identificatie van de belangrijkste componenten van de EM's (d.w.z. van die delen van de spectra van de eindleden moet helpen bij het karakteriseren van de materialen die door de kunstenaar worden gebruikt). Deze taak kan handmatig (figuur 6) of automatisch (figuur 7) worden uitgevoerd. In het eerste geval maakt het algoritme gebruik van de expertise van de uitvoerder, terwijl het in het tweede geval een statistisch criterium is dat de componenten bepaalt die, van tijd tot tijd, zullen worden gebruikt om de SAM-kaarten te evalueren. In beide gevallen verhoogt de manipulatie het aantal resulterende gelijkeniskaarten en breidt bijgevolg de mogelijkheid uit om de informatie die door de hyperkubussen wordt gedragen, te onthullen. Met name de op criteria gebaseerde selectie genereert een groot aantal inzichten van het geschilderde oppervlak (figuur 8).
Afzonderlijk gezien kunnen de opgesomde kenmerken louter technische voordelen lijken, maar samen impliceren ze ten minste twee belangrijke kernpunten. Het algoritme kan met succes worden toegepast door elke soort gebruiker en het kan het scenario van de analyse aanzienlijk verbreden. In feite kunnen de belangrijkste stappen van het protocol (d.w.z. de selectie van de referenties en de manipulatie van de gegevens) automatisch worden uitgevoerd, zonder rekening te houden met de vaardigheden en de ervaring van de gebruiker. Met de mogelijkheid om de analyse aan te sturen met spectra van buiten de hyperkubussen, kunnen alle reflectiegegevens die de onderzoekers ter beschikking hebben, worden gebruikt voor de karakterisering van het onderzochte monster.
Kortom, het protocol kan een uiterst flexibel hulpmiddel zijn. Met enkele verbeteringen met betrekking tot de grafische interface en het aantal ondersteunde analysemethoden, kan het een stap verder gaan dan de stand van de techniek met betrekking tot de verwerking en de analyse van gegevens verkregen van geschilderde oppervlakken door middel van hyperspectrale reflectiebeeldvorming.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
De auteurs hebben niets te onthullen.
Acknowledgments
Dit onderzoek werd gefinancierd door Regione Lombardia in het kader van het Project MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici - Call Accordi per la Ricerca e l'Innovazione.
De auteurs zijn het personeel van Museo del Novecento dankbaar voor de ondersteuning tijdens de in situ experimentele sessies en de Associazione Pellizza da Volpedo voor de toegang tot Studio Museo.
Materials
| Name | Company | Catalog Number | Comments |
| ImageJ/Fiji | Specim (Oulo, Finlad) | N/A | Portable reflectance hyperspectral camera used to acquire the hypercubes |
| MATLAB 2019b | StellarNet Inc (Tampa, Florida, USA) | N/A | Portable reflectance spectrometer used to acquire independent reflectance spectra |
| Specim IQ Hyperspectral Camera | National Institutes of Health (Bethesda, Maryland, USA) | N/A | Open source Java image processing program |
| StellarNet BLUE-wave Miniature Spectrometer | MathWorks (Natick, Massachusset, USA) | N/A | Program Language and numerical computing environment |
References
- Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , Springer. 259-265 (2002).
- Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
- Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
- Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
- Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
- Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
- Pouyet, E. K., et al. New insights into Pablo Picasso's La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
- Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
- Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
- Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
- Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
- Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
- Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
- Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
- Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
- Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
- Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
- Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
- Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
- Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
- Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
- Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
- Richards, J. A. Remote sensing digital image analysis. 3, Springer. (1999).
- Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
- Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
- Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
- Mather, J. Spectral and XYZ Color Functions. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021).
- Chen, C. -Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
- Tuszynski, J. read_envihdr. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021).
- Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
- Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
- Rinnan, Å, Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).
