Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.

Methodenartikel

Hyperspectrale reflectie beeldvorming toepassen om de paletten en de technieken van schilders te onderzoeken

2.2K weergaven

⸱

DOI:

10.3791/62202

⸱

18 juni 2021

 ,  ,  ,  ,  , 
1Dipartimento di Scienza dei Materiali, Università degli Studi di Milano-Bicocca, 2CNR-IBFM, 3Dipartimento di Fisica, Università degli Studi di Milano-Bicocca

In dit artikel

Samenvatting

Hyperspectral Reflectance Imaging hyperkubussen nemen opmerkelijke informatie op in een grote hoeveelheid gegevens. Daarom is de vraag naar geautomatiseerde protocollen om de datasets te beheren en te bestuderen breed gerechtvaardigd. De combinatie van Spectral Angle Mapper, datamanipulatie en een door de gebruiker instelbare analysemethode vormt een belangrijke wending voor het verkennen van de experimentele resultaten.

Samenvatting

Reflectance Spectroscopy (RS) en Fiber Optics Reflectance Spectroscopy (FORS) zijn gevestigde technieken voor het onderzoeken van kunstwerken met bijzondere aandacht voor schilderijen. De meeste moderne musea stellen draagbare apparatuur ter beschikking van hun onderzoeksgroepen die, samen met de intrinsieke non-invasiviteit van RS en FORS, de in situ collectie van reflectiespectra van het oppervlak van artefacten mogelijk maakt. De vergelijking, uitgevoerd door experts in pigmenten en schildermaterialen, van de experimentele gegevens met databases van referentiespectra drijft de karakterisering van de paletten en van de technieken die door de kunstenaars worden gebruikt. Deze aanpak vereist echter specifieke vaardigheden en het is tijdrovend, vooral als het aantal te onderzoeken spectra groot wordt, zoals het geval is bij Hyperspectral Reflectance Imaging (HRI) datasets. De HRI-experimentele opstellingen zijn multidimensionale camera's die de spectrale informatie, gegeven door de reflectiespectra, associëren met de ruimtelijke lokalisatie van de spectra over het geverfde oppervlak. De resulterende datasets zijn 3D-kubussen (hyperkubussen of datakubussen genoemd) waarbij de eerste twee dimensies het spectrum over het schilderij lokaliseren en de derde het spectrum zelf is (d.w.z. de reflectie van dat punt van het geverfde oppervlak versus de golflengte in het operatieve bereik van de detector). Het vermogen van de detector om tegelijkertijd een groot aantal spectra te verzamelen (meestal veel meer dan 10.000 voor elke hyperkubus) maakt de HRI-datasets grote reservoirs van informatie en rechtvaardigt de noodzaak van de ontwikkeling van robuuste en mogelijk geautomatiseerde protocollen om de gegevens te analyseren. Na de beschrijving van de procedure die is ontworpen voor de gegevensverzameling, presenteren we een analysemethode die systematisch het potentieel van de hyperkubussen benut. Gebaseerd op Spectral Angle Mapper (SAM) en op de manipulatie van de verzamelde spectra, verwerkt en analyseert het algoritme duizenden spectra terwijl het tegelijkertijd de gebruiker ondersteunt om de kenmerken van de onderzochte monsters te onthullen. De kracht van de aanpak wordt geïllustreerd door het toe te passen op Quarto Stato, het iconische meesterwerk van Giuseppe Pellizza da Volpedo, gehouden in het Museo del Novecento in Milaan (Italië).

Inleiding

Reflectance Spectroscopy (RS) en Fiber Optics Reflectance Spectroscopy (FORS) zijn gebaseerd op de detectie van het licht dat wordt gereflecteerd door oppervlakken die eenmaal zijn verlicht door een lichtbron, meestal een wolfraam-halogeenlamp. De output van het acquisitiesysteem wordt gevormd door spectra waarbij de reflectie wordt bewaakt als functie van de golflengte in een bereik dat afhankelijk is van de kenmerken van de gebruikte experimentele opstelling1,2,3. Geïntroduceerd in de afgelopen vier decennia4,5, worden RS en FORS meestal gebruikt in combinatie met röntgenfluorescentie en andere spectroscopieën om de materialen en de technieken te beschrijven die door kunstenaars worden gebruikt om hun meesterwerken te realiseren6,7,8,9. De studie van de reflectiespectra wordt meestal uitgevoerd door de gegevens van het monster te vergelijken met een groep referentiespectra die door de gebruiker is geselecteerd in persoonlijke of openbare databases. Zodra de referentiespectra die voldoen aan de realisatieperiode van het monster en aan de modus operandi van de kunstenaar zijn geïdentificeerd, herkent de gebruiker de belangrijkste kenmerken van de reflectiespectra (d.w.z. overgangs-, absorptie- en reflectiebanden1,2,10,11) en vervolgens, met behulp van andere technieken6,7,8 ze onderscheiden de pigmenten die in de schilderijen zijn gebruikt. Ten slotte bespreken ze de kleine verschillen die er bestaan tussen de referenties en de experimentele spectra7,9.

In de meeste gevallen zijn de experimentele datasets samengesteld uit enkele spectra, verzameld uit gebieden die door kunstexperts zijn gekozen en waarvan wordt aangenomen dat ze belangrijk zijn voor de karakterisering van het schilderij6,12,13. Ondanks de vaardigheden en de ervaring van de gebruiker, kunnen enkele spectra de kenmerken van het hele geverfde oppervlak niet volledig uitputten. Bovendien zal het resultaat van de analyse altijd sterk afhankelijk zijn van de expertise van de uitvoerder. In dit scenario kan Hyperspectral Reflectance Imaging (HRI3,14,15) een nuttige bron zijn. In plaats van een paar geïsoleerde spectra, geven de experimentele opstellingen de reflectie-eigenschappen van uitgebreide delen of zelfs van het hele artefact dat wordt onderzocht terug16. De twee belangrijkste voordelen met betrekking tot de verwerving van de geïsoleerde spectra zijn duidelijk. Aan de ene kant maakt de beschikbaarheid van de ruimtelijke verdeling van de reflectie-eigenschappen het mogelijk om gebieden te identificeren die interessante kenmerken verbergen, ook al lijken ze misschien niet eigenaardig17. Aan de andere kant garanderen de hyperkubussen een aantal spectra die hoog genoeg zijn om de statistische analyse van de gegevens mogelijk te maken. Deze feiten ondersteunen het begrip van de verdeling van pigmenten binnen het geschilderde oppervlak18,19.

Met HRI zou de vergelijking van de experimentele gegevens met de referenties moeilijk te hanteren kunnen zijn15. Een typische detector retourneert hyperkubussen van ten minste 256 x 256 spectra. Dit zou vereisen dat de gebruiker meer dan 65.000 reflectiespectra evalueert tegen elke referentie, een taak die bijna onmogelijk handmatig kan worden uitgevoerd in een redelijke tijd. Daarom is de vraag naar robuuste en mogelijk geautomatiseerde protocollen voor het beheren en analyseren van HRI-datasets meer dan gerechtvaardigd15,17. De voorgestelde methode beantwoordt aan deze behoefte door de hele analytische procedure met minimale betrokkenheid en maximale flexibiliteit af te handelen.

Een algoritme dat bestaat uit een set zelfgemaakte codes (Table of Materials) leest, beheert en organiseert de bestanden die door de experimentele installatie worden geretourneerd. Het maakt het mogelijk om de fijne selectie van de delen van de gezichtsvelden (FOV's, één gezichtsveld is het gebied van het schilderij bewaakt door een enkele hyperkubus) te bestuderen en voert de analyse uit van de gegevens op basis van de Spectral Angle Mapper (SAM) -methode20,21 en op de manipulatie van de oorspronkelijke spectra. SAM retourneert valse kleuren grijsschaalafbeeldingen die gelijkeniskaarten worden genoemd. De waarden van de pixels van deze afbeeldingen komen overeen met de spectrale hoeken die de hoeken zijn tussen de spectra die zijn opgeslagen in de hyperkubussen en de zogenaamde End Members (EM's, een groep referentiespectra die de kenmerken van het oppervlak moeten beschrijven die door de hyperkubussen worden bewaakt)22. In het geval van RS toegepast op schilderijen, zijn de EM's de reflectiespectra van pigmenten die moeten overeenkomen met het palet van de Meester. Ze worden gekozen op basis van de beschikbare informatie over de kunstenaar, de realisatieperiode van het schilderij en de expertise van de gebruiker. Daarom is de output van de SAM een set kaarten die de ruimtelijke verdelingen van deze pigmenten over het schilderoppervlak beschrijft en die de gebruiker ondersteunt om de materialen af te leiden die door de kunstenaar en hun organisatie in het artefact worden gebruikt. Het algoritme biedt de mogelijkheid om onafhankelijk van hun oorsprong allerlei referenties in te zetten. De referenties kunnen specifieke spectra zijn die binnen de hyperkubussen zijn geselecteerd, afkomstig zijn uit databases, worden verkregen door een ander instrument op een ander oppervlak (zoals monsters van pigmenten of het palet van de kunstenaar, bijvoorbeeld), of worden verkregen met behulp van elke vorm van reflectiespectroscopie, inclusief FORS.

SAM heeft de voorkeur gekregen onder de beschikbare classificatiemethoden omdat is aangetoond dat het effectief is voor het karakteriseren van pigmenten (zie het boek van Richard23 voor een overzicht van de belangrijkste beschikbare classificatiemethoden). In plaats daarvan is het idee om een zelfgemaakt protocol te ontwikkelen in plaats van een van de vele tools die vrij beschikbaar zijn op het net24,25, afhankelijk van een praktische overweging. Ondanks de effectiviteit en wetenschappelijke onderbouwing van de bestaande GUI's en software, voldoet één tool nauwelijks aan alle behoeften van de gebruiker. Er kan een I/O-probleem (Input/Output) optreden omdat een hulpprogramma het bestand met de onbewerkte gegevens niet beheert. Er kan een probleem zijn met betrekking tot de analyse van de gegevens omdat een andere tool niet de gewenste aanpak biedt. Er kan een beperking zijn in de verwerking van de gegevens omdat de gelijktijdige analyse van meerdere datasets niet wordt ondersteund. In ieder geval bestaat er geen perfect hulpmiddel. Elke methode moet worden aangepast aan de gegevens of omgekeerd. Daarom heeft de ontwikkeling van een zelfgemaakt protocol de voorkeur gekregen.

De gepresenteerde benadering biedt noch een complete reeks analytische methoden (zie ter vergelijking de tool voorgesteld door Mobaraki en Amigo24) noch een eenvoudig te beheren gebruikersinterface (zie ter vergelijking de software van Zhu en collega's25), maar richt zich in ruil daarvoor op een nog steeds onderschat aspect van hyperspectrale data-analyse: de mogelijkheid om de gedetecteerde spectra te manipuleren. De kracht van de aanpak wordt geïllustreerd door het toe te passen op het schilderij Quarto Stato van Giuseppe Pellizza da Volpedo (figuur 1), een iconische olieverf op doek in het Museo del Novecento in Milaan, Italië. Merk op dat, aangezien de aanpak het uitvoeren van zelfgemaakte codes vereist, de ontwikkelaar willekeurig de namen van de codes en zowel de invoer- als uitvoervariabelen heeft gekozen die worden gebruikt in de beschrijving van het protocol. De namen van de variabelen kunnen door de gebruiker worden gewijzigd, maar ze moeten als volgt worden opgegeven: de invoer- en uitvariabelen moeten respectievelijk tussen haakjes worden geschreven en uiteindelijk worden gescheiden door komma's en tussen vierkante haken en uiteindelijk worden gescheiden door een witruimte. Integendeel, de namen van de codes kunnen niet worden gewijzigd.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Protocol

1. Stel de ruimtelijke resolutie van de hyperkubussen in

  1. Voer een voorlopige inspectie uit van het geschilderde oppervlak (figuur 1) ondersteund door kunstexperts om de belangrijkste kenmerken van het schilderij te identificeren.
    1. Herken de picturale technieken die door de kunstenaar zijn gebruikt om het schilderij te maken.
    2. Identificeer de verschillende penseelstreken van verf op het canvas.
    3. Schat, kwalitatief, de kenmerken van de penseelstreken met bijzondere aandacht voor hun grootte.
  2. Boots de picturale techniek na die door de kunstenaar wordt gebruikt door ad-hoc testmonsters te maken waarbij de penseelstreken kenmerken vertonen die vergelijkbaar zijn met die van de kunstenaar.
    OPMERKING: Pellizza da Volpedo was een divisionistische schilder. Een restaurateur werd gevraagd om enkele testmonsters voor te bereiden die de penseelstreken van het doek van belang kwalitatief reproduceren (figuur 2, kolom A).
  3. Stel de afstand in tussen het onderzochte oppervlak en de aanschafapparatuur.
    OPMERKING: De afstand bepaalt de ruimtelijke resolutie van de hyperkubussen26 en dus de mogelijkheid om de penseelstreken op de afbeeldingen en SAM-kaarten van het geverfde oppervlak te onderscheiden.
    1. Evalueer de afstand tussen het oppervlak van het monster en de acquisitieapparatuur, rekening houdend met de kenmerken van de hyperspectrale camera26 (Materiaaltabel) en de grootte van de penseelstreken die in de testmonsters zijn getrokken.
    2. Plaats de acquisitiefase en de hyperspectrale camera op de afstand die in de vorige stap is geëvalueerd. Plaats de testmonsters op het podium en zorg voor een gelijkmatige verlichting van het oppervlak van de monsters.
    3. Voer een witte kalibratie uit met behulp van de witte standaardreferentie die bij de hyperspectrale camera wordt geleverd. Verkrijg de hyperkubussen.
      OPMERKING: Voor elke FOV retourneert de hyperspectrale camera zowel onbewerkte als gekalibreerde beelden. Deze laatste zijn gebruikt voor de analyse.
    4. Download de bestanden die door het instrument worden geretourneerd en sla ze op in een speciale map.
  4. Controleer of de ruimtelijke resolutie van de hyperkubussen de verschillende penseelstreken op de afbeeldingen en SAM-kaarten van het geverfde oppervlak kan onderscheiden.
    1. Inspecteer de RGB-foto's die door de hyperspectrale camera worden geretourneerd om ervoor te zorgen dat de penseelstreken die zijn gebruikt om de testmonsters te realiseren, kunnen worden herkend (figuur 2, kolom A). Ga dan naar de volgende stappen; Ga anders terug naar stap 1.3.1 en start opnieuw op.
    2. Maak een lijst van de bestanden met de hyperspectrale gegevens en de RGB-afbeeldingen van de FOV's door de gegevensleescode uit te voeren, HS_FileLister. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster van de taal die is gebruikt om de codes te ontwikkelen (Tabel met materialen) en druk op Enter om de code uit te voeren:
      [HS_DataList HS_ImageList] = HS_FileLister;
      1. Er is geen invoer vereist en er zijn twee uitgangen: de lijst met de bestanden met de hyperkubussen, HS_DataList en de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList.
        OPMERKING: De grootte van elke hyperkubus is 512 x 512 x 204 voxels, waarbij 204 het aantal kanalen is dat wordt gebruikt om het reflectiesignaal te bewaken. De kanalen beslaan het golflengtegebied tussen 400 en 1.000 nm met een spectrale resolutie van 7 nm bij FWHM26.
    3. Definieer het 3D-gedeelte van de hyperkubussen dat moet worden geanalyseerd door de bijsnijdcode uit te voeren, HS_Crop_png. Definieer het gewenste gedeelte van elke datakubus door een gebied boven een interactief venster te selecteren dat de 2D, RGB-afbeelding van de FOV toont die door elke hyperkubus wordt bewaakt. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
      [HS_ImageList] = HS_Crop_png, lid HS_ImageList);
      1. Er is één invoer (de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList) en één uitvoer (de invoerlijst toegevoegd met de ruimtelijke coördinaten om uiteindelijk de hyperkubussen bij te snijden).
    4. Pas de D65-verlichtingssterkte en 1931-waarnemer van CIE-normen (International Commission on Illumination) toe op de hyperkubussen om de RGB-beelden van de FOV('s) uit de reflectiespectra op te halen door de herbouwcode uit te voeren, HS_RGB_rebuild. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
      [HS_ImageList] = HS_RGB_rebuild(HS_ImageList, HS_DataList);
      1. Er zijn twee ingangen (de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList en de lijst met de bestanden met de hyperkubussen, HS_DataList) en één uitvoer (de invoerlijst met de beelden die door de hyperspectrale camera worden geretourneerd, toegevoegd met de RGB-beelden van de oppervlakken van de hyperkubussen die zijn opgehaald uit de reflectiespectra).
        OPMERKING: HS_RGB_Rebuild maakt gebruik van de functies die door Jeff Mather27 zijn ontwikkeld om de D65-illuminant en 1931-waarnemer van CIE op de gegevens toe te passen.
    5. Selecteer handmatig enkele referentiespectra op de oppervlakken van de testmonsters (witte cirkels en getallen in figuur 2, kolom A) door de selectiecode voor geïsoleerde meetpunten , PointSel, uit te voeren. Selecteer de meetpunten door op een interactief venster te klikken dat één voor één de 2D- en RGB-afbeeldingen van de FOV('s) toont. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
      [Referenties] = PointSel(HS_DataList, HS_ImageList);
      1. Er zijn twee ingangen (de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList en de lijst met de bestanden met de hyperkubussen, HS_DataList) en één uitgang (een variabele, Referenties, met de spectra die zijn geselecteerd als referenties binnen de FOV (s)).
    6. Sla desgewenst de positie van de verwijzingen over het oppervlak van de monsters op in een reeks afbeeldingen door de speciale code SaveImPoint uit te voeren. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
      SaveImPoint(Referenties, HS_ImageList);
      1. Er zijn twee ingangen (de variabele met de referentiespectra, Referenties en de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList) en geen uitgangen (de code slaat .png afbeeldingen op in de huidige werkmap).
    7. Organiseer de verwijzingen in een matrix door de conversiecode RefListToMatrix uit te voeren. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
      [References_Matrix] = RefListToMatrix(Referenties, HS_ImageList(1). Wavel);
      1. Er zijn twee ingangen (de variabele met de referentiespectra, Referenties, en de lijst van de golflengten waarop de detector de fotonen telt tijdens de data-acquisitie van de spectra, HS_ImageList(1). WaveL) en één uitgang (dezelfde referentiespectra georganiseerd in een matrix, References_Matrix).
        OPMERKING: Deze stap is verplicht omdat de code die de SAM-kaarten evalueert, vereist dat de referentiespectra in een matrix worden georganiseerd. De syntaxis van de tweede invoer, HS_ImageList(1). WaveL, is vereist om de variabele WaveL terug te roepen uit de lijst HS_ImageList. Het getal 1 tussen haakjes verwijst naar het eerste element van de lijst dat wordt genoemd als HS_ImageList; omdat alle hyperkubussen echter hetzelfde golflengtebereik hebben, kan het worden vervangen door elk getal dat klein is of gelijk is aan het totale aantal vermelde afbeeldingen.
    8. Extraheer de SAM-kaarten met behulp van de hele spectra door de standaard SAM-kaartenevaluatiecode uit te voeren, SAM_Standard. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
      SAM_Standard(HS_ImageList, HS_DataList, References_Matrix);
      1. Er zijn drie ingangen (de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList; de lijst met de bestanden met de hyperkubussen, HS_DataList; en de matrix van de referentiespectra, References_Matrix) en geen uitvoer: de code slaat de SAM-kaarten op als .png afbeeldingen in de huidige werkmap.
    9. Controleer of de verkregen gelijkeniskaarten (figuur 2, kolommen B - E) de details weergeven van de penseelstreken die zijn gebruikt om de testmonsters te realiseren. Als dit het geval is, ga dan naar de volgende stap van het protocol; Ga anders terug naar stap 1.3.1 en start opnieuw op.

2. Pas de experimentele parameters aan het schilderij aan

  1. Identificeer de regio('s) van belang, ROI(s) van het te bestuderen schilderij (rode rechthoeken in figuur 3A).
    OPMERKING: Het is gebruikelijk dat meer dan één FOV nodig is om een enkele ROI te dekken.
  2. Rangschik de acquisitie-opstelling en het schilderij op de afstand die in de vorige stappen is gedefinieerd en voer de witte kalibratie uit met behulp van de witte standaardreferentie die bij de hyperspectrale camera wordt geleverd.
    OPMERKING: Als de gebruikers een in situ acquisitie moeten doen (d.w.z. ze moeten een schilderij bestuderen dat in een museum of op een tentoonstelling is tentoongesteld), kunnen ze alleen de camera beheren. Dit is het geval van Quarto Stato, dat permanent wordt blootgesteld in een speciale ruimte in het Museo del Novecento in Milaan, Italië.
  3. Verkrijg de hyperspectrale gegevens van ten minste één FOV binnen de rand van elke ROI(s) (onbeschaduwde gebieden binnen de rode rechthoeken in figuur 3A).
  4. Download de bestanden die door het instrument worden geretourneerd en sla ze op in een speciale map.
  5. Controleer of de verlichting van het oppervlak van het schilderij uniform is ingesteld door te kijken naar de RGB-beelden die door de hyperspectrale camera worden geretourneerd. Als dit het geval is, gaat u naar de volgende stappen, anders gaat u terug naar stap 2.2 en start u opnieuw op.
    OPMERKING: Figuur 4 illustreert het belang van deze controle (zie het gedeelte Discussie voor de details).
  6. Herhaal de substappen van stap 1.4.
  7. Controleer of de gegevens een ruimtelijke resolutie hebben die hoog genoeg is om de penseelstreken te onderscheiden door de RGB-foto's van de FOV's (figuur 3B) en de SAM-kaarten (figuur 3C) te observeren met betrekking tot de referentiespectra die zijn geselecteerd in de FOV's (groene cirkels in figuur 3B).
  8. Als de verlichting en de ruimtelijke resolutie correct zijn ingesteld, voltooit u de verzameling van de gegevens waarmee de andere FOV's worden verzameld die nodig zijn om de ROI (s) te dekken; Ga anders terug naar stap 2.2 en start opnieuw op.
    OPMERKING: Wanneer een ROI vereist dat meer dan één FOV wordt gedekt, zorg dan voor een zekere mate van superpositie tussen aangrenzende FOV's om de resulterende kaarten gemakkelijk te naaien3,15. De mate van overlapping hangt af van de afstand tussen de hyperspectrale camera en het monster, van de vertaling en de horizontale beeldhoek van de detector28. In het geval van de experimentele campagne op Quarto Stato is de overlapping vastgesteld op ten minste 40% van de FOV's.

3. Hyperkubussen en het beheer van referentiespectra

  1. Voer de I/O van de onbewerkte gegevens uit: organiseer, lees en beheer de hyperkubussen.
    1. Voer de HS_FileLister code uit om de lijst met de bestanden met de hyperkubussen en de gerelateerde informatie op te slaan in twee variabelen die ter beschikking staan van het algoritme (zie stap 1.4.2 voor de praktische details).
      OPMERKING: De hyperspectrale camera retourneert hdr-bestanden (hoog dynamisch bereik) die de code beheert door gebruik te maken van een herziene versie van het script dat is ontwikkeld door Jarek Tuszinsky29.
    2. Voer de HS_Crop_png code uit om het gedeelte van elke FOV te selecteren dat moet worden gebruikt bij de analyse van de gegevens (zie stap 1.4.3 voor de praktische details).
    3. Voer de HS_RGB_Rebuild code uit om de RGB-beelden van de FOV's uit de reflectiespectra op te halen (zie stap 1.4.4 voor de praktische details).
  2. Organiseer, lees (indien nodig) en beheer de referentiespectra.
    OPMERKING: De referentiespectra spelen de rol van de eindleden binnen de SAM-methode20,21. Dit deel van het algoritme is niet eenduidig bepaald, maar hangt af van de selectiemodus en van de oorsprong van de referentiespectra.
    1. Voer de PointSel-code uit en klik in het weergegeven interactieve venster om de referentiespectra te identificeren als geïsoleerde meetpunten over het oppervlak van het bewaakte gebied of de bewaakte gebieden (figuur 5A) (zie stap 1.4.5 voor de praktische details).
    2. Selecteer automatisch de referentiespectra als een reticulum van meetpunten bovenop het oppervlak van het bewaakte gebied of de bewaakte gebieden door de reticulaire selectiecode ReticularSel uit te voeren (figuur 5B). Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
      [Referenties] = RetiicularSel(HS_DataList, HS_ImageList, n_pixel);
      1. Er zijn drie ingangen (de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList; de lijst van de bestanden met de hyperkubussen, HS_DataList; en de afstand van het reticulum, n_pixel, uitgedrukt in aantal pixels) en één uitgang: een variabele met de spectra die zijn geselecteerd als referenties binnen de FOVs, Referenties.
    3. Voer de importcode voor externe referenties uit, Spectra_Importer, om een variabele te maken die verwijzingen bevat uit datasets en databases die onafhankelijk zijn van de hyperkubussen die op Quarto Stato zijn verkregen. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
      [ExtReferences] = Spectra_Importer(file_extension);
      1. Er is één ingang (de extensie van het bestand met de onafhankelijke referentiespectra, file_extension, geschreven tussen apices) en één uitgang (een variabele met de externe verwijzingen, ExtReferences).
        OPMERKING: De externe referentie-importcode is geoptimaliseerd voor het importeren van tmr-bestanden, maar kan indien nodig eenvoudig worden gewijzigd om met elk type tekstbestand om te gaan.
    4. Voer de RefListToMatrix-code uit om de verwijzingen in een matrix te plaatsen, References_Matrix of ExtReferences_Matrix, zoals vereist door de code die de SAM-kaarten evalueert (zie stap 1.4.7 voor de praktische details).
    5. Wacht tot de RefListToMatrix-code zowel het golflengtebereik als de spectrale resolutie (d.w.z. het aantal componenten) van de hyperkubussen en de referenties gelijk maakt.
      OPMERKING: De code identificeert de golflengtebereiken van zowel de hyperkubussen als de referenties. De code vergelijkt de golflengtebereiken en snijdt het golflengte-interval (de golflengten) af die niet worden bewaakt door zowel de hyperkubussen als de referenties. De code identificeert de groep hypervectoren (de hyperkubussen of de referenties) gevormd door het lagere aantal componenten (d.w.z. gekenmerkt door de lagere spectrale resolutie) in het geëgaliseerde golflengtebereik. De code reduceert het aantal componenten van de langere hypervectoren (de verwijzingen of de hyperkubussen) tot dat van de kortere (de hyperkubussen of de referenties). Dit wordt gedaan door voor elke golflengte van de kortere hypervectoren alleen de waarden van de langere hypervectoren te houden die overeenkomen met de dichtstbijzijnde golflengte bij die van de kortere hypervectoren.
      1. De code voert automatisch de egalisatie uit. Als de referenties binnen de hyperkubussen zijn geselecteerd, hoeven het golflengtebereik en de spectrale resolutie niet te worden geëgaliseerd en blijven ze ongewijzigd.
    6. Sla desgewenst de positie van de referenties over het oppervlak van de monsters op in een reeks afbeeldingen door de speciale code uit te voeren (zie stap 1.4.7 voor de praktische details).
      OPMERKING: Deze optie is alleen beschikbaar als de verwijzingen zijn geselecteerd in de hyperkubussen (stappen 3.2.1 en 3.2.2).

4. SAM-analyse

  1. Voer de SAM_Complete code uit om de gelijkeniskaarten te evalueren. Typ de volgende opdrachtregel (inclusief puntkomma) in het terminalvenster en druk op Enter om de code uit te voeren:
    SAM_Complete(HS_ImageList, HS_DataList, References_Matrix);
    1. Er zijn drie ingangen (de lijst met de beelden die door de hyperspectrale camera worden geretourneerd, HS_ImageList; de lijst met de bestanden met de hyperkubussen, HS_DataList; en de referentiematrix, References_Matrix of ExtReferences_Matrix) en geen uitgangen (de code slaat de SAM-toewijzingen op als .png bestanden in de huidige werkmap).
      OPMERKING: Afgezien van de drie beschreven invoervariabelen, moet de SAM_complete code worden gevoed met enkele extra parameters om het analyseprotocol aan te passen aan de voorkeuren van de gebruiker (zie de volgende stappen).
  2. Voer indien nodig de code in met de voorbewerkingsoptie door het cijfer 0 of 1 in het dialoogvenster te typen, afhankelijk van de gewenste voorbewerkingsbewerking en druk op Enter om door te gaan.
    1. Voorbewerkingsoptie ingesteld op 0: het gebied dat door elk reflectiespectrum wordt onderbroken, wordt genormaliseerd naar 1.
    2. Voorbewerkingsoptie ingesteld op 1: het gebied dat door elk reflectiespectrum wordt onderbroken, wordt genormaliseerd tot 1 en vervolgens wordt het genormaliseerde spectrum één keer afgeleid.
      OPMERKING: Zowel de hyperkubussen als de referenties ondergaan dezelfde voorbewerkingsoptie.
  3. Selecteer de eindelementen die moeten worden gebruikt voor de SAM-analyse in de referentiematrix door de code in te voeren met de nummers van de kolommen die overeenkomen met de gewenste spectra. Voer indien nodig in het dialoogvenster de reeks getallen in die overeenkomt met de gewenste kolommen door de getallen te typen die worden gescheiden door een witruimte. Druk op Enter om door te gaan.
    OPMERKING: De volgorde [1 2 3] komt overeen met de selectie van de eerste drie kolommen van de referentiematrix; een lege vector komt overeen met de selectie van alle kolommen van de referentiematrix.
  4. Voer de code in met een tekenreeks met het eerste deel van de naam die de sets kaarten identificeert die moeten worden opgeslagen (d.w.z. het gemeenschappelijke deel van de naam van de .png bestanden die door SAM_Complete worden geretourneerd). Voeg indien nodig de tekenreeks in het dialoogvenster in. Druk op Enter om door te gaan.
    OPMERKING: Als de gebruiker test typt, begint de naam van alle uitvoer .png afbeeldingen met de test.
  5. Voer indien nodig de code in met de methode die is geselecteerd om de gegevens te verwerken door het cijfer 0, 1 of 2 in het dialoogvenster te typen, afhankelijk van de gewenste greepmethode en druk op Enter om door te gaan.
    1. Stel de methode in op 0 zodat de gegevens niet worden gemanipuleerd.
    2. Stel de methode in op 1 om handmatige selectie van het golflengtebereik of de golflengten van de spectra te vereisen voordat de analyse wordt gestart (figuur 6).
    3. Stel de methode in op 2 om het algoritme te verplichten de gegevens te ordenen op basis van een specifiek criterium vóór de evaluatie van de SAM-kaarten (figuur 7).
  6. Wacht tot het protocol de gegevens heeft verwerkt en de SAM-toewijzingen in de huidige werkmap heeft opgeslagen als .png bestanden.
    OPMERKING: Als de handle-methode is ingesteld op 0 of 2, moet de gebruiker gewoon wachten. Als het is ingesteld op 1, moet de gebruiker het deel of de delen van de spectra selecteren die moeten worden gebruikt voor het evalueren van de SAM-kaarten door op een interactief venster te klikken (figuur 6).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Resultaten

Het voorgestelde protocol biedt een reeks interessante functies voor het beheer en de analyse van HRI-gegevens. De I/O (stap 3.1) van de ruwe gegevens is altijd het eerste probleem dat moet worden opgelost voordat een analysemethode wordt toegepast en het kan een kritiek probleem worden bij het omgaan met grote hoeveelheden gegevens. In het onderhavige geval is de enige taak met betrekking tot de onbewerkte gegevens het opslaan van de experimentele resultaten in een speciale map en deze te selecteren door op de harde sch...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Discussie

Hyperspectrale reflectie imaging datasets zijn grote reservoirs van informatie; daarom is de ontwikkeling van robuuste en mogelijk geautomatiseerde protocollen om de gegevens te analyseren een belangrijke wending om hun potentieel te benutten15,17. Het voorgestelde algoritme beantwoordt aan deze behoefte op het gebied van cultureel erfgoed met bijzondere aandacht voor de karakterisering van de pigmenten van schilderijen. Op basis van SAM20,21

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Openbaarmakingen

De auteurs hebben niets te onthullen.

Dankbetuigingen

Dit onderzoek werd gefinancierd door Regione Lombardia in het kader van het Project MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici - Call Accordi per la Ricerca e l'Innovazione.

De auteurs zijn het personeel van Museo del Novecento dankbaar voor de ondersteuning tijdens de in situ experimentele sessies en de Associazione Pellizza da Volpedo voor de toegang tot Studio Museo.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
ImageJ/FijiSpecim (Oulo, Finland)N/ADraagbare reflectie hyperspectrale camera gebruikt om de hypercubes te verwerven
MATLAB 2019bStellarNet Inc (Tampa, Florida, USA)N/ADraagbare reflectiespectrometer gebruikt om onafhankelijke reflectiespectra te verkrijgen
Specim IQ Hyperspectral CameraNational Institutes of Health (Bethesda, Maryland, USA)N/AOpen source Java beeldverwerkingsprogramma
StellarNet BLUE-wave Miniature SpectrometerMathWorks (Natick, Massachusetts, USA)N/AProgrammeertaal en numerieke computing omgeving

Referenties

  1. Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , Springer. 259-265 (2002).
  2. Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
  3. Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
  4. Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
  5. Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
  6. Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
  7. Pouyet, E. K., et al. New insights into Pablo Picasso's La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
  8. Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
  9. Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
  10. Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
  11. Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
  12. Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
  13. Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
  14. Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
  15. Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
  16. Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
  17. Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
  18. Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
  19. Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390(2003).
  20. Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
  21. Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
  22. Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
  23. Richards, J. A. Remote sensing digital image analysis. 3, Springer. (1999).
  24. Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
  25. Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175(2021).
  26. Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441(2018).
  27. Mather, J. Spectral and XYZ Color Functions. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021).
  28. Chen, C. -Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
  29. Tuszynski, J. read_envihdr. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021).
  30. Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202(2016).
  31. Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
  32. Rinnan, Å, Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Herprints en machtigingen

Tags

ReflectantiespectroscopieglasvezelreflectieschildertechniekenpigmentanalyseSpectral Angle Mapperpaletkarakteriseringpenseelstreekanalyseniet-invasieve beeldvormingkunstconservatie
Hyperspectrale reflectie beeldvorming toepassen om de paletten en de technieken van schilders te onderzoeken
Neem contact met ons op
Aanbevelen aan de bibliotheek

Privacy

Gebruiksvoorwaarden

Beleidsoverzicht

Copyright © 2026 MyJoVE Corporation. Alle rechten voorbehouden.