Bruke hyperspektral refleksavbildning for å undersøke palettene og malerteknikkene

Summary

Hyperspektral reflectance Imaging hypercubes inkluderer bemerkelsesverdig informasjon i en stor mengde data. Derfor er forespørselen om automatiserte protokoller for å administrere og studere datasettene bredt berettiget. Kombinasjonen av Spectral Angle Mapper, datamanipulering og en brukerjusterbar analysemetode utgjør en nøkkelsving for å utforske de eksperimentelle resultatene.

Abstract

Reflectance Spectroscopy (RS) og Fiber Optics Reflectance Spectroscopy (FORS) er veletablerte teknikker for undersøkelse av kunstverk med særlig oppmerksomhet på malerier. De fleste moderne museer stiller til disposisjon for sine forskningsgrupper bærbart utstyr som sammen med den iboende ikke-invasiviteten til RS og FORS gjør det mulig å samle in situ-samlingen av refleksspektra fra overflaten av gjenstander. Sammenligningen, utført av eksperter på pigmenter og malematerialer, av eksperimentelle data med databaser av referansespektra driver karakteriseringen av palettene og teknikkene som brukes av kunstnerne. Denne tilnærmingen krever imidlertid spesifikke ferdigheter, og det er tidkrevende, spesielt hvis antallet spektra som skal undersøkes blir stort som det gjelder Hyperspectral Reflectance Imaging (HRI) datasett. HRI eksperimentelle oppsett er flerdimensjonale kameraer som forbinder spektralinformasjonen, gitt av refleksspektraet, med den romlige lokaliseringen av spektra over den malte overflaten. De resulterende datasettene er 3D-kuber (kalt hyperkuber eller datakuber) der de to første dimensjonene finner spekteret over maleriet, og det tredje er selve spekteret (dvs. refleksen av det punktet på den malte overflaten kontra bølgelengden i detektorens operative område). Detektorens evne til samtidig å samle inn et stort antall spektra (vanligvis mye mer enn 10 000 for hver hypercube) gjør HRI-datasettene til store reservoarer med informasjon og begrunner behovet for utvikling av robuste og muligens automatiserte protokoller for å analysere dataene. Etter beskrivelsen av prosedyren som er utformet for datainnsamlingen, presenterer vi en analysemetode som systematisk utnytter potensialet til hyperkubene. Basert på Spectral Angle Mapper (SAM) og på manipuleringen av det innsamlede spektraet, håndterer og analyserer algoritmen tusenvis av spektra, samtidig som den støtter brukeren til å avduke funksjonene i prøvene som undersøkes. Kraften i tilnærmingen er illustrert ved å bruke den på Quarto Stato, det ikoniske mesterverket av Giuseppe Pellizza da Volpedo, holdt i Museo del Novecento i Milano (Italia).

Introduction

Refleksspektroskopi (RS) og fiberoptikk refleksspektroskopi (FORS) er basert på påvisning av lyset som reflekteres av overflater som en gang var opplyst av en lyskilde, vanligvis en wolfram-halogenlampe. Produksjonen av oppkjøpssystemet består av spektra der refleksen overvåkes som en funksjon av bølgelengden i et område som avhenger av egenskapene til det anvendte eksperimentelle ^{oppsettet1,2,3}. Introdusert i løpet av de siste fire ^tiårene4,5, brukes RS og FORS vanligvis i kombinasjon med røntgenfluorescens og andre spektroskopier for å beskrive materialene og teknikkene som brukes av kunstnere for å realisere sine mesterverk6,7,8,9. Studien av refleksspektraet utføres vanligvis ved å sammenligne dataene fra utvalget med en gruppe referansespektra valgt av brukeren i personlige eller offentlige databaser. Når referansespektraet som overholder realiseringsperioden for prøven og med kunstnerens modus operandi er identifisert, gjenkjenner brukeren hovedtrekkene i refleksspektraet (dvs. overgangs-, absorpsjons- og refleksjonsbånd1,2,10,11) og deretter ved hjelp av andre ^{teknikker6,7,8} de skiller pigmentene som har blitt brukt i maleriene. Til slutt diskuterer de de små forskjellene som det er mellom referansene og det eksperimentelle ^spektraet7,9.

I de fleste tilfeller består de eksperimentelle datasettene av noen få spektra, samlet inn fra områder valgt av kunsteksperter og antatt å være betydelige for karakteriseringen av maleriet6,12,13. Til tross for ferdighetene og opplevelsen til brukeren, kan noen få spektra ikke fullt ut utmatte egenskapene til hele den malte overflaten. Videre vil resultatet av analysen alltid være sterkt avhengig av utøverens kompetanse. I dette scenariet kan Hyperspectral Reflectance Imaging (HRI3,14,15) være en nyttig ressurs. I stedet for noen få isolerte spektra, returnerer de eksperimentelle oppsettene refleksegenskapene til utvidede deler eller til og med hele gjenstanden under ^{undersøkelse16}. De to viktigste fordelene med hensyn til oppkjøpet av det isolerte spektraet er tydelige. På den ene siden tillater tilgjengeligheten av den romlige fordelingen av refleksegenskapene identifisering av områder som skjuler interessante egenskaper, selv om de kanskje ikke virker ^særegne17. På den annen side garanterer hypercubes en rekke spektra som er høye nok til å muliggjøre den statistiske analysen av dataene. Disse fakta støtter forståelsen av fordelingen av pigmenter innenfor den malte ^{overflaten18,19}.

Med HRI kan sammenligningen av eksperimentelle data med referansene være vanskelig å ^håndtere15. En typisk detektor returnerer hyperkuber på minst 256 x 256 spektra. Dette vil kreve at brukeren evaluerer mer enn 65 000 refleksspektra mot hver referanse, en oppgave som er nesten umulig å utføre manuelt på en rimelig tid. Derfor er forespørselen om robuste og muligens automatiserte protokoller for å administrere og analysere HRI-datasett mer enn ^{berettiget15,17}. Den foreslåtte metoden svarer på dette behovet ved å håndtere hele analyseprosedyren med minimal involvering og maksimal fleksibilitet.

En algoritme som består av et sett med hjemmelagde koder (Tabell over materialer) leser, administrerer og organiserer filene som returneres av det eksperimentelle oppsettet. Det gjør at det fine utvalget av delene av synsfeltene (FOVer, ett synsfelt er området av maleriet som overvåkes av en enkelt hypercube) som skal studeres og utfører analysen av dataene basert på Spectral Angle Mapper (SAM) –^metoden20,21 og på manipuleringen av det opprinnelige spektraet. SAM returnerer bilder med gråskala med usann farge som kalles likhetskart. Verdiene for pikslene til disse kartene tilsvarer spektralvinklene som er vinklene mellom spektraet som er lagret i hyperkuber og de såkalte End Members (EMs, en gruppe referansespektra som skal beskrive egenskapene til overflaten som overvåkes av hyperkuber)²². Når det gjelder RS brukt på malerier, er EMs refleksspektra av pigmenter som skal samsvare med mesterens palett. De velges basert på tilgjengelig informasjon om kunstneren, realiseringsperioden for maleriet og brukerens ekspertise. Derfor er utdataene fra SAM et sett med kart som beskriver de romlige distribusjonene av disse pigmentene over malingsoverflaten, og som støtter brukeren til å utlede materialene som brukes av kunstneren og deres organisasjon i gjenstanden. Algoritmen tilbyr muligheten til å bruke alle slags referanser uavhengig av opprinnelsen. Referansene kan være spesifikke spektra valgt i hypercubes, kommer fra databaser, anskaffes av et annet instrument på en annen overflate (for eksempel prøver av pigmenter eller paletten til kunstneren, for eksempel), eller oppnås ved hjelp av noen form for refleksspektroskopi, FORS inkludert.

SAM har vært foretrukket blant de tilgjengelige klassifikasjonsmetodene fordi det har vist seg å være effektivt for karakterisering av pigmenter (se ^Richard23s bok for å ha oversikt over de viktigste tilgjengelige klassifikasjonsmetodene). I stedet er ideen om å utvikle en hjemmelaget protokoll i stedet for å ta i bruk et av de mange verktøyene som er fritt tilgjengelig på ^net24,25, avhengig av en praktisk vurdering. Til tross for effektiviteten og det vitenskapelige grunnlaget for eksisterende GUIer og programvare, tilfredsstiller et enkelt verktøy knapt alle brukerens behov. Det kan være et I/U-problem (Input/Output) fordi et verktøy ikke behandler filen som inneholder rådataene. Det kan være et problem med analysen av dataene fordi et annet verktøy ikke gir ønsket tilnærming. Det kan være en begrensning i håndteringen av dataene fordi samtidig analyse av flere datasett ikke støttes. I alle fall eksisterer ikke et perfekt verktøy. Hver metode må justeres til dataene eller omvendt. Derfor har utviklingen av en hjemmelaget protokoll blitt foretrukket.

Den presenterte tilnærmingen gir verken et komplett sett med analytiske metoder (se til sammenligning verktøyet foreslått av Mobaraki og ^Amigo24) eller et brukervennlig brukergrensesnitt (se til sammenligning programvaren som brukes av Zhu og ^{medarbeidere25}), men i bytte fokuserer den på et fortsatt undervurdert aspekt av hyperspektral dataanalyse: muligheten til å manipulere det oppdagede spektraet. Tilnærmingens kraft illustreres ved å bruke den på maleriet Quarto Stato av Giuseppe Pellizza da Volpedo (figur 1), en ikonisk olje på lerret holdt i Museo del Novecento i Milano, Italia. Vær oppmerksom på at siden tilnærmingen krever å kjøre hjemmelagde koder, valgte utvikleren vilkårlig navnene på kodene og både inngangs- og utdatavariablene som brukes i beskrivelsen av protokollen. Navnene på variablene kan endres av brukeren, men de må angis som følger: inndata- og utvariablene må skrives henholdsvis innenfor parenteser og til slutt skilles med komma og innenfor hakeparenteser og til slutt skilles med et mellomrom. Tvert imot kan ikke navnene på kodene endres.

Protocol

1. Still inn den romlige oppløsningen til hyperkuber Utfør en foreløpig inspeksjon av den malte overflaten (figur 1) støttet av kunsteksperter for å identifisere hovedtrekkene i maleriet. Gjenkjenne billedteknikkene som brukes av kunstneren for å lage maleriet. Identifiser de forskjellige penselstrøkene for maling på lerretet. Beregn, kvalitativt, egenskapene til penselstrøkene med spesiell oppmerksomhet på størrelsen. …

Representative Results

Den foreslåtte protokollen tilbyr et sett med interessante funksjoner for ledelsen og analysen av HRI-data. I/U (trinn 3.1) i rådataene er alltid det første problemet som må løses før du bruker en analysemetode, og det kan bli et kritisk problem når du arbeider med store mengder data. I dette tilfellet er den eneste oppgaven med rådata å lagre de eksperimentelle resultatene i en dedikert mappe og velge den ved å bla gjennom harddisken når du kjører lesekoden (trinn 3.1.1). Deretter tillater beskjærings- og R…

Discussion

Hyperspektral refleksavbildningsdatasett er store reservoarer av informasjon; Derfor er utviklingen av robuste og muligens automatiserte protokoller for å analysere dataene en viktig dreining for å utnytte potensialet ^deres15,17. Den foreslåtte algoritmen svarer på dette behovet innen kulturarv med særlig vekt på karakterisering av pigmentene i malerier. Basert på ^SAM20,21 støtter algoritmen bruke…

Materials

ImageJ/Fiji	Specim (Oulo, Finlad)	N/A	Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b	StellarNet Inc (Tampa, Florida, USA)	N/A	Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera	National Institutes of Health (Bethesda, Maryland, USA)	N/A	Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer	MathWorks (Natick, Massachusset, USA)	N/A	Program Language and numerical computing environment