Hyperspektrale Reflektion Imaging hypercubes omfatter bemærkelsesværdige oplysninger i en stor mængde data. Derfor er anmodningen om automatiserede protokoller til styring og undersøgelse af datasæt bredt begrundet. Kombinationen af Spectral Angle Mapper, datamanipulation og en brugerjusterbar analysemetode udgør en nøgledrejning til at udforske de eksperimentelle resultater.
Reflektionsspektroskopi (RS) og fiberoptikrefleksspektroskopi (FORS) er veletablerede teknikker til undersøgelse af kunstværker med særlig vægt på malerier. De fleste moderne museer stiller til rådighed for deres forskningsgrupper bærbare udstyr, der sammen med den iboende ikke-invasivitet af RS og FORS, gør det muligt in situ indsamling af reflektion spektre fra overfladen af artefakter. Sammenligningen, udført af eksperter i pigmenter og malematerialer, af de eksperimentelle data med databaser med referencespektre driver karakteriseringen af paletterne og af de teknikker, der anvendes af kunstnerne. Denne tilgang kræver imidlertid specifikke færdigheder, og det er tidskrævende, især hvis antallet af det spektre, der skal undersøges, bliver stort, som det er tilfældet med hyperspektrale reflektor imaging (HRI) datasæt. HRI eksperimentelle opsætninger er flerdimensionelle kameraer, der forbinder de spektrale oplysninger, givet af reflektionsspektret, med den rumlige lokalisering af spektret over den malede overflade. De resulterende datasæt er 3D-kuber (kaldet hypercubes eller data-terninger), hvor de to første dimensioner lokalisere spektret over maleriet og den tredje er selve spektret (dvs. reflektionen af dette punkt af den malede overflade versus bølgelængden i den operative rækkevidde af detektoren). Detektorens evne til samtidig at indsamle et stort antal spektre (typisk meget mere end 10.000 for hver hypercube) gør HRI datasæt store reservoirer af information og begrunder behovet for udvikling af robuste og muligvis automatiserede protokoller til at analysere dataene. Efter beskrivelsen af den procedure, der er designet til dataindsamlingen, præsenterer vi en analysemetode, der systematisk udnytter hypercubes potentiale. Baseret på Spectral Angle Mapper (SAM) og på manipulation af det indsamlede spektre håndterer og analyserer algoritmen tusindvis af spektre, samtidig med at det understøtter brugeren til at afsløre funktionerne i de prøver, der undersøges. Kraften i tilgangen illustreres ved at anvende den på Quarto Stato, det ikoniske mesterværk af Giuseppe Pellizza da Volpedo, der blev afholdt i Museo del Novecento i Milano (Italien).
Reflektionsspektroskopi (RS) og Fiber Optics Reflectance spektroskopi (FORS) er baseret på påvisning af det lys, der reflekteres af overflader, der engang er oplyst af en lyskilde, typisk en wolfram-halogenlampe. Produktion af anskaffelsessystemet udgøres af spektre, hvor reflektionen overvåges som en funktion af bølgelængden i et interval, der afhænger af egenskaberne ved det anvendte eksperimentelle setup1,2,3. RS og FORS, der er indført i løbet af de sidste fire årtier4,5, anvendes typisk i kombination med røntgenlyscens og andre spektroskopier til at beskrive de materialer og teknikker, som kunstnere bruger til at realisere deres mesterværker6,7,8,9. Undersøgelsen af reflektionsspektret udføres normalt ved at sammenligne dataene fra stikprøven med en gruppe referencespektre, som brugeren har udvalgt i personlige eller offentlige databaser. Når referencespektret, der er i overensstemmelse med prøvens realiseringsperiode og kunstnerens modus operandi, er blevet identificeret, genkender brugeren hovedtrækkene i reflektionsspektret (dvs. overgangs-, absorptions- og refleksionsbånd1,2,10,11) og derefter ved hjælp af andre teknikker6,7,8 de skelner mellem de pigmenter, der er blevet brugt i malerierne. Endelig diskuterer de de små forskelle, der er mellem referencerne og det eksperimentelle spektre7,9.
I de fleste tilfælde består de eksperimentelle datasæt af et par spektre, indsamlet fra områder valgt af kunsteksperter og antages at være signifikante for karakteriseringen af maleriet6,12,13. På trods af brugerens færdigheder og erfaring kan et par spektre ikke fuldt ud udtømme egenskaberne for hele den malede overflade. Desuden vil resultatet af analysen altid være stærkt afhængigt af den udøvende kunstners ekspertise. I dette scenario kan Hyperspektral Reflectance Imaging (HRI3,14,15) være en nyttig ressource. I stedet for et par isolerede spektre returnerer de eksperimentelle opsætninger refleksionsegenskaberne for udvidede dele eller endda af hele artefaktet, der undersøges16. De to største fordele i forbindelse med erhvervelsen af det isolerede spektre er indlysende. På den ene side gør tilgængeligheden af den rumlige fordeling af reflektionsegenskaberne det muligt at identificere områder, der skjuler interessante træk, selvom de måske ikke virker ejendommelige17. På den anden side garanterer hypercubes en række spektre, der er høje nok til at muliggøre den statistiske analyse af dataene. Disse kendsgerninger understøtter forståelsen af fordelingen af pigmenter inden for den malede overflade18,19.
Med HRI kan sammenligningen af de eksperimentelle data med referencerne være svær at håndtere15. En typisk detektor returnerer hypercubes på mindst 256 x 256 spektre. Dette ville kræve, at brugeren til at evaluere mere end 65.000 reflektion spektre mod hver reference, en opgave næsten umuligt at blive udført manuelt i en rimelig tid. Derfor er anmodningen om robuste og muligvis automatiserede protokoller til styring og analyse af HRI datasæt mere end berettiget15,17. Den foreslåede metode opfylder dette behov ved at håndtere hele analyseproceduren med minimal inddragelse og maksimal fleksibilitet.
En algoritme, der indeholder et sæt hjemmelavede koder (Tabel over materialer), læser, administrerer og organiserer de filer, der returneres af eksperimentel opsætning. Det gør det muligt at studere det fine udvalg af dele af synsfelterne (FOVs, et synsfelt er det område af maleriet, der overvåges af en enkelt hypercube), og udfører analysen af dataene baseret på SAM-metoden (Spectral Angle Mapper)20,21 og på manipulationen af det oprindelige spektre. SAM returnerer falske gråtonebilleder kaldet lighedskort. Værdierne af disse korts pixels svarer til de spektralvinkler, der er vinklerne mellem det spektre, der er gemt i hypercubes, og de såkaldte slutmedlemmer (EMs, en gruppe referencespektre, der skal beskrive overfladens egenskaber, der overvåges af hypercubes)22. I tilfælde af RS anvendes på malerier, EMs er reflektion spektre af pigmenter, der skal matche paletten af Master. De vælges ud fra de tilgængelige oplysninger om kunstneren, maleriets realiseringsperiode og brugerens ekspertise. Derfor er SAM’s output et sæt kort, der beskriver de rumlige fordelinger af disse pigmenter over maleriets overflade, og som understøtter brugeren til at udlede de materialer, der anvendes af kunstneren og deres organisation i artefaktet. Algoritmen giver mulighed for at anvende alle slags referencer uafhængigt af deres oprindelse. Referencerne kan være specifikke spektre udvalgt i hypercubes, kommer fra databaser, erhverves af et andet instrument på en anden overflade (såsom prøver af pigmenter eller paletten af kunstneren, for eksempel), eller fås ved hjælp af nogen form for reflektion spektroskopi, FORS inkluderet.
SAM er blevet foretrukket blandt de tilgængelige klassificeringsmetoder, fordi det har vist sig at være effektivt til at karakterisere pigmenter (se bogen af Richard23 for at få et overblik over de vigtigste tilgængelige klassificeringsmetoder). I stedet bygger tanken om at udvikle en hjemmelavet protokol i stedet for at vedtage et af de mange værktøjer, der er frit tilgængelige på nettet24,25, af praktiske overvejelser. På trods af effektiviteten og det videnskabelige grundlag af de eksisterende GUI’er og software opfylder et enkelt værktøj næppe alle brugerens behov. Der kan være et I/O-problem (Input/Output), fordi et værktøj ikke administrerer den fil, der indeholder de rå data. Der kan være et problem med hensyn til analysen af dataene, fordi et andet værktøj ikke giver den ønskede tilgang. Der kan være en begrænsning i håndteringen af dataene, fordi den samtidige analyse af flere datasæt ikke understøttes. Under alle omstændigheder findes der ikke et perfekt værktøj. Hver metode skal justeres til dataene eller omvendt. Derfor er udviklingen af en hjemmelavet protokol blevet foretrukket.
Den præsenterede tilgang tilbyder hverken et komplet sæt analysemetoder (se til sammenligning det værktøj, der foreslås af Mobaraki og Amigo24) eller en brugervenlig brugergrænseflade (se til sammenligning den software, der anvendes af Zhu og kolleger25), men til gengæld fokuserer den på et stadig undervurderet aspekt af hyperspektral dataanalyse: muligheden for at manipulere det fundne spektre. Metodens kraft illustreres ved at anvende den på maleriet Quarto Stato af Giuseppe Pellizza da Volpedo (Figur 1), en ikonisk olie på lærred afholdt i Museo del Novecento i Milano, Italien. Bemærk, at da tilgangen kræver at køre hjemmelavede koder, valgte udvikleren vilkårligt navnene på koderne og både de input- og outputvariabler, der bruges i beskrivelsen af protokollen. Navnene på variablerne kan ændres af brugeren, men de skal leveres som følger: input og ud variabler skal skrives henholdsvis inden for parenteser og i sidste ende adskilt af komma og inden for kantede parenteser og i sidste ende adskilt af et hvidt rum. Tværtimod kan navnene på koderne ikke ændres.
Hyperspektrale reflektionsdatasæt er store reservoirer af information; derfor er udviklingen af robuste og muligvis automatiserede protokoller til analyse af dataene en vigtig drejning for at udnytte deres potentiale15,17. Den foreslåede algoritme opfylder dette behov inden for kulturarv med særlig vægt på karakteriseringen af maleriernes pigmenter. Baseret på SAM20,21 understøtter algoritmen bruge…
The authors have nothing to disclose.
Denne forskning blev finansieret af Regione Lombardia inden for rammerne af projektet MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici – Call Accordi per la Ricerca e l’Innovazione.
Forfatterne er taknemmelige for personalet på Museo del Novecento for støtten under in situ eksperimentelle sessioner og til Associazione Pellizza da Volpedo for adgang til Studio Museo.
ImageJ/Fiji | Specim (Oulo, Finlad) | N/A | Portable reflectance hyperspectral camera used to acquire the hypercubes |
MATLAB 2019b | StellarNet Inc (Tampa, Florida, USA) | N/A | Portable reflectance spectrometer used to acquire independent reflectance spectra |
Specim IQ Hyperspectral Camera | National Institutes of Health (Bethesda, Maryland, USA) | N/A | Open source Java image processing program |
StellarNet BLUE-wave Miniature Spectrometer | MathWorks (Natick, Massachusset, USA) | N/A | Program Language and numerical computing environment |