Summary
Hyperspektral reflectance Imaging hypercubes inkluderer bemerkelsesverdig informasjon i en stor mengde data. Derfor er forespørselen om automatiserte protokoller for å administrere og studere datasettene bredt berettiget. Kombinasjonen av Spectral Angle Mapper, datamanipulering og en brukerjusterbar analysemetode utgjør en nøkkelsving for å utforske de eksperimentelle resultatene.
Abstract
Reflectance Spectroscopy (RS) og Fiber Optics Reflectance Spectroscopy (FORS) er veletablerte teknikker for undersøkelse av kunstverk med særlig oppmerksomhet på malerier. De fleste moderne museer stiller til disposisjon for sine forskningsgrupper bærbart utstyr som sammen med den iboende ikke-invasiviteten til RS og FORS gjør det mulig å samle in situ-samlingen av refleksspektra fra overflaten av gjenstander. Sammenligningen, utført av eksperter på pigmenter og malematerialer, av eksperimentelle data med databaser av referansespektra driver karakteriseringen av palettene og teknikkene som brukes av kunstnerne. Denne tilnærmingen krever imidlertid spesifikke ferdigheter, og det er tidkrevende, spesielt hvis antallet spektra som skal undersøkes blir stort som det gjelder Hyperspectral Reflectance Imaging (HRI) datasett. HRI eksperimentelle oppsett er flerdimensjonale kameraer som forbinder spektralinformasjonen, gitt av refleksspektraet, med den romlige lokaliseringen av spektra over den malte overflaten. De resulterende datasettene er 3D-kuber (kalt hyperkuber eller datakuber) der de to første dimensjonene finner spekteret over maleriet, og det tredje er selve spekteret (dvs. refleksen av det punktet på den malte overflaten kontra bølgelengden i detektorens operative område). Detektorens evne til samtidig å samle inn et stort antall spektra (vanligvis mye mer enn 10 000 for hver hypercube) gjør HRI-datasettene til store reservoarer med informasjon og begrunner behovet for utvikling av robuste og muligens automatiserte protokoller for å analysere dataene. Etter beskrivelsen av prosedyren som er utformet for datainnsamlingen, presenterer vi en analysemetode som systematisk utnytter potensialet til hyperkubene. Basert på Spectral Angle Mapper (SAM) og på manipuleringen av det innsamlede spektraet, håndterer og analyserer algoritmen tusenvis av spektra, samtidig som den støtter brukeren til å avduke funksjonene i prøvene som undersøkes. Kraften i tilnærmingen er illustrert ved å bruke den på Quarto Stato, det ikoniske mesterverket av Giuseppe Pellizza da Volpedo, holdt i Museo del Novecento i Milano (Italia).
Introduction
Refleksspektroskopi (RS) og fiberoptikk refleksspektroskopi (FORS) er basert på påvisning av lyset som reflekteres av overflater som en gang var opplyst av en lyskilde, vanligvis en wolfram-halogenlampe. Produksjonen av oppkjøpssystemet består av spektra der refleksen overvåkes som en funksjon av bølgelengden i et område som avhenger av egenskapene til det anvendte eksperimentelle oppsettet1,2,3. Introdusert i løpet av de siste fire tiårene4,5, brukes RS og FORS vanligvis i kombinasjon med røntgenfluorescens og andre spektroskopier for å beskrive materialene og teknikkene som brukes av kunstnere for å realisere sine mesterverk6,7,8,9. Studien av refleksspektraet utføres vanligvis ved å sammenligne dataene fra utvalget med en gruppe referansespektra valgt av brukeren i personlige eller offentlige databaser. Når referansespektraet som overholder realiseringsperioden for prøven og med kunstnerens modus operandi er identifisert, gjenkjenner brukeren hovedtrekkene i refleksspektraet (dvs. overgangs-, absorpsjons- og refleksjonsbånd1,2,10,11) og deretter ved hjelp av andre teknikker6,7,8 de skiller pigmentene som har blitt brukt i maleriene. Til slutt diskuterer de de små forskjellene som det er mellom referansene og det eksperimentelle spektraet7,9.
I de fleste tilfeller består de eksperimentelle datasettene av noen få spektra, samlet inn fra områder valgt av kunsteksperter og antatt å være betydelige for karakteriseringen av maleriet6,12,13. Til tross for ferdighetene og opplevelsen til brukeren, kan noen få spektra ikke fullt ut utmatte egenskapene til hele den malte overflaten. Videre vil resultatet av analysen alltid være sterkt avhengig av utøverens kompetanse. I dette scenariet kan Hyperspectral Reflectance Imaging (HRI3,14,15) være en nyttig ressurs. I stedet for noen få isolerte spektra, returnerer de eksperimentelle oppsettene refleksegenskapene til utvidede deler eller til og med hele gjenstanden under undersøkelse16. De to viktigste fordelene med hensyn til oppkjøpet av det isolerte spektraet er tydelige. På den ene siden tillater tilgjengeligheten av den romlige fordelingen av refleksegenskapene identifisering av områder som skjuler interessante egenskaper, selv om de kanskje ikke virker særegne17. På den annen side garanterer hypercubes en rekke spektra som er høye nok til å muliggjøre den statistiske analysen av dataene. Disse fakta støtter forståelsen av fordelingen av pigmenter innenfor den malte overflaten18,19.
Med HRI kan sammenligningen av eksperimentelle data med referansene være vanskelig å håndtere15. En typisk detektor returnerer hyperkuber på minst 256 x 256 spektra. Dette vil kreve at brukeren evaluerer mer enn 65 000 refleksspektra mot hver referanse, en oppgave som er nesten umulig å utføre manuelt på en rimelig tid. Derfor er forespørselen om robuste og muligens automatiserte protokoller for å administrere og analysere HRI-datasett mer enn berettiget15,17. Den foreslåtte metoden svarer på dette behovet ved å håndtere hele analyseprosedyren med minimal involvering og maksimal fleksibilitet.
En algoritme som består av et sett med hjemmelagde koder (Tabell over materialer) leser, administrerer og organiserer filene som returneres av det eksperimentelle oppsettet. Det gjør at det fine utvalget av delene av synsfeltene (FOVer, ett synsfelt er området av maleriet som overvåkes av en enkelt hypercube) som skal studeres og utfører analysen av dataene basert på Spectral Angle Mapper (SAM) -metoden20,21 og på manipuleringen av det opprinnelige spektraet. SAM returnerer bilder med gråskala med usann farge som kalles likhetskart. Verdiene for pikslene til disse kartene tilsvarer spektralvinklene som er vinklene mellom spektraet som er lagret i hyperkuber og de såkalte End Members (EMs, en gruppe referansespektra som skal beskrive egenskapene til overflaten som overvåkes av hyperkuber)22. Når det gjelder RS brukt på malerier, er EMs refleksspektra av pigmenter som skal samsvare med mesterens palett. De velges basert på tilgjengelig informasjon om kunstneren, realiseringsperioden for maleriet og brukerens ekspertise. Derfor er utdataene fra SAM et sett med kart som beskriver de romlige distribusjonene av disse pigmentene over malingsoverflaten, og som støtter brukeren til å utlede materialene som brukes av kunstneren og deres organisasjon i gjenstanden. Algoritmen tilbyr muligheten til å bruke alle slags referanser uavhengig av opprinnelsen. Referansene kan være spesifikke spektra valgt i hypercubes, kommer fra databaser, anskaffes av et annet instrument på en annen overflate (for eksempel prøver av pigmenter eller paletten til kunstneren, for eksempel), eller oppnås ved hjelp av noen form for refleksspektroskopi, FORS inkludert.
SAM har vært foretrukket blant de tilgjengelige klassifikasjonsmetodene fordi det har vist seg å være effektivt for karakterisering av pigmenter (se Richard23s bok for å ha oversikt over de viktigste tilgjengelige klassifikasjonsmetodene). I stedet er ideen om å utvikle en hjemmelaget protokoll i stedet for å ta i bruk et av de mange verktøyene som er fritt tilgjengelig på net24,25, avhengig av en praktisk vurdering. Til tross for effektiviteten og det vitenskapelige grunnlaget for eksisterende GUIer og programvare, tilfredsstiller et enkelt verktøy knapt alle brukerens behov. Det kan være et I/U-problem (Input/Output) fordi et verktøy ikke behandler filen som inneholder rådataene. Det kan være et problem med analysen av dataene fordi et annet verktøy ikke gir ønsket tilnærming. Det kan være en begrensning i håndteringen av dataene fordi samtidig analyse av flere datasett ikke støttes. I alle fall eksisterer ikke et perfekt verktøy. Hver metode må justeres til dataene eller omvendt. Derfor har utviklingen av en hjemmelaget protokoll blitt foretrukket.
Den presenterte tilnærmingen gir verken et komplett sett med analytiske metoder (se til sammenligning verktøyet foreslått av Mobaraki og Amigo24) eller et brukervennlig brukergrensesnitt (se til sammenligning programvaren som brukes av Zhu og medarbeidere25), men i bytte fokuserer den på et fortsatt undervurdert aspekt av hyperspektral dataanalyse: muligheten til å manipulere det oppdagede spektraet. Tilnærmingens kraft illustreres ved å bruke den på maleriet Quarto Stato av Giuseppe Pellizza da Volpedo (figur 1), en ikonisk olje på lerret holdt i Museo del Novecento i Milano, Italia. Vær oppmerksom på at siden tilnærmingen krever å kjøre hjemmelagde koder, valgte utvikleren vilkårlig navnene på kodene og både inngangs- og utdatavariablene som brukes i beskrivelsen av protokollen. Navnene på variablene kan endres av brukeren, men de må angis som følger: inndata- og utvariablene må skrives henholdsvis innenfor parenteser og til slutt skilles med komma og innenfor hakeparenteser og til slutt skilles med et mellomrom. Tvert imot kan ikke navnene på kodene endres.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. Still inn den romlige oppløsningen til hyperkuber
- Utfør en foreløpig inspeksjon av den malte overflaten (figur 1) støttet av kunsteksperter for å identifisere hovedtrekkene i maleriet.
- Gjenkjenne billedteknikkene som brukes av kunstneren for å lage maleriet.
- Identifiser de forskjellige penselstrøkene for maling på lerretet.
- Beregn, kvalitativt, egenskapene til penselstrøkene med spesiell oppmerksomhet på størrelsen.
- Etterligne billedteknikken som brukes av kunstneren ved å lage ad hoc-testprøver der penselstrøkene viser egenskaper som ligner de som brukes av kunstneren.
MERK: Pellizza da Volpedo var en divisjonistisk maler. En gjenoppretter ble bedt om å forberede noen testprøver som kvalitativt reproduserer penselstrøkene på lerretet av interesse (figur 2, kolonne A). - Angi avstanden mellom overflaten som undersøkes og anskaffelsesutstyret.
MERK: Avstanden bestemmer den romlige oppløsningen til hypercubes26 og dermed muligheten til å skille penselstrøkene på bildene og SAM-kartene på den malte overflaten.- Evaluer avstanden mellom overflaten på prøven og anskaffelsesutstyret med tanke på egenskapene til hyperspektralkameraet26 (Materialbord) og størrelsen på penselstrøkene som er tegnet i testprøvene.
- Sett anskaffelsesstadiet og hyperspektralkameraet i det fjerne som ble evaluert i forrige trinn. Ordne testprøvene på scenen og sørg for jevn belysning av overflaten av prøvene.
- Utfør en hvit kalibrering ved hjelp av den hvite standardreferansen som følger med hyperspektralkameraet. Skaff deg hyperkuber.
MERK: For hver FOV returnerer hyperspektralkameraet både rå og kalibrerte bilder. Sistnevnte er brukt til analysen. - Last ned filene som returneres av instrumentet, og lagre dem i en dedikert mappe.
- Kontroller om den romlige oppløsningen til hyperkubene kan skille mellom de forskjellige penselstrøkene på bildene og SAM-kartene på den malte overflaten.
- Inspiser RGB-bildene som returneres av hyperspektralkameraet, for å sikre at penselstrøkene som brukes til å realisere testprøvene, kan gjenkjennes (figur 2, kolonne A). I så fall går du til de neste trinnene. Ellers går du tilbake til trinn 1.3.1 og starter på nytt.
- Før opp filene som inneholder hyperspektraldataene og RGB-bildene til FOVene ved å kjøre datalesekoden, HS_FileLister. Skriv inn følgende kommandolinje (semikolon inkludert) i terminalvinduet på språket som brukes til å utvikle kodene (Tabell over materialer), og trykk Enter for å kjøre koden:
[HS_DataList HS_ImageList] = HS_FileLister;- Ingen inndata er nødvendig, og det er to utganger: listen over filene som inneholder hyperkuber, HS_DataList og listen over bildene som returneres av hyperspektralkameraet, HS_ImageList.
MERK: Størrelsen på hver hyperkube er 512 x 512 x 204 voxels der 204 er antall kanaler som brukes til å overvåke reflekssignalet. Kanalene spenner over bølgelengdeområdet mellom 400 og 1000 nm med en spektraloppløsning på 7 nm ved FWHM26.
- Ingen inndata er nødvendig, og det er to utganger: listen over filene som inneholder hyperkuber, HS_DataList og listen over bildene som returneres av hyperspektralkameraet, HS_ImageList.
- Definer 3D-delen av hyperkuber som må analyseres ved å kjøre beskjæringskoden, HS_Crop_png. Definer ønsket del av hver datakube ved å velge et område over et interaktivt vindu som viser 2D RGB-bildet av FOV overvåket av hver hyperkube. Skriv inn følgende kommandolinje (semikolon inkludert) i terminalvinduet, og trykk Enter for å kjøre koden:
[HS_ImageList] = HS_Crop_png(HS_ImageList);- Det er en inngang (listen over bildene som returneres av hyperspektralkameraet, HS_ImageList) og en utgang (inndatalisten lagt til med de romlige koordinatene for til slutt å beskjære hyperkuber).
- Bruk D65-belysnings- og 1931-observatøren fra CIE-standarder (International Commission on Illumination) på hyperkuber for å hente RGB-bildene av FOV(ene) fra refleksspektraet ved å kjøre re-building-koden, HS_RGB_rebuild. Skriv inn følgende kommandolinje (semikolon inkludert) i terminalvinduet, og trykk Enter for å kjøre koden:
[HS_ImageList] = HS_RGB_rebuild(HS_ImageList, HS_DataList);- Det er to innganger (listen som inneholder bildene som returneres av hyperspektralkameraet, HS_ImageList og listen over filene som inneholder hyperkuber, HS_DataList) og en utgang (inndatalisten som inneholder bildene som returneres av hyperspektralkameraet som er lagt til med RGB-bildene av overflatene til hyperkuber hentet fra refleksspektraet).
MERK: HS_RGB_Rebuild utnytter funksjonene utviklet av Jeff Mather27 for å anvende D65-illuminanten og 1931-observatøren fra CIE på dataene.
- Det er to innganger (listen som inneholder bildene som returneres av hyperspektralkameraet, HS_ImageList og listen over filene som inneholder hyperkuber, HS_DataList) og en utgang (inndatalisten som inneholder bildene som returneres av hyperspektralkameraet som er lagt til med RGB-bildene av overflatene til hyperkuber hentet fra refleksspektraet).
- Velg et referansespektra manuelt på overflatene av testprøvene (Hvite sirkler og tall i figur 2, kolonne A) ved å kjøre den isolerte koden for valg av målepunkt, PointSel. Velg målepunktene ved å klikke på et interaktivt vindu som en etter en viser 2D-, RGB-bildene av FOV(er). Skriv inn følgende kommandolinje (semikolon inkludert) i terminalvinduet, og trykk Enter for å kjøre koden:
[Referanser] = PointSel(HS_DataList, HS_ImageList);- Det er to innganger (listen som inneholder bildene som returneres av hyperspektralkameraet, HS_ImageList og listen over filene som inneholder hyperkuber, HS_DataList) og en utgang (en variabel, Referanser, som inneholder spektraet valgt som referanser i FOV(er)).
- Hvis du vil, kan du lagre plasseringen av referansene over overflaten av eksemplene i et sett med bilder ved å kjøre den dedikerte koden SaveImPoint. Skriv inn følgende kommandolinje (semikolon inkludert) i terminalvinduet, og trykk Enter for å kjøre koden:
SaveImPoint(Referanser, HS_ImageList);- Det er to innganger (variabelen som inneholder referansespektraet, Referanser og listen som inneholder bildene som returneres av hyperspektralkameraet, HS_ImageList) og ingen utganger (koden lagrer .png bilder i gjeldende arbeidsmappe).
- Organiser referansene i en matrise ved å kjøre konverteringskoden RefListToMatrix. Skriv inn følgende kommandolinje (semikolon inkludert) i terminalvinduet, og trykk Enter for å kjøre koden:
[References_Matrix] = RefListToMatrix(Referanser, HS_ImageList(1). WaveL);- Det er to innganger (variabelen som inneholder referansespektraet, Referanser og listen over bølgelengder der detektoren teller fotonene under datainnsamlingen av spektra, HS_ImageList(1). WaveL) og en utgang (samme referansespektra organisert i en matrise, References_Matrix).
MERK: Dette trinnet er obligatorisk fordi koden som evaluerer SAM-kartene, krever at referansespektraet organiseres i en matrise. Syntaksen for andre inndata, HS_ImageList(1). WaveL, kreves for å tilbakekalle variabelen WaveL fra listen HS_ImageList. Tallet 1 i hakeparenteser refererer til det første elementet i listen med navnet HS_ImageList. Siden alle hyperkuber har samme bølgelengdeområde, kan det imidlertid erstattes av hvert tall som er mindre eller lik det totale antallet oppførte bilder.
- Det er to innganger (variabelen som inneholder referansespektraet, Referanser og listen over bølgelengder der detektoren teller fotonene under datainnsamlingen av spektra, HS_ImageList(1). WaveL) og en utgang (samme referansespektra organisert i en matrise, References_Matrix).
- Trekk ut SAM-kartene ved hjelp av hele spektraet ved å kjøre standard SAM kart evalueringskode, SAM_Standard. Skriv inn følgende kommandolinje (semikolon inkludert) i terminalvinduet, og trykk Enter for å kjøre koden:
SAM_Standard(HS_ImageList, HS_DataList, References_Matrix);- Det er tre innganger (listen som inneholder bildene som returneres av hyperspektralkameraet, HS_ImageList; listen over filene som inneholder hyperkuber, HS_DataList; og matrisen til referansespektraet, References_Matrix) og ingen utdata: koden lagrer SAM-kartene som .png bilder i gjeldende arbeidsmappe.
- Kontroller om de oppnådde likhetskartene (figur 2, kolonne B - E) viser detaljene for penselstrøkene som brukes til å realisere testprøvene. Hvis dette er tilfellet, går du til neste trinn i protokollen. Ellers går du tilbake til trinn 1.3.1 og starter på nytt.
2. Juster de eksperimentelle parametrene til maleriet
- Identifiser regionen(e) av interesse, avkastning(er) av maleriet som skal studeres (røde rektangler i figur 3A).
MERK: Det er vanlig at mer enn én FOV er nødvendig for å dekke en enkelt avkastning. - Ordne anskaffelsesoppsettet og malingen på den avstanden som er definert i de forrige trinnene, og utfør den hvite kalibreringen ved hjelp av den hvite standardreferansen som følger med hyperspektralkameraet.
MERK: Hvis brukerne må gjøre et in situ-oppkjøp (dvs . må de studere et maleri eksponert i et museum eller på en utstilling), kan de bare administrere kameraet. Dette er tilfellet med Quarto Stato, som er permanent eksponert i et dedikert rom på Museo del Novecento i Milano, Italia. - Hent hyperspektraldataene fra minst én FOV innenfor kanten av hver avkastning (ikke-skyggelagte områder i de røde rektanglene i figur 3A).
- Last ned filene som returneres av instrumentet, og lagre dem i en dedikert mappe.
- Kontroller om belysningen av overflaten på maleriet er jevnt angitt ved å se på RGB-bildene som returneres av hyperspektralkameraet. Hvis dette er tilfellet, går du til de neste trinnene, ellers går du tilbake til trinn 2.2 og starter på nytt.
MERK: Figur 4 illustrerer viktigheten av denne kontrollen (se diskusjonsdelen for detaljer). - Gjenta deltrinnene i trinn 1.4.
- Kontroller om dataene har en romlig oppløsning som er høy nok til å skille penselstrøkene ved å observere RGB-bildene av FOVene (figur 3B) og SAM-kartene (figur 3C) relatert til referansespektraet som er valgt i FOVene (grønne sirkler i figur 3B).
- Hvis belysningen og den romlige oppløsningen er riktig angitt, fullfører du innsamlingen av dataene som innhenter de andre FOVene som er nødvendige for å dekke avkastningen(e); Ellers går du tilbake til trinn 2.2 og starter på nytt.
MERK: Når en avkastning krever at mer enn én FOV dekkes, må du sørge for en viss grad av superposisjon mellom tilstøtende FOVer for enkelt å sy de resulterende kartene3,15. Omfanget av overlappingen avhenger av avstanden mellom hyperspektralkameraet og prøven, på oversettelsen og den horisontale synsvinkelen til detektoren28. Når det gjelder den eksperimentelle kampanjen som er utført på Quarto Stato, er overlappingen satt til å være minst 40% av FOVene.
3. Hypercubes og referansespektrahåndteringen
- Utfør I/U for rådataene: organiser, les og administrer hyperkuber.
- Kjør HS_FileLister-koden for å lagre listen over filene som inneholder hyperkuber, og den relaterte informasjonen i to variabler til disposisjon for algoritmen (se trinn 1.4.2 for de praktiske detaljene).
MERK: Hyperspektralkameraet returnerer HDR-filer (high dynamic range) som koden administrerer ved å utnytte en revidert versjon av skriptet utviklet av Jarek Tuszinsky29. - Kjør HS_Crop_png kode for å velge hvilken del av hver FOV som skal brukes i analysen av dataene (se trinn 1.4.3 for de praktiske detaljene).
- Kjør HS_RGB_Rebuild-koden for å hente RGB-bildene av FOVene fra refleksspektraet (se trinn 1.4.4 for å få de praktiske detaljene).
- Kjør HS_FileLister-koden for å lagre listen over filene som inneholder hyperkuber, og den relaterte informasjonen i to variabler til disposisjon for algoritmen (se trinn 1.4.2 for de praktiske detaljene).
- Organiser, les (om nødvendig), og administrer referansespektraet.
MERK: Referansespektraet vil spille rollen som sluttmedlemmene innenfor SAM-metoden20,21. Denne delen av algoritmen bestemmes ikke usykalt, men avhenger av valgmodusen og opprinnelsen til referansespektraet.- Kjør PointSel-koden og klikk i det interaktive vinduet som vises, for å identifisere referansespektraet som isolerte målepunkter over overflaten på de overvåkede området(e) (figur 5A) (se trinn 1.4.5 for de praktiske detaljene).
- Velg automatisk referansespektraet som et vanlig retikulum av målepunkter som er lagt over overflaten på de overvåkede området(e) ved å kjøre den retikulære utvalgskoden ReticularSel (figur 5B). Skriv inn følgende kommandolinje (semikolon inkludert) i terminalvinduet, og trykk Enter for å kjøre koden:
[Referanser] = ReticularSel(HS_DataList, HS_ImageList, n_pixel);- Det er tre innganger (listen som inneholder bildene som returneres av hyperspektralkameraet, HS_ImageList, listen over filene som inneholder hyperkuber, HS_DataList; og avstanden mellom retikulumet, n_pixel, uttrykt i antall piksler) og en utgang: en variabel som inneholder spektraet valgt som referanser i FOVene, Referanser.
- Kjør importkoden for eksterne referanser, Spectra_Importer, for å opprette en variabel som inneholder referanser fra datasett og databaser uavhengig av hyperkuber som er anskaffet på Quarto Stato. Skriv inn følgende kommandolinje (semikolon inkludert) i terminalvinduet, og trykk Enter for å kjøre koden:
[ExtReferences] = Spectra_Importer(file_extension);- Det er en inngang (utvidelsen av filen som inneholder det uavhengige referansespektraet, file_extension, skrevet mellom apices) og en utdata (en variabel som inneholder de eksterne referansene, ExtReferences).
MERK: Den eksterne referanseimporteringskoden er optimalisert for import av tmr-filer, men om nødvendig kan den enkelt endres for å håndtere alle slags tekstfiler.
- Det er en inngang (utvidelsen av filen som inneholder det uavhengige referansespektraet, file_extension, skrevet mellom apices) og en utdata (en variabel som inneholder de eksterne referansene, ExtReferences).
- Kjør RefListToMatrix-koden for å plassere referansene i en matrise, References_Matrix eller ExtReferences_Matrix, som kreves av koden som evaluerer SAM-kartene (se trinn 1.4.7 for å få de praktiske detaljene).
- Vent til RefListToMatrix-koden utjevner både bølgelengdeområdet og spektraloppløsningen (dvs. antall komponenter) til hyperkubene og referansene.
MERK: Koden identifiserer bølgelengdeområdene til både hyperkuber og referanser. Koden sammenligner bølgelengdeområdene og kutter av bølgelengdeintervallet(e) som ikke overvåkes av både hyperkuber og referanser. Koden identifiserer gruppen av hypervektorer (hyperkuber eller referanser) som utgjøres av det lavere antallet komponenter (dvs. preget av den nedre spektraloppløsningen) i det utjevnede bølgelengdeområdet. Koden reduserer antall komponenter i de lengre hypervektorene (referansene eller hyperkubene) til de kortere (hyperkubbene eller referansene). Dette gjøres ved å beholde, for hver bølgelengde av kortere hypervektorer, bare verdiene til de lengre hypervektorene som tilsvarer nærmeste bølgelengde til de kortere hypervektorene.- Koden utfører automatisk utjevningen. Hvis referansene er valgt i hyperkubene, trenger ikke bølgelengdeområdet og spektraloppløsningen å bli utjevnet, og de forblir uendret.
- Hvis ønskelig, oppbevar posisjonen til referansene over overflaten av prøvene i et sett med bilder ved å kjøre den dedikerte koden (se trinn 1.4.7 for de praktiske detaljene).
MERK: Dette alternativet er bare tilgjengelig hvis referansene er valgt i hyperkuber (trinn 3.2.1 og 3.2.2).
4. SAM-analyse
- Kjør SAM_Complete kode for å evaluere likhetstilordningene. Skriv inn følgende kommandolinje (semikolon inkludert) i terminalvinduet, og trykk Enter for å kjøre koden:
SAM_Complete(HS_ImageList, HS_DataList, References_Matrix);- Det er tre innganger (listen som inneholder bildene som returneres av hyperspektralkameraet, HS_ImageList; listen over filene som inneholder hyperkuber, HS_DataList; og referansematrisen, References_Matrix eller ExtReferences_Matrix) og ingen utganger (koden lagrer SAM-kartene som .png filer i gjeldende arbeidsmappe).
MERK: Bortsett fra de tre beskrevne inndatavariablene, må SAM_complete-koden mates med få ekstra parametere for å skreddersy analyseprotokollen i henhold til brukerens preferanser (se de neste trinnene).
- Det er tre innganger (listen som inneholder bildene som returneres av hyperspektralkameraet, HS_ImageList; listen over filene som inneholder hyperkuber, HS_DataList; og referansematrisen, References_Matrix eller ExtReferences_Matrix) og ingen utganger (koden lagrer SAM-kartene som .png filer i gjeldende arbeidsmappe).
- Når det er nødvendig, mater du koden med alternativet for forhåndsbehandling ved å skrive inn tallet 0 eller 1 i dialogboksen, avhengig av ønsket forbehandlingsoperasjon og trykker ENTER for å fortsette.
- Forhåndsbehandlingsalternativ satt til 0: Området som er undersatt av hvert refleksspekter, normaliseres til 1.
- Forhåndsbehandlingsalternativ satt til 1: Området som er undersatt av hvert refleksspekter, normaliseres til 1, og deretter avledes det normaliserte spekteret én gang.
MERK: Både hyperkuber og referanser gjennomgår det samme forhåndsbehandlingsalternativet.
- Velg sluttpunktene som skal brukes for SAM-analysen blant referansematrisen, ved å mate koden med numrene på kolonnene som tilsvarer ønsket spektra. Når det er nødvendig, skriver du inn sekvensen med tall som tilsvarer de ønskede kolonnene, i dialogboksen ved å skrive inn tallene atskilt med mellomrom. Trykk ENTER for å fortsette.
MERK: Sekvensen [1 2 3] tilsvarer valget av de tre første kolonnene i referansematrisen; En tom vektor tilsvarer valget av alle kolonnene i referansematrisen. - Mate koden med en streng som inneholder den første delen av navnet som identifiserer kartsettene som skal lagres (dvs. den vanlige delen av navnet på de .png filene som returneres av SAM_Complete). Sett om nødvendig inn strengen i dialogboksen . Trykk ENTER for å fortsette.
MERK: Hvis brukeren skriver test, starter navnet på alle utgangsbildene .png bildene med test. - Når det er nødvendig, mater du koden med metoden som er valgt for å håndtere dataene, ved å skrive inn tallet 0, 1 eller 2 i dialogboksen, avhengig av ønsket håndtaksmetode og trykker ENTER for å fortsette.
- Sett metoden til 0 for ingen manipulering av dataene.
- Sett metoden til 1 for å kreve manuell valg av bølgelengdeområdet(e) til spektraet som skal vurderes før analysen startes (figur 6).
- Sett metoden til 2 for å kreve at algoritmen bestiller dataene på grunnlag av et bestemt kriterium før evalueringen av SAM-kartene (figur 7).
- Vent til protokollen behandler dataene og lagrer SAM-tilordningene i gjeldende arbeidsmappe som .png filer.
MERK: Hvis håndtaksmetoden er satt til 0 eller 2, må brukeren bare vente. Hvis den er satt til 1, må brukeren velge delene av spektraet som skal brukes til å evaluere SAM-kartene ved å klikke på et interaktivt vindu (figur 6).
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Den foreslåtte protokollen tilbyr et sett med interessante funksjoner for ledelsen og analysen av HRI-data. I/U (trinn 3.1) i rådataene er alltid det første problemet som må løses før du bruker en analysemetode, og det kan bli et kritisk problem når du arbeider med store mengder data. I dette tilfellet er den eneste oppgaven med rådata å lagre de eksperimentelle resultatene i en dedikert mappe og velge den ved å bla gjennom harddisken når du kjører lesekoden (trinn 3.1.1). Deretter tillater beskjærings- og RGB-gjenoppbyggingskodene at presiseringen av utvalget av dataene analyseres (trinn 3.1.2) og kontrollerer at de eksperimentelle forholdene er riktig angitt i øyeblikket for oppkjøpet av hyperkuber (trinn 3.1.3, se figur 4 og diskusjonsdelen for ytterligere detaljer).
Når det er bekreftet at datakuben er riktig anskaffet, tilbyr algoritmen forskjellige muligheter til å velge sluttmedlemmene for SAM-analysen20,21 (trinn 3.2). De to første alternativene (trinn 3.2.1 og 3.2.2) henter referansene blant hyperkuber ved å manuelt velge noen isolerte målepunkter (figur 5A) eller ved automatisk å ta prøver av overflaten av maleriet, noe som gir et retikulært utvalg av målepunkter i en eller flere FOVer (figur 5B). Analysen basert på isolerte målepunkter er raskere enn den retikulære baserte, men det innebærer en forsiktig og muligens informert observasjon av FOV(er) for å identifisere det betydelige spektraet; Dette betyr god erfaring med å håndtere pigmenter og malte overflater. Det retikulære valget gjør algoritmen tidkrevende og tvinger brukeren til å observere mange utdatabilder for å hente en håndfull nyttige likhetskart. Det retikulære utvalget gir imidlertid en komplett screening av hyperkuber, og for det meste kan det utføres uten erfaring fra den eksperimentelle konteksten. I prinsippet, når prøvetakingsavstanden, n_pixel, er bestemt, kan brukeren forsømme observasjonen av FOV(er) med svært lav sannsynlighet for å miste detaljer.
I tillegg til valg av referansespektra i hyperkuber, gir algoritmen muligheten til å sammenligne dataene fra utvalget som undersøkes med referanser som tilhører andre kilder (trinn 3.2.4). Den eksterne referansespektraimportørkoden administrerer I/U for referanser som ikke tilhører overflaten av maleriet. Matrisekonverteringskoden utjevner bølgelengdeområdene og spektraloppløsningen til både hyperkuber og eksterne referanser (trinn 3.2.4). Denne muligheten utvider brukerens evner angående karakteriseringen av eksemplet. Faktisk kan brukeren utnytte alle slags tilgjengelige ressurser når det gjelder refleksdata. Hypercubes kan sammenlignes med offentlige databaser, med spektralarkivene til brukeren, med nye data samlet inn på ad hoc-forberedte prøver eller til og med på andre objekter (malerier, paletter, fargetoner eller hva som helst) som tilhører forfatteren eller til andre kunstnere. Videre kan de eksterne referansene oppnås ved å utnytte alle slags refleksteknikker så mye at referansene vist i figur 6 og figur 7 er anskaffet av et bærbart FORS miniatyrspektrometer (Materialfortegnelse) og ikke av kameraet som brukes til HRI-dataene.
Utover databehandlingen tilbyr algoritmen også en original tilnærming til dataanalysen. Det tillater manipulering av spektra før evaluering av SAM-kartene (trinn 4.1-4.5). Denne muligheten finner sin begrunnelse i valget av SAM-metoden for å undersøke fordelingene av pigmentene. Faktisk anser SAM refleksspektraet som de ville være vektorer i et flerdimensjonalt rom (dvs. hypervektorer med en rekke komponenter som er lik oppkjøpskanalene). Derfor, hvis hovedmålet med analysen er å sammenligne forskjellige, men lignende referanser for å skille hvilken som passer best til pigmentene som brukes av kunstneren, bør de nesten identiske komponentene i referansespektraet (dvs. bølgelengdene som tilsvarer nesten identiske verdier i hypervektorene) ikke være spesielt nyttige, og algoritmen gjør det mulig å utelukke disse komponentene fra analysen.
Protokollen støtter to alternativer for manipulering av dataene (trinn 4.5): Brukeren kan definere bølgelengdedelen(e) av refleksdataene som skal analyseres manuelt (figur 6) eller automatisk (figur 7). Det manuelle utvalget er enkelt. Det forhåndsbehandlede referansespektraet eller deres første derivater, avhengig av det valgte forhåndsbehandlingsalternativet (trinn 4.2), vises i et interaktivt vindu, figur 6A, og brukeren velger ett eller flere bølgelengdeintervall(er), figur 6B, ved å klikke på grafoverflaten. Det automatiske valget er basert på det matematiske kriteriet for maksimal varians som brukes på det forhåndsbehandlede referansespektraet eller deres første derivater, avhengig av det valgte forhåndsbehandlingsalternativet (trinn 4.2). Algoritmen beregner variansen (normalisert og vises som en stiplet linje i figur 7A) innenfor de valgte referansene og ordner alle spektraene (både referansene og hyperkubbene) tilsvarende dette kriteriet (den stiplede linjen i figur 7B representerer normalisert og sortert varians). Med andre ord, hvis maksimal varians tilsvarer nth bølgelengden, vil innholdet i den nth komponenten i hvert forhåndsbehandlet spektrum (referanser og hypercubes) bli flyttet til den første posisjonen til en omorganisert hypervektor og så videre (de fargede delene av bakgrunnen i figur 7A og figur 7B forklarer grafisk omorganisering av dataene). Praktisk talt er komponentene i det forhåndsbehandlede spektraet bestilt på samme måte som hovedkomponentanalyse30.
Når spektraet er manipulert, evaluerer algoritmen SAM-kartene. Etter den manuelle manipulasjonen (figur 6) returnerer protokollen tre sett med kart: to som tilsvarer gruppene av valgte og avviste bølgelengder og en oppnådd ved å bruke hele spektraet. Ellers, etter den automatiske manipuleringen (figur 7), bruker algoritmen en flytende terskelverdi på variansverdiene og evaluerer SAM-kartene ved å øke terskelen for både de omorganiserte hypervektorkomponentene som tilsvarer overterskelverdien (dvs. automatisk valgt) og til underterskelverdiene (dvs. automatisk avvist) av variansen. Disse kartsettene, sammen med det som er hentet fra hele spektraet (alltid returnert av algoritmen), resulterer i totalt (2N + 1) sett med kart der N er antall verdier som antas av terskelen. Settene med likhetskart oppnådd ved å øke terskelen (figur 8) illustrerer at datamanipulering ikke endrer innholdet, men gir heller ny innsikt i detaljene i de kartlagte området(e) og dermed kan bidra til å skille likheter og forskjeller mellom prøvene og referansene.
Figur 1: Quarto Stato. Et bilde av maleriet, 1899-1901, 293 x 545 cm, olje på lerret, Giuseppe Pellizza da Volpedo, Museo del Novecento, Milano, Italia. Klikk her for å se en større versjon av denne figuren.
Figur 2: Definisjon av de eksperimentelle forholdene. (A) Ad hoc-forberedte testprøver; De hvite sirklene og tallene identifiserer målepunktene som tilsvarer spektraet som er valgt som referanser. (B) SAM-kartene evaluert med hensyn til referansespektrum nummer 1, (C) nummer 2, (D) nummer 3 og (E) nummer 4. Den grå fargelinjen angir verdiområdet for spektralvinklene. Klikk her for å se en større versjon av denne figuren.
Figur 3: Anvendelsen av de definerte eksperimentelle forholdene til Quarto Stato. (A) ROIene som er valgt for den eksperimentelle kampanjen (Røde rektangler); i hvert rektangel er en FOV av de som er nødvendige for å dekke avkastningen uthevet (Ikke-skyggelagte områder). (B) RGB-bildene av de fire ikke-skyggelagte områdene i panel A. (C) SAM-kartene evaluert med hensyn til et referansespekter valgt i hver FOV (Grønne sirkler). Den grå fargelinjen angir verdiområdet for spektralvinklene. Klikk her for å se en større versjon av denne figuren.
Figur 4: Riktig kontra feil belysning av overflaten på prøven. (A) En del av FOV der en liten brøkdel av den malte overflaten (Rød sirkel) påvirkes av endrede refleksegenskaper på grunn av feil belysning. (B) Den samme lille brøkdelen av maleriet (Blå sirkel) som det resulterer når FOV er riktig opplyst. (C) Refleksspektraen til målepunktet i midten av sirklene når FOV er feil og riktig opplyst (henholdsvis rød og blå linje ). (D) SAM-kartet til FOV oppnådd ved hjelp av spekteret av feil opplyst målepunkt som referanse. (E) SAM-kartet til FOV oppnådd ved hjelp av spekteret av riktig opplyst målepunkt som referanse. Den grå fargelinjen refererer til (D) og (E) og angir verdiområdet for spektralvinklene som oppnås ved å sammenligne de første derivatene av spektraet til hyperkuben til den valgte FOV og det første derivatet av spekteret av målepunktet i midten av de fargede sirklene i (A) og (B). Klikk her for å se en større versjon av denne figuren.
Figur 5: Refererer til valg i hyperkuber. (A) Valgmodus for isolerte målepunkter; De grønne sirklene angir plasseringen av referansespektraet som er manuelt valgt på FOV-en som vises. (B) Modusen for valg av retikulært valg; De grønne sirklene angir plasseringen av referansespektraet som er valgt ved å bruke et retikulum med prøveintervallet (n_pixel) satt til fem piksler på FOV-en som vises. Bildet rapportert i både (A) og (B) er gråtonekonverteringen av RGB-bildet av FOV hentet fra refleksspektraet som bruker D65-illuminanten og 1931-observatøren fra CIE-standarder til hypercube; Den grå fargelinjen refererer til normalisert intensitet for dette bildet. Klikk her for å se en større versjon av denne figuren.
Figur 6: Manuell datamanipuleringsmodus. (A) A) Aspektet av det interaktive vinduet som lar brukeren dele referansespektraet inn i de valgte og avviste brøkdelene av bølgelengder. (B) De samme referansene til (A) der de delene av dataene som er valgt for evaluering av SAM-kartene, er uthevet med rosa bakgrunn. (A) og (B) viser det forhåndsbehandlede spektraet til referansene. Klikk her for å se en større versjon av denne figuren.
Figur 7: Den automatiske datamanipuleringsmodusen. (A) De første derivatene av de fire normaliserte referansene som er rapportert i figur 6 (fargede linjer) og deres normaliserte maksimale varians (Black Dashed Line). (B) De samme derivater av (A) sortert etter kriteriet for maksimal varians; De sorterte verdiene for det normaliserte maksimumsvarianset er også rapportert (Svart stiplet linje). Noen deler av bakgrunnen har blitt farget med forskjellige fargetoner i forsøket på å visuelt illustrere omleggingen av hypervektorene. Klikk her for å se en større versjon av denne figuren.
Figur 8: SAM-kartene som oppnås ved automatisk datamanipuleringsmodus. (A-C) De sorterte verdiene for den normaliserte maksimale variansen evaluert innenfor de første derivater av referansespektraet i figur 7; De grønne og røde delene av kurven angir henholdsvis de merkede (over terskelverdiene) og avviste brøkdelen av dataene (under terskelverdier). Panelene viser hva som skjer ved økningen av terskelen (Black Dotted Segment); hvert panel rapporterer SAM-kartene for begge gruppene av verdier oppnådd for de fire derivater av spektra av figur 7; De grønne kantede kartene refererer til terskelfraksjonene over, mens de rødkantede kartene refererer til underterskelen. De grå fargefeltene angir verdiområdet for spektralvinklene. I dette eksemplet er trinnet som bestemmer økningen av terskelen, lik 0,5 % av normalisert maksimumsvariasjon. Terskelverdiene som rapporteres i (C) er 0,09, og det er den siste vurderte terskelverdien fordi en ytterligere økning vil redusere antall valgte komponenter i hypervektorene under den vilkårlig faste nedre grensen på 20 verdier, det vil si 10 % av det totale antallet av anskaffelseskanalene til hyperspektralkameraet. Klikk her for å se en større versjon av denne figuren.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Hyperspektral refleksavbildningsdatasett er store reservoarer av informasjon; Derfor er utviklingen av robuste og muligens automatiserte protokoller for å analysere dataene en viktig dreining for å utnytte potensialet deres15,17. Den foreslåtte algoritmen svarer på dette behovet innen kulturarv med særlig vekt på karakterisering av pigmentene i malerier. Basert på SAM20,21 støtter algoritmen brukeren under hele analyseprosessen fra innstillingen av eksperimentelle forhold til evaluering av fordelingen av pigmenter. Selv om algoritmen fortsatt ikke har et komplett grafisk grensesnitt, og at den ikke gir et verktøy for å se resultatene (for dette formål har en åpen kildekode-programvare blitt brukt31, og det anbefales, se Materialtabell), settet med muligheter implementert for å modulere tilnærmingen til dataanalysen balanserer disse ulempene grundig.
Protokollen setter oppkjøpssystemet i henhold til egenskapene til både prøven og detektoren. På den ene siden krever divisjonsteknikken som brukes av Pellizza Da Volpedo for å lage Quarto Stato at hyperkuber skiller mellom små penselstrøk av forskjellige pigmenter plassert side om side. På den annen side har hyperspektralkameraet et fokusområde mellom 150 mm og uendelig med et manuelt justeringssystem som ved 1 m avstand til målet oppdager et område på 0,55 x 0,55 m med en romlig oppløsning på 1,07 mm26. Anvendelsen av algoritmen til få hyperkuber ervervet på testprøvene (figur 2) bidrar til å etablere en passende arbeidsavstand for datainnsamlingen. Observasjonen av målingene gjør det mulig å sette arbeidsavstanden for eksperimentell kampanje til 30 cm, tilsvarende en oppløsning på 0, 31 mm på målet. Denne arbeidsavstanden ble også vellykket vedtatt under eksperimentelle økter utført på Quarto Stato (figur 3). Når arbeidsavstanden er definert, er belysningen av overflaten av prøven fortsatt et kritisk problem3,15. Når en del av en FOV viser ujevn (rød sirkel i figur 4A) i stedet for ensartet belysning (blå sirkel i figur 4B), endres refleksegenskapene dramatisk (figur 4C) og hele prosedyren er kompromittert (figur 4D vs. figur4E). Protokollen forhindrer ujevn belysning (og mer generelt mot gjenstander i de overvåkede områdene) under innsamling av dataene (ved å returnere RGB, trinn 1.4.1, og SAM-kart, trinn 1.4.9, som kan kontrolleres av brukeren) og en posteriori ved å ekskludere de kompromitterte delene av FOVene fra analysen ved hjelp av beskjæringskoden (trinn 1.4.2 og 3.1.2).
Protokollen gjør det mulig for brukeren å velge referansene (dvs. sluttmedlemmene som brukes til evalueringen av SAM-kartene) med maksimal frihet. På den ene siden kan EMs velges innenfor kantene på hyperkuber på to måter: valg av isolerte målepunkter (figur 5A i trinn 1.4.5 og 3.1.2) eller valg av retikulære målepunkter (figur 5B i trinn 3.1.3). Den første kan defineres som informert utvelgelse fordi det krever noe kompetanse hos brukeren for å manuelt identifisere de betydelige målepunktene. Sistnevnte kan defineres som blindvalg fordi retikulær prøvetaking av FOVene bare krever verdien av prøveintervallet som skal utføres. På den annen side kan EMs hentes fra utsiden av maleriet som undersøkes (trinn 3.1.4). Under den eksperimentelle kampanjen som ble utført på Quarto Stato, ble et bærbart miniatyr FORS-spektrometer (Materialfortegnelse) brukt til å samle spektra fra utkast til prøver som tilhører kunstneren og for tiden holdt i Studio Museum i Volpedo (Pellizza da Volpedo Studio Museo, Volpedo (AL), Italia). Disse refleksdataene er brukt til evaluering av SAM-kartene, og noen av dem er rapportert i figur 6 og figur 7. Siden det begrenser viktigheten av den absolutte intensiteten og grunnlinjen til spektraet, er forhåndsbehandlingen obligatorisk for både hyperkuber og EMs, spesielt hvis de er hentet fra litt forskjellige oppsett eller operative forhold32.
Den siste hovedfunksjonen i protokollen er sjansen til å manipulere eksperimentelle data. For manipulering er det ment at identifiseringen av de viktigste komponentene i EMs (dvs. av de delene av spektra av sluttmedlemmene skal bidra til å karakterisere materialet som brukes av kunstneren). Denne oppgaven kan utføres manuelt (figur 6) eller automatisk (figur 7). I det første tilfellet utnytter algoritmen utøverens kompetanse, mens det i andre tilfelle er et statistisk kriterium som bestemmer komponentene som tid etter tid vil bli brukt til å evaluere SAM-kartene. I begge tilfeller øker manipulasjonen antallet av de resulterende likhetskartene og utvider følgelig evnen til å avsløre informasjonen som bæres av hyperkubene. Spesielt genererer det kriteriumsbaserte utvalget et stort antall innsikter i den malte overflaten (figur 8).
Tatt individuelt, kan de nummererte funksjonene vises som bare tekniske fordeler, men sammen innebærer de minst to hovednøkkelpunkter. Algoritmen kan brukes av alle typer brukere, og den kan utvide analysescenarioet betydelig. Faktisk kan hovedtrinnene i protokollen (dvs. valg av referanser og manipulering av dataene) utføres automatisk, og ignorerer ferdighetene og opplevelsen til brukeren. Med mulighet for å drive analysen med spektra fra utsiden av hypercubes, kan alle refleksdata i avhending av forskerne utnyttes til karakterisering av prøven som undersøkes.
Oppsummert kan protokollen være et ekstremt fleksibelt verktøy. Med noen forbedringer angående det grafiske grensesnittet og antall støttede analysemetoder, kan det være et skritt utover toppmoderne når det gjelder håndtering og analyse av data hentet fra malte overflater ved hjelp av hyperspektral refleksavbildning.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Forfatterne har ingenting å avsløre.
Acknowledgments
Denne forskningen ble finansiert av Regione Lombardia innenfor rammen av Prosjektet MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici - Call Accordi per la Ricerca e l'Innovazione.
Forfatterne er takknemlige til personalet på Museo del Novecento for støtten under in situ eksperimentelle økter og til Associazione Pellizza da Volpedo for tilgang til Studio Museo.
Materials
| Name | Company | Catalog Number | Comments |
| ImageJ/Fiji | Specim (Oulo, Finlad) | N/A | Portable reflectance hyperspectral camera used to acquire the hypercubes |
| MATLAB 2019b | StellarNet Inc (Tampa, Florida, USA) | N/A | Portable reflectance spectrometer used to acquire independent reflectance spectra |
| Specim IQ Hyperspectral Camera | National Institutes of Health (Bethesda, Maryland, USA) | N/A | Open source Java image processing program |
| StellarNet BLUE-wave Miniature Spectrometer | MathWorks (Natick, Massachusset, USA) | N/A | Program Language and numerical computing environment |
References
- Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , Springer. 259-265 (2002).
- Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
- Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
- Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
- Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
- Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
- Pouyet, E. K., et al. New insights into Pablo Picasso's La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
- Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
- Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
- Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
- Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
- Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
- Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
- Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
- Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
- Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
- Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
- Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
- Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
- Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
- Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
- Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
- Richards, J. A. Remote sensing digital image analysis. 3, Springer. (1999).
- Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
- Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
- Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
- Mather, J. Spectral and XYZ Color Functions. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021).
- Chen, C. -Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
- Tuszynski, J. read_envihdr. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021).
- Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
- Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
- Rinnan, Å, Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).
