Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Chemistry
Click here for the English version

Chemistry

Applicare l'imaging della riflettanza iperspettrale per indagare le tavolozze e le tecniche dei pittori

Published: June 18, 2021 doi: 10.3791/62202
Automatic Translation
1, 1, 1,2, 2, 2,3, 1
1Dipartimento di Scienza dei Materiali, Università degli Studi di Milano-Bicocca, 2CNR-IBFM, 3Dipartimento di Fisica, Università degli Studi di Milano-Bicocca

Summary

Gli ipercubi di Imaging a riflettanza iperspettrale includono informazioni notevoli in una grande quantità di dati. Pertanto, la richiesta di protocolli automatizzati per gestire e studiare i set di dati è ampiamente giustificata. La combinazione di Spectral Angle Mapper, manipolazione dei dati e un metodo di analisi regolabile dall'utente costituisce una svolta fondamentale per esplorare i risultati sperimentali.

Abstract

La spettroscopia di riflettanza (RS) e la spettroscopia di riflettanza in fibra ottica (FORS) sono tecniche consolidate per l'indagine di opere d'arte con particolare attenzione ai dipinti. La maggior parte dei musei moderni mette a disposizione dei propri gruppi di ricerca apparecchiature portatili che, insieme all'intrinseca non invasività di RS e FORS, rende possibile la raccolta in situ di spettri di riflettanza dalla superficie dei manufatti. Il confronto, effettuato da esperti in pigmenti e materiali pittorici, dei dati sperimentali con banche dati di spettri di riferimento guida la caratterizzazione delle palette e delle tecniche utilizzate dagli artisti. Tuttavia, questo approccio richiede competenze specifiche e richiede molto tempo soprattutto se il numero degli spettri da indagare diventa grande come nel caso dei set di dati HRI (Hyperspectral Reflectance Imaging). Le configurazioni sperimentali HRI sono telecamere multidimensionali che associano le informazioni spettrali, date dagli spettri di riflettanza, con la localizzazione spaziale degli spettri sulla superficie verniciata. I set di dati risultanti sono cubi 3D (chiamati ipercubi o cubi di dati) in cui le prime due dimensioni localizzano lo spettro sopra il dipinto e la terza è lo spettro stesso (cioè la riflettanza di quel punto della superficie dipinta rispetto alla lunghezza d'onda nel campo operativo del rivelatore). La capacità del rivelatore di raccogliere contemporaneamente un gran numero di spettri (in genere molto più di 10.000 per ogni ipercubo) rende i set di dati HRI grandi serbatoi di informazioni e giustifica la necessità dello sviluppo di protocolli robusti e, possibilmente, automatizzati per analizzare i dati. Dopo la descrizione della procedura progettata per l'acquisizione dei dati, presentiamo un metodo di analisi che sfrutta sistematicamente le potenzialità degli ipercubi. Basato su Spectral Angle Mapper (SAM) e sulla manipolazione degli spettri raccolti, l'algoritmo gestisce e analizza migliaia di spettri mentre allo stesso tempo supporta l'utente a svelare le caratteristiche dei campioni in esame. La potenza dell'approccio è illustrata applicandolo a Quarto Stato, l'iconico capolavoro di Giuseppe Pellizza da Volpedo, conservato nel Museo del Novecento di Milano( Italia).

Introduction

La spettroscopia di riflettanza (RS) e la spettroscopia di riflettanza a fibre ottiche (FORS) si basano sul rilevamento della luce riflessa da superfici una volta illuminate da una sorgente luminosa, in genere una lampada alogena al tungsteno. L'output del sistema di acquisizione è costituito da spettri in cui la riflettanza è monitorata in funzione della lunghezza d'onda in un intervallo che dipende dalle caratteristiche del setup sperimentale impiegato1,2,3. Introdotti negli ultimi quattro decenni4,5, RS e FORS sono tipicamente utilizzati in combinazione con la fluorescenza a raggi X e altre spettroscopie per descrivere i materiali e le tecniche utilizzate dagli artisti per realizzare i loro capolavori6,7,8,9. Lo studio degli spettri di riflettanza viene solitamente eseguito confrontando i dati del campione con un gruppo di spettri di riferimento selezionati dall'utente in database personali o pubblici. Una volta individuati gli spettri di riferimento conformi al periodo di realizzazione del campione e al modus operandi dell'artista, l'utente riconosce le caratteristiche principali degli spettri di riflettanza (ovvero bande di transizione, assorbimento e riflessione1,2,10,11) e quindi, con l'ausilio di altre tecniche6,7,8 distinguono i pigmenti che sono stati utilizzati nei dipinti. Infine discutono le lievi differenze che esistono tra i riferimenti e gli spettri sperimentali7,9.

Nella maggior parte dei casi, i dataset sperimentali sono composti da pochi spettri, raccolti da aree scelte da esperti d'arte e ritenuti significativi per la caratterizzazione del dipinto6,12,13. Nonostante le competenze e l'esperienza dell'utente, alcuni spettri non possono esaurire completamente le caratteristiche dell'intera superficie verniciata. Inoltre, il risultato dell'analisi sarà sempre fortemente dipendente dall'esperienza dell'esecutore. In questo scenario, Hyperspectral Reflectance Imaging (HRI3,14,15) potrebbe essere una risorsa utile. Invece di pochi spettri isolati, le configurazioni sperimentali restituiscono le proprietà di riflettanza di porzioni estese o anche dell'intero manufatto oggetto di indagine16. I due principali vantaggi rispetto all'acquisizione degli spettri isolati sono evidenti. Da un lato, la disponibilità della distribuzione spaziale delle proprietà di riflettanza consente l'identificazione di aree che nascondono caratteristiche interessanti, anche se potrebbero non sembrare peculiari17. D'altra parte, gli ipercubi garantiscono un numero di spettri abbastanza alto da consentire l'analisi statistica dei dati. Questi fatti supportano la comprensione della distribuzione dei pigmenti all'interno della superficie verniciata18,19.

Con HRI, il confronto dei dati sperimentali con i riferimenti potrebbe essere difficile da gestire15. Un rivelatore tipico restituisce ipercubi di almeno 256 x 256 spettri. Ciò richiederebbe all'utente di valutare più di 65.000 spettri di riflettanza rispetto a ciascun riferimento, un compito quasi impossibile da eseguire manualmente in un tempo ragionevole. Pertanto, la richiesta di protocolli robusti e, possibilmente, automatizzati per gestire e analizzare i set di dati HRI è più che giustificata15,17. Il metodo proposto risponde a questa esigenza gestendo l'intera procedura analitica con il minimo coinvolgimento e la massima flessibilità.

Un algoritmo che comprende un insieme di codici fatti in casa (Table of Materials) legge, gestisce e organizza i file restituiti dalla configurazione sperimentale. Permette di studiare la selezione fine delle porzioni dei Campi visivi (FOV, un campo visivo è l'area del dipinto monitorata da un singolo ipercubo) ed esegue l'analisi dei dati basata sul metodo Spectral Angle Mapper (SAM)20,21 e sulla manipolazione degli spettri originali. SAM restituisce immagini in scala di grigi a falsi colori chiamate mappe di somiglianza. I valori dei pixel di queste mappe corrispondono agli angoli spettrali che sono gli angoli tra gli spettri memorizzati negli ipercubi e i cosiddetti End Member (EM, un gruppo di spettri di riferimento che dovrebbe descrivere le caratteristiche della superficie monitorata dagli ipercubi)22. Nel caso di RS applicato ai dipinti, gli EM sono gli spettri di riflettanza dei pigmenti che dovrebbero corrispondere alla tavolozza del Master. Sono scelti in base alle informazioni disponibili sull'artista, al periodo di realizzazione del dipinto e alla competenza dell'utente. Pertanto, l'output del SAM è un insieme di mappe che descrive le distribuzioni spaziali di questi pigmenti sulla superficie pittorica e che supporta l'utente a dedurre i materiali utilizzati dall'artista e la loro organizzazione nel manufatto. L'algoritmo offre la possibilità di impiegare tutti i tipi di riferimenti indipendentemente dalla loro origine. I riferimenti possono essere spettri specifici selezionati all'interno degli ipercubi, provenire da database, essere acquisiti da uno strumento diverso su una superficie diversa (come campioni di pigmenti o la tavolozza dell'artista, per esempio), o essere ottenuti utilizzando qualsiasi tipo di spettroscopia di riflettanza, FORS incluso.

Il SAM è stato preferito tra i metodi di classificazione disponibili perché si è dimostrato efficace per caratterizzare i pigmenti (si rimanda al libro di Richard23 per avere una panoramica dei principali metodi di classificazione disponibili). Invece, l'idea di sviluppare un protocollo fatto in casa piuttosto che adottare uno dei tanti strumenti liberamente disponibili in rete24,25 si basa su una considerazione pratica. Nonostante l'efficacia e le basi scientifiche delle GUI e del software esistenti, un singolo strumento difficilmente soddisfa tutte le esigenze dell'utente. Potrebbe esserci un problema di input/output (I/O) perché uno strumento non gestisce il file contenente i dati grezzi. Potrebbe esserci un problema per quanto riguarda l'analisi dei dati perché un altro strumento non fornisce l'approccio desiderato. Potrebbe esserci una limitazione nella gestione dei dati perché l'analisi simultanea di più set di dati non è supportata. In ogni caso, uno strumento perfetto non esiste. Ogni metodo deve essere adattato ai dati o viceversa. Pertanto, è stato preferito lo sviluppo di un protocollo fatto in casa.

L'approccio presentato non offre né un set completo di metodi analitici (vedi, per confronto, lo strumento proposto da Mobaraki e Amigo24) né un'interfaccia utente facile da gestire (vedi, per confronto, il software impiegato da Zhu e colleghi25), ma, in cambio, si concentra su un aspetto ancora sottovalutato dell'analisi dei dati iperspettrali: l'opportunità di manipolare gli spettri rilevati. La potenza dell'approccio è illustrata applicandola al dipinto Quarto Stato di Giuseppe Pellizza da Volpedo (Figura 1), un iconico olio su tela conservato nel Museo del Novecento di Milano, Italia. Si noti che, poiché l'approccio richiede l'esecuzione di codici fatti in casa, lo sviluppatore ha scelto arbitrariamente i nomi dei codici e le variabili di input e output utilizzate nella descrizione del protocollo. I nomi delle variabili possono essere modificati dall'utente ma devono essere forniti come segue: le variabili di input e out devono essere scritte rispettivamente tra parentesi ed eventualmente separate da virgola e tra parentesi quadre ed eventualmente separate da uno spazio bianco. Al contrario, i nomi dei codici non possono essere modificati.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

1. Imposta la risoluzione spaziale degli ipercubi

  1. Eseguire un'ispezione preliminare della superficie verniciata (Figura 1) supportata da esperti d'arte per identificare le caratteristiche principali del dipinto.
    1. Riconoscere le tecniche pittoriche impiegate dall'artista per creare il dipinto.
    2. Identifica le diverse pennellate di vernice sulla tela.
    3. Stimare, qualitativamente, le caratteristiche delle pennellate con particolare attenzione alla loro dimensione.
  2. Imita la tecnica pittorica utilizzata dall'artista creando campioni di prova ad hoc in cui le pennellate mostrano caratteristiche simili a quelle applicate dall'artista.
    NOTA: Pellizza da Volpedo era un pittore divisionista. Ad un restauratore è stato chiesto di preparare alcuni campioni di prova che riproducono qualitativamente le pennellate della tela di interesse (Figura 2, colonna A).
  3. Impostare la distanza tra la superficie oggetto di indagine e l'apparecchiatura di acquisizione.
    NOTA: La distanza determina la risoluzione spaziale degli ipercubi26 e quindi la possibilità di distinguere le pennellate sulle immagini e le mappe SAM della superficie dipinta.
    1. Valutare la distanza tra la superficie del campione e l'apparecchiatura di acquisizione tenendo conto delle caratteristiche della telecamera iperspettrale26 (Table of Materials) e delle dimensioni delle pennellate disegnate nei campioni di prova.
    2. Mettere la fase di acquisizione e la telecamera iperspettrale alla distanza valutata nel passaggio precedente. Disporre i campioni di prova sul palco e garantire un'illuminazione uniforme della superficie dei campioni.
    3. Eseguire una calibrazione del bianco utilizzando il riferimento standard bianco fornito con la telecamera iperspettrale. Acquisisci gli ipercubi.
      NOTA: per ogni FOV, la fotocamera iperspettrale restituisce sia immagini raw che calibrate. Questi ultimi sono stati utilizzati per l'analisi.
    4. Scaricare i file restituiti dallo strumento e salvarli in una cartella dedicata.
  4. Verificare se la risoluzione spaziale degli ipercubi è in grado di distinguere le diverse pennellate sulle immagini e le mappe SAM della superficie dipinta.
    1. Ispezionare le immagini RGB restituite dalla fotocamera iperspettrale per assicurarsi che le pennellate utilizzate per realizzare i campioni di prova possano essere riconosciute (Figura 2, colonna A). In tal caso, passare ai passaggi successivi; in caso contrario, tornare al passaggio 1.3.1 e riavviare.
    2. Elencare i file contenenti i dati iperspettrali e le immagini RGB dei FOV eseguendo il codice di lettura dei dati, HS_FileLister. Digitare la seguente riga di comando (punto e virgola incluso) nella finestra del terminale della lingua utilizzata per sviluppare i codici (Tabella dei materiali) e premere Invio per eseguire il codice:
      [HS_DataList HS_ImageList] = HS_FileLister;
      1. Non è richiesto alcun input e ci sono due uscite: l'elenco dei file contenenti gli ipercubi, HS_DataList, e l'elenco delle immagini restituite dalla telecamera iperspettrale, HS_ImageList.
        NOTA: la dimensione di ogni ipercubo è 512 x 512 x 204 voxel dove 204 è il numero di canali utilizzati per monitorare il segnale di riflettanza. I canali coprono l'intervallo di lunghezze d'onda tra 400 e 1.000 nm con una risoluzione spettrale di 7 nm a FWHM26.
    3. Definire la parte 3D degli ipercubi che deve essere analizzata eseguendo il codice di ritaglio, HS_Crop_png. Definire la porzione desiderata di ciascun cubo di dati selezionando un'area su una finestra interattiva che mostra l'immagine RGB 2D del FOV monitorato da ciascun ipercubo. Digitare la seguente riga di comando (punto e virgola incluso) nella finestra del terminale e premere Invio per eseguire il codice:
      [HS_ImageList] = HS_Crop_png(HS_ImageList);
      1. C'è un input (l'elenco delle immagini restituite dalla telecamera iperspettrale, HS_ImageList) e un output (l'elenco di input aggiunto con le coordinate spaziali per ritagliare eventualmente gli ipercubi).
    4. Applicare l'illuminante D65 e l'osservatore del 1931 degli standard CIE (International Commission on Illumination) agli ipercubi per recuperare le immagini RGB dei FOV dagli spettri di riflettanza eseguendo il codice di ricostruzione, HS_RGB_rebuild. Digitare la seguente riga di comando (punto e virgola incluso) nella finestra del terminale e premere Invio per eseguire il codice:
      [HS_ImageList] = HS_RGB_rebuild(HS_ImageList, HS_DataList);
      1. Ci sono due ingressi (l'elenco contenente le immagini restituite dalla telecamera iperspettrale, HS_ImageList, e l'elenco dei file contenenti gli ipercubi, HS_DataList) e un output (l'elenco di input contenente le immagini restituite dalla telecamera iperspettrale aggiunte con le immagini RGB delle superfici degli ipercubi recuperati dagli spettri di riflettanza).
        NOTA: HS_RGB_Rebuild sfrutta le funzioni sviluppate da Jeff Mather27 per applicare l'illuminante D65 e l'osservatore 1931 di CIE ai dati.
    5. Selezionare manualmente alcuni spettri di riferimento sulle superfici dei campioni di prova (cerchi bianchi e numeri nella Figura 2, colonna A) eseguendo il codice di selezione dei punti di misura isolati, PointSel. Selezionare i punti di misura facendo clic su una finestra interattiva che mostra, una per una, le immagini 2D RGB dei FOV. Digitare la seguente riga di comando (punto e virgola incluso) nella finestra del terminale e premere Invio per eseguire il codice:
      [Riferimenti] = PointSel(HS_DataList, HS_ImageList);
      1. Ci sono due ingressi (l'elenco contenente le immagini restituite dalla telecamera iperspettrale, HS_ImageList, e l'elenco dei file contenenti gli ipercubi, HS_DataList) e un output (una variabile, References, contenente gli spettri selezionati come riferimenti all'interno dei FOV).
    6. Se lo si desidera, memorizzare la posizione dei riferimenti sulla superficie degli esempi in un set di immagini eseguendo il codice dedicato, SaveImPoint. Digitare la seguente riga di comando (punto e virgola incluso) nella finestra del terminale e premere Invio per eseguire il codice:
      SaveImPoint(Riferimenti, HS_ImageList);
      1. Ci sono due ingressi (la variabile contenente gli spettri di riferimento, References, e l'elenco contenente le immagini restituite dalla telecamera iperspettrale, HS_ImageList) e nessun output (il codice salva .png immagini nella cartella di lavoro corrente).
    7. Organizzare i riferimenti in una matrice eseguendo il codice di conversione, RefListToMatrix. Digitare la seguente riga di comando (punto e virgola incluso) nella finestra del terminale e premere Invio per eseguire il codice:
      [References_Matrix] = RefListToMatrix(References, HS_ImageList(1). Wavel);
      1. Ci sono due ingressi (la variabile contenente gli spettri di riferimento, References, e l'elenco delle lunghezze d'onda a cui il rivelatore conta i fotoni durante l'acquisizione dei dati degli spettri, HS_ImageList(1). WaveL) e un'uscita (gli stessi spettri di riferimento organizzati in una matrice, References_Matrix).
        Nota : questo passaggio è obbligatorio perché il codice che valuta le mappe SAM richiede che gli spettri di riferimento siano organizzati in una matrice. La sintassi del secondo input, HS_ImageList(1). WaveL, è necessario richiamare la variabile WaveL dall'elenco HS_ImageList. Il numero 1 tra parentesi si riferisce al primo elemento dell'elenco denominato HS_ImageList; tuttavia, poiché tutti gli ipercubi hanno lo stesso intervallo di lunghezze d'onda, può essere sostituito da ogni numero minore o uguale al numero totale di immagini elencate.
    8. Estrai le mappe SAM utilizzando l'intero spettro eseguendo il codice di valutazione delle mappe SAM standard, SAM_Standard. Digitare la seguente riga di comando (punto e virgola incluso) nella finestra del terminale e premere Invio per eseguire il codice:
      SAM_Standard(HS_ImageList, HS_DataList, References_Matrix);
      1. Ci sono tre ingressi (l'elenco contenente le immagini restituite dalla telecamera iperspettrale, HS_ImageList; l'elenco dei file contenenti gli ipercubi, HS_DataList; e la matrice degli spettri di riferimento, References_Matrix) e nessun output: il codice salva le mappe SAM come .png immagini nella cartella di lavoro corrente.
    9. Verificare se le mappe di somiglianza ottenute (Figura 2, colonne B - E) visualizzano i dettagli delle pennellate utilizzate per realizzare i campioni di prova. In questo caso, passare al passaggio successivo del protocollo; in caso contrario, tornare al passaggio 1.3.1 e riavviare.

2. Adattare i parametri sperimentali al dipinto

  1. Identificare la Regione/le Regione/e di Interesse, roi/i, del dipinto da studiare (rettangoli rossi in Figura 3A).
    NOTA: è comune che sia necessario più di un FOV per coprire un singolo ROI.
  2. Disporre la configurazione di acquisizione e la verniciatura alla distanza definita nei passaggi precedenti ed eseguire la calibrazione del bianco utilizzando il riferimento standard bianco fornito con la telecamera iperspettrale.
    NOTA: Se gli utenti devono fare un'acquisizione in situ (cioè, devono studiare un dipinto esposto in un museo o in una mostra), possono gestire solo la fotocamera. È il caso di Quarto Stato, che è permanentemente esposto in uno spazio dedicato al Museo del Novecento di Milano.
  3. Acquisire i dati iperspettrali da almeno un FOV all'interno del bordo di ciascun ROI (aree non ombreggiate all'interno dei rettangoli rossi nella Figura 3A).
  4. Scaricare i file restituiti dallo strumento e salvarli in una cartella dedicata.
  5. Verificare se l'illuminazione della superficie del dipinto è stata impostata in modo uniforme osservando le immagini RGB restituite dalla telecamera iperspettrale. In questo caso, passare ai passaggi successivi, altrimenti tornare al passaggio 2.2 e riavviare.
    NOTA: la Figura 4 illustra l'importanza di questo controllo (vedere la sezione Discussione per i dettagli).
  6. Ripetere i passaggi secondari del passaggio 1.4.
  7. Verificare se i dati hanno una risoluzione spaziale sufficientemente elevata da distinguere le pennellate osservando le immagini RGB dei FOV (Figura 3B) e le mappe SAM (Figura 3C) relative agli spettri di riferimento selezionati all'interno dei FOV (cerchi verdi in Figura 3B).
  8. Se l'illuminazione e la risoluzione spaziale sono state impostate correttamente, completare la raccolta dei dati acquisendo gli altri FOV necessari per coprire i ROI; in caso contrario, tornare al passaggio 2.2 e riavviare.
    NOTA: quando un ROI richiede la copertura di più foV, assicurarsi un certo grado di sovrapposizione tra FOV adiacenti per cucire facilmente le mappe risultanti3,15. L'entità della sovrapposizione dipende dalla distanza tra la telecamera iperspettrale e il campione, dalla traslazione e dall'angolo di visione orizzontale del rivelatore28. Nel caso della campagna sperimentale condotta su Quarto Stato, la sovrapposizione è stata impostata per essere almeno il 40% dei FOV.

3. Ipercubi e gestione degli spettri di riferimento

  1. Eseguire l'I/O dei dati grezzi: organizzare, leggere e gestire gli ipercubi.
    1. Eseguire il codice HS_FileLister per memorizzare l'elenco dei file contenenti gli ipercubi e le relative informazioni in due variabili a disposizione dell'algoritmo (vedere il passaggio 1.4.2 per i dettagli pratici).
      NOTA: La telecamera iperspettrale restituisce file hdr (high dynamic range) che il codice gestisce sfruttando una versione rivisitata dello script sviluppato da Jarek Tuszinsky29.
    2. Eseguire il codice di HS_Crop_png per selezionare la porzione di ciascun FOV da utilizzare nell'analisi dei dati (vedere il passaggio 1.4.3 per i dettagli pratici).
    3. Eseguire il codice di HS_RGB_Rebuild per recuperare le immagini RGB dei FOV dagli spettri di riflettanza (vedere il passaggio 1.4.4 per i dettagli pratici).
  2. Organizzare, leggere (se necessario) e gestire gli spettri di riferimento.
    NOTA: gli spettri di riferimento svolgeranno il ruolo dei membri finali all'interno del metodo SAM20,21. Questa parte dell'algoritmo non è determinata univocamente ma dipende dalla modalità di selezione e dall'origine degli spettri di riferimento.
    1. Eseguire il codice PointSel e fare clic all'interno della finestra interattiva visualizzata per identificare gli spettri di riferimento come punti di misura isolati sulla superficie delle aree monitorate (Figura 5A) (vedere il passaggio 1.4.5 per i dettagli pratici).
    2. Selezionare automaticamente gli spettri di riferimento come un reticolo regolare di punti di misura sovrapposti alla superficie dell'area o delle aree monitorate eseguendo il codice di selezione reticolare, ReticularSel (Figura 5B). Digitare la seguente riga di comando (punto e virgola incluso) nella finestra del terminale e premere Invio per eseguire il codice:
      [Riferimenti] = ReticularSel(HS_DataList, HS_ImageList, n_pixel);
      1. Ci sono tre ingressi (l'elenco contenente le immagini restituite dalla telecamera iperspettrale, HS_ImageList; l'elenco dei file contenenti gli ipercubi, HS_DataList; e la spaziatura del reticolo, n_pixel, espressa in numero di pixel) e un'uscita: una variabile contenente gli spettri selezionati come riferimenti all'interno dei FOV, Riferimenti.
    3. Eseguire il codice di importazione dei riferimenti esterni, Spectra_Importer, per creare una variabile contenente riferimenti da dataset e database indipendenti dagli ipercubi acquisiti su Quarto Stato. Digitare la seguente riga di comando (punto e virgola incluso) nella finestra del terminale e premere Invio per eseguire il codice:
      [ExtReferences] = Spectra_Importer(file_extension);
      1. C'è un input (l'estensione del file contenente gli spettri di riferimento indipendenti, file_extension, scritti tra gli apici) e un output (una variabile contenente i riferimenti esterni, ExtReferences).
        NOTA: il codice dell'importatore di riferimento esterno è stato ottimizzato per l'importazione di file tmr ma, se necessario, può essere facilmente modificato per gestire qualsiasi tipo di file di testo.
    4. Eseguire il codice RefListToMatrix per inserire i riferimenti in una matrice, References_Matrix o ExtReferences_Matrix, come richiesto dal codice che valuta le mappe SAM (vedere il passaggio 1.4.7 per i dettagli pratici).
    5. Attendere che il codice RefListToMatrix equalizzi sia l'intervallo di lunghezze d'onda che la risoluzione spettrale (cioè il numero di componenti) degli ipercubi e dei riferimenti.
      NOTA: il codice identifica gli intervalli di lunghezze d'onda sia degli ipercubi che dei riferimenti. Il codice confronta gli intervalli di lunghezze d'onda e taglia gli intervalli di lunghezza d'onda che non sono monitorati sia dagli ipercubi che dai riferimenti. Il codice identifica il gruppo di iper-vettori (gli ipercubi o i riferimenti) costituito dal minor numero di componenti (cioè caratterizzati dalla minore risoluzione spettrale) nella gamma di lunghezze d'onda equalizzate. Il codice riduce il numero di componenti degli iper-vettori più lunghi (i riferimenti o gli ipercubi) a quello di quelli più corti (gli ipercubi o i riferimenti). Questo viene fatto mantenendo, per ogni lunghezza d'onda degli iper-vettori più corti, solo i valori degli iper-vettori più lunghi che corrispondono alla lunghezza d'onda più vicina a quella degli iper-vettori più corti.
      1. Il codice esegue automaticamente l'equalizzazione. Se i riferimenti sono stati selezionati all'interno degli ipercubi, l'intervallo di lunghezze d'onda e la risoluzione spettrale non devono essere equalizzati e rimangono invariati.
    6. Se lo si desidera, memorizzare la posizione dei riferimenti sulla superficie dei campioni in una serie di immagini eseguendo il codice dedicato (vedere il passaggio 1.4.7 per i dettagli pratici).
      NOTA: questa opzione è disponibile solo se i riferimenti sono stati selezionati all'interno degli ipercubi (passaggi 3.2.1 e 3.2.2).

4. Analisi SAM

  1. Eseguire il codice di SAM_Complete per valutare le mappe di somiglianza. Digitare la seguente riga di comando (punto e virgola incluso) nella finestra del terminale e premere Invio per eseguire il codice:
    SAM_Complete(HS_ImageList, HS_DataList, References_Matrix);
    1. Ci sono tre ingressi (l'elenco contenente le immagini restituite dalla telecamera iperspettrale, HS_ImageList; l'elenco dei file contenenti gli ipercubi, HS_DataList; e la matrice di riferimento, References_Matrix o ExtReferences_Matrix) e nessun output (il codice salva le mappe SAM come file .png nella cartella di lavoro corrente).
      NOTA: oltre alle tre variabili di input descritte, il codice SAM_complete deve essere alimentato con pochi parametri aggiuntivi per personalizzare il protocollo di analisi in base alle preferenze dell'utente (vedere i passaggi successivi).
  2. Se necessario, immettere il codice con l'opzione di pre-elaborazione digitando il numero 0 o 1 nella finestra di dialogo a seconda dell'operazione di pre-elaborazione desiderata e premere Invio per continuare.
    1. Opzione di pre-elaborazione impostata su 0: l'area sottesa da ciascuno spettro di riflettanza è normalizzata a 1.
    2. Opzione di pre-elaborazione impostata su 1: l'area sottesa da ciascuno spettro di riflettanza viene normalizzata a 1 e quindi lo spettro normalizzato viene derivato una volta.
      NOTA: sia gli ipercubi che i riferimenti sono sottoposti alla stessa opzione di pre-elaborazione.
  3. Selezionare i membri finali da utilizzare per l'analisi SAM tra la matrice di riferimento alimentando il codice con i numeri delle colonne che corrispondono agli spettri desiderati. Quando necessario, inserire nella finestra di dialogo la sequenza di numeri corrispondenti alle colonne desiderate digitando i numeri separati da uno spazio bianco. Premere Invio per continuare.
    NOTA: la sequenza [1 2 3] corrisponde alla selezione delle prime tre colonne della matrice di riferimento; un vettore vuoto corrisponde alla selezione di tutte le colonne della matrice di riferimento.
  4. Alimenta il codice con una stringa contenente la prima parte del nome che identificherà i set di mappe da salvare (cioè la parte comune del nome dei file .png restituiti da SAM_Complete). Se necessario, inserire la stringa nella finestra di dialogo. Premere Invio per continuare.
    NOTA: se l'utente digita test, il nome di tutte le immagini .png di output inizierà con test.
  5. Se necessario, immettere il codice con il metodo selezionato per gestire i dati digitando il numero 0, 1 o 2 nella finestra di dialogo a seconda del metodo handle desiderato e premere INVIO per continuare.
    1. Impostare il metodo su 0 per nessuna manipolazione dei dati.
    2. Impostare il metodo su 1 per richiedere la selezione manuale degli intervalli di lunghezze d'onda degli spettri da considerare prima di iniziare l'analisi (Figura 6).
    3. Impostare il metodo su 2 per richiedere all'algoritmo di ordinare i dati sulla base di un criterio specifico prima della valutazione delle mappe SAM (Figura 7).
  6. Attendere che il protocollo elabori i dati e salvi le mappe SAM nella cartella di lavoro corrente come file .png.
    NOTA: se il metodo handle è stato impostato su 0 o 2, l'utente deve solo attendere. Se è stato impostato su 1, l'utente deve selezionare le porzioni degli spettri da utilizzare per valutare le mappe SAM facendo clic su una finestra interattiva (Figura 6).

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Il protocollo proposto offre una serie di caratteristiche interessanti per la gestione e l'analisi dei dati HRI. L'I/O (step 3.1) dei dati grezzi è sempre il primo problema che deve essere risolto prima di applicare qualsiasi metodo di analisi e può diventare un problema critico quando si ha a che fare con grandi quantità di dati. Nel caso di specie, l'unico compito relativo ai dati grezzi consiste nell'archiviare i risultati sperimentali in una cartella dedicata e selezionarla sfogliando il disco rigido durante l'esecuzione del codice di lettura (punto 3.1.1). Successivamente, il ritaglio e i codici di ricostruzione RGB consentono di affinare la selezione dei dati da analizzare (step 3.1.2) e verifica che le condizioni sperimentali siano state correttamente impostate al momento dell'acquisizione degli ipercubi (step 3.1.3, vedi Figura 4 e sezione Discussione per ulteriori dettagli).

Una volta verificato che i cubi di dati siano stati acquisiti correttamente, l'algoritmo offre diverse possibilità per selezionare i membri finali per l'analisi SAM20,21 (step 3.2). Le prime due opzioni (passaggi 3.2.1 e 3.2.2) recuperano i riferimenti tra gli ipercubi selezionando manualmente alcuni punti di misura isolati (Figura 5A) o campionando automaticamente la superficie del dipinto fornendo una selezione reticolare dei punti di misura all'interno di uno o più FOV (Figura 5B). L'analisi basata su punti di misura isolati è più veloce di quella reticolare, ma implica un'osservazione attenta e, possibilmente, informata dei FOV per identificare gli spettri significativi; questo significa una buona esperienza nel trattare con pigmenti e superfici verniciate. La selezione reticolare rende l'algoritmo dispendioso in termini di tempo e costringe l'utente a osservare molte immagini di output per recuperare una manciata di utili mappe di somiglianza. Tuttavia, la selezione reticolare fornisce uno screening completo degli ipercubi e, soprattutto, può essere effettuata senza esperienza del contesto sperimentale. In linea di principio, una volta decisa la distanza di campionamento, n_pixel, l'utente può trascurare l'osservazione dei FOV con una probabilità molto bassa di perdere dettagli.

Oltre alla selezione degli spettri di riferimento all'interno degli ipercubi, l'algoritmo offre l'opportunità di confrontare i dati del campione in esame con riferimenti appartenenti ad altre fonti (step 3.2.4). Il codice importatore di spettri di riferimento esterno gestisce l'I/O dei riferimenti che non appartengono alla superficie del dipinto. Il codice del convertitore di matrice equalizza gli intervalli di lunghezze d'onda e la risoluzione spettrale sia degli ipercubi che dei riferimenti esterni (passo 3.2.4). Questa possibilità estende le capacità dell'utente per quanto riguarda la caratterizzazione del campione. Infatti, l'utente può sfruttare ogni tipo di risorsa disponibile in termini di dati di riflettanza. Gli ipercubi possono essere confrontati con database pubblici, con gli archivi spettrali dell'utente, con nuovi dati raccolti su campioni preparati ad hoc o anche su altri oggetti (dipinti, tavolozze, tonalità, o quant'altro) appartenenti all'autore o ad altri artisti. Inoltre, i riferimenti esterni possono essere ottenuti sfruttando qualsiasi tipo di tecnica di riflettanza tanto che i riferimenti mostrati in Figura 6 e Figura 7 sono stati acquisiti da uno spettrometro miniaturizzato portatile FORS (Table of Materials) e non dalla telecamera utilizzata per i dati HRI.

Oltre alla gestione dei dati, l'algoritmo offre anche un approccio originale all'analisi dei dati. Permette la manipolazione degli spettri prima di valutare le mappe SAM (passi 4.1-4.5). Questa possibilità trova il suo razionale nella scelta del metodo SAM per indagare le distribuzioni dei pigmenti. Infatti, SAM considera gli spettri di riflettanza come se fossero vettori in uno spazio multidimensionale (cioè iper-vettori con un numero di componenti pari a quello dei canali di acquisizione). Pertanto, se lo scopo principale dell'analisi è quello di confrontare riferimenti diversi ma simili per distinguere quale meglio corrisponde ai pigmenti utilizzati dall'artista, allora le componenti quasi identiche degli spettri di riferimento (cioè le lunghezze d'onda che corrispondono a valori quasi identici negli iper-vettori) non dovrebbero essere particolarmente utili e l'algoritmo consente di escludere queste componenti dall'analisi.

Il protocollo supporta due opzioni per manipolare i dati (passaggio 4.5): l'utente può definire le porzioni di lunghezza d'onda dei dati di riflettanza da analizzare manualmente (Figura 6) o automaticamente (Figura 7). La selezione manuale è semplice. Gli spettri di riferimento pre-elaborati o le loro derivate prime, a seconda dell'opzione di pre-elaborazione selezionata (passaggio 4.2), vengono visualizzati in una finestra interattiva, Figura 6A, e l'utente seleziona uno o più intervalli di lunghezza d'onda, Figura 6B, facendo clic sulla superficie del grafico. La selezione automatica si basa sul criterio matematico della varianza massima applicata agli spettri di riferimento pre-elaborati o alle loro derivate prime, a seconda dell'opzione di pre-elaborazione selezionata (fase 4.2). L'algoritmo calcola la varianza (normalizzata e visualizzata come dashed line in Figura 7A) all'interno dei riferimenti selezionati e ordina tutti gli spettri (sia i riferimenti che gli ipercubi) in base a questo criterio (la dashed line in Figura 7B rappresenta la varianza normalizzata e ordinata). In altre parole, se la varianza massima corrisponde all'ennesima lunghezza d'onda, il contenuto dell'ennesima componente di ogni spettro pre-elaborato (riferimenti e ipercubi) verrà spostato nella prima posizione di un iper-vettore riorganizzato e così via (le porzioni colorate dello sfondo in Figura 7A e Figura 7B spiegano graficamente la risistposizione dei dati). In pratica, i componenti degli spettri pre-elaborati sono ordinati in modo simile all'analisi dei componenti principali30.

Una volta che gli spettri sono stati manipolati, l'algoritmo valuta le mappe SAM. A seguito della manipolazione manuale (Figura 6), il protocollo restituisce tre serie di mappe: due corrispondenti ai gruppi di lunghezze d'onda selezionate e respinte e una ottenuta impiegando l'intero spettro. In caso contrario, a seguito della manipolazione automatica (Figura 7), l'algoritmo applica una soglia mobile ai valori di varianza e valuta le mappe SAM all'aumentare della soglia sia per le componenti iper-vettoriali riorganizzate corrispondenti alla soglia di sovraselezione (cioè selezionate automaticamente) sia per i valori di sotto soglia (cioè automaticamente respinti) della varianza. Questi insiemi di mappe, insieme a quello ottenuto dagli spettri interi (sempre restituiti dall'algoritmo), danno luogo ad un totale di (2N + 1) insiemi di mappe dove N è il numero di valori assunti dalla soglia. Gli insiemi di mappe di somiglianza ottenuti all'aumentare della soglia (Figura 8) illustrano che la manipolazione dei dati non altera il contenuto, ma fornisce piuttosto nuove informazioni sui dettagli delle aree mappate e, di conseguenza, può aiutare a distinguere somiglianze e differenze tra i campioni e i riferimenti.

Figure 1
Figura 1: Quarto Stato. Un quadro del dipinto, 1899-1901, 293 x 545 cm, olio su tela, Giuseppe Pellizza da Volpedo, Museo del Novecento, Milano, Italia. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 2
Figura 2: Definizione delle condizioni sperimentali. (A) I campioni di prova preparati ad hoc ; i Cerchi Bianchi e i Numeri identificano i punti di misura corrispondenti agli spettri selezionati come riferimenti. (B) Le mappe SAM valutate rispetto allo spettro di riferimento numero 1, (C) numero 2, (D) numero 3 e (E) numero 4. La barra dei colori grigio indica l'intervallo di valori degli angoli spettrali. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 3
Figura 3: L'applicazione delle condizioni sperimentali definite a Quarto Stato. (A) I ROI selezionati per la campagna sperimentale (Red Rectangles); in ogni rettangolo è stato evidenziato un FOV di quelli necessari a coprire il ROI (Unshaded Areas). (B) Le immagini RGB delle quattro aree non ombreggiate del pannello A. (C) Le mappe SAM valutate rispetto a uno spettro di riferimento selezionato all'interno di ciascun FOV (Green Circles). La barra dei colori grigio indica l'intervallo di valori degli angoli spettrali. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 4
Figura 4: Illuminazione corretta o impropria della superficie del campione. (A) Una porzione del FOV in cui una piccola frazione della superficie verniciata (Cerchio rosso) è influenzata da proprietà di riflettanza alterate a causa di un'illuminazione impropria. (B) La stessa piccola frazione del dipinto (Cerchio Blu) che risulta quando il FOV è correttamente illuminato. (C) Gli spettri di riflettanza del punto di misura al centro dei cerchi quando il FOV è illuminato in modo improprio e corretto (rispettivamente linea rossa e blu). (D) La mappa SAM del FOV ottenuta utilizzando come riferimento lo spettro del punto di misura illuminato impropriamente. (E) La mappa SAM del FOV ottenuta utilizzando come riferimento lo spettro del punto di misura illuminato appropriato. La Barra di Colore Grigio si riferisce a (D) e (E) e indica l'intervallo di valori degli angoli spettrali ottenuti confrontando le derivate prime degli spettri dell'ipercubo del FOV selezionato e la derivata prima dello spettro del punto di misura al centro dei cerchi colorati in (A) e (B). Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 5
Figura 5: Selezione dei riferimenti all'interno degli ipercubi. (A) La modalità di selezione dei punti di misura isolati; i cerchi verdi indicano la posizione degli spettri di riferimento selezionati manualmente sul FOV mostrato. B) la modalità di selezione reticolare; i cerchi verdi indicano la posizione degli spettri di riferimento selezionati applicando un reticolo con l'intervallo di campionamento (n_pixel) impostato su cinque pixel al FOV mostrato. L'immagine riportata sia in (A) che in (B) è la conversione in scala di grigi dell'immagine RGB del FOV recuperata dagli spettri di riflettanza applicando l'illuminante D65 e l'osservatore del 1931 dagli standard CIE all'ipercubo; la barra dei colori grigi si riferisce all'intensità normalizzata di questa immagine. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 6
Figura 6: La modalità di manipolazione manuale dei dati. (A) L'aspetto della finestra interattiva che consente all'utente di dividere gli spettri di riferimento nelle frazioni di lunghezze d'onda selezionate e respinte. (B) Gli stessi riferimenti di (A) in cui le parti di dati selezionate per la valutazione delle mappe SAM sono state evidenziate da uno sfondo rosa. (A) e (B) visualizzano gli spettri pre-elaborati dei riferimenti. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 7
Figura 7: La modalità di manipolazione automatica dei dati. (A) Le prime derivate dei quattro riferimenti normalizzati riportati nella Figura 6 (Linee colorate) e la loro varianza massima normalizzata (Linea tratteggiata nera). (B) Le stesse derivate di (A) ordinate secondo il criterio della varianza massima; sono stati riportati anche i valori ordinati della varianza massima normalizzata (Black Dashed Line). Alcune porzioni dello sfondo sono state colorate con tonalità diverse nel tentativo di illustrare visivamente la riorganizzazione degli iper-vettori. Fare clic qui per visualizzare una versione più grande di questa figura.

Figure 8
Figura 8: Le mappe SAM ottenute dalla modalità di manipolazione automatica dei dati. (A-C) I valori ordinati della varianza massima normalizzata valutati all'interno delle derivate prime degli spettri di riferimento della Figura 7; le sezioni verde e rossa della curva indicano, rispettivamente, la frazione selezionata (oltre soglia) e rifiutata dei dati (sotto i valori di soglia). I pannelli mostrano cosa succede all'aumentare della soglia (Black Dotted Segment); ogni panel riporta le mappe SAM per entrambi i gruppi di valori ottenuti per le quattro derivate degli spettri della Figura 7; le Green Edged Maps si riferiscono alle frazioni over threshold mentre le Red Edged Maps si riferiscono a quelle sotto soglia. Le barre di colore grigie indicano l'intervallo di valori degli angoli spettrali. In questo esempio, il passo che determina l'aumento della soglia è pari allo 0,5% della varianza massima normalizzata; il valore soglia riportato in (C) è 0,09 ed è l'ultimo valore soglia considerato perché un ulteriore aumento ridurrebbe il numero di componenti selezionati degli iper-vettori al di sotto del limite inferiore arbitrariamente fissato di 20 valori, cioè il 10% del numero totale dei canali di acquisizione della telecamera iperspettrale. Fare clic qui per visualizzare una versione più grande di questa figura.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

I set di dati di imaging della riflettanza iperspettrale sono grandi serbatoi di informazioni; pertanto, lo sviluppo di protocolli robusti e, possibilmente, automatizzati per analizzare i dati è una svolta chiave per sfruttarne le potenzialità15,17. L'algoritmo proposto risponde a questa esigenza nel campo dei beni culturali con particolare attenzione alla caratterizzazione dei pigmenti dei dipinti. Basato su SAM20,21, l'algoritmo supporta l'utente durante l'intero processo di analisi dall'impostazione delle condizioni sperimentali alla valutazione della distribuzione dei pigmenti. Sebbene l'algoritmo non abbia ancora un'interfaccia grafica completa e non fornisca uno strumento per la visualizzazione dei risultati (a questo scopo è stato utilizzato un software open source31 ed è consigliato, vedi Tabella dei materiali), l'insieme delle possibilità implementate per modulare l'approccio all'analisi dei dati bilancia ampiamente questi inconvenienti.

Il protocollo imposta il sistema di acquisizione in base alle caratteristiche sia del campione che del rivelatore. Da un lato, la tecnica divisionista impiegata da Pellizza Da Volpedo per creare Quarto Stato richiede che gli ipercubi distinguano tra piccole pennellate di pigmenti diversi affiancati. D'altra parte, la fotocamera iperspettrale ha un campo di messa a fuoco tra 150 mm e infinito con un sistema di regolazione manuale che a 1 m di distanza dal bersaglio rileva un'area di 0,55 x 0,55 m con una risoluzione spaziale di 1,07 mm26. L'applicazione dell'algoritmo a pochi ipercubi acquisiti sui campioni di prova (Figura 2) aiuta a stabilire una distanza di lavoro adeguata per l'acquisizione dei dati. L'osservazione delle misure permette di impostare la distanza di lavoro per la campagna sperimentale a 30 cm, corrispondenti ad una risoluzione di 0,31 mm al bersaglio.  Questa distanza di lavoro è stata adottata con successo anche durante le sessioni sperimentali condotte su Quarto Stato (Figura 3). Una volta definita la distanza di lavoro, l'illuminazione della superficie del campione rimane un problema critico3,15. Quando una porzione di un FOV mostra un'illuminazione irregolare (Cerchio rosso nella Figura 4A) invece di un'illuminazione uniforme (Cerchio blu nella Figura 4B), le proprietà di riflettanza cambiano drasticamente (Figura 4C) e l'intera procedura è compromessa (Figura 4D vs Figura 4E). Il protocollo evita un'illuminazione irregolare (e più in generale contro artefatti nelle aree monitorate) durante l'acquisizione dei dati (restituendo RGB, step 1.4.1, e mappe SAM, step 1.4.9, che possono essere controllati dall'utente) e a posteriori escludendo le porzioni compromesse dei FOV dall'analisi mediante il codice di ritaglio (step 1.4.2 e 3.1.2).

Il protocollo consente all'utente di selezionare i riferimenti (ovvero i membri finali utilizzati per la valutazione delle mappe SAM) con la massima libertà. Da un lato, i ME possono essere scelti all'interno dei bordi degli ipercubi in due modi: selezione dei punti di misura isolati (Figura 5A nei passaggi 1.4.5 e 3.1.2) o selezione dei punti di misura reticolari (Figura 5B nel passaggio 3.1.3). La prima può essere definita come selezione informata perché richiede una certa esperienza nell'utente per identificare manualmente i punti di misura significativi. Quest'ultima può essere definita come selezione cieca perché il campionamento reticolare dei FOV richiede solo il valore dell'intervallo di campionamento da eseguire. D'altra parte, i ME possono essere recuperati dall'esterno del dipinto oggetto di indagine (fase 3.1.4). Durante la campagna sperimentale condotta su Quarto Stato, uno spettrometro portatile in miniatura FORS (Table of Materials) è stato utilizzato per raccogliere spettri da bozze di campioni appartenenti all'artista e attualmente conservati nello Studio Museum situato a Volpedo (Pellizza da Volpedo Studio Museo, Volpedo (AL), Italia). Questi dati di riflettanza sono stati utilizzati per la valutazione delle mappe SAM e alcuni di essi sono riportati nella Figura 6 e nella Figura 7. Poiché limita l'importanza dell'intensità assoluta e della linea di base degli spettri, la pre-elaborazione è obbligatoria sia per gli ipercubi che per gli EM, soprattutto se sono stati ottenuti da configurazioni o condizioni operative leggermente diverse32.

L'ultima caratteristica principale del protocollo è la possibilità di manipolare i dati sperimentali. Per la manipolazione, si intende che l'identificazione dei componenti più significativi dei ME (cioè, di quelle porzioni degli spettri dei membri finali dovrebbe aiutare a caratterizzare i materiali utilizzati dall'artista). Questa attività può essere eseguita manualmente (Figura 6) o automaticamente (Figura 7). Nel primo caso, l'algoritmo sfrutta la competenza del performer mentre, nel secondo caso, è un criterio statistico che determina le componenti che, di volta in volta, verranno utilizzate per valutare le mappe SAM. In entrambi i casi, la manipolazione aumenta il numero delle mappe di somiglianza risultanti e di conseguenza estende la capacità di divulgare le informazioni trasportate dagli ipercubi. In particolare, la selezione basata su criteri genera un gran numero di approfondimenti sulla superficie verniciata (Figura 8).

Prese singolarmente, le caratteristiche enumerate potrebbero apparire come semplici vantaggi tecnici, ma insieme implicano almeno due punti chiave principali. L'algoritmo può essere applicato con successo da qualsiasi tipo di utente e può ampliare significativamente lo scenario dell'analisi. Infatti, i passaggi principali del protocollo (ovvero la selezione dei riferimenti e la manipolazione dei dati) possono essere eseguiti automaticamente, trascurando le competenze e l'esperienza dell'utente. Con la possibilità di pilotare l'analisi con spettri dall'esterno degli ipercubi, tutti i dati di riflettanza a disposizione dei ricercatori possono essere sfruttati per la caratterizzazione del campione in esame.

In sintesi, il protocollo può essere uno strumento estremamente flessibile. Con alcuni miglioramenti per quanto riguarda l'interfaccia grafica e il numero di metodi di analisi supportati, può essere un passo oltre lo stato dell'arte per quanto riguarda la gestione e l'analisi dei dati ottenuti da superfici verniciate mediante imaging a riflettanza iperspettrale.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Gli autori non hanno nulla da rivelare.

Acknowledgments

Questa ricerca è stata finanziata da Regione Lombardia nell'ambito del Progetto MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici - Call Accordi per la Ricerca e l'Innovazione.

Gli autori sono grati allo staff del Museo del Novecento per il supporto durante le sessioni sperimentali in situ e all'Associazione Pellizza da Volpedo per l'accesso allo Studio Museo.

Materials

Name Company Catalog Number Comments
ImageJ/Fiji Specim (Oulo, Finlad) N/A Portable reflectance hyperspectral camera used to acquire the hypercubes
MATLAB 2019b StellarNet Inc (Tampa, Florida, USA) N/A Portable reflectance spectrometer used to acquire independent reflectance spectra
Specim IQ Hyperspectral Camera National Institutes of Health (Bethesda, Maryland, USA) N/A  Open source Java image processing program
StellarNet BLUE-wave Miniature Spectrometer  MathWorks (Natick, Massachusset, USA) N/A Program Language and numerical computing environment

DOWNLOAD MATERIALS LIST

References

  1. Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , Springer. 259-265 (2002).
  2. Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
  3. Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
  4. Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
  5. Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
  6. Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
  7. Pouyet, E. K., et al. New insights into Pablo Picasso's La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
  8. Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
  9. Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
  10. Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
  11. Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
  12. Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
  13. Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
  14. Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
  15. Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
  16. Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
  17. Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
  18. Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
  19. Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
  20. Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
  21. Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
  22. Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
  23. Richards, J. A. Remote sensing digital image analysis. 3, Springer. (1999).
  24. Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
  25. Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
  26. Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
  27. Mather, J. Spectral and XYZ Color Functions. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021).
  28. Chen, C. -Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
  29. Tuszynski, J. read_envihdr. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021).
  30. Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
  31. Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
  32. Rinnan, Å, Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).

Tags

Chimica Numero 172 Hyperspectral Reflectance Imaging Reflectance Spectroscopy Fibre Optics Reflectance Spectroscopy Spectral Angle Mapper manipolazione dei dati analisi regolabile su misura dipinti pigmenti
Applicare l'imaging della riflettanza iperspettrale per indagare le tavolozze e le tecniche dei pittori
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Caccia, M., Caglio, S., Galli, A.,… More

Caccia, M., Caglio, S., Galli, A., Interlenghi, M., Castiglioni, I., Martini, M. Applying Hyperspectral Reflectance Imaging to Investigate the Palettes and the Techniques of Painters. J. Vis. Exp. (172), e62202, doi:10.3791/62202 (2021).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter