É necessária uma assinatura do JoVE para visualizar este conteúdo. Faça login ou inicie seu teste gratuito.

Artigo de método

Aplicando imagens de reflectância hiperespectral para investigar as paletas e as técnicas dos pintores

2.2K visualizações

⸱

DOI:

10.3791/62202

⸱

18 de junho de 2021

 ,  ,  ,  ,  , 
1Dipartimento di Scienza dei Materiali, Università degli Studi di Milano-Bicocca, 2CNR-IBFM, 3Dipartimento di Fisica, Università degli Studi di Milano-Bicocca

Neste artigo

Resumo

Hipercubos hiperespectrais de imagem de reflexão incluem informações notáveis em uma grande quantidade de dados. Portanto, a solicitação de protocolos automatizados para gerenciar e estudar os conjuntos de dados é amplamente justificada. A combinação de Spectral Angle Mapper, manipulação de dados e um método de análise ajustável pelo usuário constitui uma virada fundamental para explorar os resultados experimentais.

Resumo

Espectroscopia reflectance (RS) e Espectroscopia de Reflexão de Fibra Óptica (FORS) são técnicas bem estabelecidas para a investigação de obras de arte com especial atenção às pinturas. A maioria dos museus modernos colocou à disposição de seus grupos de pesquisa equipamentos portáteis que, juntamente com a intrínseca não invasiva do RS e do FORS, possibilita a coleção in situ de espectros de reflexão da superfície dos artefatos. A comparação, realizada por especialistas em pigmentos e materiais de pintura, dos dados experimentais com bancos de dados de espectros de referência impulsiona a caracterização das paletas e das técnicas utilizadas pelos artistas. No entanto, essa abordagem requer habilidades específicas e é demorado especialmente se o número de espectros a serem investigados se tornar grande, como é o caso dos conjuntos de dados Hyperspectral Reflectance Imaging (HRI). As configurações experimentais HRI são câmeras multidimensionais que associam as informações espectrais, dadas pelo espectro de reflexão, com a localização espacial dos espectros sobre a superfície pintada. Os conjuntos de dados resultantes são cubos 3D (chamados hipercubos ou cubos de dados) onde as duas primeiras dimensões localizam o espectro sobre a pintura e a terceira é o próprio espectro (ou seja, a reflexão desse ponto da superfície pintada versus o comprimento de onda na faixa operacional do detector). A capacidade do detector de coletar simultaneamente um grande número de espectros (tipicamente muito mais de 10.000 para cada hipercubo) faz com que os conjuntos de dados HRI grandes reservatórios de informação e justifique a necessidade de desenvolvimento de protocolos robustos e, possivelmente, automatizados para analisar os dados. Após a descrição do procedimento projetado para a aquisição de dados, apresentamos um método de análise que explora sistematicamente o potencial dos hipercubos. Baseado no Spectral Angle Mapper (SAM) e na manipulação do espectro coletado, o algoritmo lida e analisa milhares de espectros e, ao mesmo tempo, suporta o usuário para revelar as características das amostras sob investigação. O poder da abordagem é ilustrado aplicando-a ao Quarto Stato, obra-prima icônica de Giuseppe Pellizza da Volpedo, realizada no Museu do Novecento, em Milão (Itália).

Introdução

Espectroscopia reflectância (RS) e Espectroscopia de Reflexão de Fibra Óptica (FORS) baseiam-se na detecção da luz refletida por superfícies uma vez iluminadas por uma fonte de luz, tipicamente uma lâmpada de tungstênio-halógeno. A saída do sistema de aquisição é constituída por espectros onde a reflexão é monitorada em função do comprimento de onda em uma faixa que depende das características da configuração experimental empregada1,2,3. Introduzidos durante as últimas quatro décadas4,5, RS e FORS são tipicamente usados em combinação com fluorescência de raios-X e outras espectroscopias para descrever os materiais e as técnicas usadas pelos artistas para realizar suas obras-primas6,7,8,9. O estudo do espectro de reflexão é geralmente realizado comparando os dados da amostra com um grupo de espectros de referência selecionados pelo usuário em bancos de dados pessoais ou públicos. Uma vez identificado o espectro de referência que cumpre o período de realização da amostra e com o modus operandi do artista, o usuário reconhece as principais características do espectro de reflexão (ou seja, bandas de transição, absorção e reflexão1,2,10,11) e, em seguida, com a ajuda de outras técnicas6,7,8 eles distinguem os pigmentos que têm sido usados nas pinturas. Por fim, discutem as pequenas diferenças que existem entre as referências e o espectro experimental7,9.

Na maioria dos casos, os conjuntos de dados experimentais são compostos por alguns espectros, coletados a partir de áreas escolhidas por especialistas em arte e considerados significativos para a caracterização da pintura6,12,13. Apesar das habilidades e da experiência do usuário, alguns espectros não conseguem esgotar totalmente as características de toda a superfície pintada. Além disso, o resultado da análise sempre dependerá fortemente da expertise do artista. Nesse cenário, a Imagem de Reflectância Hiperespectral (HRI3,14,15) pode ser um recurso útil. Em vez de alguns espectros isolados, as configurações experimentais retornam as propriedades de reflexão de porções estendidas ou mesmo de todo o artefato sob investigação16. As duas principais vantagens em relação à aquisição dos espectros isolados são evidentes. Por um lado, a disponibilidade da distribuição espacial das propriedades de reflexão permite identificar áreas que escondem características interessantes, embora possam não parecer peculiares17. Por outro lado, os hipercubos garantem uma série de espectros altos o suficiente para permitir a análise estatística dos dados. Esses fatos sustentam a compreensão da distribuição de pigmentos dentro da superfície pintada18,19.

Com o HRI, a comparação dos dados experimentais com as referências pode ser difícil de lidar com15. Um detector típico retorna hipercubos de pelo menos 256 x 256 espectros. Isso exigiria que o usuário avaliasse mais de 65.000 espectros de reflexão contra cada referência, tarefa quase impossível de ser realizada manualmente em um tempo razoável. Portanto, a solicitação de protocolos robustos e, possivelmente, automatizados para gerenciar e analisar conjuntos de dados HRI é mais do que justificada15,17. O método proposto responde a essa necessidade, lidando com todo o procedimento analítico com o mínimo de envolvimento e a máxima flexibilidade.

Um algoritmo composto por um conjunto de códigos caseiros (Tabela de Materiais) lê, gerencia e organiza os arquivos retornados pela configuração experimental. Permite que a fina seleção das porções dos Campos de Visão (FOVs, um campo de visão é a área da pintura monitorada por um único hipercubo) seja estudada e realize a análise dos dados com base no método Spectral Angle Mapper (SAM)20,21 e na manipulação do espectro original. O SAM retorna falsas imagens em escala cinza chamadas mapas de similaridade. Os valores dos pixels desses mapas correspondem aos ângulos espectrais que são os ângulos entre os espectros armazenados nos hipercubos e os chamados Membros Finais (EMs, um grupo de espectros de referência que devem descrever as características da superfície monitoradas pelos hipercubos)22. No caso do RS aplicado às pinturas, os EMs são os espectros de reflexão de pigmentos que devem combinar com a paleta do Mestre. Eles são escolhidos com base nas informações disponíveis sobre o artista, no período de realização da pintura e na expertise do usuário. Portanto, a saída do SAM é um conjunto de mapas que descreve as distribuições espaciais desses pigmentos sobre a superfície da pintura e que suporta o usuário a inferir os materiais utilizados pelo artista e sua organização no artefato. O algoritmo oferece a possibilidade de empregar todo tipo de referências independentemente de sua origem. As referências podem ser espectros específicos selecionados dentro dos hipercubos, provenientes de bancos de dados, ser adquiridos por um instrumento diferente em uma superfície diferente (como amostras de pigmentos ou a paleta do artista, por exemplo), ou ser obtido empregando qualquer tipo de espectroscopia de reflexão, fors incluído.

O SAM tem sido preferido entre os métodos de classificação disponíveis porque tem sido demonstrado ser eficaz para caracterizar pigmentos (consulte o livro de Richard23 para ter uma visão geral dos principais métodos de classificação disponíveis). Em vez disso, a ideia de desenvolver um protocolo caseiro em vez de adotar uma das muitas ferramentas disponíveis livremente na rede24,25 depende de uma consideração prática. Apesar da eficácia e da base científica dos GUIs e softwares existentes, uma única ferramenta dificilmente satisfaz todas as necessidades do usuário. Pode haver um problema de Entrada/Saída (I/O) porque uma ferramenta não gerencia o arquivo que contém os dados brutos. Pode haver um problema quanto à análise dos dados porque outra ferramenta não fornece a abordagem desejada. Pode haver uma limitação no manuseio dos dados porque a análise simultânea de múltiplos conjuntos de dados não é suportada. De qualquer forma, uma ferramenta perfeita não existe. Cada método deve ser ajustado aos dados ou vice-versa. Por isso, o desenvolvimento de um protocolo caseiro tem sido preferido.

A abordagem apresentada não oferece nem um conjunto completo de métodos analíticos (ver, para comparação, a ferramenta proposta por Mobaraki e Amigo24) nem uma interface de usuário fácil de gerenciar (ver, para comparação, o software empregado por Zhu e colegas de trabalho25), mas, em troca, foca-se em um aspecto ainda subestimado da análise de dados hiperespectrais: a oportunidade de manipular o espectro detectado. O poder da abordagem é ilustrado aplicando-o à pintura Quarto Stato de Giuseppe Pellizza da Volpedo (Figura 1), um óleo icônico sobre tela realizado no Museo del Novecento em Milão, Itália. Observe que, uma vez que a abordagem requer a execução de códigos caseiros, o desenvolvedor escolheu arbitrariamente os nomes dos códigos e as variáveis de entrada e saída usadas na descrição do protocolo. Os nomes das variáveis podem ser alterados pelo usuário, mas devem ser fornecidos da seguinte forma: as variáveis de entrada e saída devem ser escritas respectivamente entre parênteses e eventualmente separadas por vírgula e dentro de suportes quadrados e eventualmente separadas por um espaço branco. Pelo contrário, os nomes dos códigos não podem ser alterados.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Protocolo

1. Defina a resolução espacial dos hipercubos

  1. Realizar uma inspeção preliminar da superfície pintada (Figura 1) apoiada por especialistas em arte para identificar as principais características da pintura.
    1. Reconheça as técnicas pictóricas empregadas pelo artista para criar a pintura.
    2. Identifique as diferentes pinceladas de tinta na tela.
    3. Estimar, qualitativamente, as características das pinceladas com especial atenção ao seu tamanho.
  2. Simule a técnica pictórica utilizada pelo artista criando amostras de teste ad-hoc onde as pinceladas apresentam características semelhantes às aplicadas pelo artista.
    NOTA: Pellizza da Volpedo era um pintor divisionista. Um restaurador foi solicitado a preparar algumas amostras de teste que reproduzem qualitativamente as pinceladas da tela de interesse (Figura 2, coluna A).
  3. Defina a distância entre a superfície sob investigação e o equipamento de aquisição.
    NOTA: A distância determina a resolução espacial dos hipercubos26 e, portanto, a possibilidade de distinguir as pinceladas nas imagens e mapas SAM da superfície pintada.
    1. Avalie a distância entre a superfície da amostra e o equipamento de aquisição levando em conta as características da câmera hiperespectral26 (Tabela de Materiais) e o tamanho das pinceladas desenhadas nas amostras de ensaio.
    2. Coloque o estágio de aquisição e a câmera hiperespectral na distância avaliada na etapa anterior. Organize as amostras de teste no palco e garanta a iluminação uniforme da superfície das amostras.
    3. Realize uma calibração branca usando a referência padrão branca fornecida com a câmera hiperespectral. Adquira os hipercubos.
      NOTA: Para cada FOV, a câmera hiperespectral retorna imagens cruas e calibradas. Estes últimos foram utilizados para a análise.
    4. Baixe os arquivos retornados pelo instrumento e salve-os em uma pasta dedicada.
  4. Verifique se a resolução espacial dos hipercubos pode distinguir as diferentes pinceladas nas imagens e mapas SAM da superfície pintada.
    1. Inspecione as imagens RGB devolvidas pela câmera hiperespectral para garantir que as pinceladas usadas para perceber as amostras de teste possam ser reconhecidas (Figura 2, coluna A). Se assim for, mova-se para os próximos passos; caso contrário, volte para o passo 1.3.1 e reinicie.
    2. Liste os arquivos contendo os dados hiperespectrais e as imagens RGB dos FOVs executando o código de leitura de dados HS_FileLister. Digite a seguinte linha de comando (ponto e vírgula incluído) na janela terminal da linguagem usada para desenvolver os códigos (Tabela de Materiais) e pressione Enter para executar o código:
      [HS_DataList HS_ImageList] = HS_FileLister;
      1. Nenhuma entrada é necessária e há duas saídas: a lista dos arquivos contendo os hipercubos, HS_DataList e a lista das imagens devolvidas pela câmera hiperespectral, HS_ImageList.
        NOTA: O tamanho de cada hipercubo é 512 x 512 x 204 voxels onde 204 é o número de canais usados para monitorar o sinal de reflectância. Os canais abrangem o comprimento de onda entre 400 e 1.000 nm com uma resolução espectral de 7 nm em FWHM26.
    3. Defina a porção 3D dos hipercubos que devem ser analisadas executando o código de corte, HS_Crop_png. Defina a parte desejada de cada cubo de dados selecionando uma área sobre uma janela interativa que mostra a imagem 2D e RGB do FOV monitorada por cada hipercubo. Digite a seguinte linha de comando (ponto e vírgula incluído) na janela do terminal e pressione Enter para executar o código:
      [HS_ImageList] = HS_Crop_png(HS_ImageList);
      1. Há uma entrada (a lista das imagens retornadas pela câmera hiperespectral, HS_ImageList) e uma saída (a lista de entrada adicionada com as coordenadas espaciais para eventualmente cortar os hipercubos).
    4. Aplique o observador de iluminação D65 e 1931 das normas CIE (International Commission on Illumination) aos hipercubes para recuperar as imagens RGB dos FOV(s) do espectro de reflexão executando o código de re-construção, HS_RGB_rebuild. Digite a seguinte linha de comando (ponto e vírgula incluído) na janela do terminal e pressione Enter para executar o código:
      [HS_ImageList] = HS_RGB_rebuild(HS_ImageList, HS_DataList);
      1. Há duas entradas (a lista contendo as imagens devolvidas pela câmera hiperespectral, HS_ImageList, e a lista dos arquivos contendo os hipercubos, HS_DataList) e uma saída (a lista de entrada contendo as imagens devolvidas pela câmera hiperespectral adicionada com as imagens RGB das superfícies dos hipercubos recuperadas do espectro de reflexão).
        NOTA: HS_RGB_Rebuild explora as funções desenvolvidas por Jeff Mather27 para aplicar o d65 illuminante e observador de 1931 do CIE aos dados.
    5. Selecione manualmente alguns espectros de referência nas superfícies das amostras de teste (White Circles and Numbers in Figure 2, coluna A) executando o código isolado de seleção de pontos de medição, PointSel. Selecione os pontos de medição clicando em uma janela interativa que mostra, uma a uma, as imagens 2D, RGB dos FOV(s). Digite a seguinte linha de comando (ponto e vírgula incluído) na janela do terminal e pressione Enter para executar o código:
      [Referências] = PointSel(HS_DataList, HS_ImageList);
      1. Existem duas entradas (a lista contendo as imagens devolvidas pela câmera hiperespectral, HS_ImageList, e a lista dos arquivos contendo os hipercubos, HS_DataList) e uma saída (uma variável, Referências, contendo o espectro selecionado como referências dentro do FOV(s)).
    6. Se desejar, armazene a posição das referências sobre a superfície das amostras em um conjunto de imagens executando o código dedicado, SaveImPoint. Digite a seguinte linha de comando (ponto e vírgula incluído) na janela do terminal e pressione Enter para executar o código:
      SaveImPoint (referências, HS_ImageList);
      1. Existem duas entradas (a variável contendo o espectro de referência, referências e a lista contendo as imagens devolvidas pela câmera hiperespectral, HS_ImageList) e nenhuma saída (o código salva .png imagens na pasta de trabalho atual).
    7. Organize as referências em uma matriz executando o código de conversão, RefListToMatrix. Digite a seguinte linha de comando (ponto e vírgula incluído) na janela do terminal e pressione Enter para executar o código:
      [References_Matrix] = RefListToMatrix (Referências, HS_ImageList(1). Wavel);
      1. Existem duas entradas (a variável contendo o espectro de referência, referências e a lista dos comprimentos de onda em que o detector conta os fótons durante a aquisição de dados do espectro, HS_ImageList(1). WaveL) e uma saída (o mesmo espectro de referência organizado em uma matriz, References_Matrix).
        NOTA: Esta etapa é obrigatória porque o código que avalia os mapas SAM requer que os espectros de referência sejam organizados em uma matriz. A sintaxe da segunda entrada, HS_ImageList(1). WaveL, é necessário para recordar a variável WaveL da lista HS_ImageList. O número 1 entre parênteses refere-se ao primeiro elemento da lista nomeado como HS_ImageList; no entanto, uma vez que todos os hipercubos têm o mesmo comprimento de onda, ele pode ser substituído por cada número menor ou igual ao número total de imagens listadas.
    8. Extrair os mapas SAM usando todo o espectro executando o código de avaliação padrão do SAM maps, SAM_Standard. Digite a seguinte linha de comando (ponto e vírgula incluído) na janela do terminal e pressione Enter para executar o código:
      SAM_Standard(HS_ImageList, HS_DataList, References_Matrix);
      1. Há três entradas (a lista contendo as imagens devolvidas pela câmera hiperespectral, HS_ImageList; a lista dos arquivos contendo os hipercubos, HS_DataList; e a matriz do espectro de referência, References_Matrix) e nenhuma saída: o código salva os mapas SAM como .png imagens na pasta de trabalho atual.
    9. Verifique se os mapas de similaridade obtidos (Figura 2, colunas B - E) exibem os detalhes das pinceladas utilizadas para a realização das amostras de teste. Se este for o caso, passe para o próximo passo do protocolo; caso contrário, volte para o passo 1.3.1 e reinicie.

2. Ajuste os parâmetros experimentais à pintura

  1. Identificar a Região de Interesse, ROI(s), da pintura a ser estudada (retângulos vermelhos na Figura 3A).
    NOTA: É comum que mais de um FOV seja necessário para cobrir um único ROI.
  2. Organize a configuração de aquisição e a pintura à distância definida nas etapas anteriores e realize a calibração branca empregando a referência padrão branca fornecida com a câmera hiperespectral.
    NOTA: Se os usuários devem fazer uma aquisição in situ (ou seja, eles devem estudar uma pintura exposta em um museu ou em uma exposição), eles só podem gerenciar a câmera. É o caso do Quarto Stato, que está permanentemente exposto em um espaço dedicado no Museu do Novecento, em Milão, itália.
  3. Adquira os dados hiperespectrais de pelo menos um FOV dentro da borda de cada ROI(s) (áreas não sombreadas dentro dos retângulos vermelhos na Figura 3A).
  4. Baixe os arquivos retornados pelo instrumento e salve-os em uma pasta dedicada.
  5. Verifique se a iluminação da superfície da pintura foi uniformemente definida olhando para as imagens RGB devolvidas pela câmera hiperespectral. Se este for o caso, mova-se para os próximos passos, caso contrário, volte para o passo 2.2 e reinicie.
    NOTA: A Figura 4 ilustra a importância desta verificação (consulte a seção Discussão para os detalhes).
  6. Repita as sub-etapas da etapa 1.4.
  7. Verifique se os dados têm uma resolução espacial alta o suficiente para distinguir as pinceladas observando as imagens RGB dos FOVs (Figura 3B) e os mapas SAM (Figura 3C) relacionados ao espectro de referência selecionado dentro dos FOVs (círculos verdes na Figura 3B).
  8. Se a iluminação e a resolução espacial tiverem sido adequadamente definidas, complete a coleta dos dados que adquirem os outros FOVs necessários para cobrir os ROI(s); caso contrário, volte para o passo 2.2 e reinicie.
    NOTA: Quando um ROI requer mais de um FOV para ser coberto, garanta um certo grau de superposição entre fovs adjacentes para costurar facilmente os mapas resultantes3,15. A extensão da sobreposição depende da distância entre a câmera hiperespectral e a amostra, na tradução, e o ângulo horizontal de visão do detector28. No caso da campanha experimental induzida no Quarto Stato, a sobreposição foi definida como pelo menos 40% dos FOVs.

3. Hipercubes e o gerenciamento de espectros de referência

  1. Realize a I/O dos dados brutos: organize, leia e gerencie os hipercubos.
    1. Execute o código HS_FileLister para armazenar a lista dos arquivos contendo os hipercubos e as informações relacionadas em duas variáveis à disposição do algoritmo (ver etapa 1.4.2 para os detalhes práticos).
      NOTA: A câmera hiperespectral retorna arquivos hdr (alto alcance dinâmico) que o código gerencia explorando uma versão revisitada do script desenvolvido por Jarek Tuszinsky29.
    2. Execute o código HS_Crop_png para selecionar a porção de cada FOV a ser usada na análise dos dados (ver etapa 1.4.3 para os detalhes práticos).
    3. Execute o código HS_RGB_Rebuild para recuperar as imagens RGB dos FOVs do espectro de reflectância (ver passo 1.4.4 para os detalhes práticos).
  2. Organize, leia (se necessário) e gerencie o espectro de referência.
    NOTA: O espectro de referência desempenhará o papel dos membros finais dentro do método SAM20,21. Esta parte do algoritmo não é univacally determinada, mas depende do modo de seleção e da origem do espectro de referência.
    1. Execute o código PointSel e clique dentro da janela interativa exibida para identificar o espectro de referência como pontos de medição isolados sobre a superfície da área monitorada (Figura 5A) (ver passo 1.4.5 para os detalhes práticos).
    2. Selecione automaticamente o espectro de referência como um ânticulo regular de pontos de medição sobrepostos à superfície da área monitorada executando o código de seleção reticular, ReticularSel (Figura 5B). Digite a seguinte linha de comando (ponto e vírgula incluído) na janela do terminal e pressione Enter para executar o código:
      [Referências] = ReticularSel (HS_DataList, HS_ImageList, n_pixel);
      1. Há três entradas (a lista contendo as imagens devolvidas pela câmera hiperespectral, HS_ImageList; a lista dos arquivos contendo os hipercubos, HS_DataList; e o espaçamento do reticulo, n_pixel, expressa em número de pixels) e uma saída: uma variável contendo o espectro selecionado como referências dentro dos FOVs, Referências.
    3. Execute o código importador de referências externas, Spectra_Importer, para criar uma variável contendo referências a partir de conjuntos de dados e bancos de dados independentes dos hipercubos adquiridos no Quarto Stato. Digite a seguinte linha de comando (ponto e vírgula incluído) na janela do terminal e pressione Enter para executar o código:
      [ExtReferências] = Spectra_Importer(file_extension);
      1. Há uma entrada (a extensão do arquivo contendo o espectro de referência independente, file_extension, escrita entre apices) e uma saída (uma variável contendo as referências externas, ExtReferences).
        NOTA: O código do importador de referência externo foi otimizado para importar arquivos tmr, mas, se necessário, pode ser facilmente modificado para lidar com qualquer tipo de arquivo de texto.
    4. Execute o código RefListToMatrix para colocar as referências em uma matriz, References_Matrix ou ExtReferences_Matrix, conforme exigido pelo código que avalia os mapas SAM (ver passo 1.4.7 para os detalhes práticos).
    5. Aguarde que o código RefListToMatrix equalize tanto a faixa de comprimento de onda quanto a resolução espectral (ou seja, o número de componentes) dos hipercubos e das referências.
      NOTA: O código identifica as faixas de comprimento de onda tanto dos hipercubos quanto das referências. O código compara as faixas de comprimento de onda e corta os intervalos de comprimento de onda que não são monitorados tanto pelos hipercubos quanto pelas referências. O código identifica o grupo de hiperventores (os hipercubos ou as referências) constituídos pelo menor número de componentes (ou seja, caracterizados pela menor resolução espectral) na faixa de comprimento de onda igualizada. O código reduz o número de componentes dos hiper-vetores mais longos (as referências ou os hipercubos) aos dos mais curtos (os hipercubos ou as referências). Isso é feito mantendo, para cada comprimento de onda dos hiperventores mais curtos, apenas os valores dos hiperventores mais longos que correspondem ao comprimento de onda mais próximo ao dos hiperventores mais curtos.
      1. O código executa automaticamente a equalização. Se as referências tiverem sido selecionadas dentro dos hipercubos, a faixa de comprimento de onda e a resolução espectral não precisam ser igualadas e permanecem inalteradas.
    6. Se desejar, armazene a posição das referências sobre a superfície das amostras em um conjunto de imagens executando o código dedicado (ver etapa 1.4.7 para os detalhes práticos).
      NOTA: Esta opção só estará disponível se as referências tiverem sido selecionadas dentro dos hipercubos (etapas 3.2.1 e 3.2.2).

4. Análise SAM

  1. Execute o código SAM_Complete para avaliar os mapas de similaridade. Digite a seguinte linha de comando (ponto e vírgula incluído) na janela do terminal e pressione Enter para executar o código:
    SAM_Complete(HS_ImageList, HS_DataList, References_Matrix);
    1. Há três entradas (a lista contendo as imagens devolvidas pela câmera hiperespectral, HS_ImageList; a lista dos arquivos contendo os hipercubos, HS_DataList; e a matriz de referência, References_Matrix ou ExtReferences_Matrix) e nenhuma saída (o código salva os mapas SAM como .png arquivos na pasta de trabalho atual).
      NOTA: Além das três variáveis de entrada descritas, o código SAM_complete deve ser alimentado com poucos parâmetros adicionais para adaptar o protocolo de análise de acordo com as preferências do usuário (veja os próximos passos).
  2. Quando necessário, alimente o código com a opção de pré-processamento digitando o número 0 ou 1 na caixa de diálogo, dependendo da operação de pré-processamento desejada e pressione Enter para continuar.
    1. Opção de pré-processamento definida para 0: a área subtenida por cada espectro de reflexão é normalizada para 1.
    2. Opção de pré-processamento definida para 1: a área subtenida por cada espectro de reflexão é normalizada para 1 e, em seguida, o espectro normalizado é derivado uma vez.
      NOTA: Tanto os hipercubos quanto as referências passam pela mesma opção de pré-processamento.
  3. Selecione os membros finais a serem usados para a análise de SAM entre a matriz de referência, alimentando o código com os números das colunas correspondentes ao espectro desejado. Quando necessário, digite na caixa de diálogo a sequência de números correspondentes às colunas desejadas digitando os números separados por um espaço branco. Pressione Enter para continuar.
    NOTA: A sequência [12 3] corresponde à seleção das três primeiras colunas da matriz de referência; um vetor vazio corresponde à seleção de todas as colunas da matriz de referência.
  4. Alimente o código com uma sequência contendo a primeira parte do nome que identificará os conjuntos de mapas a serem salvos (ou seja, a parte comum do nome dos arquivos .png retornados por SAM_Complete). Quando necessário, insira a sequência na caixa de diálogo. Pressione Enter para continuar.
    NOTA: Se os tipos de usuário testarem, então o nome de todas as imagens .png de saída começará com o teste.
  5. Quando necessário, alimente o código com o método selecionado para manusear os dados digitando o número 0, 1 ou 2 na caixa de diálogo, dependendo do método de alça desejado e pressione Enter para continuar.
    1. Defina o método para 0 para não manipulação dos dados.
    2. Defina o método para 1 para exigir a seleção manual da faixa de comprimento de onda do espectro a ser considerado antes de iniciar a análise (Figura 6).
    3. Defina o método para 2 para exigir que o algoritmo ordene os dados com base em um critério específico antes da avaliação dos mapas SAM (Figura 7).
  6. Aguarde o protocolo para processar os dados e para salvar os mapas SAM na pasta de trabalho atual, à medida que .png arquivos.
    NOTA: Se o método de manuseio tiver sido definido para 0 ou 2, o usuário deve apenas esperar. Se ele foi definido como 1, o usuário deve selecionar as partes(s) dos espectros a serem empregados para avaliar os mapas SAM clicando em uma janela interativa (Figura 6).

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Resultados

O protocolo proposto oferece um conjunto de recursos interessantes para a gestão e a análise dos dados hri. A I/O (etapa 3.1) dos dados brutos é sempre o primeiro problema que deve ser resolvido antes de aplicar qualquer método de análise e pode se tornar um problema crítico ao lidar com grandes quantidades de dados. No presente caso, a única tarefa em relação aos dados brutos é armazenar os resultados experimentais em uma pasta dedicada e selecioná-los navegando no disco rígido ao executar o código de leitura (etapa 3.1...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Discussão

Conjuntos de dados de imagem de reflectância hiperespectral são grandes reservatórios de informação; portanto, o desenvolvimento de protocolos robustos e, possivelmente, automatizados para analisar os dados é uma virada fundamental para explorar seu potencial15,17. O algoritmo proposto responde a essa necessidade no campo do patrimônio cultural com especial atenção à caracterização dos pigmentos das pinturas. Com base no SAM20,21

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Divulgações

Os autores não têm nada a revelar.

Agradecimentos

Esta pesquisa foi financiada pela Regione Lombardia no âmbito do Projeto MOBARTECH: una piattaforma mobile tecnologica, interattiva e partecipata per lo studio, la conservazione e la valorizzazione di beni storico-artistici - Call Accordi per la Ricerca e l'Innovazione.

Os autores agradecem à equipe do Museo del Novecento pelo apoio durante as sessões experimentais in situ e à Associação Pellizza da Volpedo pelo acesso ao Studio Museo.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Materiais

Lista de materiais utilizados neste artigo
NomeEmpresaNúmero de catálogoComentários
ImageJ/FijiSpecim (Oulo, Finlad)N/ACâmera hiperespectral de refletância portátil usada para adquirir os hipercubos
MATLAB 2019bStellarNet Inc (Tampa, Flórida, EUA)N/AEspectrômetro de refletância portátil usado para adquirir espectros de refletância independentes
Câmera hiperespectral Specim IQNational Institutes of Health (Bethesda, Maryland, EUA)N/A  Programa de processamento de imagem Java de código aberto
StellarNet BLUE-wave Miniature Spectrometer  MathWorks (Natick, Massachusset, EUA)N/ALinguagem de programa e ambiente de computação numérica

Referências

  1. Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , Springer. 259-265 (2002).
  2. Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
  3. Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
  4. Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
  5. Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
  6. Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
  7. Pouyet, E. K., et al. New insights into Pablo Picasso's La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
  8. Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
  9. Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
  10. Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
  11. Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
  12. Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
  13. Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
  14. Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
  15. Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
  16. Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
  17. Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
  18. Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
  19. Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390(2003).
  20. Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
  21. Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
  22. Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
  23. Richards, J. A. Remote sensing digital image analysis. 3, Springer. (1999).
  24. Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
  25. Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175(2021).
  26. Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441(2018).
  27. Mather, J. Spectral and XYZ Color Functions. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021).
  28. Chen, C. -Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
  29. Tuszynski, J. read_envihdr. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021).
  30. Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202(2016).
  31. Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
  32. Rinnan, Å, Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Reimpressões e permissões

Etiquetas

Espectroscopia de Reflect nciaReflect ncia por Fibra pticaT cnicas de PinturaAn lise de PigmentosMapeador de ngulo EspectralCaracteriza o de PaletaAn lise de PinceladasImagem N o InvasivaConserva o de Arte
Aplicando imagens de reflectância hiperespectral para investigar as paletas e as técnicas dos pintores
Fale conosco
Recomendar à biblioteca

Privacidade

Termos de Uso

Políticas

Copyright © 2026 MyJoVE Corporation. Todos os direitos reservados.