Summary
高光谱反射成像超立方体将显著信息纳入大量数据中。因此，要求使用自动化协议来管理和研究数据集是有充分理由的。光谱角度映射器、数据操作和用户可调分析方法的结合构成了探索实验结果的关键。
Abstract
反射光谱（RS）和光纤反射光谱（FORS）是研究艺术品的成熟技术，特别关注绘画。大多数现代博物馆都为其研究小组提供便携式设备，这些设备与RS和FORS固有的非侵入性一起，使得从文物表面 原位 收集反射光谱成为可能。由颜料和绘画材料专家将实验数据与参考光谱数据库进行比较，推动了调色板和艺术家所用技术的表征。然而，这种方法需要特定的技能，而且非常耗时，特别是如果要研究的光谱数量变得很大，就像高光谱反射成像（HRI）数据集一样。HRI实验装置是多维相机，它将反射光谱给出的光谱信息与涂漆表面上光谱的空间定位相关联。生成的数据集是3D立方体（称为超立方体或数据立方体），其中前两个维度定位绘画上的光谱，第三个维度是光谱本身（即，涂漆表面的该点的反射率与探测器操作范围内的波长）。探测器能够同时收集大量光谱（通常每个超立方体超过10，000个），这使得HRI数据集成为大量信息库，并证明需要开发强大的，可能的自动化协议来分析数据。在描述了为数据采集而设计的程序之后，我们提出了一种系统地利用超立方体潜力的分析方法。基于光谱角度映射器（SAM）和对收集光谱的操纵，该算法处理和分析数千个光谱，同时支持用户揭示所研究样品的特征。这种方法的力量通过将其应用于 Quarto Stato来说明，这是Giuseppe Pellizza da Volpedo的标志性杰作，在米兰（意大利）的Museo del Novecento举行。
Introduction
反射光谱（RS）和光纤反射光谱（FORS）是基于检测光源（通常是卤钨灯）照亮的表面反射的光。采集系统的输出由光谱构成，其中反射率作为波长的函数在取决于所采用的实验设置特性的范围内进行监测1，2，3。RS和FORS是在过去四十年中引入的4，5，通常与X射线荧光和其他光谱结合使用，以描述艺术家用于实现其杰作的材料和技术6，7，8，9。反射光谱的研究通常是通过将样品中的数据与用户在个人或公共数据库中选择的一组参考光谱进行比较来进行的。一旦确定了符合样品实现周期和艺术家工作方式的参考光谱，用户就可以识别反射光谱的主要特征（即过渡，吸收和反射波段1，2，10，11），然后在其他技术的帮助下6，7，8 他们区分绘画中使用的颜料。最后，他们讨论了参考文献和实验光谱之间存在的细微差异7，9。
在大多数情况下，实验数据集由一些光谱组成，这些光谱是从艺术专家选择的区域收集的，并被认为对绘画的表征具有重要意义6，12，13。尽管有用户的技能和经验，但一些光谱无法完全穷尽整个涂漆表面的特征。此外，分析结果将始终在很大程度上取决于表演者的专业知识。在这种情况下，高光谱反射成像（HRI3，14，15）可能是一个有用的资源。实验装置返回的不是几个孤立的光谱，而是返回扩展部分甚至所研究的整个伪影的反射特性16。在获取分离光谱方面，两个主要优点是显而易见的。一方面，反射率属性的空间分布的可用性允许识别隐藏有趣特征的区域，即使它们可能看起来并不奇特17。另一方面，超立方体保证了足够高的光谱数量，以便对数据进行统计分析。这些事实支持了对颜料在涂漆表面内分布的理解18，19。
使用HRI，实验数据与参考文献的比较可能难以处理15。典型的探测器返回至少 256 x 256 光谱的超立方体。这将要求用户针对每个参考评估超过65，000个反射光谱，这是一项几乎不可能在合理的时间内手动执行的任务。因此，对强大的、可能的、自动化的协议来管理和分析HRI数据集的要求是合理的15，17。所提出的方法通过以最小的参与和最大的灵活性处理整个分析过程来满足这一需求。
由一组自制代码（材料表）组成的算法读取，管理和组织实验设置返回的文件。它允许对视场部分（FOV，一个视场是由单个超立方体监控的绘画区域）进行精细选择，并根据光谱角度映射器（SAM）方法20，21 和原始光谱的操纵执行数据分析。SAM 返回称为相似性图的假彩色灰度图像。这些图的像素值对应于光谱角度，光谱角度是存储在超立方体中的光谱与所谓的终端成员（EM，一组应描述由超立方体监测的表面特征的参考光谱）之间的角度22。在RS应用于绘画的情况下，EM是颜料的反射光谱，应与Master的调色板相匹配。它们是根据有关艺术家的可用信息，绘画的实现期以及用户的专业知识来选择的。因此，SAM的输出是一组地图，描述了这些颜料在绘画表面上的空间分布，并支持用户推断艺术家使用的材料及其在人工制品中的组织。该算法提供了独立于其来源使用各种引用的可能性。参考文献可以是在超立方体中选择的特定光谱，来自数据库，由不同表面上的不同仪器获取（例如颜料样品或艺术家的调色板），或者使用任何类型的反射光谱（包括FORS）获得。
SAM在可用的分类方法中是首选，因为它已被证明对表征颜料有效（请参阅Richard23的书，以概述主要的可用分类方法）。相反，开发自制协议而不是采用net24，25 上免费提供的众多工具之一的想法依赖于实际的考虑。尽管现有GUI和软件具有有效性和科学基础，但单个工具很难满足用户的所有需求。可能存在输入/输出 （I/O） 问题，因为工具不管理包含原始数据的文件。在数据分析方面可能存在问题，因为另一种工具没有提供所需的方法。在处理数据时可能存在限制，因为不支持同时分析多个数据集。无论如何，一个完美的工具并不存在。每种方法都必须根据数据进行调整，反之亦然。因此，开发自制协议是首选。
所提出的方法既没有提供一套完整的分析方法（参见Mobaraki和Amigo24提出的工具），也没有提供易于管理的用户界面（参见Zhu和同事使用的软件25），但作为交换，它侧重于高光谱数据分析的一个仍然被低估的方面：操纵检测到的光谱的机会。通过将这种方法应用于朱塞佩·佩里扎·达·沃尔佩多（Giuseppe Pellizza da Volpedo）的画作 《夸拓国家公报》（Quarto Stato ）（图1），这是一幅标志性的布面油画，在意大利米兰的Novecento博物馆展出。请注意，由于该方法需要运行自制代码，因此开发人员会任意选择代码的名称以及协议描述中使用的输入和输出变量。变量的名称可以由用户更改，但必须按如下方式提供：输入和输出变量必须分别写在括号内，最终用逗号分隔，在方括号内，最终用空格分隔。相反，代码的名称不能更改。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. 设置超立方体的空间分辨率
- 在艺术专家的支持下，对涂漆表面（图1）进行初步检查，以确定涂装的主要特征。
- 认识艺术家创作绘画时采用的绘画技巧。
- 识别画布上颜料的不同笔触。
- 定性地估计画笔笔触的特征，并特别注意其大小。
- 通过创建 临时 测试样本来模仿艺术家使用的图形技术，其中笔触显示与艺术家应用的特征相似的特征。
注：佩利扎·达·沃尔佩多是一位分裂主义画家。要求恢复者准备一些测试样品，这些样品定性地再现了感兴趣的画布的笔触（图2，A列）。 - 设置被调查表面与采集设备之间的距离。
注意：距离决定了超立方体的空间分辨率26 ，因此可以区分绘画表面的图像和SAM图上的画笔描边。- 评估样品表面与采集设备之间的距离，同时考虑高光谱相机26 （材料表）的特性以及测试样品中绘制的画笔笔触的大小。
- 将采集级和高光谱相机放在上一步中评估的距离。将测试样品安排在载物台上，并确保样品表面的均匀照明。
- 使用高光谱相机随附的白色标准参考进行白色校准。获取超立方体。
注：对于每个FOV，高光谱相机都会返回原始图像和校准图像。后者已用于分析。 - 下载仪器返回的文件，并将其保存在专用文件夹中。
- 检查超立方体的空间分辨率是否能区分绘制表面的图像和SAM图上不同的笔触。
- 检查高光谱相机返回的RGB照片，以确保可以识别用于实现测试样品的笔触（图2，A列）。如果是这样，请转到后续步骤;否则，请返回步骤 1.3.1 并重新启动。
- 通过运行数据读取代码 ，列出包含高光谱数据和 FOV 的 RGB 图像的文件，HS_FileLister。在用于开发代码的语言（材料表）的终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码：
[HS_DataList HS_ImageList] = HS_FileLister;- 无需输入，有两个输出：包含超立方体 的文件列表HS_DataList，以及高光谱相机返回的图像列表 HS_ImageList。
注意：每个超立方体的大小为 512 x 512 x 204 体素，其中 204 是用于监视反射信号的通道数。这些通道的波长范围在 400 到 1，000 nm 之间，FWHM26 处的光谱分辨率为 7 nm。
- 无需输入，有两个输出：包含超立方体 的文件列表HS_DataList，以及高光谱相机返回的图像列表 HS_ImageList。
- 定义必须通过运行裁剪代码来分析的超立方体的 3D 部分， HS_Crop_png。通过在显示每个超立方体监视的 FOV 的 2D RGB 图像的交互式窗口上选择一个区域来定义每个数据立方体的所需部分。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码：
[HS_ImageList] = HS_Crop_png（HS_ImageList）;- 有一个输入（高光谱相机返回的图像列表， HS_ImageList）和一个输出（使用空间坐标添加的输入列表，以最终裁剪超立方体）。
- 将CIE（国际照明委员会）标准的D65光源和1931年观察器应用于超立方体，通过运行重建代码 （HS_RGB_rebuild）从反射光谱中检索FOV的RGB图像。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码：
[HS_ImageList] = HS_RGB_rebuild（HS_ImageList， HS_DataList）;- 有两个输入（包含高光谱相机返回的图像的列表 ，HS_ImageList，以及包含超立方体 的文件列表，HS_DataList）和一个输出（包含高光谱相机返回的图像的输入列表，这些图像添加了从反射光谱中检索到的高立方体表面的RGB图像）。
注： HS_RGB_Rebuild 利用 Jeff Mather27 开发的功能将 D65 光源和 CIE 的 1931 年观察器应用于数据。
- 有两个输入（包含高光谱相机返回的图像的列表 ，HS_ImageList，以及包含超立方体 的文件列表，HS_DataList）和一个输出（包含高光谱相机返回的图像的输入列表，这些图像添加了从反射光谱中检索到的高立方体表面的RGB图像）。
- 通过运行隔离的测量点选择代码PointSel，手动选择测试样品表面上的一些参考光谱（图2中的白圈和数字，A列）。通过单击交互式窗口来选择测量点，该窗口逐个显示 FOV 的 2D RGB 图像。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码：
[参考文献] = PointSel（HS_DataList， HS_ImageList）;- 有两个输入（包含高光谱相机返回的图像的列表 ，HS_ImageList，以及包含超立方体 的文件列表，HS_DataList）和一个输出（变量， 参考，包含FOV中作为参考选择的光谱）。
- 如果需要，请通过运行专用代码 SaveImPoint 将示例表面上的引用位置存储到一组图片中。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码：
SaveImPoint（References， HS_ImageList）;- 有两个输入（包含参考光谱的变量、 参考值和包含高光谱相机返回的图像的列表 ，HS_ImageList）和无输出（代码在当前工作文件夹中保存.png图像）。
- 通过运行转换代码 RefListToMatrix 将引用组织到一个矩阵中。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码：
[References_Matrix] = RefListToMatrix（References， HS_ImageList（1）。波浪）;- 有两个输入（包含参考光谱的变量、 参考值和探测器在光谱数据采集期间计算光子的波长列表， HS_ImageList（1）。WaveL）和一个输出（将相同的参考光谱组织成一个矩阵， References_Matrix）。
注意：此步骤是必需的，因为评估 SAM 映射的代码要求将参考光谱组织到矩阵中。第二个输入的语法 HS_ImageList（1）。WaveL 需要从列表中召回变量 WaveL HS_ImageList。括号内的数字1是指清单中第一个被命名为HS_ImageList的元素;但是，由于所有超立方体都具有相同的波长范围，因此可以用每个小于或等于所列图像总数的数字来替换它。
- 有两个输入（包含参考光谱的变量、 参考值和探测器在光谱数据采集期间计算光子的波长列表， HS_ImageList（1）。WaveL）和一个输出（将相同的参考光谱组织成一个矩阵， References_Matrix）。
- 通过运行标准 SAM 映射评估代码 ，使用整个光谱提取 SAM 映射，SAM_Standard。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码：
SAM_Standard（HS_ImageList、HS_DataList、References_Matrix）;- 有三个输入（包含高光谱相机返回的图像的列表 ，HS_ImageList;包含超立方体 的文件列表，HS_DataList;和参考光谱的矩阵， References_Matrix）和没有输出：代码将SAM映射保存为当前工作文件夹中.png图像。
- 检查获得的相似性图（图2，B列-E）是否显示了用于实现测试样品的笔触的详细信息。如果是这种情况，请转到协议的下一步;否则，请返回步骤 1.3.1 并重新启动。
2.调整绘画的实验参数
- 确定要研究的绘画的感兴趣区域（ROI）（ 图3A中的红色矩形）。
注意：通常需要多个 FOV 才能覆盖单个 ROI。 - 将采集设置和绘画安排在前面步骤中定义的距离，并使用高光谱相机随附的白色标准参考执行白色校准。
注意：如果用户必须 进行原位 采集（即，他们必须研究在博物馆或展览中曝光的画作），他们只能管理相机。 这就是Quarto Stato的情况，它永久暴露在意大利米兰Novecento博物馆的专用空间中。 - 从每个ROI边缘（ 图3A中红色矩形内的无阴影区域）的至少一个FOV获取高光谱数据。
- 下载仪器返回的文件，并将其保存到专用文件夹中。
- 通过观察高光谱相机返回的RGB图像，检查绘画表面的照明是否均匀设置。如果是这种情况，请转到后续步骤，否则返回步骤 2.2 并重新启动。
注意： 图 4 说明了此检查的重要性（有关详细信息，请参阅" 讨论 "部分）。 - 重复步骤 1.4 的子步骤。
- 通过观察视场的RGB图片（图3B）和与视场内选择的参考光谱（图3B中的绿色圆圈）相关的SAM图（图3C），检查数据是否具有足够高的空间分辨率来区分笔触。
- 如果照明和空间分辨率已正确设置，请完成数据采集，以获取覆盖ROI所需的其他FOV;否则，请返回步骤 2.2 并重新启动。
注意：当 ROI 需要覆盖多个 FOV 时，请确保相邻 FOV 之间有一定程度的叠加，以便轻松拼接生成的地图3，15。重叠的程度取决于高光谱相机与样品之间的距离、平移以及探测器的水平视角28。在 Quarto Stato上进行的实验活动的情况下，重叠被设置为至少40%的FOV。
3. 超立方体和参考光谱管理
- 执行原始数据的 I/O：组织、读取和管理超多维数据集。
- 运行 HS_FileLister 代码，将包含超立方体的文件列表和相关信息存储到两个变量中，以供算法使用（有关实际详细信息，请参阅步骤 1.4.2）。
注意：高光谱相机返回代码利用 Jarek Tuszinsky29 开发的重新访问版本的脚本管理的 hdr（高动态范围）文件。 - 运行 HS_Crop_png 代码以选择要在数据分析中使用的每个FOV部分（有关实际细节，请参阅步骤1.4.3）。
- 运行 HS_RGB_Rebuild 代码以从反射率光谱中检索FOV的RGB图像（有关实际细节，请参阅步骤1.4.4）。
- 运行 HS_FileLister 代码，将包含超立方体的文件列表和相关信息存储到两个变量中，以供算法使用（有关实际详细信息，请参阅步骤 1.4.2）。
- 组织、读取（如果需要）和管理参考光谱。
注：参考光谱将在SAM方法中扮演终端杆件的作用20,21.该算法的这一部分不是单声确定的，而是取决于选择模式和参考光谱的来源。- 运行 PointSel 代码并在显示的交互式窗口中单击，以将参考光谱识别为监测区域表面上的孤立测量点（图5A）（有关实际细节，请参阅步骤1.4.5）。
- 通过运行网状选择代码 ReticularSel ，自动选择参考光谱作为叠加到监测区域表面的常规测量点网（图5B）。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码：
[参考文献] = ReticularSel（HS_DataList， HS_ImageList， n_pixel）;- 有三个输入（包含高光谱相机返回的图像的列表 ，HS_ImageList;包含超立方体 的文件列表，HS_DataList;以及网的间距 ，n_pixel，以像素数表示）和一个输出：一个变量，其中包含在FOV中作为参考选择的光谱， 参考。
- 运行外部引用导入程序代码 （Spectra_Importer）以创建一个变量，其中包含来自数据集和数据库的引用，这些引用独立于在 Quarto Stato 上获取的超立方体。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码：
[外部链接] = Spectra_Importer（file_extension）;- 有一个输入（包含独立参考光谱的文件的扩展名， file_extension，写在光点之间）和一个输出（包含外部参考的变量， ExtReferences）。
注意：外部引用导入程序代码已针对导入 tmr 文件进行了优化，但如有必要，可以轻松修改它以处理任何类型的文本文件。
- 有一个输入（包含独立参考光谱的文件的扩展名， file_extension，写在光点之间）和一个输出（包含外部参考的变量， ExtReferences）。
- 运行 RefListToMatrix 代码，按照评估 SAM 映射的代码的要求，将引用放入矩阵 中 ， References_Matrix或ExtReferences_Matrix（有关实际详细信息，请参阅步骤 1.4.7）。
- 等待 RefListToMatrix 代码均衡超立方体和引用的波长范围和光谱分辨率（即分量数）。
注意：该代码标识超立方体和引用的波长范围。该代码比较波长范围，并切断超立方体和引用未监视的波长间隔。该代码标识由均衡波长范围内较低数量的分量（即，以较低的光谱分辨率为特征）组成的超矢量组（超立方体或参考）。该代码将较长的超向量（引用或超立方体）的组件数减少到较短的超向量（超立方体或引用）的分量数。这是通过为较短的超矢量的每个波长仅保留较长超矢量的值来完成的，这些超矢量的值对应于与较短超矢量的波长最接近的波长。- 代码将自动执行均衡。如果在超立方体中选择了参考，则波长范围和光谱分辨率不需要均衡，并且它们保持不变。
- 如果需要，通过运行专用代码将样本表面上的参照位置存储到一组图片中（有关实际细节，请参阅步骤 1.4.7）。
注意：仅当在超立方体中选择了参照（步骤 3.2.1 和 3.2.2）时，此选项才可用。
4. 地膜分析
- 运行 SAM_Complete 代码以评估相似性映射。在终端窗口中键入以下命令行（包括分号），然后按 Enter 运行代码：
SAM_Complete（References_Matrix HS_DataList HS_ImageList）;- 有三个输入（包含高光谱相机返回的图像的列表 ，HS_ImageList;包含超立方体 的文件列表，HS_DataList;和参考矩阵， References_Matrix 或 ExtReferences_Matrix）和没有输出（代码将SAM映射保存为当前工作文件夹中.png文件）。
注意：除了所描述的三个输入变量之外， SAM_complete 代码必须包含一些附加参数，以便根据用户的偏好定制分析协议（请参阅后续步骤）。
- 有三个输入（包含高光谱相机返回的图像的列表 ，HS_ImageList;包含超立方体 的文件列表，HS_DataList;和参考矩阵， References_Matrix 或 ExtReferences_Matrix）和没有输出（代码将SAM映射保存为当前工作文件夹中.png文件）。
- 如果需要，通过在对话框中键入数字 0 或 1（具体取决于所需的预处理操作）将代码与预处理选项一起输入，然后按 Enter 继续。
- 预处理选项设置为 0：将每个反射率光谱所细分的区域归一化为 1。
- 预处理选项设置为 1：将每个反射率光谱所细分的面积归一化为 1，然后推导出归一化光谱一次。
注意：超立方体和引用都经过相同的预处理选项。
- 通过向代码提供与所需光谱相对应的列数，在参考矩阵中选择要用于 SAM 分析的终端成员。需要时，通过键入以空格分隔的数字，在对话框中输入与所需列对应的数字序列。按 回车 键继续。
注：序列[1 2 3]对应于参考矩阵前三列的选择;空向量对应于引用矩阵中所有列的选择。 - 为代码提供一个字符串，其中包含名称的第一部分，该部分将标识要保存的地图集（即， SAM_Complete返回的.png文件的名称的公共部分）。如果需要，在对话框中插入字符串。按 回车 键继续。
注意：如果用户类型 test，则所有输出.png图像的名称都将以 test 开头。 - 如果需要，通过在对话框中键入数字 0、1 或 2（具体取决于所需的句柄方法）将代码与所选的处理数据的方法馈送，然后按 Enter 继续。
- 将该方法设置为 0，表示不对数据进行操作。
- 将方法设置为1，要求在开始分析之前手动选择要考虑的光谱的波长范围（图6）。
- 将方法设置为 2，要求算法在评估 SAM 映射之前根据特定标准对数据进行排序（图 7）。
- 等待协议处理数据，并将当前工作文件夹中的 SAM 映射另存为.png文件。
注意：如果句柄方法已设置为 0 或 2，则用户只需等待。如果已设置为 1，则用户必须通过单击交互式窗口来选择要用于评估 SAM 映射的光谱部分（图 6）。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
所提出的方案为HRI数据的管理和分析提供了一组有趣的功能。原始数据的 I/O（步骤 3.1）始终是应用任何分析方法之前必须解决的第一个问题，在处理大量数据时，它可能成为一个关键问题。在本例中，关于原始数据的唯一任务是将实验结果存储到专用文件夹中，并在运行读取代码时通过浏览硬盘来选择它（步骤3.1.1）。此后，裁剪和RGB重建代码允许优化要分析的数据的选择（步骤3.1.2），并检查在获取超立方体时是否正确设置了实验条件（步骤3.1.3，参见 图4 和 讨论 部分以获取更多详细信息）。
一旦验证了数据立方体已被正确获取，该算法就为SAM分析选择最终成员提供了不同的可能性20，21 （步骤3.2）。前两个选项（步骤 3.2.1 和 3.2.2）通过手动选择一些孤立的测量点（图 5A）或通过自动对绘画表面进行采样，在一个或多个 FOV 内提供测量点的网状选择（图 5B），检索超立方体中的参考。基于孤立测量点的分析比基于网状测量点的分析更快，但它意味着对FOV进行仔细且可能知情的观察，以确定重要的光谱;这意味着处理颜料和涂漆表面的良好经验。网状选择使算法非常耗时，并迫使用户观察大量输出图像以检索一些有用的相似性图。然而，网状选择提供了对超立方体的完整筛选，并且大多数情况下，它可以在没有实验背景经验的情况下进行。原则上，一旦确定了采样距离 （n_pixel），用户就可以忽略对FOV的观察，丢失细节的可能性非常低。
除了在超立方体中选择参考光谱外，该算法还提供了将所研究样本的数据与属于其他来源的参考进行比较的机会（步骤3.2.4）。外部参考光谱导入程序代码管理不属于绘画表面的参照的 I/O。矩阵转换器代码均衡超立方体和外部基准的波长范围和光谱分辨率（步骤3.2.4）。这种可能性扩展了用户在样品表征方面的能力。事实上，用户可以利用反射率数据方面的各种可用资源。可以将超立方体与公共数据库，与用户的光谱档案进行比较，在 临时 准备的样品上收集的新数据，甚至在属于作者或其他艺术家的其他对象（绘画，调色板，色调或其他任何东西）上收集新数据。此外，利用任何类型的反射率技术都可以获得外部参考，因此 图6 和 图7 中所示的参考是由便携式FORS微型光谱仪（材料表）获取的，而不是由用于HRI数据的相机获取的。
除了数据管理之外，该算法还为数据分析提供了一种原创的方法。它允许在评估SAM图谱之前操作光谱（步骤4.1-4.5）。这种可能性在选择SAM方法以研究颜料的分布中找到了其基本原理。事实上，SAM考虑了反射率光谱，因为它们将是多维空间中的向量（即，具有与采集通道相等的分量的多个分量的超向量）。因此，如果分析的主要目的是比较不同但相似的参考文献以区分哪一个最符合艺术家使用的颜料，那么参考光谱中几乎相同的成分（即对应于超矢量中几乎相同值的波长）应该不是特别有用，并且该算法允许从分析中排除这些成分。
该协议支持两个操作数据的选项（步骤4.5）：用户可以定义要手动（图6）或自动分析的反射率数据的波长部分（图7）。手动选择非常简单。根据所选的预处理选项（步骤4.2），预处理的参考光谱或其第一导数出现在交互式窗口（图6A）上，用户通过单击图形表面选择一个或多个波长间隔（图6B）。自动选择基于应用于预处理参考光谱或其一阶导数的最大方差的数学准则，具体取决于所选的预处理选项（步骤4.2）。该算法计算所选参考中的方差（在图7A中归一化并显示为虚线），并按照此标准对所有光谱（参考和超立方体）进行排序（图7B中的虚线表示归一化和有序方差）。换句话说，如果最大方差对应于第n个波长，则每个预处理光谱（参考和超立方体）的第n个分量的内容将被移动到重新排列的超矢量的第一个位置，依此类推（图7A和图7B中背景的彩色部分以图形方式解释了数据的重新排列）。实际上，预处理光谱的组分的顺序类似于主成分分析30。
一旦光谱纵，算法就会评估 SAM 映射。在手动操作（图6）之后，该协议返回三组映射：两组对应于所选和拒绝的波长组，另一组使用整个光谱获得。否则，在自动操作（图 7）之后，该算法对方差值应用浮动阈值，并在阈值的增加处评估 SAM 映射，这些阈值对应于超过阈值（即，自动选择）和阈值低于阈值（即自动拒绝）值。这些图集，以及从整个光谱（始终由算法返回）获得的图集，共产生（2N + 1）组图，其中N是阈值假设的值的数量。在增加阈值时获得的相似性图集（图8）表明，数据操作不会改变内容，而是为映射区域的细节提供新的见解，因此可以帮助区分样本和参考文献之间的相似性和差异性。
图1： Quarto Stato。 这幅画的图片，1899-1901，293 x 545 厘米，布面油画，朱塞佩·佩里扎·达·沃尔佩多，十万博物馆，米兰，意大利。 请点击此处查看此图的放大版本。
图2：实验条件的定义（一）临时制备的测试样品;白圈和数字标识与所选作为参考的光谱相对应的测量点。（B） 根据参考频谱编号 1、（C） 编号 2、（D） 编号 3 和 （E） 编号 4 评估的 SAM 映射。灰色颜色条指示光谱角度的值范围。请点击此处查看此图的放大版本。
图3：定义的实验条件在 Quarto Stato上的应用。 （A） 为实验活动选择的投资回报率（红色矩形）;在每个矩形中，突出显示了覆盖 ROI 所需的 FOV（无阴影区域）。（B） 面板 A 的四个 无阴影区域 的 RGB 图片 （C） SAM 映射根据每个视场（绿圈）内选择的参考光谱进行评估。 灰色颜色条 指示光谱角度的值范围。 请点击此处查看此图的放大版本。
图 4：样品表面的正确照明与不当照明（A） 视场的一部分，其中一小部分涂漆表面（红圈）由于照明不当而受到反射特性改变的影响。（B）绘画的一小部分（蓝色圆圈）与FOV正确照明时产生的相同。（C）当FOV照明不当且正确时，圆圈中心测量点的反射光谱（分别为红线和蓝线）。（D）以不适当照明的测量点的光谱为参考而获得的视场SAM图。（E）使用适当照明测量点的光谱作为参考获得的视场的SAM图。灰色颜色条是指（D）和（E），表示通过比较所选视场超立方体光谱的一阶导数和（A）和（B）中彩色圆圈中心测量点光谱光谱的第一导数而获得的光谱角值的范围。请点击此处查看此图的放大版本。
图5：超立方体内的参考选择（A）隔离测量点选择模式;绿色圆圈表示在所示视场中手动选择的参考光谱的位置。（二）网状选择方式;绿圆表示通过对所示视场的采样间隔（n_pixel）设置为五个像素的网状线来指示所选参考光谱的位置。（A）和（B）中报告的图像是从将D65光源和CIE标准中的1931年观察者应用于超立方体的反射光谱中检索到的FOV的RGB图像的灰度转换;灰色条是指此图像的归一化强度。请点击此处查看此图的放大版本。
图 6：手动数据操作模式。 （A） 交互式窗口的一个方面，允许用户将参考光谱划分为所选和拒绝的波长部分。（B） 与 （A） 的相同引用，其中选择用于评估 SAM 地图的数据部分已由粉红色背景突出显示。（A）和（B）显示参考文献的预处理光谱。 请点击此处查看此图的放大版本。
图 7：自动数据操作模式。 （A） 图 6 中报告的四个规范化引用的一阶导数（彩色线）及其归一化最大方差（黑色虚线）。（B） （A）的相同导数按照最大方差标准排序;也报告了归一化最大方差的排序值（黑色虚线）。背景的某些部分已用不同的色调着色，以尝试直观地说明超矢量的重新排列。 请点击此处查看此图的放大版本。
图 8：通过自动数据操作模式获得的 SAM 映射。 （A-C）在图7的参考光谱的一阶导数内评估的归一化最大方差的排序值;曲线的绿色和红色部分分别表示数据的选定部分（超过阈值值）和被拒绝的部分（阈值下）。面板显示阈值增加时发生的情况（黑色虚线段）;每个面板报告为图7光谱的四个导数获得的两组值的SAM图;"绿边地图"是指超过阈值的分数，而"红边地图"是指低于阈值的分数。 灰色条表示光谱角度的值范围。在此示例中，确定阈值增加的步骤等于归一化最大方差的 0.5%。。（C）中报告的阈值为0.09，这是最后考虑的阈值，因为进一步增加将使超矢量的选定分量数量减少到任意固定的20个值的下限以下，即高光谱相机采集通道总数的10%。请点击此处查看此图的放大版本。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
高光谱反射成像数据集是大型信息库;因此，开发强大的，可能的自动化协议来分析数据是利用其潜力的关键转折点15，17。所提出的算法解决了文化遗产领域的这一需求，特别关注绘画颜料的表征。该算法基于SAM20，21，在从实验条件的设定到颜料分布的评估的整个分析过程中为用户提供支持。尽管该算法仍然没有完整的图形界面，并且它没有提供用于查看结果的工具（为此目的，已使用开源软件31 ，建议使用，请参阅 材料表），但为调节数据分析方法而实现的一组可能性广泛地平衡了这些缺点。
该协议根据样品和检测器的特性设置采集系统。一方面，Pellizza Da Volpedo用于创建Quarto Stato的Divisionist技术要求超立方体区分并排放置的不同颜料的小笔触。另一方面，高光谱相机的对焦范围在150毫米至无限之间，带有手动调整系统，在与目标1米的距离处可检测到0.55 x 0.55米的区域，空间分辨率为1.07毫米26。该算法应用于测试样本上采集的少数超立方体（图2）有助于为数据采集建立合适的工作距离。测量值的观察允许将实验活动的工作距离设置为30厘米，对应于目标处的分辨率为0.31毫米。 在Quarto Stato上进行的实验过程中，该工作距离也成功采用（图3）。一旦确定了工作距离，样品表面的照明仍然是一个关键问题3，15。当FOV的一部分显示不均匀（图4A中的红色圆圈）而不是均匀的照明（图4B中的蓝圆形）时，反射特性会发生显着变化（图4C），并且整个过程受到影响（图4D与图4E）。该协议可防止在采集数据（通过返回RGB，步骤1.4.1和SAM映射，步骤1.4.9，用户可以检查）期间不均匀照明（以及更一般地防止被监视区域中的伪影）和通过裁剪代码（步骤1.4.2和3.1.2）从分析中排除FOV的受损部分的后验。
该协议允许用户以最大的自由度选择参考（即用于评估SAM映射的最终成员）。一方面，可以通过两种方式在超立方体的边缘内选择EM：隔离测量点选择（步骤1.4.5和3.1.2中的图5A ）或网状测量点选择（步骤3.1.3中的图5B ）。第一种可以定义为知情选择，因为它需要用户一些专业知识来手动识别重要的测量点。后者可以定义为盲选，因为 FOV 的网状采样只需要执行采样间隔的值。另一方面，可以从被调查的绘画外部检索EM（步骤3.1.4）。在 Quarto Stato进行的实验活动中，便携式微型FORS光谱仪（材料表）用于从属于艺术家的草稿样本中收集光谱，目前保存在位于Volpedo的工作室博物馆（Pellizza da Volpedo Studio Museo，Volpedo（AL），意大利）。这些反射率数据已用于评估 SAM 映射，其中一些数据在 图 6 和 图 7 中进行了报告。由于它限制了光谱的绝对强度和基线的重要性，因此对于超立方体和EM都是强制性的，特别是如果它们是从略有不同的设置或操作条件中获得的32。
该协议的最后一个主要特征是有机会操纵实验数据。为了进行操作，旨在识别EM中最重要的组件（即，最终成员光谱的那些部分应有助于表征艺术家使用的材料）。此任务可以手动完成（图 6），也可以自动完成（图 7）。在第一种情况下，该算法利用了执行者的专业知识，而在第二种情况下，它是一个统计标准，用于确定将逐个时间用于评估SAM映射的组件。在这两种情况下，操作都会增加生成的相似性映射的数量，从而扩展了公开超立方体所承载的信息的能力。特别是，基于标准的选择会产生大量关于涂漆表面的见解（图8）。
单独来看，列举的功能可能看起来仅仅是技术上的好处，但它们加在一起至少意味着两个主要关键点。该算法可以被任何类型的用户成功应用，并且可以显着拓宽分析方案。事实上，协议的主要步骤（即引用的选择和数据的操作）可以自动执行，而忽略了用户的技能和经验。由于有可能使用来自超立方体外部的光谱来驱动分析，因此研究人员处理中的所有反射率数据都可以用于表征所研究的样品。
总之，该协议可以是一个非常灵活的工具。随着图形界面和支持的分析方法数量的一些改进，在处理和分析通过高光谱反射率成像从涂漆表面获得的数据方面，它可以超越现有技术。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者没有什么可透露的。
Acknowledgments
这项研究由伦巴第大区在MOBARTECH项目的框架内资助：una piattaforma mobile tecnologica， interattiva e partecipata per lo studio， la conservazione e la valorizzazione di beni storico-artistici - Call Accordi per la Ricerca e l'Innovazione。
作者感谢Novecento博物馆的工作人员在现场实验会议期间提供的支持，并感谢Pellizza da Volpedo协会进入Studio Museo。
Materials
| Name | Company | Catalog Number | Comments |
| ImageJ/Fiji | Specim (Oulo, Finlad) | N/A | Portable reflectance hyperspectral camera used to acquire the hypercubes |
| MATLAB 2019b | StellarNet Inc (Tampa, Florida, USA) | N/A | Portable reflectance spectrometer used to acquire independent reflectance spectra |
| Specim IQ Hyperspectral Camera | National Institutes of Health (Bethesda, Maryland, USA) | N/A | Open source Java image processing program |
| StellarNet BLUE-wave Miniature Spectrometer | MathWorks (Natick, Massachusset, USA) | N/A | Program Language and numerical computing environment |
References
- Picollo, M., et al. Fiber Optics Reflectance Spectroscopy: a non-destructive technique for the analysis of works of art. Optical Sensors and Microsystems. , Springer. 259-265 (2002).
- Bacci, M., et al. Non-destructive spectroscopic investigations on paintings using optical fibers. MRS Online Proceedings Library Archive. 267, (1992).
- Liang, H. Advances in multispectral and hyperspectral imaging for archaeology and art conservation. Applied Physics A. 106, 309-323 (2012).
- Bullock, L. Reflectance spectrophotometry for measurement of colour change. National Gallery Technical Bulletin. 2, 49-55 (1978).
- Saunders, D. Colour change measurement by digital image processing. National Gallery Technical Bulletin. , 66-77 (1988).
- Appolonia, L., et al. Combined use of FORS, XRF and Raman spectroscopy in the study of mural paintings in the Aosta Valley (Italy). Analytical and Bioanalytical Chemistry. 395, 2005-2013 (2009).
- Pouyet, E. K., et al. New insights into Pablo Picasso's La Miséreuse accroupie using X-ray fluorescence imaging and reflectance spectroscopies combined with micro-analyses of samples. SN Applied Sciences. 2, 1-6 (2020).
- Garofano, I., Perez-Rodriguez, J. L., Robador, M. D., Duran, A. An innovative combination of non-invasive UV-Visible-FORS, XRD and XRF techniques to study Roman wall paintings from Seville, Spain. Journal of Cultural Heritage. 22, 1028-1039 (2016).
- Dupuis, G., Elias, M., Simonot, L. Pigment identification by fiber-optics diffuse reflectance spectroscopy. Applied Spectroscopy. 56, 1329-1336 (2002).
- Bacci, M., Picollo, M. Non-destructive spectroscopic detection of cobalt (II) in paintings and glass. Studies in Conservation. 41, 136-144 (1996).
- Cosentino, A. FORS spectral database of historical pigments in different binders. E-Conservation Journal. , 54-65 (2014).
- Leona, M., Winter, J. Fiber optics reflectance spectroscopy: a unique tool for the investigation of Japanese paintings. Studies in Conservation. 46, 153-162 (2001).
- Cheilakou, E., Troullinos, M., Koui, M. Identification of pigments on Byzantine wall paintings from Crete (14th century AD) using non-invasive Fiber Optics Diffuse Reflectance Spectroscopy (FORS). Journal of Archaeological Science. 41, 541-555 (2014).
- Kubik, M. Hyperspectral imaging: a new technique for the non-invasive study of artworks. Physical Techniques in the Study of Art, Archaeology and Cultural. 2, 199-259 (2007).
- Fischer, C., Kakoulli, I. Multispectral and hyperspectral imaging technologies in conservation: current research and potential applications. Studies in Conservation. 51, 3-16 (2006).
- Daniel, F., et al. Hyperspectral imaging applied to the analysis of Goya paintings in the Museu of Zaragoza (Spain). Microchemical Journal. 126, 113-120 (2016).
- Baronti, S., Casini, A., Lotti, F., Porcinai, S. Principal component analysis of visible and near-infrared multispectral images of works of art. Chemometrics and Intelligent Laboratory Systems. 39, 103-114 (1997).
- Mansfield, J. R., et al. Near infrared spectroscopic reflectance imaging: supervised vs. unsupervised analysis using an art conservation application. Vibrational Spectroscopy. 19, 33-45 (1999).
- Clodius, W. B. Multispectral and Hyperspectral Image Processing, Part 1: Initial Processing. Encyclopedia of Optical Engineering: Las-Pho. 2, 1390 (2003).
- Kruse, F. A., et al. The spectral image processing system (SIPS)-interactive visualization and analysis of imaging spectrometer data. AIP Conference Proceedings. , (1993).
- Yang, C., Everitt, J. H., Bradford, J. M. Yield estimation from hyperspectral imagery using spectral angle mapper (SAM). Transactions of the ASABE. 51, 729-737 (2008).
- Delaney, J. K. D., et al. Integrated X-ray fluorescence and diffuse visible-to-near-infrared reflectance scanner for standoff elemental and molecular spectroscopic imaging of paints and works on paper. Heritage Science. 6, 1-12 (2018).
- Richards, J. A. Remote sensing digital image analysis. 3, Springer. (1999).
- Mobaraki, N., Amigo, J. M. HYPER-Tools. A graphical user-friendly interface for hyperspectral image analysis. Chemometrics and Intelligent Laboratory Systems. 172, 174-187 (2018).
- Zhu, C. Y., et al. Optimization of a hyperspectral imaging system for rapid detection of microplastics down to 100 µm. MethodsX. 8, 101175 (2021).
- Behmann, J., et al. Specim IQ: evaluation of a new, miniaturized handheld hyperspectral camera and its application for plant phenotyping and disease detection. Sensors. 18, 441 (2018).
- Mather, J. Spectral and XYZ Color Functions. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/7021-spectral-and-xyz-color-functions (2021).
- Chen, C. -Y., Klette, R. Image stitching-Comparisons and new techniques. International Conference on Computer Analysis of Images and Patterns. , (1999).
- Tuszynski, J. read_envihdr. MATLAB Central File Exchange. , Available from: https://www.mathworks.com/matlabcentral/fileexchange/38500-read_envihdr (2021).
- Jolliffe, I. T., Cadima, J. Principal component analysis: a review and recent developments. Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences. 374, 20150202 (2016).
- Schneider, C. A., Rasband, W. S., Eliceiri, K. W. NIH Image to ImageJ: 25 years of image analysis. Nature Methods. 9, 671-675 (2012).
- Rinnan, Å, Van Den Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. Trends in Analytical Chemistry. 28, 1201-1222 (2009).
