高光谱反射成像数据立方体包含大量数据中的丰富信息。因此,对自动化流程以管理和研究这些数据集的需求具有充分合理性。光谱角制图、数据处理与一种用户可调节的分析方法相结合,构成了探索实验结果的关键手段。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
高光谱反射成像数据立方体包含大量数据中的丰富信息。因此,对自动化流程以管理和研究这些数据集的需求具有充分合理性。光谱角制图、数据处理与一种用户可调节的分析方法相结合,构成了探索实验结果的关键手段。
反射光谱法(Reflectance Spectroscopy, RS)和光纤反射光谱法(Fiber Optics Reflectance Spectroscopy, FORS)是用于艺术品研究的成熟技术,尤其适用于绘画作品的分析。目前大多数现代博物馆为其研究团队配备了便携式设备,结合RS与FORS本身所具有的非侵入性特点,使得在不损害艺术品的前提下开展现场分析成为可能。 原位 从文物表面采集反射光谱。由颜料和绘画材料专家将实验数据与参考光谱数据库进行比对,从而实现对艺术家所用颜料色板及绘画技法的表征。然而,这种方法需要专业知识,且耗时较长,尤其当需要分析的光谱数量庞大时——例如高光谱反射成像(HRI)数据集的情况。HRI实验装置是多维相机,可将反射光谱提供的光谱信息与光谱在绘画表面的空间位置相关联。所得数据集为三维立方体(称为高光谱立方体或数据立方体),其中前两个维度表示光谱在画作上的空间位置,第三个维度为光谱本身(即该点绘画表面反射率随探测器工作波长范围内的波长变化情况)。探测器能够同时采集大量光谱(通常每个高光谱立方体包含远超10,000个光谱),使得HRI数据集成为信息丰富的资源,也因而有必要开发稳健且尽可能自动化的数据分析流程。在介绍数据采集流程之后,我们提出一种系统性挖掘高光谱立方体潜力的分析方法。该方法基于光谱角制图(Spectral Angle Mapper, SAM)及对采集光谱的处理,可同时处理和分析数千个光谱,并在此过程中提供支持 用户揭示所研究样品的特征。该方法的强大之处通过将其应用于 第四等级,意大利米兰(意大利)二十世纪博物馆收藏的朱塞佩·佩利扎·达·沃尔佩多的标志性杰作。
反射光谱法(Reflectance Spectroscopy, RS)和光纤反射光谱法(Fiber Optics Reflectance Spectroscopy, FORS)基于检测物体表面在光源(通常为钨卤素灯)照射下反射的光。采集系统的输出为光谱数据,其中反射率作为波长的函数在特定波长范围内进行监测,该范围取决于所用实验装置的特性。1,2,3在过去的四十年中引入4,5,RS 和 FORS 通常与X射线荧光及其他光谱技术联用,以分析艺术家创作杰作所使用的材料和技法6,7,8,9反射光谱的研究通常通过将样品数据与用户在个人或公共数据库中选择的一组参考光谱进行比较来完成。一旦选定符合样品制作时期及其他相关条件的参考光谱,并与样品光谱特征相匹配,即可用于进一步分析。 运作方式 艺术家的身份已被确认后,用户能够识别反射光谱的主要特征(即,过渡带、吸收带和反射带)1,2,10,11)然后借助其他技术6,7,8 它们区分 颜料在绘画中的使用情况。最后,他们讨论了参考光谱与实验光谱之间存在的微小差异7,9.
在大多数情况下,实验数据集由少量光谱组成,这些光谱采集自由艺术专家选定的区域,并被认为对画作的表征具有重要意义6, 12,13。尽管操作者具备专业技能和丰富经验,但少量光谱仍无法全面涵盖整个绘画表面的特征。此外,分析结果始终在很大程度上依赖于操作者的专业水平。在此背景下,高光谱反射成像(Hyperspectral Reflectance Imaging, HRI3,14,15)可能成为一种有用的工具。与采集少量孤立光谱不同,该实验方法可获取被测对象大范围区域甚至整体的反射特性16。相较于孤立光谱的采集,其两个主要优势显而易见:一方面,反射特性空间分布的可获取性使得研究者能够识别出隐藏有趣特征的区域,即使这些区域在视觉上并不显著17;另一方面,高光谱数据立方体(hypercubes)可提供足够数量的光谱,从而支持对数据进行统计分析。上述特点有助于深入理解颜料在绘画表面的分布情况18,19。
使用高光谱反射成像(HRI)时,将实验数据与参考数据进行比较可能难以处理15。典型的探测器会返回至少为 256 × 256 个光谱的超立方数据。这意味着用户需要将超过 65,000 个反射光谱逐一与参考光谱进行比对,这一任务在合理的时间内几乎无法手动完成。因此,开发可靠且尽可能自动化的协议来管理与分析 HRI 数据集的需求显得尤为迫切15,17。本研究所提出的方法通过以最小的人工干预和最大的灵活性处理整个分析流程,满足了这一需求。
一个由一组自编代码(材料表)构成的算法读取、管理和组织实验装置返回的文件。该算法可对视场区域(FOVs,单个视场指由一个高光谱立方体监测的画作区域)进行精细选择,并基于光谱角匹配法(SAM)20,21 及原始光谱的处理对数据进行分析。SAM 输出称为相似性图的伪彩色灰度图像。这些图中像素值对应光谱角,即存储在高光谱立方体 中的光谱与所谓端元光谱(EMs,一组参考光谱,用于描述高光谱立方体所监测表面的特征)之间夹角的余弦值22。在遥感技术应用于绘画分析的情况下,端元光谱是应与画家调色板相匹配的颜料反射光谱。其选择依据包括关于艺术家的已知信息、画作创作时期以及使用者的专业判断。因此,SAM 的输出是一组描述这些颜料在画作表面空间分布的图像,有助于使用者推断艺术家所使用的材料及其在文物中的分布情况。该算法允许使用各种来源的参考光谱,不受其获取方式限制。这些参考光谱可以是从高光谱立方体内部选定的特定光谱,也可以来自数据库,或通过其他仪器在不同表面上获取(例如颜料样品或艺术家的调色板),亦可通过任何类型的反射光谱技术(包括 FORS)获得。
在现有的分类方法中,SAM 因被证明在色素表征方面具有有效性而受到青睐(参见 Richard23 的著作,以了解主要的现有分类方法概述)。 相比之下,选择开发自定义协议而非采用网络上大量免费工具24,25,是基于一项实际考虑。尽管现有的图形用户界面(GUI)和软件具有科学依据且效果良好,但单一工具很难满足用户的所有需求。可能存在输入/输出(I/O)问题,例如某工具无法处理包含原始数据的文件;也可能存在数据分析方面的问题,例如另一工具未提供所需分析方法;还可能存在数据处理能力的限制,例如不支持多个数据集的同步分析。无论如何,目前并不存在一种完美的工具,每种方法都需要根据数据进行调整,或对数据进行相应调整。因此,优先选择开发自定义协议。
本文提出的方法既未提供一套完整的分析方法(作为对比,参见 Mobaraki 和 Amigo 提出的工具24),也未配备易于操作的用户界面(作为对比,参见 Zhu 及其同事所使用的软件25);但作为补偿,该方法聚焦于高光谱数据分析中一个仍被低估的方面:对检测到的光谱进行操控的可能性。本文通过将该方法应用于意大利米兰二十世纪博物馆(Museo del Novecento)收藏的乔瓦尼·佩利扎·达·沃尔佩多(Giuseppe Pellizza da Volpedo)的标志性布面油画《第四阶层》(Quarto Stato)(图1),展示了该方法的强大功能。需注意的是,由于该方法需要运行自行编写的代码,开发者在描述本实验方案时可任意命名代码,以及输入和输出变量。用户可更改变量名称,但必须按以下格式提供:输入变量应分别置于圆括号内,如有多个则用逗号分隔;输出变量应置于方括号内,如有多个则用空格分隔。 但代码名称则不可更改。
访问受限。请登录或开始试用以查看此内容。
1. 设置超立方体的空间分辨率
2. 根据绘画调整实验参数
3. 超立方体与参考光谱管理
4. SAM 分析
访问受限。请登录或开始试用以查看此内容。
本方案提出了一套用于管理与分析人机交互(HRI)数据的实用功能。在应用任何分析方法之前,原始数据的输入/输出(I/O,步骤 3.1)始终是首先需要解决的问题,而在处理大量数据时,这一问题可能尤为关键。在当前方案中,针对原始数据的唯一操作是将实验结果存储到一个专用文件夹中,并在运行读取代码时通过浏览硬盘选择该文件夹(步骤 3.1.1)。随后,裁剪与RGB重建代码可用于进一步细化待分析数据的选择(步骤 3.1.2),并检查在采集高光谱数据立方体时实验条件是否已正确设置(步骤 3.1.3,详见图4及讨论部分的详细说明)。
在确认数据立方体已正确采集后,该算法提供了多种选择端元以进行SAM分析20,21(步骤3.2)。前两种选项(步骤3.2.1和3.2.2)通过手动选择若干孤立的测量点(图5A),或通过自动采样画作表面,在...
访问受限。请登录或开始试用以查看此内容。
高光谱反射成像数据集蕴含大量信息,因此开发稳健且可能实现自动化的数据分析协议,是充分发挥其潜力的关键环节15,17。本研究所提出的算法针对文化遗产领域,特别关注绘画颜料的表征,满足了这一需求。该算法基于SAM20,21,可在从实验条件设置到颜料分布评估的整个分析过程中为用户提供支持。尽管该算法目前尚不具备完整的图形用户界面,也未提供结果可视化工具(为此已采用一款开源软件31,并推荐使用,详见材料表),但其所实现的多种可调参数和分析策略在很大程度上弥补了这些不足。
该方案根据样品和探测器的特性设置采集系统。一方面,佩利扎·达·沃尔佩多采用的分色主义技法 第四阶级 要求高光谱数据立方体能够区分并列放置的不同颜料的小笔触。另一方面,高光谱相机的焦距范围为15...
访问受限。请登录或开始试用以查看此内容。
作者无任何利益冲突需要披露。
本研究由伦巴第大区政府资助,项目名称为MOBARTECH:一个用于历史艺术遗产的研究、保护与价值提升的移动技术平台、互动与参与式平台——研究与创新合作协议招标项目。
作者感谢二十世纪博物馆工作人员在研究期间提供的支持 原位 实验环节以及佩利扎·达·沃尔佩多协会对工作室博物馆的访问支持。
访问受限。请登录或开始试用以查看此内容。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| ImageJ/Fiji | Specim (芬兰奥卢) | N/A | 用于采集高光谱数据立方体的便携式反射率高光谱相机 |
| MATLAB 2019b | StellarNet 公司(美国佛罗里达州坦帕) | N/A | 用于采集独立反射光谱的便携式反射光谱仪 |
| Specim IQ 高光谱相机 | 美国国立卫生研究院(美国马里兰州贝塞斯达) | N/A | 开源的 Java 图像处理程序 |
| StellarNet BLUE-wave 微型光谱仪 | MathWorks 公司(美国马萨诸塞州纳蒂克) | N/A | 编程语言及数值计算环境 |
访问受限。请登录或开始试用以查看此内容。