需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

基于近红外光谱与偏最小二乘回归的邻甲酚浓度在线测量

5.6K 次观看

⸱

DOI:

10.3791/59077

⸱

2019年11月8日

 ,  ,  , 

本文内容

摘要

本方案描述了一种利用近红外光谱结合偏最小二乘回归法预测聚苯醚生产过程中邻甲酚浓度的方法。为了更清晰、完整地说明该过程,本文以聚苯醚生产过程中邻甲酚浓度的预测为例,详细阐述各操作步骤。

摘要

与宏观过程变量不同,近红外光谱技术可提供工业过程中分子层面的过程信息,显著提升对组分的预测能力。该方法无需对固体和液体样品进行任何预处理即可采集光谱,具有明显优势,因而被广泛应用。然而,分析高维近红外光谱数据存在信息冗余和光谱数据多重共线性的缺点。因此,我们提出采用偏最小二乘回归方法,该方法传统上用于降低数据维度并消除原始特征间的共线性。我们将该方法应用于聚苯醚生产过程中邻甲酚浓度的预测。与组分回归预测方法相比,该方法具有以下优势:1)偏最小二乘回归解决了自变量间的多重共线性问题,有效避免了因自变量高度相关而在回归分析中出现的过拟合现象;2)采用近红外光谱可实现高精度预测,因为该方法是一种无损、无污染的技术,能够在微观和分子尺度上获取信息。

引言

近红外(NIR)光谱技术(NIRS)作为一种快速、高效、无损且无污染的现代分析技术,已获得广泛认可;近年来,该方法已被用于工业过程中产品质量检测与分析以及化学成分的测量。该方法最核心的特点是能够对固体和液体样品直接采集光谱,无需任何预处理,这使得NIRS特别适用于天然产物和合成产物的直接、快速检测与分析1,2。与传统的在宏观尺度上测量过程变量(如温度、压力、液位等)并不可避免地受到外部噪声和背景干扰的传感器不同,NIRS能够在微观和分子尺度上探测化学成分的结构信息。因此,相比其他方法,NIRS能够更准确、更有效地获取关键信息3,4。

聚苯醚作为工程塑料之一,因其耐热性、阻燃性、绝缘性、电性能、尺寸稳定性、抗冲击性、抗蠕变性及机械强度等特性而被广泛应用5。更重要的是,与其他工程塑料相比,聚苯醚无毒无害。目前,2,6-二甲酚是合成聚苯醚的基本原料之一,通常通过苯酚与甲醇催化烷基化法来制备6。该制备方法主要有两种产物:邻甲酚和2,6-二甲酚。经过一系列分离与萃取步骤后,利用2,6-二甲酚生产聚苯醚。然而,2,6-二甲酚中仍残留微量邻甲酚。邻甲酚不参与聚苯醚的合成反应,会残留在聚苯醚产品中,导致产品质量下降甚至不合格。目前,大多数企业仍采用色谱等物理或化学分离分析方法来分析含杂质(如邻甲酚)的液相聚苯醚产品等复杂有机混合物的组成7,8。色谱法的分离原理是利用混合物中各组分在固定相与流动相之间的溶解、分配、吸附、解吸或其他亲和作用的微小差异而实现分离。当两相相对移动时,各组分在两相间反复经历上述作用而得以分离。根据分析对象不同,完成一次复杂物料的分离操作通常需要数分钟至数十分钟。由此可见,检测效率较低。

如今,针对现代精细化工材料行业,产品质量的测量以及基于此分析的先进控制技术是进一步提升产品质量的关键方向。在聚苯醚生产的过程工业中,实时测定聚苯醚产品中邻甲酚含量具有重要的发展意义。色谱分析显然无法满足先进控制技术对物质实时测量和信号反馈的要求。因此,我们提出采用偏最小二乘回归(PLSR)方法,建立近红外光谱(NIRS)数据与邻甲酚浓度之间的线性模型,从而实现对液态聚苯醚产品出口中邻甲酚含量的在线测量。

在进行多元统计建模之前,近红外光谱(NIRS)的预处理起着至关重要的作用。近红外光谱中的波数与生物样品的颗粒尺寸相近,因此会产生产生意外的散射效应,从而影响记录的样品光谱。通过采用适当的预处理方法,这些效应可在很大程度上被有效消除9。NIRS中最常用的预处理技术可分为散射校正和光谱求导方法两大类。第一类方法包括乘性散射校正、去趋势校正、标准正态变量变换和归一化处理;光谱求导方法则包括一阶导数和二阶导数的使用。

在建立定量回归模型之前,去除近红外光谱(NIRS)数据中的非系统性散射变异非常重要,因为这些变异会显著影响预测模型的准确性、复杂性和简洁性。预处理方法的选择应始终取决于后续的建模步骤。如果近红外光谱数据集不遵循朗伯-比尔定律,则其他因素往往会补偿被预测组分预测过程中的非理想行为。这些不必要的因素的存在会带来不利影响,导致模型复杂性增加,甚至极有可能降低模型的稳健性。因此,对光谱数据应用光谱导数和常规归一化是该方法中必不可少的组成部分。

光谱预处理后,可获得信噪比较高且背景干扰较低的近红外光谱(NIRS)数据。现代近红外光谱分析能够在适当的光谱范围内快速获取大量吸光度数据。随后,通过提取光谱曲线中包含的相关信息变量,预测样品的化学组成。通常,近红外光谱技术会结合多元分析方法进行定性或定量分析10。多元线性回归(MLR)分析常用于建立和挖掘工业过程中数据与组分之间的数学关系,并已广泛应用于近红外光谱分析中。

然而,在对预处理后的近红外光谱(NIRS)数据实施多元线性回归(MLR)时存在两个基本问题。其一是变量冗余问题。由于NIRS数据具有高维度特性,常导致对因变量的预测不可靠,原因是其中包含了与待测组分无相关性的变量。这些冗余变量降低了光谱数据的信息利用效率,并影响模型的准确性。为消除变量冗余,必须发展并最大化NIRS数据与预测组分之间的相关性。

另一个问题是近红外光谱(NIRS)数据中的多重共线性问题。多元线性回归模型的一个重要假设是,回归模型中的任何解释变量之间都不存在线性关系。如果这种线性关系存在,则证明线性回归模型中存在多重共线性,从而违反了该假设。在多元线性回归(如普通最小二乘回归,OLSR)中,变量之间的多重相关性会影响参数估计,增加模型误差,并影响模型的稳定性。为了消除近红外光谱数据之间的多重线性相关性,我们采用变量选择方法,以最大化样本的内在变异性。

本文提出采用偏最小二乘回归(PLSR),这是一种多元线性回归的推广方法,已在近红外光谱(NIRS)领域得到广泛应用11,12。PLSR整合了多元线性回归(MLR)、典型相关分析(CCA)和主成分分析(PCA)的基本功能,将预测分析与非模型数据内涵分析相结合。PLSR可分为两个部分:第一部分通过偏最小二乘分析(PLS)选择特征变量的主成分和预测成分。PLS在提取主成分时,通过使主成分与预测成分之间的协方差尽可能大,从而最大化主成分的内在变异性。随后,针对所选主成分建立邻甲酚浓度的普通最小二乘回归(OLSR)模型。PLSR适用于分析具有大量强共线性和高度相关的自变量、且含有噪声的数据,并可用于多个响应变量的同时建模。此外,PLSR能够提取样本光谱中的有效信息,克服多重共线性问题,具有稳定性强、预测精度高的优点13,14。

以下方案描述了利用偏最小二乘回归(PLSR)模型结合近红外(NIR)光谱数据测定邻甲酚浓度的过程。通过决定系数(R² 统计度量公式,性能分析图,数据相关性,回归分析)、预测相关系数(静态平衡 ΣFx=0 示意图;力学平衡分析;结构稳定性研究)以及交叉验证的均方预测误差(MSPECV),对模型的可靠性与准确性进行定量评估。此外,为了直观展示PLSR模型的优势,通过多个图表对评估指标进行可视化,以实现定性分析。最后,以表格形式呈现实验的评估指标,定量说明PLSR模型的可靠性和精确性。

访问受限。请登录或开始试用以查看此内容。

方案

1. 使用傅里叶变换(FT)-近红外过程光谱仪采集近红外光谱数据

  1. 将近红外光谱仪的液相光纤探头安装在联苯醚产品出口处。打开与仪器连接的上位机上的OPUS软件,并开始配置测量参数。
  2. 连接光谱仪
    1. 在测量菜单中,选择光学设置与服务命令,或单击工具栏中的相应图标。
    2. 在打开的对话框中,点击光学台选项卡。
    3. 检查光谱仪设置是否正确。若正确,则关闭对话框;若不正确,则继续执行第4步。
    4. 从配置下拉列表中选择特定类型的光谱仪。
    5. 将光谱仪的IP地址输入到光学台URL输入框中。
    6. 点击连接按钮。
  3. 设置测量参数
    1. 在测量菜单中,选择测量命令,或单击工具栏中的相应图标。
    2. 在打开的对话框中,在不同的选项卡上定义测量参数。
      注:各个测量参数的详细说明见OPUS参考手册。
    3. 点击接受并退出按钮。
  4. 存储实验文件
    1. 在测量菜单中,选择高级测量命令,然后点击高级选项卡。
    2. 在打开的对话框中,将分辨率设置为4 cm-1。
    3. 在样品/背景扫描时间输入框中,将扫描次数设置为16次。
    4. 设置自动存储测量数据的波数范围为4,000 cm-1-12,500 cm-1。
    5. 将结果光谱的数据类型确定为吸光度。
    6. 点击保存按钮。
    7. 在打开的对话框中,为实验文件定义名称并保存该名称。
  5. 测量背景光谱
    1. 在测量菜单中,选择高级测量命令。
    2. 点击光学选项卡。
    3. 在打开的对话框中,点击孔径设置下拉列表,并选择与采集样品光谱时相同的数值。
    4. 点击基本选项卡。
    5. 在打开的对话框中,点击背景单通道按钮。
  6. 测量样品光谱
    1. 将样品放入光谱仪的光路中。具体操作方式取决于光谱仪的配置。
    2. 在测量菜单中,选择高级测量命令。
    3. 点击基本选项卡。
    4. 在打开的对话框中,在相应的输入框中定义样品描述和样品形态。这些信息将与光谱一同保存。
    5. 点击样品单通道按钮以开始在线测量,并将每次扫描的近红外光谱保存为OPUS文件。
  7. 每隔6小时采集一次聚苯醚样品,并在工业实验室中通过液相色谱法检测邻甲酚浓度,以获得化学参考值。
    注:工业领域实验室工作人员从液相联苯醚出口处采集每一份联苯醚样品。每个样品中的邻甲酚含量通过液相色谱法测定三次,取三次分析结果的平均值作为邻甲酚含量的参考值,以减小偶然误差。
  8. 在实验室中获取600个邻甲酚浓度的化学参考值。邻甲酚浓度的校准范围为42.1063 mg/1 g 联苯醚产品至51.6763 mg/1 g 联苯醚产品。
  9. 将指定测试时间点的近红外光谱与邻甲酚浓度的化学参考值进行匹配。
  10. 使用OPUS软件读取原始光谱数据集,如图1所示。
    1. 在文件菜单中,点击加载文件命令。
    2. 在打开的对话框中,选择特定的光谱文件。
    3. 点击打开按钮。光谱将在光谱窗口中显示。

2. 近红外光谱数据预处理

  1. 使用光谱预处理功能,获取经一阶导数预处理后的光谱数据集。
    1. 开放 The Unscrambler 这是一种多变量数据分析与实验设计软件,选择 导入 命令位于下方 文件. 将 OPUS 文件作为原始近红外光谱数据集导入。
    2. 选择 转化 命令位于下方 修改. 并选择 萨维茨基-戈莱导数 在……下方 衍生物.
    3. 将样本和变量定义为范围内的所有样本和所有变量,并定义数量 平滑点 作为 13 以及 衍生物 作为 1st 参数中的导数
    4. 点击 好的 开始求导。
      警告:平滑度的增加可减少曲线的剧烈波动,降低噪声影响,但也会削弱曲线的特征,导致曲线失真。因此,应根据对曲线实际波动强度的观察以及处理后的效果,选择适当的平滑度。
  2. 对样品光谱进行向量归一化,以归一化吸光度的数值。
    1. 选择 归一化 命令位于下方 修改.
    2. 定义 样本与变量 作为 所有样本 和 所有变量 在 范围.
    3. 选择 向量归一化 在 类型。
    4. 点击 好的 进行向量归一化。

3. 建立偏最小二乘回归模型

  1. 近红外光谱数据集的创建
    1. 开放 Unscrambler.exe,选择 导出 在……下方 文件 与 Matlab 将预处理后的光谱数据集导出为 .mat 文件,并自动获取包含 2203 个变量的光谱数据集 X。
    2. 获取完整的近红外光谱数据集 X(一个包含 600 行和 2203 列的矩阵)以及相应的化学参考值 Y(一个包含 600 行的向量),以 .mat 文件格式存储,用于后续分析与建模。
  2. 主成分数量的合理选择
    1. 打开 Matlab 将包含预处理后近红外光谱数据的.mat文件拖入工作区,以导入该文件。
      注意:.mat 文件以两个矩阵的形式存储近红外光谱数据 X 作为自变量,以及产物中邻甲酚含量作为因变量。
    2. 打开已编程的 .m 文件 编辑点击 打开 在……之下 编辑 选项,选择文件存储目录中的已编译 .m 文件,然后单击 确认.
    3. 提取 15 根据优化目标的主成分 公式 1 以及利用包含 plsregress() 命令的程序,基于提取的主成分与邻甲酚浓度预测值之间的 OLSR 模型 Matlab.
      [XL, YL, XS, YS, BETA, PCTVAR, MSE] = plsregress(X, Y, ncomp, 'CV', k);
      查阅 MATLAB 帮助文档以获取使用详情和返回值。
      注意: 最大化相关性的协方差公式、统计方程、数学分析 方程 1受力平衡示意图,满足 ΣFx=0,MA=0;工程力学分析
      用于计算模型分析的矩阵运算方程 \(u_i = Xp_i\)。 ,以及 统计力学;带下标的π符号;热力学方程;教学示意图 是 ith 近红外光谱数据的主成分;
      数学统计公式中变量 \( u_i \) 的方差。 是投影的 ith 近红外光谱数据的主成分;
      相关性公式 \(Cor(u,v,y)\);统计分析;方程示意图 是皮尔逊相关系数 ith 主成分与邻甲酚浓度。
    4. 获取 R² 统计度量公式、性能分析图表、数据相关性、回归分析 近红外光谱数据的值与使用不同主成分进行预测的预测值之间的关系 公式 2.
      注意: R²=1-SSE/SST,回归分析中的统计度量,方程格式。 公式 2
      静力平衡公式 ΣFx=0,ΣFy=0;力矢量图示与平衡概念。 是误差平方和,定义为 平方误差和公式,SSE = Σ(yᵢ-ŷᵢ)²,统计分析方程。 ;
      静力平衡示意图,显示 ΣFx=0,ΣFy=0;对理解力学平衡至关重要。 是平方和的总和,定义为 总平方和分析的统计公式 Σ(yₙ-ȳ)²。;
      相变图,吉布斯自由能 G=H-TS 方程,热力学,图谱分析 是测试数据集中邻甲酚浓度的参考值;
      用于统计分析中预测建模的线性回归公式 ŷi 示意图 是测试数据集中邻甲酚浓度的预测值;
      静力平衡,ΣFx=0,ΣFy=0,用于工程分析和结构稳定性的示意图。 是测试数据集中邻甲酚浓度参考值的平均值;
      色谱过程示意图;化学分离方法;设备显示溶剂流路。 是测试数据集的样本数量。
    5. 确定 R² 统计度量公式、性能分析图表、数据相关性、回归分析 数值以及随着主成分数量增加而呈现的趋势,如图所示 图2选择10作为合适的主成分数量 R² 统计度量公式、性能分析图表、数据相关性、回归分析 0.9917
      注意:静力平衡方程 ΣFx=0 示意图;图形分析中包含 R² 相关系数。 值表示因变量的变异中可由自变量预测的比例。该值越高, R² 统计度量公式、性能分析图表、数据相关性、回归分析 值越高,拟合优度越高;反之亦然。
  3. 使用PLSR模型的拟合优度与准确性的验证 10 使用命令 plsregress() 计算主成分。
    1. 使用10个主成分重复建模过程,步骤同3.2.1–3.2.5。
    2. 基于10折交叉验证,利用近红外光谱数据中解释方差百分比的图谱、残差图以及MSPECV进行模型评估。
    3. 绘制近红外光谱数据中解释的方差百分比、残差以及 MSPECV 图3, 4, 和 5.
    4. 列出评估指标 R² 统计度量公式,性能分析图表,数据相关性,回归分析,静力平衡 ΣFx=0 图示;力学平衡分析;结构稳定性研究,以及PLSR模型进行定量分析的10折交叉验证的MSPE,如图所示 表1.
      注意:以下方程的 静力平衡 ΣFx=0 图示;力学平衡分析;结构稳定性研究 和 MSPE 显示为 公式 3 和 方程 4.
      模型预测相关系数 \(R_p\) 的方程,统计分析公式。 公式 3
      均方预测误差公式,MSPE 计算,统计分析,预测准确性 方程 4
      协方差公式 \(Cov(y_i, \hat{y}_i)\),统计分析,数学符号 是邻甲酚浓度参考值与预测值之间的协方差; 静力平衡,方程 ΣFx=0,结构应力分析图,平衡条件 是邻甲酚浓度参考值的标准偏差;
      用于统计分析的预测协方差符号 σŷi,以公式形式显示。 是邻甲酚浓度预测值的标准偏差。

访问受限。请登录或开始试用以查看此内容。

结果

通过基于偏最小二乘回归的近红外光谱法,可获得聚苯醚产品中邻甲酚杂质的预测值。图2和图3分别展示了在特征选择阶段,随着主成分数目的增加,决定系数曲线和误差解释百分比变化所反映的方法可靠性。

特别需要注意的是,在选择主成分时,为了尽量降低模型的复杂度,通常当两个指标随主成分数目的增加不再显著上升时,可以舍弃后续携带信息量较少的主成分。本文中,根据两条曲线,当R² 统计度量公式,性能分析图,数据相关性,回归分析达到0.9917时,即作为舍弃后续主成分的阈值。

通过

访问受限。请登录或开始试用以查看此内容。

讨论

本方案描述了利用近红外光谱法(NIRS)测定聚苯醚液体产物中残留邻甲酚浓度的偏最小二乘回归(PLSR)分析过程。

该过程中的两个关键步骤是原始近红外光谱数据的预处理以及高维近红外光谱数据的变量选择。

通常,非系统性背景干扰会导致近红外光谱的非系统性散射偏差或基线漂移。适当的近红外光谱预处理方法(如导数法、归一化、多元散射校正等)作为首要的关键步骤,可消除背景干扰并提高数据的信噪比。

高维近红外光谱数据中存在的多重线性相关性会引入不必要的计算,降低回归模型的运算效率。此外,还存在一些与液态多苯醚产品中邻甲酚含量弱相关甚至不相关的冗余变量。基于偏最小二乘法(PLS)的变量选择作为第二个关键步骤,可解决上述两个问题,相较于直接使用普通最小二乘回归(OLSR)建模,能够降低模型复杂度并增强其稳健性。

此外,该技术存在以下局限性。首先,该方法要求近红外(NIR)光谱数据的各个维度变量之间不存在显著的非线性相关性。这是因为偏最小...

访问受限。请登录或开始试用以查看此内容。

披露

作者无任何利益冲突需要披露。

致谢

本工作由国家自然科学基金(批准号:61722306 和 61473137)以及轻工技术与工程一流学科建设项目(LITE2018-025)资助。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
MPA II 多用途傅里叶变换近红外分析仪Bruker1
光纤探头(液相)Bruker1
液相色谱分析仪 /1
实验室设备与耗材(例如试管等)/
MATLABMathWork1
OPUSBruker1
主计算机DELL1
The UnscramblerCAMO1

参考文献

  1. Nicolai, B. M., et al. Nondestructive measurement of fruit and vegetable quality by means of NIR spectroscopy: A review. Postharvest Biology and Technology. 46 (2), 99-118 (2007).
  2. Chang, C. W., Laird, D. A., Mausbach, M. J., Hurburgh, C. R. Near-infrared reflectance spectroscopy-principal components regression analyses of soil properties. Soil Science Society of America Journal. 65 (2), 480-490 (2001).
  3. Chen, Y., et al. Near-infrared spectroscopy for rapid evaluation of different processing products of Sophora japonica. L. Spectroscopy Letters. 51 (1), 37-44 (2018).
  4. Cayuela, J. A., Garcia, J. F. Nondestructive measurement of squalene in olive oil by near infrared spectroscopy. LWT-FOOD SCIENCE AND TECHNOLOGY. 88, 103-108 (2018).
  5. Joaquim, M. Polyphenyl Ether Lubricants. Synthetic Lubricants and High-performance Functional. Rudnick, R. L., Shubkin, R. L. , Marcel Dekker, Inc. NY. 239(1999).
  6. Grabowska, H., Kaczmarczyk, W., Wrzyszcz, J. Synthesis of 2,6-Xylenol by Alkylation of Phenol with Methanol. Applied Catalysis. 47 (2), 351-355 (1989).
  7. Jeon, D. B., et al. Determination of volatile organic compounds, catechins, caffeine and theanine in Jukro tea at three growth stages by chromatographic and spectrometric methods. FOOD CHEMISTRY. 219, 443-452 (2016).
  8. Davidyuk, E. I., Demchenko, V. F., Klisenko, M. A. Rapid group separation and identification of chlorinated organic compounds by high performance liquid chromatography. JOURNAL OF ANALYTICAL CHEMISTRY. 52 (11), 1058-1065 (1997).
  9. Rinnan, A., Berg, F., Engelsen, S. B. Review of the most common pre-processing techniques for near-infrared spectra. TrAC Trends in Analytical Chemistry. 28 (10), 1201-1222 (2009).
  10. Zou, X. B., Zhao, J. W., Povey, M. J. W., Holmes, M., Mao, H. P. Variables selection methods in near-infrared spectroscopy. Analytica Chimica Acta. (1-2), 14-32 (2010).
  11. Dunn, B. W., Beecher, H. G., Batten, G. D., Ciavarella, S. The potential of near-infrared reflectance spectroscopy for soil analysis - a case study from the Riverine Plain of south-eastern Australia. Australian Journal of Experimental Agriculture. 42 (5), 607-614 (2002).
  12. Wang, C. K., Zhang, T. L., Pan, X. Z. Potential of visible and near-infrared reflectance spectroscopy for the determination of rare earth elements in soil. Geoderma. 306, 120-126 (2017).
  13. Gatius, F., Miralbes, C., David, C., Puy, J. Comparison of CCA and PLS to explore and model NIR data. Chemometrics and Intelligent Laboratory Systems. , 76-82 (2017).
  14. Wold, S., Sjostrom, M., Eriksson, L. PLS-regression: a basic tool of chemometrics. Chemometrics & Intelligent Laboratory. 58 (2), 109-130 (2001).
  15. Douglas, R. K., Nawar, S., Alamar, M. C., Mouazen, A. M., Coulon, F. Rapid prediction of total petroleum hydrocarbons concentration in contaminated soil using vis-NIR spectroscopy and regression techniques. SCIENCE OF THE TOTAL ENVIRONMENT. 616, 147-155 (2017).
  16. Grassi, S., Alamprese, C. Advances in NIR spectroscopy applied to process analytical technology in food industries. CURRENT OPINION IN FOOD SCIENCE. 22 (SI), 17-21 (2018).
  17. Trung, T., Downes, G., Meder, R., Allison, B. Pulp mill and chemical recovery control with advanced analysers - from trees to final product. APPITA. 68 (1), 39-46 (2015).
  18. Vann, L., Sheppard, J. Use of near-infrared spectroscopy (NIRs) in the biopharmaceutical industry for real-time determination of critical process parameters and integration of advanced feedback control strategies using MIDUS control. Journal of Industrial Microbiology& Biotechnology. 44 (12), 1589-1603 (2017).
  19. Modrono, S., Soldado, A., Martinez-Fernandez, A., de la Roza-Delgado, B. Handheld NIRS sensors for routine compound feed quality control: Real time analysis and field monitoring. TALANTA. 162, 597-603 (2017).

访问受限。请登录或开始试用以查看此内容。

重印与许可

探索更多文章

偏最小二乘回归光谱预处理向量归一化主成分分析交叉验证均方误差近红外光谱数据工业过程监测