应用于自动面部表情分析技术与感官评价时间分析的数据采集与分析方案

摘要

本文描述了一种在感官评价实验室中利用自动面部表情分析软件捕捉并统计分析人群对饮料和液态食品情绪反应的实验方案。

摘要

我们展示了一种在感官评价实验室中利用自动面部表情分析（AFEA）软件捕捉受试者对饮料及液态食品情绪反应的方法。此外，我们还展示了一种提取相关情绪数据输出结果，并绘制特定时间段内人群情绪反应曲线的方法。通过将每位受试者在处理刺激下的反应与其对照刺激（基线）进行时间配对，可对多个受试者在时间序列上的整体情绪反应进行量化。AFEA 是一种用于评估对食品和饮料无偏倚反应的前瞻性分析工具。目前，大多数研究主要集中在饮料上。针对 AFEA 在食品和饮料应用中的方法学与分析尚未实现标准化，但建立统一的标准方法十分必要。优化视频采集流程并提升所获视频质量，有助于成功收集对食品的情绪反应数据。此外，数据处理分析方法在提取与情绪反应相关的关键数据方面具有新颖性。视频采集优化与数据分析方法的结合，将有助于建立自动面部表情分析及情绪反应数据解读的标准化操作流程。

引言

自动面部表情分析（AFEA）是一种用于表征对饮料和食品情绪反应的前瞻性分析工具。情绪分析可以为现有的感官科学方法、食品评估实践以及研究和工业领域常用的享乐量表评分增添额外维度。情绪分析可提供一种额外的度量指标，揭示对食品和饮料更准确的反应。享乐评分可能因未能记录受试者的反应而引入参与者偏差¹。

面部表情情感分析（AFEA）研究已应用于多种科研领域，包括计算机游戏、用户行为、教育/教学法，以及关于共情与欺骗的心理学研究。大多数与食物相关的研究主要集中在表征对食物品质的情感反应及人类与食物相关的行为。随着近年来对食物行为认知的日益关注，越来越多的文献报道了利用AFEA来表征与食物、饮料及气味物质相关的人类情感反应^1-12。

AFEA 源自面部动作编码系统（Facial Action Coding System, FACS）。面部动作编码系统（FACS）通过动作单元（AUs）在5点强度量表上区分面部运动¹³。FACS 方法需要经过培训的评审专家进行人工编码，耗时较长，且数据分析选项有限。AFEA 被开发为一种快速评估情绪的方法。AFEA 软件依赖面部肌肉运动、面部数据库和算法来表征情绪反应^14-18。本研究中使用的 AFEA 软件在华沙情绪性面部表情图片集（WSEFEP）和阿姆斯特丹动态面部表情集（ADFES）上的平均“FACS 一致性指数”达到 0.67，接近人工编码 0.70 的标准一致性水平"¹⁹。分析中包含的普遍情绪包括快乐（正性）、悲伤（负性）、厌恶（负性）、惊讶（正性或负性）、愤怒（负性）、恐惧（负性）和中性，每种情绪均采用独立的 0 到 1 量表进行评分（0=未表达；1=完全表达）²⁰。此外，心理学文献将快乐、惊讶和愤怒归类为“趋近”情绪（朝向刺激），而将悲伤、恐惧和厌恶归类为“回避”情绪（远离厌恶性刺激）²¹"""""。

当前用于表征与食物相关情绪的AFEA软件的一个局限性在于，咀嚼和吞咽动作以及其他大幅度的运动（如剧烈的头部移动）可能产生干扰。该软件主要针对面部较小的肌肉运动，依据面部超过500个肌肉点的位置和运动程度进行分析^16,17。咀嚼动作会干扰表情的分类。这一局限性可通过使用液态食物来缓解。然而，其他方法学上的挑战也可能降低视频的敏感性及AFEA分析的准确性，包括数据采集环境、技术条件、研究人员的指导语、受试者行为以及受试者自身特征等因素。

目前尚未建立并验证一种标准方法，用于在感官评价实验室环境中利用AFEAs对食品和饮料的情感反应进行最佳视频采集与数据分析。许多因素可能影响视频采集环境，包括光照、因光照产生的阴影、受试者指导、受试者行为、受试者身高，以及相机高度、相机角度和设备设置。此外，数据分析方法不一致，缺乏评估情感反应的标准化方法。本文中，我们将展示我们用于采集情感数据并将数据处理为有意义结果的标准操作流程，所用评价样品为饮料（调味牛奶、无味牛奶和无味水）。据我们所知，仅有一篇经同行评审的出版物——来自我们实验室团队——曾利用时间序列进行情绪分析的数据解释⁸；然而，本研究所提出的方法已对该方法进行了更新。我们的目标是开发一种更优且一致的方法，以提高感官评价实验室环境中的可重复性。作为示例，该研究模型的目标是评估AFEAs是否能够补充对调味牛奶、无味牛奶和无味水的传统享乐型可接受性评估。本视频方案的目的是帮助建立AFEAs方法，在感官评价实验室（感官评价隔间环境）中标准化视频采集标准，并展示一种针对人群的时间维度情感数据分析方法。

方案

伦理声明：本研究在项目开始前已获得弗吉尼亚理工大学机构审查委员会（IRB）（IRB 14-229）的预先批准。

注意：涉及人类受试者的研究必须在参与前获得知情同意。除需获得机构审查委员会（IRB）批准外，在发布任何用于印刷、视频或图像展示的静态或动态影像前，还必须事先获得受试者对影像使用的同意。此外，测试前需告知受试者所涉及的食物致敏原。在感官评价小组开始前，应询问参与者是否存在任何不耐受、过敏反应或其他健康顾虑。

注意：排除标准：自动面部表情分析对厚重框架眼镜、浓密胡须面部以及肤色较为敏感。具有上述特征的受试者不适合进行软件分析，因其会增加视频失败的风险。这主要是由于软件无法准确定位面部所致。

1. 样本制备与受试者招募

1. 准备饮料或软质食品样品。
   1. 使用2%牛奶及Costello和Clark（2009）²²建议的风味以及其他风味制备强化乳制品溶液。制备以下溶液：（1）无味牛奶（2%低脂牛奶）；（2）无味水（饮用水）；（3）牛奶中添加香草精风味（0.02 g/ml）（仿制透明香草风味）；（4）牛奶中添加咸味（0.004 g/ml加碘盐）。
      注意：这些溶液仅用于演示目的。
   2. 将每种溶液各取半盎司等分试样（约15 g）倒入2盎司透明塑料样品杯中，并用颜色编码的盖子封口。
      注意：建议使用透明杯子，但具体选择由研究人员自行决定。
2. 从校园或当地社区招募参与者参加研究。
   注意：研究所需的参与者样本量由研究人员自行决定。我们建议招募10至50名参与者。
3. 在参与者加入研究前，获得其人体受试者知情同意。

2. 视频采集用面板室的准备

注意：本方案适用于感官评价实验室中的数据采集。本方案旨在使AFEA数据采集在感官评价小隔间环境中具有实用价值。

1. 使用独立的隔间，并在前方配备触摸屏显示器（与面部同高），以保持受试者视线向前，防止低头。
2. 使用带背部支撑的可调节高度座椅。
   注意：此类座椅对于调节受试者的垂直位置并将其置于适合视频采集的范围内至关重要。应使用固定式座椅（无滚动功能），并配备可调节背部支撑高度的装置，以减少受试者的移动。
3. 将顶部照明设置为"100% daylight"，以实现最佳的面部情绪视频采集（光源6504K；R=206；G=242；B=255）。
   注意：为避免产生强烈阴影，理想的照明方式为漫射前向照明，而光照强度或颜色的重要性相对较低²⁰。最终，照明条件的控制应由研究人员根据具体实验方案/方法及环境自行决定。
4. 在触摸屏显示器上方安装可调节的摄像头用于录制。
   1. 使用分辨率至少为640 x 480像素（或更高）的摄像头²⁰。在购买和安装前，应与软件供应商讨论所需的摄像头功能²⁰。注意：宽高比不重要²⁰。
   2. 将摄像头的采集速度设置为每秒30帧（或其他标准速度），以确保一致性。
   3. 连接摄像头，并确保媒体录制软件已正确配置，能够录制并保存受试者的视频。

3. 受试者调整与口头指导

1. 每次仅允许一名参与者在感官检测间内评估样品。
   注意：同时测试多名参与者可能会干扰测试环境，影响参与者的注意力或引入偏差。
2. 参与者到达后，向其口头说明测试流程和标准操作程序。
   1. 要求参与者坐直，背部紧靠椅背。
   2. 调整座椅高度、座椅位置（与摄像头的距离）以及摄像头角度，确保参与者的面部位于视频录制画面中央，下巴和眼部周围无阴影。
      注意：在感官检测间内，参与者的头部距离摄像头和显示器大约为 20 - 24 英寸，面部在摄像头视频画面中居中。
   3. 指导参与者保持既定坐姿，始终面向显示器。此外，在每个样品测试后的 30 秒评估期间，禁止做出任何突然的动作。
   4. 指导参与者将全部饮料或液化食品样品摄入并吞咽。
   5. 指导参与者在样品入口后，迅速将样品杯移至下巴下方并立即放回桌面上，以避免面部遮挡。提醒其始终保持注视显示器。
      注意：样品递送方式由研究人员自行决定，可使用吸管或杯子。但无论采用何种方式，初始阶段的面部遮挡不可避免，因为摄入过程会导致面部被遮挡或变形。
3. 指导参与者按照触摸屏显示器上显示的指示进行操作。注意：指示内容由自动化感官分析软件按预设程序自动顺序呈现。

4. 视频采集的个体参与者流程

1. 确认视频摄像头在参与者舒适地坐在 booth 内时（样品呈现前）能够最佳地捕捉其面部，通过查看显示视频采集的计算机监视器来验证。通过点击计算机监视器上的录制按钮开始录制。
2. 指导参与者啜饮清水以清洁味觉。
3. 依次提供处理，首先进行基线或对照处理（无味清水）。通过将不同颜色的索引卡分别置于各样品上方，以对应视频中样品的颜色编码，实现对各样品处理的唯一标识。
   注意：触摸屏显示器上的程序化指引会指导参与者。这些说明将引导参与者完成每个处理样本的一系列标准化步骤。
4. 通过触摸屏显示器，指导参与者：
   1. 在视频中，于摄入前举起相应的彩色索引卡以进行样本识别。
      注意：色卡可帮助研究人员在视频中识别处理条件，并标记样本评估的相应时间点（零时）。
   2. 短暂持握卡片后，将卡片放回托盘。
   3. 完全消耗样品，并在面对摄像头的情况下，根据显示器上的程序引导等待约30秒。
      注意：30 秒的受控采样期包含足以完成整个采样评估过程的时间跨度即， 展示索引卡、打开样品（移除盖子）、消耗过程及情绪捕捉。
   4. 在触摸屏显示器上输入他们的享乐可接受性评分（1=极度不喜欢，2=非常不喜欢，3=中等程度不喜欢，4=稍微不喜欢，5=既不喜欢也不喜欢，6=稍微喜欢，7=中等程度喜欢，8=非常喜欢，9=极度喜欢）。
   5. 在进行下一个样品处理前，用饮用水漱口。

5. 评估自动化面部表情分析选项

注意：目前存在多种面部表情分析软件。不同软件的命令和功能可能有所不同。遵循制造商提供的用户指南和参考手册至关重要²⁰。

1. 以媒体格式保存录制内容，并将其传输至自动面部表情分析软件。
2. 使用自动面部分析软件分析参与者视频。
   1. 双击计算机桌面上的软件图标。
   2. 程序打开后，点击 "文件"，选择 "新建…”，然后选择 "项目…”
   3. 在弹出窗口中为项目命名并保存项目。
   4. 通过点击 "添加参与者"图标（带加号 (+) 的人像）将参与者添加到项目中。可通过重复此步骤添加更多参与者。
   5. 将参与者的视频添加至对应参与者以进行分析。
      1. 在屏幕左侧，点击带有加号 (+) 的胶片卷图标，以添加待分析的视频。
      2. 点击目标参与者下方的 "放大镜"图标，浏览并选择要添加的视频。
3. 在软件中采用连续校准分析设置，逐帧分析视频。
   1. 点击窗口底部 "设置"选项卡中每个参与者视频下方的铅笔图标，以调整设置。
      1. 将 "面部模型"设为通用。将 "平滑分类"设为是。将 "采样率"设为每帧。
      2. 将 "图像旋转"设为否。将 "连续校准"设为是。将 "选定校准"设为无。
   2. 保存项目设置。
   3. 按下批量分析图标（红黑相间的靶心状符号）以分析项目中的视频。
   4. 分析完成后保存结果。
      注：若研究人员偏好其他分析方法，软件中还提供其他视频设置选项。
   5. 若在指定的摄入后时间段内持续存在严重的面部遮挡或无法完成面部映射，则视为视频失败（图1）。此外，若模型失败，导出的输出文件中将显示 "FIT_FAILED" 或 "FIND_FAILED"（图2）。这表示数据丢失，因为软件无法对参与者的情绪进行分类或分析。
      注：AFEAS 将面部肌肉运动转化为中性、快乐、厌恶、悲伤、愤怒、惊讶和恐惧七种情绪，每种情绪的表达程度按 0（未表达）至 1（完全表达）的量表进行评分。
4. 将 AFEA 数据输出导出为日志文件（.txt），以便进一步分析。
   1. 分析完成后，导出整个项目。
      1. 点击 "文件"、"导出"、"导出项目结果"。
      2. 当窗口打开后，选择导出文件的保存位置，并将日志文件（.txt）保存至指定文件夹。
      3. 将每位参与者的日志文件转换为数据电子表格（.csv 或 .xlsx），以提取相关数据。
         1. 打开数据电子表格软件，选择 "数据"选项卡。
         2. 在 "数据"选项卡的 "获取外部数据"组中，点击 "自文本"。
         3. 在 "地址栏"中，找到并双击要导入的参与者文本文件，然后按照屏幕上的向导提示操作。
         4. 对所有相关参与者文件继续执行导出过程。

6. 为参与者视频添加时间戳以进行数据分析

1. 使用 AFEA 软件，手动查看每位参与者的视频，并为每个样本确定摄入后的零时刻。将时间戳记录在数据电子表格中。当样本杯位于参与者下巴下方且不再遮挡面部时，定义为摄入后时间零点。
   注意：时间戳的放置对于评估至关重要。杯体不再遮挡面部的时刻为最佳推荐时间点，且所有参与者的时间戳需保持一致。
2. 将时间戳数据电子表格（.csv）保存为从视频中提取相关数据的参考文件。
   注意：参与者视频在软件中也可被内部编码为 "事件标记"。

7. 时间序列情感分析

注意：请考虑 "基线" 作为对照（即， 无味的水（在此示例中）。研究人员能够创建不同的 "基线治疗刺激" 或 a "无刺激基线时间" 根据研究兴趣进行配对比较。所提出的方法考虑了 "默认" 通过配对统计检验来确定状态。换句话说，该程序采用统计区组法（即采用配对检验以校正每位参与者的基线表现，从而降低参与者间的变异性。

1. 从导出的文件（.csv 或 .xlsx）中提取相关数据。
   1. 确定与研究评估相关的时间范围（秒）。
   2. 根据参与者的时标（时间零点），手动从导出的参与者文件中提取相应的数据（时间范围）。
   3. 按所选时间段（秒）为每位参与者整理每种情绪（高兴、中性、悲伤、愤怒、惊讶、恐惧和厌恶）的治疗数据（参与者编号、治疗方式、原始视频时间及情绪反应），并录入新的数据表格，以供后续分析图3).
   4. 对所有参与者重复此过程。
2. 为每位参与者-处理组合从时间戳文件中确定相应的时间零点，并将视频时间调整为真实时间 "0" 用于直接比较（图4, 图5).
   注意：参与者的数据以连续视频形式采集，因此每种处理 "时间零点" 是不同的（即， 无味水视频的时间零点为 02:13.5，无味牛奶视频的时间零点为 03:15.4）在 图4. 由于不同的处理 "时间零点"视频时间需要重新调整并对齐，以从该点开始 "0:00.0" 或其它标准起始时间，以便直接比较处理后的情绪反应数据。
3. 针对每位参与者、每种情绪及校正后的时间点，提取配对的处理（例如，无味牛奶）和对照处理（例如， 无味水）的定量情绪评分。换句话说，针对每种情绪，对齐受试者在处理条件和对照条件下的反应时间序列图5).
4. 汇总所有参与者的信息（参与者、校正时间及配对治疗）例如， 无味的水和无味的牛奶）在每个时间点（图6).
   注意：以下步骤演示了如何手动进行配对 Wilcox 检验。大多数数据分析软件均可自动完成该过程。建议与统计学家讨论统计分析流程。
5. 样本重置并根据新调整的视频时间对齐后，使用参与者间的序贯配对非参数 Wilcoxon 检验，直接比较各相应样本与对照组（无味清水）的情绪结果。图7).
   注意：样本新的时间对齐将允许在摄入后5秒时间范围内进行直接比较。如果某一处理组中缺少配对观测值，则在该时间点比较中排除该受试者。
   1. 使用数据电子表格管理软件，计算每组配对比较中对照组与相应样本之间的差异。
      注意：比较结果将取决于软件中为情绪分析所选择的帧率。本方案展示了在5秒内（选定的时间段）每秒进行30次独立比较。
      注意：使用 图7 作为列和步骤的参考。
      1. 减去牛奶的数值（例如， 未添加调味剂的牛奶）与对照组数值之间的差值例如，无味的水）以确定差异。在数据电子表格管理软件中新建一列，标题为 "治疗差异"，输入 "=(C2)-(D2)"，其中 "C2" 是控制情绪值和 "D2" 所选处理的情绪值。对所有时间点重复此过程。
      2. 计算处理差异的绝对值。在数据电子表格管理软件中，于新列内输入 "=ABS(E2)"，其中 "E2" 即为治疗差异。对所有时间点重复此过程。
      3. 确定处理差异的秩次顺序。在数据电子表格管理软件的新一列中输入 "=RANK(G2, $G$2:$G$25, 1)" 其中 "G2" 绝对差值 "1" 是 "上升"对所有时间点重复此过程。
      4. 在电子表格中确定排序的符号秩次。如果处理差异为负值（第 I 列），则将符号改为负号。
      5. 计算正值之和（=SUMIF(I2:I25, ">0"）"，I2:I25）以及负值求和 =SUMIF(I2:I25,"<0"排名值的 I2:I25 区域。
      6. 确定检验统计量。检验统计量为绝对值较小的秩和。
      7. 使用特定时间点包含的观察数量和选定的 alpha 值，查阅 Wilcoxon 符号秩检验统计量的统计表以确定临界值。
      8. 若检验统计量小于临界值，则拒绝原假设；若大于临界值，则接受原假设。
6. 在相应的处理图表上绘制结果（即， 无味牛奶与无味水相比）在拒绝零假设的情况下，利用差异的符号来确定哪种处理产生更强的情绪反应图8).
   1. 在数据电子表格管理软件中，使用显著性有无的数值绘制图表。
      1. 点击 "插入" 表。
      2. 选择 "线"
      3. 右键单击图表框。
      4. 点击 "选择数据" 并按照屏幕提示选择和绘制相关数据（图8).
         注意：图表将显示样本或对照组情绪反应显著较高的结果。根据具体图表，情绪在特定时间点更高，从而能够辨别参与者情绪在两个样本间5秒时间间隔内的演变过程。
         注意：建议寻求统计学家的协助以提取相关数据。需要开发统计代码来分析情绪结果。

结果

该方法提出了一种用于AFEAs数据采集的标准方案。若遵循建议的方案步骤，则可减少因数据采集不佳（图2：A；左图）而导致的情感数据输出无效的情况（图1）。如果日志文件（.txt）中主要包含“FIT_FAILED”和“FIND_FAILED”，则无法进行时间序列分析，因为此类数据属于无效数据（图1）。此外，该方法还包括一种对两个处理组在特定时间段内的情感数据输出进行直接统计比较的方案，以建立情感特征谱。时间序列分析可提供随时间变化的情感趋势，为享乐可接受性结果增加有价值的信息维度。同时，时间序列分析还可显示情感水平随时间的变化情况，这在进食体验过程中具有重要意义。

无味牛奶、无味水以及牛奶中的香草提取物风味在平均可接受性评分上无显著差异（p>0.05），均被评为“轻微喜欢”（图9）。喜好性结果表明，无味牛奶、无味水以...

讨论

食品与饮料相关文献中关于AFEA的应用非常有限^1-11该方法在食品领域的应用是全新的，为建立相关方法学和数据解读体系提供了机会。Arnade（2013）⁷ 使用曲线下面积分析和方差分析发现，个体对巧克力牛奶和牛奶的情绪反应存在较高的个体间差异。然而，尽管参与者间存在变异性，参与者在感到快乐时的反应持续时间较长，而在感到悲伤和厌恶时的反应持续时间较短⁷在另一项使用基本味觉的高浓度和低浓度的研究中，Arnade（2013）⁷发现基本味觉之间以及基本味觉强度两个水平（高强度与低强度）之间的情绪反应差异并不像预期那样显著，从而对当前自动面部表情分析（AFEA）方法学及数据分析的准确性提出了质疑。食品与饮料的感官评价是一个复杂且动态的响应过程³⁰口腔加工和吞咽过程中可能随时间发生动态变化，从而可能影响刺激物在不同时段的可接受性³⁰因此，测量评价者在整个进食过程中的反应可能是有益的。已有研究建议关注特定的口腔处理时间（与舌头初次接触、咀嚼、吞咽、 等等。)³¹，但目前尚无统一标准...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
2% 低脂牛奶	Kroger 品牌，俄亥俄州辛辛那提市 或 DZA Brands, LLC，北卡罗来纳州索尔兹伯里市	na	用于溶液
饮用水	Kroger 品牌，辛辛那提，俄亥俄州	na	用于溶液
仿制透明香草香精	Kroger 品牌，辛辛那提，俄亥俄州	无	用于溶液
碘盐	Kroger 品牌，辛辛那提，俄亥俄州	na	用于溶液
FaceReader 6	Noldus 信息技术公司，荷兰瓦赫宁根	无	用于面部分析
感觉信息管理系统（SIMS）2000	Sensory Computer Systems，新泽西州伯克利高地	版本 6	用于感官数据采集
Rhapsody	Acuity Brands Lighting, Inc.，康耶斯，佐治亚州		用于环境照明
R 版本	R Core Team 2015	3.1.1	用于统计分析
Microsoft Office	微软	无	用于统计分析
JMP	统计分析系统（SAS）版本 9.2，SAS Institute，Cary，NC	na	用于统计分析
Media Recorder 2.5	Noldus 信息技术公司，荷兰瓦赫宁根	na	用于采集参与者的感官评价
Axis M1054 相机	Axis Communications，瑞典隆德	na
饮料		na	用于评估的饮料或软质食物