应用于自动面部表情分析技术与感官评价时间分析的数据采集与分析方案

摘要

本文描述了一种在感官评价实验室中利用自动面部表情分析软件捕捉并统计分析人群对饮料和液态食品情绪反应的实验方案。

摘要

我们展示了一种在感官评价实验室中利用自动面部表情分析（AFEA）软件捕捉受试者对饮料及液态食品情绪反应的方法。此外，我们还展示了一种提取相关情绪数据输出结果，并绘制特定时间段内人群情绪反应曲线的方法。通过将每位受试者在处理刺激下的反应与其对照刺激（基线）进行时间配对，可对多个受试者在时间序列上的整体情绪反应进行量化。AFEA 是一种用于评估对食品和饮料无偏倚反应的前瞻性分析工具。目前，大多数研究主要集中在饮料上。针对 AFEA 在食品和饮料应用中的方法学与分析尚未实现标准化，但建立统一的标准方法十分必要。优化视频采集流程并提升所获视频质量，有助于成功收集对食品的情绪反应数据。此外，数据处理分析方法在提取与情绪反应相关的关键数据方面具有新颖性。视频采集优化与数据分析方法的结合，将有助于建立自动面部表情分析及情绪反应数据解读的标准化操作流程。

引言

自动面部表情分析（AFEA）是一种用于表征对饮料和食品情绪反应的前瞻性分析工具。情绪分析可以为现有的感官科学方法、食品评估实践以及研究和工业领域常用的享乐量表评分增添额外维度。情绪分析可提供一种额外的度量指标，揭示对食品和饮料更准确的反应。享乐评分可能因未能记录受试者的反应而引入参与者偏差¹。

面部表情情感分析（AFEA）研究已应用于多种科研领域，包括计算机游戏、用户行为、教育/教学法，以及关于共情与欺骗的心理学研究。大多数与食物相关的研究主要集中在表征对食物品质的情感反应及人类与食物相关的行为。随着近年来对食物行为认知的日益关注，越来越多的文献报道了利用AFEA来表征与食物、饮料及气味物质相关的人类情感反应^1-12。

AFEA 源自面部动作编码系统（Facial Action Coding System, FACS）。面部动作编码系统（FACS）通过动作单元（AUs）在5点强度量表上区分面部运动¹³。FACS 方法需要经过培训的评审专家进行人工编码，耗时较长，且数据分析选项有限。AFEA 被开发为一种快速评估情绪的方法。AFEA 软件依赖面部肌肉运动、面部数据库和算法来表征情绪反应^14-18。本研究中使用的 AFEA 软件在华沙情绪性面部表情图片集（WSEFEP）和阿姆斯特丹动态面部表情集（ADFES）上的平均“FACS 一致性指数....

方案

伦理声明：本研究在项目开始前已获得弗吉尼亚理工大学机构审查委员会（IRB）（IRB 14-229）的预先批准。

注意：涉及人类受试者的研究必须在参与前获得知情同意。除需获得机构审查委员会（IRB）批准外，在发布任何用于印刷、视频或图像展示的静态或动态影像前，还必须事先获得受试者对影像使用的同意。此外，测试前需告知受试者所涉及的食物致敏原。在感官评价小组开始前，应询问参与者是否存在任何不耐受、过敏反应或其他健康顾虑。

注意：排除标准：自动面部表情分析对厚重框架眼镜、浓密胡须面部以及肤色较为敏感。具有上述特征的受试者不适合进行软件分析，因其会增加视频失败的风险。这主要是由于软件无法准确定位面部所致。

1. 样本制备与受试者招募

1. 准备饮料或软质食品样品。
   1. 使用2%牛奶及Costello和Clark（2009）²²建议的风味以及其他风味制备强化乳制品溶液。制备以下溶液：（1）无味牛奶（2%低脂牛奶）；（2）无味水（饮用水）；（3）牛奶中添加香草精风味（0.02 g/ml）（仿制透明香草风味）；（4）牛奶中添加咸味（0.004 g/ml加碘盐）。
      注意：这些溶液仅用于演示目的。
   2. 将每种溶液各取半盎司等分试样（约15 g）倒入2盎司透明塑料样品杯中，并用颜色编码的盖子封口。
      注意：建议使用透明杯子，但具体选择由研究人员自行决定。
2. 从....

结果

该方法提出了一种用于AFEAs数据采集的标准方案。若遵循建议的方案步骤，则可减少因数据采集不佳（图2：A；左图）而导致的情感数据输出无效的情况（图1）。如果日志文件（.txt）中主要包含“FIT_FAILED”和“FIND_FAILED”，则无法进行时间序列分析，因为此类数据属于无效数据（图1）。此外，该方法还包括一种对两个处理组在特定时间段内的情感数据输出进行直接统计比较的方案，以建立情感特征谱。时间序列分析可提供随时间变化的情感趋势，为享乐可接受性结果增加有价值的信息维度。同时，时间序列分析还可显示情感水平随时间的变化情况，这在进食体验过程中具有重要意义。

无味牛奶、无味水以及牛奶中的香草提取物风味在平均可接受性评分上无显著差异（p>0.05），均被评为“轻微喜欢”（图9）。喜好性结果表明，无味牛奶、无味水以.......

讨论

食品与饮料相关文献中关于AFEA的应用非常有限^1-11该方法在食品领域的应用是全新的，为建立相关方法学和数据解读体系提供了机会。Arnade（2013）⁷ 使用曲线下面积分析和方差分析发现，个体对巧克力牛奶和牛奶的情绪反应存在较高的个体间差异。然而，尽管参与者间存在变异性，参与者在感到快乐时的反应持续时间较长，而在感到悲伤和厌恶时的反应持续时间较短⁷在另一项使用基本味觉的高浓度和低浓度的研究中，Arnade（2013）⁷发现基本味觉之间以及基本味觉强度两个水平（高强度与低强度）之间的情绪反应差异并不像预期那样显著，从而对当前自动面部表情分析（AFEA）方法学及数据分析的准确性提出了质疑。食品与饮料的感官评价是一个复杂且动态的响应过程³⁰口腔加工和吞咽过程中可能随时间发生动态变化，从而可能影响刺激物在不同时段的可接受性³⁰因此，测量评价者在整个进食过程中的反应可能是有益的。已有研究建议关注特定的口腔处理时间（与舌头初次接触、咀嚼、吞咽、 等等。)³¹，但目前尚无统一标准.......

材料

本文使用的材料清单

姓名	公司	目录编号	评论
2% 低脂牛奶	Kroger 品牌，俄亥俄州辛辛那提市 或 DZA Brands, LLC，北卡罗来纳州索尔兹伯里市	na	用于溶液
饮用水	Kroger 品牌，辛辛那提，俄亥俄州	na	用于溶液
仿制透明香草香精	Kroger 品牌，辛辛那提，俄亥俄州	无	用于溶液
碘盐	Kroger 品牌，辛辛那提，俄亥俄州	na	用于溶液
FaceReader 6	Noldus 信息技术公司，荷兰瓦赫宁根	无	用于面部分析
感觉信息管理系统（SIMS）2000	Sensory Computer Systems，新泽西州伯克利高地	版本 6	用于感官数据采集
Rhapsody	Acuity Brands Lighting, Inc.，康耶斯，佐治亚州		用于环境照明
R 版本	R Core Team 2015	3.1.1	用于统计分析
Microsoft Office	微软	无	用于统计分析
JMP	统计分析系统（SAS）版本 9.2，SAS Institute，Cary，NC	na	用于统计分析
Media Recorder 2.5	Noldus 信息技术公司，荷兰瓦赫宁根	na	用于采集参与者的感官评价
Axis M1054 相机	Axis Communications，瑞典隆德	na
饮料		na	用于评估的饮料或软质食物