Name: 协议进行数据采集和分析应用到自动人脸表情分析技术和时序分析感官评价 (视频) | JoVE Journal
Uploaded: 2016-08-26T13:00:00.000+00:00
Duration: 7 min 12 s
Description: 了解使用自动面部表情分析软件捕获和分析饮料及液化食品情绪反应的标准化方法。该技术为感官科学实验室提供标准化数据采集流程，可测量参与者对饮品的隐性情绪反应，提高数据可靠性并支持跨研究比较。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

playerTrialDesktop

本项目部分资金由 ConAgra Foods（美国内布拉斯加州奥马哈）、弗吉尼亚农业实验站、美国农业部国家食品与农业研究所的哈奇计划以及弗吉尼亚理工大学 Water INTERface 跨学科研究生教育项目提供。

伦理声明：本研究在项目开始前已获得弗吉尼亚理工大学机构审查委员会（IRB）（IRB 14-229）的预先批准。
注意：涉及人类受试者的研究必须在参与前获得知情同意。除需获得机构审查委员会（IRB）批准外，在发布任何用于印刷、视频或图像展示的静态或动态影像前，还必须事先获得受试者对影像使用的同意。此外，测试前需告知受试者所涉及的食物致敏原。在感官评价小组开始前，应询问参与者是否存在任何不耐受、过敏反应或其他健康顾虑。
注意：排除标准：自动面部表情分析对厚重框架眼镜、浓密胡须面部以及肤色较为敏感。具有上述特征的受试者不适合进行软件分析，因其会增加视频失败的风险。这主要是由于软件无法准确定位面部所致。
1. 样本制备与受试者招募
<ol>
	<li>准备饮料或软质食品样品。
	<ol>
		<li>使用2%牛奶及Costello和Clark（2009）22建议的风味以及其他风味制备强化乳制品溶液。制备以下溶液：（1）无味牛奶（2%低脂牛奶）；（2）无味水（饮用水）；（3）牛奶中添加香草精风味（0.02 g/ml）（仿制透明香草风味）；（4）牛奶中添加咸味（0.004 g/ml加碘盐）。 
		注意：这些溶液仅用于演示目的。</li>
		<li>将每种溶液各取半盎司等分试样（约15 g）倒入2盎司透明塑料样品杯中，并用颜色编码的盖子封口。 
		注意：建议使用透明杯子，但具体选择由研究人员自行决定。</li>
	</ol>
	</li>
	<li>从校园或当地社区招募参与者参加研究。 
	注意：研究所需的参与者样本量由研究人员自行决定。我们建议招募10至50名参与者。</li>
	<li>在参与者加入研究前，获得其人体受试者知情同意。</li>
</ol>
2. 视频采集用面板室的准备
注意：本方案适用于感官评价实验室中的数据采集。本方案旨在使AFEA数据采集在感官评价小隔间环境中具有实用价值。
<ol>
	<li>使用独立的隔间，并在前方配备触摸屏显示器（与面部同高），以保持受试者视线向前，防止低头。</li>
	<li>使用带背部支撑的可调节高度座椅。 
	注意：此类座椅对于调节受试者的垂直位置并将其置于适合视频采集的范围内至关重要。应使用固定式座椅（无滚动功能），并配备可调节背部支撑高度的装置，以减少受试者的移动。</li>
	<li>将顶部照明设置为&#34;100% daylight&#34;，以实现最佳的面部情绪视频采集（光源6504K；R=206；G=242；B=255）。 
	注意：为避免产生强烈阴影，理想的照明方式为漫射前向照明，而光照强度或颜色的重要性相对较低20。最终，照明条件的控制应由研究人员根据具体实验方案/方法及环境自行决定。</li>
	<li>在触摸屏显示器上方安装可调节的摄像头用于录制。
	<ol>
		<li>使用分辨率至少为640 x 480像素（或更高）的摄像头20。在购买和安装前，应与软件供应商讨论所需的摄像头功能20。注意：宽高比不重要20。</li>
		<li>将摄像头的采集速度设置为每秒30帧（或其他标准速度），以确保一致性。</li>
		<li>连接摄像头，并确保媒体录制软件已正确配置，能够录制并保存受试者的视频。</li>
	</ol>
	</li>
</ol>
3. 受试者调整与口头指导
<ol>
	<li>每次仅允许一名参与者在感官检测间内评估样品。 
	注意：同时测试多名参与者可能会干扰测试环境，影响参与者的注意力或引入偏差。</li>
	<li>参与者到达后，向其口头说明测试流程和标准操作程序。
	<ol>
		<li>要求参与者坐直，背部紧靠椅背。</li>
		<li>调整座椅高度、座椅位置（与摄像头的距离）以及摄像头角度，确保参与者的面部位于视频录制画面中央，下巴和眼部周围无阴影。 
		注意：在感官检测间内，参与者的头部距离摄像头和显示器大约为 20 - 24 英寸，面部在摄像头视频画面中居中。</li>
		<li>指导参与者保持既定坐姿，始终面向显示器。此外，在每个样品测试后的 30 秒评估期间，禁止做出任何突然的动作。</li>
		<li>指导参与者将全部饮料或液化食品样品摄入并吞咽。</li>
		<li>指导参与者在样品入口后，迅速将样品杯移至下巴下方并立即放回桌面上，以避免面部遮挡。提醒其始终保持注视显示器。 
		注意：样品递送方式由研究人员自行决定，可使用吸管或杯子。但无论采用何种方式，初始阶段的面部遮挡不可避免，因为摄入过程会导致面部被遮挡或变形。</li>
	</ol>
	</li>
	<li>指导参与者按照触摸屏显示器上显示的指示进行操作。注意：指示内容由自动化感官分析软件按预设程序自动顺序呈现。</li>
</ol>
4. 视频采集的个体参与者流程
<ol>
	<li>确认视频摄像头在参与者舒适地坐在 booth 内时（样品呈现前）能够最佳地捕捉其面部，通过查看显示视频采集的计算机监视器来验证。通过点击计算机监视器上的录制按钮开始录制。</li>
	<li>指导参与者啜饮清水以清洁味觉。</li>
	<li>依次提供处理，首先进行基线或对照处理（无味清水）。通过将不同颜色的索引卡分别置于各样品上方，以对应视频中样品的颜色编码，实现对各样品处理的唯一标识。 
	注意：触摸屏显示器上的程序化指引会指导参与者。这些说明将引导参与者完成每个处理样本的一系列标准化步骤。</li>
	<li>通过触摸屏显示器，指导参与者：
	<ol>
		<li>在视频中，于摄入前举起相应的彩色索引卡以进行样本识别。 
		注意：色卡可帮助研究人员在视频中识别处理条件，并标记样本评估的相应时间点（零时）。</li>
		<li>短暂持握卡片后，将卡片放回托盘。</li>
		<li>完全消耗样品，并在面对摄像头的情况下，根据显示器上的程序引导等待约30秒。 
		注意：30 秒的受控采样期包含足以完成整个采样评估过程的时间跨度即， 展示索引卡、打开样品（移除盖子）、消耗过程及情绪捕捉。</li>
		<li>在触摸屏显示器上输入他们的享乐可接受性评分（1=极度不喜欢，2=非常不喜欢，3=中等程度不喜欢，4=稍微不喜欢，5=既不喜欢也不喜欢，6=稍微喜欢，7=中等程度喜欢，8=非常喜欢，9=极度喜欢）。</li>
		<li>在进行下一个样品处理前，用饮用水漱口。</li>
	</ol>
	</li>
</ol>
5. 评估自动化面部表情分析选项
注意：目前存在多种面部表情分析软件。不同软件的命令和功能可能有所不同。遵循制造商提供的用户指南和参考手册至关重要20。
<ol>
	<li>以媒体格式保存录制内容，并将其传输至自动面部表情分析软件。</li>
	<li>使用自动面部分析软件分析参与者视频。
	<ol>
		<li>双击计算机桌面上的软件图标。</li>
		<li>程序打开后，点击 &#34;文件&#34;，选择 &#34;新建…”，然后选择 &#34;项目…”</li>
		<li>在弹出窗口中为项目命名并保存项目。</li>
		<li>通过点击 &#34;添加参与者&#34;图标（带加号 (+) 的人像）将参与者添加到项目中。可通过重复此步骤添加更多参与者。</li>
		<li>将参与者的视频添加至对应参与者以进行分析。
		<ol>
			<li>在屏幕左侧，点击带有加号 (+) 的胶片卷图标，以添加待分析的视频。</li>
			<li>点击目标参与者下方的 &#34;放大镜&#34;图标，浏览并选择要添加的视频。</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>在软件中采用连续校准分析设置，逐帧分析视频。
	<ol>
		<li>点击窗口底部 &#34;设置&#34;选项卡中每个参与者视频下方的铅笔图标，以调整设置。
		<ol>
			<li>将 &#34;面部模型&#34;设为通用。将 &#34;平滑分类&#34;设为是。将 &#34;采样率&#34;设为每帧。</li>
			<li>将 &#34;图像旋转&#34;设为否。将 &#34;连续校准&#34;设为是。将 &#34;选定校准&#34;设为无。</li>
		</ol>
		</li>
		<li>保存项目设置。</li>
		<li>按下批量分析图标（红黑相间的靶心状符号）以分析项目中的视频。</li>
		<li>分析完成后保存结果。 
		注：若研究人员偏好其他分析方法，软件中还提供其他视频设置选项。</li>
		<li>若在指定的摄入后时间段内持续存在严重的面部遮挡或无法完成面部映射，则视为视频失败（图1）。此外，若模型失败，导出的输出文件中将显示 &#34;FIT_FAILED&#34; 或 &#34;FIND_FAILED&#34;（图2）。这表示数据丢失，因为软件无法对参与者的情绪进行分类或分析。 
		注：AFEAS 将面部肌肉运动转化为中性、快乐、厌恶、悲伤、愤怒、惊讶和恐惧七种情绪，每种情绪的表达程度按 0（未表达）至 1（完全表达）的量表进行评分。</li>
	</ol>
	</li>
	<li>将 AFEA 数据输出导出为日志文件（.txt），以便进一步分析。
	<ol>
		<li>分析完成后，导出整个项目。
		<ol>
			<li>点击 &#34;文件&#34;、&#34;导出&#34;、&#34;导出项目结果&#34;。</li>
			<li>当窗口打开后，选择导出文件的保存位置，并将日志文件（.txt）保存至指定文件夹。</li>
			<li>将每位参与者的日志文件转换为数据电子表格（.csv 或 .xlsx），以提取相关数据。
			<ol>
				<li>打开数据电子表格软件，选择 &#34;数据&#34;选项卡。</li>
				<li>在 &#34;数据&#34;选项卡的 &#34;获取外部数据&#34;组中，点击 &#34;自文本&#34;。</li>
				<li>在 &#34;地址栏&#34;中，找到并双击要导入的参与者文本文件，然后按照屏幕上的向导提示操作。</li>
				<li>对所有相关参与者文件继续执行导出过程。</li>
			</ol>
			</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>
6. 为参与者视频添加时间戳以进行数据分析
<ol>
	<li>使用 AFEA 软件，手动查看每位参与者的视频，并为每个样本确定摄入后的零时刻。将时间戳记录在数据电子表格中。当样本杯位于参与者下巴下方且不再遮挡面部时，定义为摄入后时间零点。 
	注意：时间戳的放置对于评估至关重要。杯体不再遮挡面部的时刻为最佳推荐时间点，且所有参与者的时间戳需保持一致。</li>
	<li>将时间戳数据电子表格（.csv）保存为从视频中提取相关数据的参考文件。 
	注意：参与者视频在软件中也可被内部编码为 &#34;事件标记&#34;。</li>
</ol>
7. 时间序列情感分析
注意：请考虑 &#34;基线&#34; 作为对照（即， 无味的水（在此示例中）。研究人员能够创建不同的 &#34;基线治疗刺激&#34; 或 a &#34;无刺激基线时间&#34; 根据研究兴趣进行配对比较。所提出的方法考虑了 &#34;默认&#34; 通过配对统计检验来确定状态。换句话说，该程序采用统计区组法（即采用配对检验以校正每位参与者的基线表现，从而降低参与者间的变异性。
<ol>
	<li>从导出的文件（.csv 或 .xlsx）中提取相关数据。
	<ol>
		<li>确定与研究评估相关的时间范围（秒）。</li>
		<li>根据参与者的时标（时间零点），手动从导出的参与者文件中提取相应的数据（时间范围）。</li>
		<li>按所选时间段（秒）为每位参与者整理每种情绪（高兴、中性、悲伤、愤怒、惊讶、恐惧和厌恶）的治疗数据（参与者编号、治疗方式、原始视频时间及情绪反应），并录入新的数据表格，以供后续分析图3).</li>
		<li>对所有参与者重复此过程。</li>
	</ol>
	</li>
	<li>为每位参与者-处理组合从时间戳文件中确定相应的时间零点，并将视频时间调整为真实时间 &#34;0&#34; 用于直接比较（图4, 图5). 
	注意：参与者的数据以连续视频形式采集，因此每种处理 &#34;时间零点&#34; 是不同的（即， 无味水视频的时间零点为 02:13.5，无味牛奶视频的时间零点为 03:15.4）在 图4. 由于不同的处理 &#34;时间零点&#34;视频时间需要重新调整并对齐，以从该点开始 &#34;0:00.0&#34; 或其它标准起始时间，以便直接比较处理后的情绪反应数据。</li>
	<li>针对每位参与者、每种情绪及校正后的时间点，提取配对的处理（例如，无味牛奶）和对照处理（例如， 无味水）的定量情绪评分。换句话说，针对每种情绪，对齐受试者在处理条件和对照条件下的反应时间序列图5).</li>
	<li>汇总所有参与者的信息（参与者、校正时间及配对治疗）例如， 无味的水和无味的牛奶）在每个时间点（图6). 
	注意：以下步骤演示了如何手动进行配对 Wilcox 检验。大多数数据分析软件均可自动完成该过程。建议与统计学家讨论统计分析流程。</li>
	<li>样本重置并根据新调整的视频时间对齐后，使用参与者间的序贯配对非参数 Wilcoxon 检验，直接比较各相应样本与对照组（无味清水）的情绪结果。图7). 
	注意：样本新的时间对齐将允许在摄入后5秒时间范围内进行直接比较。如果某一处理组中缺少配对观测值，则在该时间点比较中排除该受试者。
	<ol>
		<li>使用数据电子表格管理软件，计算每组配对比较中对照组与相应样本之间的差异。 
		注意：比较结果将取决于软件中为情绪分析所选择的帧率。本方案展示了在5秒内（选定的时间段）每秒进行30次独立比较。 
		注意：使用 图7 作为列和步骤的参考。
		<ol>
			<li>减去牛奶的数值（例如， 未添加调味剂的牛奶）与对照组数值之间的差值例如，无味的水）以确定差异。在数据电子表格管理软件中新建一列，标题为 &#34;治疗差异&#34;，输入 &#34;=(C2)-(D2)&#34;，其中 &#34;C2&#34; 是控制情绪值和 &#34;D2&#34; 所选处理的情绪值。对所有时间点重复此过程。</li>
			<li>计算处理差异的绝对值。在数据电子表格管理软件中，于新列内输入 &#34;=ABS(E2)&#34;，其中 &#34;E2&#34; 即为治疗差异。对所有时间点重复此过程。</li>
			<li>确定处理差异的秩次顺序。在数据电子表格管理软件的新一列中输入 &#34;=RANK(G2, $G$2:$G$25, 1)&#34; 其中 &#34;G2&#34; 绝对差值 &#34;1&#34; 是 &#34;上升&#34;对所有时间点重复此过程。</li>
			<li>在电子表格中确定排序的符号秩次。如果处理差异为负值（第 I 列），则将符号改为负号。</li>
			<li>计算正值之和（=SUMIF(I2:I25, ">0"）&#34;，I2:I25）以及负值求和 =SUMIF(I2:I25,"<0&#34;排名值的 I2:I25 区域。</li>
			<li>确定检验统计量。检验统计量为绝对值较小的秩和。</li>
			<li>使用特定时间点包含的观察数量和选定的 alpha 值，查阅 Wilcoxon 符号秩检验统计量的统计表以确定临界值。</li>
			<li>若检验统计量小于临界值，则拒绝原假设；若大于临界值，则接受原假设。</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>在相应的处理图表上绘制结果（即， 无味牛奶与无味水相比）在拒绝零假设的情况下，利用差异的符号来确定哪种处理产生更强的情绪反应图8).
	<ol>
		<li>在数据电子表格管理软件中，使用显著性有无的数值绘制图表。
		<ol>
			<li>点击 &#34;插入&#34; 表。</li>
			<li>选择 &#34;线&#34;</li>
			<li>右键单击图表框。</li>
			<li>点击 &#34;选择数据&#34; 并按照屏幕提示选择和绘制相关数据（图8). 
			注意：图表将显示样本或对照组情绪反应显著较高的结果。根据具体图表，情绪在特定时间点更高，从而能够辨别参与者情绪在两个样本间5秒时间间隔内的演变过程。 
			注意：建议寻求统计学家的协助以提取相关数据。需要开发统计代码来分析情绪结果。</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>

<ol><li>De Wijk, R. A., Kooijman, V., Verhoeven, R. H. G., Holthuysen, N. T. E., De Graaf, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Autonomic+nervous+system+responses+on+and+facial+expressions+to+the+sight%2C+smell%2C+and+taste+of+liked+and+disliked+foods%5BTitle%5D)+AND+%22Food+Qual+Prefer%22%5BJournal%5D)">Autonomic nervous system responses on and facial expressions to the sight, smell, and taste of liked and disliked foods.</a> Food Qual Prefer. 26 (2), 196-203 (2012).</li>
<li>De Wijk, R. A., He, W., Mensink, M. G. J., Verhoeven, R. H. G., De Graaf, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ANS+responses+and+facial+expression+differentiate+between+the+taste+of+commercial+breakfast+drinks%5BTitle%5D)+AND+%22PLoS+ONE%22%5BJournal%5D)">ANS responses and facial expression differentiate between the taste of commercial breakfast drinks.</a> PLoS ONE. 9 (4), 1-9 (2014).</li>
<li>He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Behavioural+and+physiological+responses+to+two+food+odours%5BTitle%5D)+AND+%22Appetite%22%5BJournal%5D)">Behavioural and physiological responses to two food odours.</a> Appetite. 59 (2), 628(2012).</li>
<li>He, W., Boesveldt, S., De Graaf, C., De Wijk, R. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Dynamics+of+autonomic+nervous+system+responses+and+facial+expressions+to+odors%5BTitle%5D)+AND+%22Front+Psychol%22%5BJournal%5D)">Dynamics of autonomic nervous system responses and facial expressions to odors.</a> Front Psychol. 5 (110), 1-8 (2014).</li>
<li>Danner, L., Sidorkina, L., Joechl, M., Duerrschmid, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Make+a+face%21+Implicit+and+explicit+measurement+of+facial+expressions+elicited+by+orange+juices+using+face+reading+technology%5BTitle%5D)+AND+%22Food+Qual+Prefer%22%5BJournal%5D)">Make a face! Implicit and explicit measurement of facial expressions elicited by orange juices using face reading technology.</a> Food Qual Prefer. 32 (2014), 167-172 (2013).</li>
<li>Danner, L., Haindl, S., Joechl, M., Duerrschmid, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Facial+expression+and+autonomous+nervous+system+responses+elicited+by+tasting+different+juices%5BTitle%5D)+AND+%22Food+Res+Int%22%5BJournal%5D)">Facial expression and autonomous nervous system responses elicited by tasting different juices.</a> Food Res Int. 64 (2014), 81-90 (2014).</li>
<li>Arnade, E. A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Measuring+consumer+emotional+response+to+tastes+and+foods+through+facial+expression+analysis+%5B%5D%22">Measuring consumer emotional response to tastes and foods through facial expression analysis [thesis]</a>. , Virginia Tech. Blacksburg. 1-187 (2013).</li>
<li>Leitch, K. A., Duncan, S. E., O'Keefe, S., Rudd, R., Gallagher, D. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Characterizing+consumer+emotional+response+to+sweeteners+using+an+emotion+terminology+questionnaire+and+facial+expression+analysis%5BTitle%5D)+AND+%22Food+Res+Int%22%5BJournal%5D)">Characterizing consumer emotional response to sweeteners using an emotion terminology questionnaire and facial expression analysis.</a> Food Res Int. 76, 283-292 (2015).</li>
<li>Crist, C. A., et al. Application of emotional facial analysis technology to consumer acceptability using a basic tastes model. Technical Abstracts and Proceedings of the 2014 Institute of Food Technologists Annual Meeting, 2014 Jun 21 - 24, New Orleans, LA, , (2014).</li>
<li>Garcia-Burgos, D., Zamora, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Facial+affective+reactions+to+bitter-tasting+foods+and+body+mass+index+in+adults%5BTitle%5D)+AND+%22Appetite%22%5BJournal%5D)">Facial affective reactions to bitter-tasting foods and body mass index in adults.</a> Appetite. 71 (2013), 178-186 (2013).</li>
<li>Garcia-Burgos, D., Zamora, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Exploring+the+hedonic+and+incentive+properties+in+preferences+for+bitter+foods+via+self-reports%2C+facial+expressions+and+instrumental+behaviours%5BTitle%5D)+AND+%22Food+Qual+Prefer%22%5BJournal%5D)">Exploring the hedonic and incentive properties in preferences for bitter foods via self-reports, facial expressions and instrumental behaviours.</a> Food Qual Prefer. 39 (2015), 73-81 (2015).</li>
<li>Lewinski, P., Fransen, M. L., Tan, E. S. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Predicting+advertising+effectiveness+by+facial+expressions+in+response+to+amusing+persuasive+stimuli%5BTitle%5D)+AND+%22J.+Neurosci.+Psychol.+Econ%22%5BJournal%5D)">Predicting advertising effectiveness by facial expressions in response to amusing persuasive stimuli.</a> J. Neurosci. Psychol. Econ. 7 (1), 1-14 (2014).</li>
<li>Ekman, P., Friesen, W. V. Facial action coding system: A technique for the measurement of facial movement. , Consulting Psychologists Press. Palo Alto, California. (1978).</li>
<li>Viola, P., Jones, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Rapid+object+detection+using+a+boosted+cascade+of+simple+features%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+Computer+Society+Conference+on+Computer+Vision+and+Pattern%22%5BJournal%5D)">Rapid object detection using a boosted cascade of simple features.</a> Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern. 1, 511-518 (2001).</li>
<li>Sung, K. K., Poggio, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Example-based+learning+for+view-based+human+face+detection%5BTitle%5D)+AND+%22IEEE+Trans.+Pattern+Anal.+Mach.+Intell%22%5BJournal%5D)">Example-based learning for view-based human face detection.</a> IEEE Trans. Pattern Anal. Mach. Intell. 20 (1), 39-51 (1998).</li>
<li><a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22FaceReader+5%E2%84%A2+Technical+Specifications%22">FaceReader 5™ Technical Specifications</a>. , Noldus Information Technology. Wageningen, The Netherlands. Available from: 
 
 <a target="_blank" href="http://www.webshop.noldus.com/media/techspec/facereader _techspec.pdf">http://www.webshop.noldus.com/media/techspec/facereader _techspec.pdf</a> (2014).</li>
<li>Cootes, T., Taylor, C. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCootes%2C+T+%22Statistical+models+of+appearance+for+computer+vision%3A+Technical+report%22">Statistical models of appearance for computer vision: Technical report</a>. , University of Manchester, Wolfson Image Analysis Unit, Imaging Science and Biomedical Engineering. (2000).</li>
<li>Bishop, C. M. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aBishop%2C+CM+%22Neural+networks+for+pattern+recognition%22">Neural networks for pattern recognition</a>. , Oxford University Press. New York. (1995).</li>
<li>Lewinski, P., den Uyl, T. M., Butler, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automated+facial+coding%3A+validation+of+basic+emotions+and+FACS+AUs+in+FaceReader%5BTitle%5D)+AND+%22J.+Neurosci.+Psychol.+Econ%22%5BJournal%5D)">Automated facial coding: validation of basic emotions and FACS AUs in FaceReader.</a> J. Neurosci. Psychol. Econ. 7 (4), 227-236 (2014).</li>
<li>Noldus Information Technology. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22FaceReader+Reference+Manual+Version+6%22">FaceReader Reference Manual Version 6</a>. , Wageningen, The Netherlands. (2014).</li>
<li>Alves, N. T., Fukusima, S. S., Aznar-Casanova, J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Models+of+brain+asymmetry+in+emotional+processing%5BTitle%5D)+AND+%22Psychol+Neurosci%22%5BJournal%5D)">Models of brain asymmetry in emotional processing.</a> Psychol Neurosci. 1 (1), 63-66 (2008).</li>
<li>Costello, M., Clark, S. Preparation of samples for instructing students and staff in dairy products evaluation (Appendix F). <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCostello%2C+M+%22The+sensory++evaluation+of+dairy+foods%22">The sensory evaluation of dairy foods</a>. Clark, S., Costello, M., Drake, M., Bodyfelt, F. , 2nd, Springer. New York. 551-560 (2009).</li>
<li>Porcherot, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((How+do+you+feel+when+you+smell+this%3F+Optimization+of+a+verbal+measurement+of+odor-elicited+emotions%5BTitle%5D)+AND+%22Food+Qual+Prefer%22%5BJournal%5D)">How do you feel when you smell this? Optimization of a verbal measurement of odor-elicited emotions.</a> Food Qual Prefer. 21, 938-947 (2010).</li>
<li>Warrenburg, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Effects+of+fragrance+on+emotions%3A+Moods+and+physiology%5BTitle%5D)+AND+%22Chem.+Senses%22%5BJournal%5D)">Effects of fragrance on emotions: Moods and physiology.</a> Chem. Senses. 30, i248-i249 (2005).</li>
<li>Bredie, W. L. P., Tan, H. S. G., Wendin, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+comparative+study+on+facially+expressed+emotions+in+response+to+basic+tastes%5BTitle%5D)+AND+%22Chem.+Percept%22%5BJournal%5D)">A comparative study on facially expressed emotions in response to basic tastes.</a> Chem. Percept. 7 (1), 1-9 (2014).</li>
<li>Wendin, K., Allesen-Holm, B. H., Bredie, L. P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Do+facial+reactions+add+new+dimensions+to+measuring+sensory+responses+to+basic+tastes%3F%5BTitle%5D)+AND+%22Food+Qual+Prefer%22%5BJournal%5D)">Do facial reactions add new dimensions to measuring sensory responses to basic tastes?</a> Food Qual Prefer. 22, 346-354 (2011).</li>
<li>Rosenstein, D., Oster, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Differential+facial+responses+to+four+basic+tastes+in+newborns%5BTitle%5D)+AND+%22Child+Dev%22%5BJournal%5D)">Differential facial responses to four basic tastes in newborns.</a> Child Dev. 59 (6), 1555-1568 (1988).</li>
<li>Rosenstein, D., Oster, H. Differential facial responses to four basic tastes in newborns. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aRosenstein%2C+D+%22What+the+face+reveals%3A+Basic+and+applied+studies+of+spontaneous+expression+using+the+facial+action+coding+system+%28FACS%29%22">What the face reveals: Basic and applied studies of spontaneous expression using the facial action coding system (FACS)</a>. P, E. kman, E, R. osenberg , Oxford University Press, Inc. New York. 302-327 (1997).</li>
<li>Rozin, P., Fallon, A. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+perspective+on+disgust%5BTitle%5D)+AND+%22Psychol.+Rev%22%5BJournal%5D)">A perspective on disgust.</a> Psychol. Rev. 94 (1), 23-41 (1987).</li>
<li>Delarue, J., Blumenthal, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Temporal+aspects+of+consumer+preferences%5BTitle%5D)+AND+%22Curr.+Opin.+Food+Sci%22%5BJournal%5D)">Temporal aspects of consumer preferences.</a> Curr. Opin. Food Sci. 3, 41-46 (2015).</li>
<li>Sudre, J., Pineau, N., Loret, C., Marin, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparison+of+methods+to+monitor+liking+of+food+during+consumption%5BTitle%5D)+AND+%22Food+Qual+Prefer%22%5BJournal%5D)">Comparison of methods to monitor liking of food during consumption.</a> Food Qual Prefer. 24 (1), 179-189 (2012).</li>
<li>Weiland, R., Ellgring, H., Macht, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gustofacial+and+olfactofacial+responses+in+human+adults%5BTitle%5D)+AND+%22Chem.+Senses%22%5BJournal%5D)">Gustofacial and olfactofacial responses in human adults.</a> Chem. Senses. 35 (9), 841-853 (2010).</li>
<li>Ekman, P. Universal and cultural differences in facial expressions of emotion. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aEkman%2C+P+%22Nebraska+symposium+on+motivation%22">Nebraska symposium on motivation</a>. Cole, J. , University of Nebraska Press. Lincoln (NE). 207-283 (1971).</li>
<li>Griemel, E., Macht, M., Krumhuber, E., Ellgring, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Facial+and+affective+reactions+to+tastes+and+their+modulation+by+sadness+and+joy%5BTitle%5D)+AND+%22Physiol+Behav%22%5BJournal%5D)">Facial and affective reactions to tastes and their modulation by sadness and joy.</a> Physiol Behav. 89 (2), 261-269 (2006).</li>
</ol>

作者无任何利益冲突需要披露。

食品与饮料相关文献中关于AFEA的应用非常有限1-11该方法在食品领域的应用是全新的，为建立相关方法学和数据解读体系提供了机会。Arnade（2013）7 使用曲线下面积分析和方差分析发现，个体对巧克力牛奶和牛奶的情绪反应存在较高的个体间差异。然而，尽管参与者间存在变异性，参与者在感到快乐时的反应持续时间较长，而在感到悲伤和厌恶时的反应持续时间较短7在另一项使用基本味觉的高浓度和低浓度的研究中，Arnade（2013）7发现基本味觉之间以及基本味觉强度两个水平（高强度与低强度）之间的情绪反应差异并不像预期那样显著，从而对当前自动面部表情分析（AFEA）方法学及数据分析的准确性提出了质疑。食品与饮料的感官评价是一个复杂且动态的响应过程30口腔加工和吞咽过程中可能随时间发生动态变化，从而可能影响刺激物在不同时段的可接受性30因此，测量评价者在整个进食过程中的反应可能是有益的。已有研究建议关注特定的口腔处理时间（与舌头初次接触、咀嚼、吞咽、 等等。)31，但目前尚无统一标准...

自动面部表情分析（AFEA）是一种用于表征对饮料和食品情绪反应的前瞻性分析工具。情绪分析可以为现有的感官科学方法、食品评估实践以及研究和工业领域常用的享乐量表评分增添额外维度。情绪分析可提供一种额外的度量指标，揭示对食品和饮料更准确的反应。享乐评分可能因未能记录受试者的反应而引入参与者偏差1。
面部表情情感分析（AFEA）研究已应用于多种科研领域，包括计算机游戏、用户行为、教育/教学法，以及关于共情与欺骗的心理学研究。大多数与食物相关的研究主要集中在表征对食物品质的情感反应及人类与食物相关的行为。随着近年来对食物行为认知的日益关注，越来越多的文献报道了利用AFEA来表征与食物、饮料及气味物质相关的人类情感反应1-12。
AFEA 源自面部动作编码系统（Facial Action Coding System, FACS）。面部动作编码系统（FACS）通过动作单元（AUs）在5点强度量表上区分面部运动13。FACS 方法需要经过培训的评审专家进行人工编码，耗时较长，且数据分析选项有限。AFEA 被开发为一种快速评估情绪的方法。AFEA 软件依赖面部肌肉运动、面部数据库和算法来表征情绪反应14-18。本研究中使用的 AFEA 软件在华沙情绪性面部表情图片集（WSEFEP）和阿姆斯特丹动态面部表情集（ADFES）上的平均“FACS 一致性指数”达到 0.67，接近人工编码 0.70 的标准一致性水平&#34;19。分析中包含的普遍情绪包括快乐（正性）、悲伤（负性）、厌恶（负性）、惊讶（正性或负性）、愤怒（负性）、恐惧（负性）和中性，每种情绪均采用独立的 0 到 1 量表进行评分（0=未表达；1=完全表达）20。此外，心理学文献将快乐、惊讶和愤怒归类为“趋近”情绪（朝向刺激），而将悲伤、恐惧和厌恶归类为“回避”情绪（远离厌恶性刺激）21&#34;&#34;&#34;&#34;&#34;。
当前用于表征与食物相关情绪的AFEA软件的一个局限性在于，咀嚼和吞咽动作以及其他大幅度的运动（如剧烈的头部移动）可能产生干扰。该软件主要针对面部较小的肌肉运动，依据面部超过500个肌肉点的位置和运动程度进行分析16,17。咀嚼动作会干扰表情的分类。这一局限性可通过使用液态食物来缓解。然而，其他方法学上的挑战也可能降低视频的敏感性及AFEA分析的准确性，包括数据采集环境、技术条件、研究人员的指导语、受试者行为以及受试者自身特征等因素。
目前尚未建立并验证一种标准方法，用于在感官评价实验室环境中利用AFEAs对食品和饮料的情感反应进行最佳视频采集与数据分析。许多因素可能影响视频采集环境，包括光照、因光照产生的阴影、受试者指导、受试者行为、受试者身高，以及相机高度、相机角度和设备设置。此外，数据分析方法不一致，缺乏评估情感反应的标准化方法。本文中，我们将展示我们用于采集情感数据并将数据处理为有意义结果的标准操作流程，所用评价样品为饮料（调味牛奶、无味牛奶和无味水）。据我们所知，仅有一篇经同行评审的出版物——来自我们实验室团队——曾利用时间序列进行情绪分析的数据解释8；然而，本研究所提出的方法已对该方法进行了更新。我们的目标是开发一种更优且一致的方法，以提高感官评价实验室环境中的可重复性。作为示例，该研究模型的目标是评估AFEAs是否能够补充对调味牛奶、无味牛奶和无味水的传统享乐型可接受性评估。本视频方案的目的是帮助建立AFEAs方法，在感官评价实验室（感官评价隔间环境）中标准化视频采集标准，并展示一种针对人群的时间维度情感数据分析方法。

<table><tbody><tr><td>2% 低脂牛奶</td><td>Kroger 品牌，俄亥俄州辛辛那提市 或 DZA Brands, LLC，北卡罗来纳州索尔兹伯里市</td><td>na</td><td>用于溶液</td></tr><tr><td>饮用水</td><td>Kroger 品牌，辛辛那提，俄亥俄州</td><td>na</td><td>用于溶液</td></tr><tr><td>仿制透明香草香精</td><td>Kroger 品牌，辛辛那提，俄亥俄州</td><td>无</td><td>用于溶液</td></tr><tr><td>碘盐</td><td>Kroger 品牌，辛辛那提，俄亥俄州</td><td>na</td><td>用于溶液</td></tr><tr><td>FaceReader 6</td><td>Noldus 信息技术公司，荷兰瓦赫宁根</td><td>无</td><td>用于面部分析</td></tr><tr><td>感觉信息管理系统（SIMS）2000</td><td>Sensory Computer Systems，新泽西州伯克利高地</td><td>版本 6</td><td>用于感官数据采集</td></tr><tr><td>Rhapsody</td><td>Acuity Brands Lighting, Inc.，康耶斯，佐治亚州</td><td></td><td>用于环境照明</td></tr><tr><td>R 版本&amp;nbsp;</td><td>R Core Team 2015</td><td>3.1.1</td><td>用于统计分析</td></tr><tr><td>Microsoft Office</td><td>微软</td><td>无</td><td>用于统计分析</td></tr><tr><td>JMP</td><td>统计分析系统（SAS）版本 9.2，SAS Institute，Cary，NC</td><td>na</td><td>用于统计分析</td></tr><tr><td>Media Recorder 2.5</td><td>Noldus 信息技术公司，荷兰瓦赫宁根</td><td>na</td><td>用于采集参与者的感官评价</td></tr><tr><td>Axis M1054 相机</td><td>Axis Communications，瑞典隆德</td><td>na</td><td></td></tr><tr><td>饮料</td><td></td><td>na</td><td>用于评估的饮料或软质食物</td></tr></tbody></table>

应用于自动面部表情分析技术与感官评价时间分析的数据采集与分析方案

Protocol for Data Collection and Analysis Applied to Automated Facial Expression Analysis Technology and Temporal Analysis for Sensory Evaluation

我们展示了一种在感官评价实验室中利用自动面部表情分析（AFEA）软件捕捉受试者对饮料及液态食品情绪反应的方法。此外，我们还展示了一种提取相关情绪数据输出结果，并绘制特定时间段内人群情绪反应曲线的方法。通过将每位受试者在处理刺激下的反应与其对照刺激（基线）进行时间配对，可对多个受试者在时间序列上的整体情绪反应进行量化。AFEA 是一种用于评估对食品和饮料无偏倚反应的前瞻性分析工具。目前，大多数研究主要集中在饮料上。针对 AFEA 在食品和饮料应用中的方法学与分析尚未实现标准化，但建立统一的标准方法十分必要。优化视频采集流程并提升所获视频质量，有助于成功收集对食品的情绪反应数据。此外，数据处理分析方法在提取与情绪反应相关的关键数据方面具有新颖性。视频采集优化与数据分析方法的结合，将有助于建立自动面部表情分析及情绪反应数据解读的标准化操作流程。

该方法提出了一套用于AFEAS数据采集的标准方案。若遵循建议的方案步骤，则可减少因数据采集不佳而导致无法使用的表情情感数据输出（图1）（图2：A；左图）。如果日志文件（.txt）中主要包含“FIT_FAILED”和“FIND_FAILED”，则无法进行时间序列分析，因为此类数据属于无效数据（图1）。此外，该方法还包括一种对两个处理组在特定时间段内的情感数据输出进行直接统计比较的方案，以建立情感特征谱。时间序列分析能够揭示情感随时间变化的趋势，为享乐性可接受度结果提供附加维度信息。同时，时间序列分析还可展示情感水平随时间的变化情况，这在进食体验过程中具有重要价值。
无味牛奶、无味水以及牛奶中的香草提取物风味在平均可接受性评分上无显著差异（p&gt;0.05），均被评为“轻微喜欢”（图9）。喜好性结果表明，无味牛奶、无味水...

本文描述了一种在感官评价实验室中利用自动面部表情分析软件捕捉并统计分析人群对饮料和液态食品情绪反应的实验方案。

我们展示了一种在感官评价实验室中利用自动化面部分析技术捕捉受试者对饮料及液态食品情绪反应的方法。

本方法学的总体目标是在感官评价实验室中，利用自动面部分析软件捕捉并分析受试者对饮料及液态食品的情绪反应。该方法有助于回答感官科学领域的一些关键问题，例如如何测量参与者对饮料和软质食品的情绪反应。本方案的主要优势在于，它展示了使用自动面部表情分析软件进行标准化数据采集的方法学。本文还描述了分析自动面部表情输出的方法。该技术的意义在于推动自动面部表情分析方法的标准化，因为目前不同实验室之间的方法常存在差异。尽管该方法可用于探究个体的内隐情绪反应，也可应用于其他系统，如包装、市场营销和标签设计。Lester 将作为代表性参与者。实验准备阶段，将每种原始溶液取半盎司等分试样倒入两盎司透明塑料样品杯中，制成样品溶液，然后盖上颜色编码的盖子。接下来，引导参与者进入感官检测间，使其背部紧贴椅背，保持直立坐姿。向参与者说明实验流程和标准操作程序。调整座椅位置和摄像机角度，确保参与者的面部位于视频录制画面的中央，且下巴和眼部周围无阴影。指导参与者注视显示器，遵循屏幕上的指示，并在每次摄入样品后保持静止，避免任何突然动作，持续30秒。首先指导参与者举起相应的身份识别卡，以此示范一次即兴练习环节。然后指导其打开样品容器，喝下全部饮料样品并吞咽。饮用后，指导参与者迅速将样品杯移离下巴，并将其放在桌面上，以避免遮挡面部。提醒他们始终注视显示器。提醒受试者，当显示器提示时，托盘上的水可用于在样品之间清洁口腔。最后，指导受试者按照触摸屏显示器上出现的指示进行操作。通过查看显示视频采集画面的计算机显示器，确认摄像机对准参与者的面部。然后点击计算机显示器上的录制按钮开始录制。通过触摸屏显示器提示参与者啜饮清水以清洁味觉。在每个样品上方放置一张颜色独特的索引卡，以便识别各个处理样品。接下来，触摸屏显示器会提示参与者在摄入前举起相应的索引卡，以便在视频中进行样品识别，然后让其将卡片放回托盘上。每次仅在上菜托盘中提供一个样品，首先提供未加味的水作为基线样品。让受试者面对摄像头食用样品，随后等待约30秒，此时间由触摸屏显示器自动控制。30秒后，通过触摸屏显示器提示受试者输入其喜好可接受性评分。最后，让受试者用饮用水漱口，再进入下一个样品的测试。使用面部分析软件分析实验视频。通过点击添加参与者图标将参与者加入项目。按下批处理分析图标（即红黑色类似靶标的符号）以分析项目中的视频。将AFEA数据输出导出为日志文件以进行进一步分析。使用AFEA软件，手动查看每个视频，并为每个样本确定摄入后的时间零点，该时间点定义为样本杯位于受试者下巴下方且不再遮挡面部的时刻。最后，在数据电子表格中记录该时间戳，并将此电子表格保存为从视频中提取相关数据的参考依据。原味牛奶、原味水以及牛奶中的香草精风味在平均可接受性评分上无显著差异。而牛奶中的咸味则具有较低的平均享乐可接受性评分。然而，AFEAS时间序列分析表明，与原味水相比

protocol-for-data-collection-analysis-applied-to-automated-facial

Research

科研

JoVE Journal

Behavior

行为

协议进行数据采集和分析应用到自动人脸表情分析技术和时序分析感官评价

来源：Hila Man1, Paul F. Funk2, Ieva Vebraite-Adereth3, Christoph Anders4, Orlando Guntinas-Lichius2, Yael...

无线表面肌电图记录面部表情期间的面部肌肉活动

本文旨在描述在任务过程中收集和同步学习者参与度多个维度（行为、情感和认知）的技术。...

从神经生理学视角评估参与度的多重维度以表征学习过程

一项脑电图（EEG）实验方案旨在阐明阿斯伯格综合征患者对情绪面孔的意识与无意识表征之间的相互作用。该技术表明，阿斯伯格综合征患者在情绪面孔的无意识表征方面存在缺陷，但在意识表征方面的表现与健康对照组相当。...

阿斯伯格综合征中情绪面孔的意识与无意识表征

我们描述了一种利用面部肌电图评估在经历和观察触觉刺激时面部肌肉活动的实验方案。...

利用面部肌电图评估人类在经历和观察情感性触觉时的面部肌肉反应

本方案对常用于评估帕金森病认知功能和运动控制的传统临床任务的部分内容进行了数字化。在将临床任务数字化的同时，还同步记录了来自神经系统不同功能层面的生物物理节律，涵盖自主、自发、自动乃至自主神经层面。...

帕金森病运动与认知功能的动态数字生物标志物

本实验方案结合功能性近红外光谱成像（fNIRS）与基于视频的观察，用于测量四人小组在协作绘图任务中的人际同步性。...

使用功能性近红外光谱技术研究协作绘画过程中的群体同步性

本文介绍了一种利用视频分析系统评估小鼠恐惧学习与记忆的场景性和提示性恐惧条件反射实验方案。...

使用视频分析系统对小鼠进行情境与线索性恐惧条件反射测试

本文介绍了如何使用情绪性偏差任务和功能性磁共振成像（fMRI）来测量精神分裂症家族性高风险（FHR）儿童和青少年的大脑激活情况。 采用fMRI测量在执行情绪性偏差任务过程中前额-纹状体-边缘区域的功能差异。具有FHR的儿童在青春期表现出异常的功能性激活。...

使用情绪性oddball任务测量具有精神分裂症家族高风险儿童的前额-边缘系统活动

小鼠的超声波发声被用作研究神经精神疾病小鼠模型中发声交流障碍遗传基础的替代指标。本实验方案描述了三种能够可靠诱发幼鼠（贯穿发育过程）和成年小鼠（同性别互动、雄性与发情雌性互动）产生超声波发声的实验情境。...

记录小鼠超声波发声以评估社交交流

时间顺序判断可用于估算加工速度参数和注意权重，从而推断注意加工的机制。该方法可应用于多种视觉刺激，并适用于多种注意操控范式。...

通过基于模型的时序判断分析测量注意力和视觉处理速度

了解使用自动面部表情分析软件捕获和分析饮料及液化食品情绪反应的标准化方法。该技术为感官科学实验室提供标准化数据采集流程，可测量参与者对饮品的隐性情绪反应，提高数据可靠性并支持跨研究比较。

应用于自动面部表情分析技术与感官评价时间分析的数据采集与分析方案

探索更多视频