需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

利用脑电图测量与高质量视频记录分析媒体内容的视觉感知

6.6K 次观看

⸱

DOI：

10.3791/57321

⸱

2018年5月26日

 ,  ,  , 
1Neuro-Com Research Group, Universitat Autónoma de Barcelona, 2Instituto RTVE, Corporación Radio Televisión Española, 3Division of Neuroscience, Pablo de Olavide University

本文内容

摘要

我们展示了在观看媒体内容时对眨眼频率的检测、采集与分析。

摘要

本文探讨了一种检测人类视觉感知差异的方法。该方法基于眨眼的心理学（或“认知”）功能。在观看专为此项研究制作的视频时，记录并采集参与者的眨眼信号。眨眼信号的检测与采集借助一个20通道的无线脑电图（EEG）设备完成，并遵循国际10-20电极放置系统。同时使用一台高清（HD）摄像机记录参与者的面部表情，以供对照分析。与使用现成媒体内容不同，本研究根据特定研究需求设计并制作了专用视频内容，其中包含可让研究人员精确控制关键参数的刺激材料，以避免结果受到不可控变量的干扰。视频刺激的呈现与脑电图记录之间的同步需精确至毫秒级。采集的数据通过强大的大型矩阵处理软件进行分析。采用所述实验流程，发现了与媒体专业化程度和剪辑风格相关的眨眼频率的统计学显著差异。

引言

本方法的目的

本方法提出了一种用于检测眨眼的双重方案。其目的是通过脑电图记录和高清视频记录系统，分析受试者对专为此项研究制作的媒体内容的视觉感知。

本方法开发与/或使用背后的原理

每次眨眼会使视觉流中断 150–400 毫秒1,2。眨眼具有生理学3,4,5和心理学功能6,7。注意力与眨眼频率之间的关联已在多项研究中得到探讨和证实8。注意力水平越高，眨眼频率越低；根据以往研究，人类具有一种控制眨眼时机的机制，该机制会主动寻找最佳时机以避免丢失重要的视觉信息9。因此，分析观众在观看屏幕时的眨眼行为，可能提供有关其对媒体内容注意力水平的信息。

检测自发眨眼率的一种方法是使用脑电图（EEG）电极记录电活动。通过连接到脑电图记录系统的前额电极和眼电图电极，可以轻松检测到眨眼。在大多数脑电图分析中，眨眼被视为伪迹。因此，许多用于分析脑电图数据的软件包都配备了眨眼检测功能10。使用脑电图检测眨眼的优点在于其高时间分辨率（毫秒级），并且有可能同步记录不同叙事内容和电影剪辑引起的大脑反应与眨眼之间的关系——这有待进一步研究。使用高清摄像机记录受试者的面部也有助于进行匹配或对比分析9。

相较于其他方法的优势及相关研究引用

有多种方法可用于计数眨眼次数。一些专门用于检测眨眼的仪器包括磁线圈、红外（IR）光束、带有眼动分析功能的光电运动探测器（如眼动追踪技术），以及基于生物电信号的多种技术，例如，眼电图（EOG）、肌电图（EMG）和脑电图（EEG）。另一种更为准确但耗时的方法是通过逐帧回放视频记录手动计数眨眼次数11。当前的技术大致可分为两类：a）非接触式记录，包括两种方式，即基于计算机视觉的直接眨眼检测和利用眼动追踪进行的离线眨眼检测；b）基于生物电信号的接触式记录，使用EOG和EEG设备进行12,13。

眼动追踪系统是一种广泛应用的技术，其设计形式从传统的基于图像的被动式设计，发展到如今主要采用高分辨率相机的主动式近红外技术。后者利用瞳孔在红外照明下的反射特性14。现代眼动追踪方法的核心原理是瞳孔中心-角膜反射法（Pupil Center Corneal Reflection, PCCR），即通过相机追踪瞳孔中心以及光线在角膜上的反射点。然而，目前公开发表的用于眼动追踪协议的眨眼检测算法仍十分缺乏。此外，尽管市场上不同型号的眼动仪提供了集成的眨眼检测软件，但制造商并不总是公开源代码，导致难以对其进行修改或了解算法的具体工作原理12。同时，在眼动追踪实验过程中，常会出现导致数据丢失的事件，例如追踪延迟以及明显的头部或视线移动。视频采集中的眼部区域非常小，这给计算眨眼持续时间带来困难，并且有时会引入多种类型的伪迹15。

本实验采用脑电图（EEG）和眼电图（EOG）方法。通常，脑电图不单独用于检测眨眼。然而，利用脑电图电极记录的眨眼信号分析是研究眼睑位移的标准程序。该方法使研究人员能够精确获知眨眼发生的时间。检测眨眼最常见的信号模式为表征垂直方向运动反应的峰值点。目前有多种峰值检测算法可用于原始脑电图信号、时域或频域信号。峰值识别过程包括峰值检测、特征提取和分类。眨眼对脑电信号的额区通道具有显著影响。通常，通过设定预定义的幅值阈值来检测脑电图中的眨眼16。本实验所用分析软件中的算法基于预滤波脑电信号的标准差和均方根（RMS），这些算法为开源程序，可供科学界使用17。然而，某些不涉及眨眼的眼球运动也可能引发类似的电活动，造成干扰。因此，第二种方法——使用高清视频摄像机记录受试者的面部——可使研究人员通过人工计数方式核对眨眼次数。通过这种双重方法，研究者可获得一个易于使用统计工具进行分析的眨眼矩阵。

因此，该方法通过两种不同来源的数据进行三角验证，以确认检测到的眼睑闪烁。该方法基于Nakano 等 适应症9 以供确认。同时，该方法还使研究人员能够采集脑活动及频带信息，用于进一步分析。本文所述实验是未来一项更广泛研究的一部分，旨在探究剪辑式镜头切换对枕叶和前额叶脑区的影响。

确定该方法是否适用于某项研究

本实验方案可在三种实验条件下研究受试者观看视频内容时的眼睑眨动情况。首先，采用两种互补的技术检测眼睑眨动频率：脑电图（EEG）和高清视频记录。本研究使用20通道无线EEG设备。其次，创建针对实验特制的刺激材料，以便研究人员能够控制视觉内容的所有变量。本研究中制作了三段具有相同叙事内容但视频剪辑风格不同的视频。叙事内容为：一名男子进入房间，坐在桌前，用三个球玩杂耍，打开笔记本电脑，翻阅几本书查找信息，在电脑上输入内容，合上电脑，吃了一个苹果，直视摄像机，然后离开房间。三个视频刺激材料的时长均为198秒。第一个视频为单镜头一镜到底影片；第二个视频按照经典好莱坞剪辑规则剪辑，包含33个不同镜头；第三个视频按照MTV风格剪辑规则剪辑，包含79个镜头。此外还呈现了第四个刺激材料，其叙事内容相同，但形式为演员现场真实表演而非视频。第四个非视频刺激材料未用于最初的剪辑风格差异研究，但在另一项研究中用于比较真实表演与屏幕媒介之间的眼睑眨动频率差异8。第三，根据参与者在视频视觉分析方面的先前经验选择不同的受试者组别，目的是确定不同受试者群体在观看相同视觉刺激时眼睑眨动频率的差异。本研究共有40名受试者参与，其中一半为媒体专业人士（16名男性和4名女性；年龄30-56岁，平均年龄44.15 ± 7.15岁），另一半为非媒体专业人士（15名男性和5名女性；年龄28-56岁，平均年龄43.25 ± 8.59岁）。媒体专业人士的入选标准为其在日常工作中具有超过6年与媒体剪辑决策相关的经验。

访问受限。请登录或开始试用以查看此内容。

方案

本文所述所有方法均已获得巴塞罗那自治大学动物与人类研究伦理委员会（CEEAH）的批准。

1. 视觉刺激的创建与呈现

  1. 根据预期目标创建视频刺激材料。
    1. 确定视频刺激材料中感兴趣的研究变量。
      注意：例如，在本研究中，主要感兴趣的变量是剪辑风格。
      1. 根据实验的研究目的，确定视频的时长、内容和风格。在确定这些变量时，需考虑参与者将观看多少个视频、观看屏幕的总时长，评估视频的叙事内容是否符合研究兴趣，并确定视频的视觉风格。
    2. 撰写脚本，重点关注所选定的变量。
    3. 使用高质量摄像机录制视频，并根据需要进行剪辑。必要时可寻求专业帮助。
  2. 设计适合呈现刺激材料的实验环境。
    1. 确定数据采集的地点，并布置一个舒适的刺激呈现空间，确保参与者感到放松自在。
    2. 选择高质量的显示屏用于视频播放。屏幕质量越高越好。
    3. 如果需要呈现多个视频，应选择一种方法对呈现顺序进行随机化。
      注意：在不同被试间随机化刺激呈现顺序，有助于避免因刺激呈现次序导致的结论不明确问题。
    4. 选择合适的软件用于视频呈现。
      注意：目前有多种软件可供选择，支持研究者使用试次间计时器、呈现指导语，甚至实现随机化呈现。在选择软件时，必须重点考虑其与数据采集设备的同步能力。由于本实验方案分析的是参与者的眨眼频率，因此视觉刺激的呈现系统与脑电（EEG）设备之间的精确同步至关重要。

2. 受试者的选择

  1. 建立选择参与者的标准。当需要分析特定变量时，必须设置对照组。记录下该标准，并与同事商讨以优化研究设计。
  2. 选择受试者，并向遵循相关指南和法规的伦理委员会申请批准。
    注意：大多数大学和研究机构均设有伦理委员会。申请审批时，需向委员会说明研究目的。通常需要阐述研究方法、研究对社会的益处、如何获取参与者的知情同意、参与者是否将获得经济补偿，以及如何管理从参与者处收集的数据。应认真设计申请材料。获得伦理委员会的批准对于向科学界分享研究成果至关重要。在此过程中，以下文件可提供参考：《赫尔辛基宣言》、《纽伦堡法典》和《贝尔蒙报告》。
  3. 设计一份参与者的知情同意书，并遵守伦理委员会的标准。
  4. 向每位潜在参与者解释实验内容。告知参与者所有重要信息，但避免提供不重要或可能影响实验结果的信息。
    注意：例如，在眨眼检测实验中，不能告知参与者将要检测其眨眼行为，因为这可能改变其自然眨眼频率。需征得参与者同意后方可进行实验。向每位参与者提供知情同意书，并给予充足时间阅读、理解内容，最后签署文件。
  5. 与每位参与者预约进行实验的时间。向参与者说明以下要求：需在休息充分的状态下前来，且头发应为近期清洗过；不得使用发胶、摩丝等化学护发产品； 等等。应避免使用可能影响脑电图记录的物品。向受试者提供所有必要的联系方式。

3. 实验准备

  1. 在受试者到达之前，应提前充分准备实验环节。与同事一起预演整个实验流程。如发现任何问题，应及时对实验环节进行相应调整。
    1. 准备好所有将要使用设备之间的连接，并检查其同步性（视觉刺激呈现与数据采集）。
      注意：硬件与软件之间的连接至关重要，建议进行测试以确认同步效果。如有需要，可与设备制造商或软件开发者进行沟通。
  2. 让受试者在实验室内感到舒适：热情接待受试者，并为其随身物品（如包袋等）准备存放空间。
  3. 向受试者详细说明整个实验流程：包括其就座位置、将呈现的视觉刺激数量以及实验持续时间。同时强调受试者的配合极为重要。
  4. 由于将使用无线脑电图（EEG）记录系统，需向受试者说明此类记录的难度，并告知为获得低伪迹的高质量电生理信号，受试者应尽量避免不必要的身体活动。

4. 数据采集

  1. 清洁受试者皮肤表面，以去除任何污垢或残留的护发产品。
  2. 测量受试者的头部尺寸，测量鼻根点（nasion）与枕外隆凸点（inion）之间的距离，并将中点标记为头顶点（vertex）。
  3. 根据10-20系统准备脑电帽中的电极。
  4. 将脑电帽戴在受试者头上，调整位置使头顶点与脑电帽的中央零点（Cz）对齐。
  5. 使用注射器向电极注入导电凝胶，并确保脑电帽紧密贴合受试者头部。
  6. 将参考电极和眼电图（EOG）电极放置在受试者头部相应位置。
  7. 确保受试者坐姿舒适，并已做好实验准备。
  8. 将一台高清视频摄像机对准受试者面部特写，用于手动识别受试者的眼睑眨动。
  9. 检查所有设备是否已同步。
  10. 检查脑电控制盒是否已正确连接至记录数据的计算机。
  11. 检查每个电极的信号是否正常；若异常，请排查问题电极。
    注意：电极信号不良的常见原因包括电极上导电凝胶不足、电极在头部位置不当，或电极线与控制盒连接不良。
  12. 一切准备就绪后，开始记录实验数据（同时播放视频）。

5. 实验后阶段

  1. 取下受试者头部的帽具，若条件允许，向受试者发放与研究主题相关的问卷。
  2. 将所有数据保存到外部硬盘驱动器中。
    注意：建议对数据进行备份。一种较好的做法是将数据保存到两个外部硬盘中，并存放在不同的地点。在设计最佳操作流程时，需考虑伦理委员会批准的数据存储方案。
  3. 清洁电极和电极帽；大多数电极在使用后需立即清洁。
    1. 用大量清水在水龙头下清洗电极和电帽，不得使用化学试剂（除非另有说明） 否则请遵循设备制造商的说明）。仔细擦干电极以防止腐蚀。如果该清洗方案不足以清洁帽具，通常可用洗衣机清洗（参见制造商的使用说明）。

6. 数据分析

  1. 整理眨眼检测数据。
    1. 将脑电图（EEG）文件导入合适的数据分析软件包中。
    2. 根据视觉刺激呈现软件中使用的同步触发信号，选择感兴趣的EEG区域。对数据进行滤波，并应用眨眼滤波器，以观察眨眼发生的次数及时间。
      注意：大多数商业和免费软件包均具备检测EEG中眨眼的滤波功能。
    3. 选取参与者面部的高清视频，并手动将视频中的眨眼与EEG数据中检测到的眨眼进行匹配。
    4. 创建一个电子表格矩阵，列出每位参与者最终的眨眼事件，并计算受试者观看刺激材料期间每分钟的眨眼频率。
  2. 进行统计分析。
    1. 将上述矩阵导入相应的统计分析软件。
    2. 在统计软件中设计所需的分析方案，以检验初始假设并完成分析。

访问受限。请登录或开始试用以查看此内容。

结果

本研究采用此处所述方法，分析了40名参与者在观看三部不同视频电影时的眼动频率。为进行媒体专业化程度的比较分析，其中一半参与者为媒体从业人员，其筛选标准为至少拥有6年与媒体剪辑及音视频剪辑决策相关的从业经验。为比较不同剪辑风格的影响，三个视频刺激材料采用完全相同的叙事内容，但剪辑风格不同。其中一部为单镜头影片，采用一个开放式镜头，无任何摄像机运动；另一部为好莱坞风格影片，包含33个镜头，平均镜头时长为5.9 s，镜头之间在内容、节奏、空间和时间关系上保持连贯，符合经典好莱坞剪辑风格规则；第三部为MTV风格影片，包含79个镜头，平均镜头时长为2.4 s，镜头之间在内容、节奏、空间和时间上均呈现不连续性。

根据收集到的结果（图1），剪辑风格影响了观众的眼睑眨动率（X2(2) = 7.2, p = 0.027，Friedman ...

访问受限。请登录或开始试用以查看此内容。

讨论

本文介绍了一种通过专门制作视频来分析媒体内容视觉感知的方法。许多其他研究尝试利用现成的电影，在叙事背景下分析媒体内容的感知。本方法则提出，根据所关注的标准构建具有叙事结构的视觉内容，并基于眼睑眨动频率与观众注意力相关这一假设9。因此，该研究在参与者观看媒体内容时检测其眨眼行为，并比较不同条件下眨眼频率的变化（即剪辑风格和媒体专业化程度）。

近几十年来，多项研究逐步揭示了眨眼频率与认知任务之间的关联18,19,20。眨眼也被用作注意力的指标21。眨眼频率的降低与注意力的增强相关9,22,23。在本项研究中，通过使用脑电图...

访问受限。请登录或开始试用以查看此内容。

披露

作者无任何利益冲突需要披露。

致谢

本研究得到了西班牙经济与竞争力部（BFU2014-56692-R 和 BFU2017-82375-R）基金的资助。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
脑电图设备NeurolectricsEnobio 20 EEG/EMG 系统 
Ag/AgCl 电极Neuroelectrics[NE022b] GelTrode
脑电图记录软件NeuroelectricsNicOffline 软件
高清视频摄像机Sony Corporation Sony HDR-GW55VE
注射器MonojectMonoject 412，弯头注射器，50/盒
盐水电极 EMG 凝胶Signa-GelX32-204：Signa Gel
视觉刺激呈现软件Paradigm Stimulus PresentationPerception Research System Incorporated
脑电图软件分析法国国家科学研究中心与中国台湾蒙特利尔神经学研究所Brainstorm3
脑电图软件分析The MathWorks Inc.MATLAB 2013b
用于视频呈现的电视松下公司PanasonicTH- 42PZ70EA  - 50"
用于呈现刺激的电脑MacBook Air2013 年款，运行 Mac OSX Mountain Lion 操作系统
用于记录刺激的电脑MacBook 2009 年款，运行 Windows 7 操作系统磁盘上设有 BootCamp 分区以提供 Windows 操作系统支持
统计分析Systat Software Inc.Sigmaplot 11.0 

参考文献

  1. Shapiro, K. L., Raymond, J. E. The attentional blink: temporal constraints on consciousness. Attention and Time. , 35-48 (2008).
  2. VanderWerf, F., Brassinga, P., Reits, D., Aramideh, M., Ongerboer de Visser, B. Eyelid movements: behavioral studies of blinking in humans under different stimulus conditions. Journal of Neurophysiology. 89 (5), 2784-2796 (2003).
  3. Andreu-Sánchez, C., Martín-Pascual, M. Á, Gruart, A., Delgado-García, J. M. Eyeblink rate watching classical Hollywood and post-classical MTV editing styles, in media and non-media professionals. Scientific Reports. 7, 43267(2017).
  4. Bour, L. J., Aramideh, M., de Visser, B. W. Neurophysiological aspects of eye and eyelid movements during blinking in humans. Journal of Neurophysiology. 83 (1), 166-176 (2000).
  5. Delgado-García, J. M., Gruart, A., Múnera, A. Neural organization of eyelid responses. Movement disorders: official journal of the Movement Disorder Society. 17 Suppl 2, S33-S36 (2002).
  6. Wiseman, R., Nakano, T. Blink and you'll miss it: the role of blinking in the perception of magic tricks. PeerJ. (4), e1873(2016).
  7. Fogarty, C., Stern, J. A. Eye movements and blinks: their relationship to higher cognitive processes. International Journal of Psychophysiology official journal of the International Organization of Psychophysiology. 8, 35-42 (1989).
  8. Andreu-Sánchez, C., Martín-Pascual, M. Á, Gruart, A., Delgado-García, J. M. Looking at reality versus watching screens: Media professionalization effects on the spontaneous eyeblink rate. PLoS ONE. 12 (5), (2017).
  9. Nakano, T., Yamamoto, Y., Kitajo, K., Takahashi, T., Kitazawa, S. Synchronization of spontaneous eyeblinks while viewing video stories. Proceedings. Biological sciences / The Royal Society. 276, 3635-3644 (2009).
  10. Tadel, F., Bock, E., Mosher, J. C., Baillet, S. Detect and remove artifacts. , http://neuroimage.usc.edu/brainstorm/Tutorials/TutRawSsp (2015).
  11. Jiang, X., Tien, G., Huang, D., Zheng, B., Atkins, M. S. Capturing and evaluating blinks from video-based eyetrackers. Behavior Research Methods. 45 (3), 656-663 (2013).
  12. Pedrotti, M., Lei, S., Dzaack, J., Rotting, M. A data-driven algorithm for offline pupil signal preprocessing and eyeblink detection in low-speed eye-tracking protocols. Behavior Research Methods. 43 (2), 372-383 (2011).
  13. Adam, A., Ibrahim, Z., Mokhtar, N., Shapiai, M. I., Mubin, M. Evaluation of different peak models of eye blink EEG for signal peak detection using artificial neural network. Neural Network World. 26 (1), 67-89 (2016).
  14. Zhu, Z., Ji, Q. Robust real-time eye detection and tracking under variable lighting conditions and various face orientations. Computer Vision and Image Understanding. 98, 124-154 (2005).
  15. Lalonde, M., Byrns, D., Gagnon, L., Teasdale, N., Laurendeau, D. Real-time eye blink detection with GPU-based SIFT tracking. Proceedings - Fourth Canadian Conference on Computer and Robot Vision, CRV 2007. , 481-487 (2007).
  16. Chang, W., Cha, H., Kim, K., Im, C. Detection of eye blink artifacts from single prefrontal channel electroencephalogram. Computer Methods and Programs in Biomedicine. 124, 19-30 (2016).
  17. Tadel, F., Bock, E., Mosher, J. C., Baillet, S. Brainstorm3: Function process_evt_detect.m. , https://github.com/brainstorm-tools/brainstorm3/blob/master/toolbox/process/functions/process_evt_detect.m#L297 (2018).
  18. Hall, A. The origin and purposes of blinking. The British Journal of Ophthalmology. 29 (9), 445-467 (1945).
  19. Nakano, T., Kitazawa, S. Eyeblink entrainment at breakpoints of speech. Experimental Brain Research. 250, 577-581 (2010).
  20. Siegle, G. J., Ichikawa, N., Steinhauer, S. Blink before and after you think: Blinks occur prior to and following cognitive load indexed by pupillary responses. Psychophysiology. 45, 679-687 (2008).
  21. Shultz, S., Klin, A., Jones, W. Inhibition of eye blinking reveals subjective perceptions of stimulus salience. Proceedings of the National Academy of Sciences of the United States of America. 108 (52), 21270-21275 (2011).
  22. Wong, K. K. W., Wan, W. Y., Kaye, S. B. Blinking and operating cognition versus vision. BritishJournal of Ophthalmology. 86, 479(2002).
  23. Leal, S., Vrij, A. Blinking during and after lying. Journal of Nonverbal Behavior. 32 (2008), 187-194 (2008).
  24. Murch, W. In the blink of an eye: A perspective on film editing. , Silman-James Press. (1995).
  25. Holland, M. K., Tarlow, G. Blinking and thinking. Perceptual and Motor Skills. 41 (2), 503-506 (1975).
  26. Orchard, L. N., Stern, J. A. Blinks as an index of cognitive activity during reading. Integrative Physiological and Behavioral Science. 2, 108-116 (1991).
  27. Faubert, J. Professional athletes have extraordinary skills for rapidly learning complex and neutral dynamic visual scenes. Scientific Reports. 3 (1154), 1-3 (2013).
  28. Kirk, U., Skov, M., Schram Christensen, M., Nygaard, N. Brain correlates of aesthetic expertise: A parametric fMRI study. Brain and Cognition. 69, 306-315 (2008).
  29. Lotze, M., Scheler, G., Tan, H. R., Braun, C., Birbaumer, N. The musician's brain: functional imaging of amateurs and professionals during performance and imagery. Neuroimage. 20 (3), 1817-1829 (2003).
  30. Calvo-Merino, B., Glaser, D. E., Grèzes, J., Passingham, R. E., Haggard, P. Action observation and acquired motor skills: an FMRI study with expert dancers. Cerebral cortex. 15 (8), 1243-1249 (2005).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

眨眼频率视觉感知分析媒体内容刺激脑电图与肌电图记录10-20电极系统自发性眨眼受试者筛选标准数据分析软件
利用脑电图测量与高质量视频记录分析媒体内容的视觉感知
联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。