结合电玩与高密度的脑电图和红外视线跟踪基于行为的实验
2010年12月16日
为高密度的脑电图和凝视数据记录在电脑游戏的认知任务的过程进行了描述。使用一个视频游戏，目前的认知任务，增强了在不牺牲实验控制的生态有效性。
该视频演示了在执行嵌入在计算机游戏中的引人入胜且生态有效的认知任务期间从受试者同时获得凝视跟踪和高密度脑电图记录的程序。首先，将电极贴在受试者身上。然后校准视线跟踪摄像头。
被试玩游戏，同时记录 EEG 和 Gaze 数据。获得与事件相关的电位和与事件相关的频谱扰动，这些扰动被游戏事件撤销。与现有方法（例如 ePrime 或演示等刺激演示包）相比，该技术的主要优势在于，将实验嵌入计算机游戏可以通过摆脱明确的测试上下文来缓解表现焦虑，并帮助受试者在整个漫长的实验过程中保持积极性和参与任务。
包含广泛的认知任务。这些品质对于儿科和临床人群尤为重要，因为他们的注意力和动力可能会成为复杂或漫长实验过程的障碍。我叫 Keith Yoder，是 Beaumont 实验室的一名研究助理。
今天协助我的是 David Post，他是一名实验室技术员，也是人类发展系的 UAUA 研究生。我们将使用来自 SR Research 的 128 通道 bios、半主动双测量系统和 iLink 1000 红外凝视跟踪器在计算机游戏和脑电图联合实验开始之前，电极应保持平衡，以确保它们在对象到达前一小时在正负 20 微伏范围内具有小偏移。对于脑电图实验，通过将电极浸泡在盐浴中 5 到 10 分钟来平衡电极，盐浴每升蒸馏水加入一茶匙盐。
一次不要将电极放在任何液体中超过 10 分钟。从盐浴中取出电极后，在受试者到达之前使用装满蒸馏水的喷雾瓶冲洗它们。打开眼动追踪相机转换器盒和电脑，同时进行眼动追踪和脑电图，请务必使用眼动追踪相机中的 16 毫米长镜头。
该设置使用四台计算机、一台专用的凝视跟踪计算机、一台专用的脑电图采集计算机、一台专用的刺激演示计算机和一台用于视频采集和数据分析的计算机。两个转换器盒。作来自凝视跟踪计算机和刺激呈现计算机的 VGA 输出，并将拼接的视频信号发送到视频采集计算机。
通过这种方式，视频采集计算机可以记录被摄体看到的游戏画面，上面覆盖着代表当前注视注视的光标和时间戳。此叠加视频将保存到视频采集计算机上的光盘文件中。现在让我们看看 EEG 设置。
通过测量受试者的周长开始设置 EEG 实验。头部环绕眉毛和眉毛，选择合适大小的电极帽。将盖子戴在拍摄对象的头上，确保标签位于拍摄对象脖子上的帽子外侧。
重新定位盖子，直到 A one 电极相对于鼻孔和左耳廓居中，右针 es 和帽中线位于受试者头部的中线。鼻孔是鼻子和眉毛之间的凹陷。inion 是后脑勺中线上的骨性凸起，耳廓是在耳道开口前侧延伸的软骨瓣。
当盖子就位时，在电极的塑料外壳上贴上粘合环。前五和前六。将环的开口与电极颗粒对齐。
从胶环上取下纸基，并用导电凝胶覆盖电极触点。将 EX 6 放在受试者的右乳突上，将 EX 5 放在受试者的左乳突上。使用钝器注射器将导电凝胶放入盖子的每个电极支架中。
摆动注射器尖端以分开受试者的头发。然后同时按下柱塞并将注射器从头部拉开，就像在装饰蛋糕一样。填充直到凝胶与塑料外壳的顶部齐平。
确保不要装得太满。凝胶太少总比电极部位之间过多的凝胶渗出导致电极桥接要好。如果电极成为桥接，那就什么都没有了。
但是要取下盖子，让受试者清洗并擦干头发，然后再次开始将电极引线的插件挂在肩上，传感器末端用一只手轻轻地将每个电极放在电极帽内的相应支架中。仅抓住电极的塑料外壳，并非常小心，不要压接电线。不要触摸电极尖端至关重要。
接触皮肤、衣服或导电凝胶以外的任何材料都会降低电极的质量。将导电凝胶放在 X 1 到 X 4 上，并使用胶环将它们连接到受试者的脸上。将 X 一和 X 二分别放置在距离拍摄对象的左右外眦水平约 1 厘米的位置。
将 X 3 和 DX 4 放置在受试者左右眼中间下方约 1 厘米处，位于颧骨上。轻轻地将电极引线收集在受试者后面，并将 C-M-S-D-R-L 引线松散地缠绕在其他导线上。要制作马尾辫，请在马尾辫的顶部和底部放置魔术贴扎带以将导线固定到位，然后使用医用胶带将马尾辫固定在主题衬衫的背面。
确保在这些引线上留出足够的松弛度，以便拍摄对象的颈部舒适地向前弯曲。现在，通过向每个电极上涂抹氯化钾溶液来制备 GSR 电极。使用医用胶带将 GSR 电极贴在受试者非惯用手的第二根和第三根手指上，或者实验期间不会使用的任何一只手。
为了在设置好所有电极的情况下发出行为反应信号，让受试者坐在非斜倚的固定椅子上。在刺激呈现监视器前面，将所有电极插入转换器盒并检查 EEG 采集计算机，以确保电极偏移量在正负 40 微伏范围内。如果电极的偏移量非常大或有噪音，请轻轻地从盖子上取下电极。
将更多凝胶插入外壳并更换电极。如果单个电极中仍然存在问题，或者如果单个电极被脉冲伪影污染，则应从周围的电极插入该通道。录制完成后，首先将目标贴纸贴在眼睛内侧的化脓症眉毛上方，以设置凝视跟踪。
在刺激演示计算机上启动弹出式校准应用程序。开始新会话并将 type 下拉菜单更改为 CMD。输入适当的命令后，按下发送按钮，从弹出校准应用程序启动摄像机设置中打开事件记录。
调整相机的位置，使目标贴纸和主体的 I 以自动阈值为中心。按刺激演示计算机键盘上的 A 键。通过转动相机镜头调整焦距，直到要跟踪的 I 清晰。
通过按刺激演示计算机键盘上的 C 开始根据主题校准注视跟踪系统。一个点将以随机顺序出现在屏幕上的九个不同位置。当点出现时，对象应该看着它，而不是预测下一个点的位置。
要验证校准，请按 V 键。这些点将以随机顺序再次出现。如果校准良好，则被摄体凝视将映射到每个验证点。
如果校准失败，请确保瞳孔和角膜反射阈值合适。瞳孔和角膜阈值可以从屏幕左上角岛式主机上的相机设置屏幕进行调整，单击瞳孔和角膜的上下箭头可分别增加和减少阈值。单击 500 Hertz 按钮，确保将采样率设置为 500 赫兹。
最小化刺激演示计算机上的弹出校准应用程序，并通过右键单击任务栏中的 iLink 图标并选择开始记录注视数据。在视频采集计算机上使用 Black Magic Media Express 软件开始视频录制。然后单击暂停按钮在 EEG 采集计算机上开始 EEG 记录。
现在在刺激演示中，计算机启动了游戏，因为 polus 是一个定制的游戏，旨在确保生态有效性在不牺牲一个游戏中的实验控制的情况下，受试者必须营救一艘受到攻击的货船。通过引入虫洞来实现 go no-go 任务，其中出现帮助玩家的朋友或伤害玩家的敌人。球员。还可以在另一场比赛中驾驶宇宙飞船穿过漂浮的星空，从而执行点阵运动相干任务。
在修改后的 Posner 任务中，受试者必须使用雷达瞄准镜收集小行星，小行星可能以不同的基频闪烁的四个区域。然后，脑电图频谱内容的变化可以根据标记每个扇区的频率幅度来评估注意力。另一个游戏要求受试者通过识别面孔中描绘的情绪来帮助制定银河系条约。
五个面孔中的每一个都必须放在游戏板上的空白处，以创建一行或一列的三个面孔来表达相同的情感。第四个游戏实现了 Sally Anne 的 Theory of mind players（心智理论玩家）测试。观看 Sally 船长将他的货物放在四个行星之一上。
安妮的角色由一名太空海盗扮演，他将货物运送到另一个星球。最后，海军上将观察船长和海盗，并将有关海盗行为的信息转达给船长。然后，玩家必须为船长和海盗绘制拦截路线，推断各自将在哪里寻找货物，从而在几种情况之间的对比中实施一阶和二阶心智理论。
人机交互的最新结果表明，游戏环境有能力在任务中建立和保持动机，否则这些任务可能看起来并不吸引人。许多重复试验中的多项认知任务可以在单个实验过程中执行，而不会使受试者疲劳。这一点尤其重要，因为为了获得足够的脑电图平均试验，受试者应该积累每种刺激条件的大约一百次试验 对于听觉刺激，将刺激演示计算机上的无源扬声器换成有源扬声器。
然后插入并打开 amp扩音器。将音量设置为 60 级。这是在被试玩游戏后达到 80 分贝 SPL 最大声级所必需的。
退出游戏并通过按下图形界面中的停止按钮停止记录数据。在每台视频采集、眼动跟踪和 EEG 采集计算机上。关闭 EEG 转换器盒并断开所有导联与盒的连接。
取下胶环，放入温蒸馏水中。使用装满蒸馏水的喷雾瓶去除电极上残留的任何凝胶，并使用温自来水和肥皂去除电极帽上的凝胶。现在我们将展示一些具有代表性的脑电图结果。
这是从正面中线电极 fz 获得的事件相关谱扰动图。在这个游戏中，现在的敌人对应于敌舰的出现或进入状态，而现在的友好对应于友方船只的出现或在禁入状态下出现不进入状态。通常，发育中的儿童表现出比患有自闭症谱系疾病的儿童明显更大的伽马波段脑电图功率。
尝试此程序时，请务必避免触摸电极触点、压接引线或使用过多的凝胶。
查看完整文字稿并访问数千部科学视频
概述
本视频演示了一种程序，在受试者执行嵌入计算机游戏中的引人入胜且具有生态效度的认知任务时，同时获得视线追踪和高密度脑电图记录。该技术的主要优势在于减轻了受试者的表现焦虑，并帮助受试者在长时间的实验过程中保持动力。
关键研究组成部分
科学领域
- 神经科学
- 电生理学
- 认知心理学
背景
- 高密度脑电图用于测量大脑活动。
- 视线追踪提供了对视觉注意力的洞察。
- 将认知任务嵌入视频游戏中增强了生态效度。
- 传统方法可能会在受试者中引起表现焦虑。
研究目的
- 同时记录脑电图和视线数据。
- 提高认知任务的生态效度。
- 减少认知测试过程中的表现焦虑。
使用的方法
- 在受试者身上固定电极以进行脑电图记录。
- 校准视线追踪摄像头。
- 在受试者玩视频游戏时记录脑电图和视线数据。
- 分析事件相关电位和频谱扰动。
主要结果
- 成功同时记录脑电图和视线数据。
- 获得了与游戏事件相关的事件相关电位。
- 受试者报告的焦虑水平低于传统方法。
- 在任务中观察到更高的参与度和动力。
结论
- 将认知任务嵌入视频游戏对数据收集有益。
- 该方法可以提高受试者的表现和数据质量。
- 未来的研究可以探索该技术的进一步应用。
常见问题
Executive Industry Relevance
Integrating computer game-based behavioral experiments with high-density EEG and infrared gaze tracking addresses the challenge of balancing ecological validity with experimental control in cognitive neuroscience. This approach enables robust, quantitative data collection from diverse populations, including those with attentional or motivational barriers, supporting predictive confidence in early-stage target validation. The method enhances portfolio relevance by enabling scalable, reproducible cognitive phenotyping in translational and preclinical research.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables interrogation of cognitive and attentional pathways under ecologically valid conditions.
- Supports biological de-risking by capturing neural and behavioral responses in realistic task contexts.
- Facilitates functional target validation through quantitative EEG and gaze metrics across multiple cognitive domains.
- Improves predictive confidence for neurocognitive endpoints in early discovery.
Screening & Assay Development
- Prepares validated behavioral paradigms for downstream compound screening workflows.
- Standardizes assay conditions with automated event logging and synchronized physiological data capture.
- Enables reproducible, quantitative outputs for cross-condition and cross-population comparisons.
- Supports scalable screening of cognitive modulators in both healthy and clinical cohorts.
Translational & Preclinical Research
- Aligns cognitive task performance with translational biomarkers such as event-related potentials and spectral perturbations.
- Maintains continuity from discovery through preclinical validation by enabling repeated, high-fidelity measurements.
- De-risks advancement decisions by providing mechanistic insight into attention, inhibition, and theory-of-mind processes.
- Facilitates disease-relevant system modeling for neuropsychiatric and neurodevelopmental indications.
Pipeline & Workflow Integration
This method bridges early discovery, lead identification, and preclinical research by providing a unified platform for behavioral and physiological data acquisition.
- Discovery Biology: Supports hypothesis testing and pathway clarification through multi-domain cognitive task integration.
- Screening: Delivers assay-ready, reproducible behavioral paradigms with synchronized EEG and gaze outputs.
- Analytics: Provides quantitative event-related and spectral data for robust statistical comparison across experimental conditions.
- Translational Research: Enables alignment of cognitive performance metrics with preclinical and clinical biomarker strategies.
- Enterprise Reuse: Offers a reusable, modular platform adaptable to diverse cognitive and neurophysiological research needs.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in neurocognitive target validation.
- Operational Value: Enhances standardization, reproducibility, and scalability of cognitive phenotyping workflows.
- Strategic Value: Supports informed go/no-go decisions and capital-efficient portfolio advancement.
- Portfolio Impact: Enables risk-adjusted prioritization of neurocognitive assets and translational programs.
Implementation Considerations
- Requires expertise in EEG, gaze tracking, and behavioral task design.
- Demands multi-system instrumentation and synchronized data acquisition infrastructure.
- Necessitates cross-team standardization of protocols and data formats.
- Adaptable to pediatric, clinical, and healthy populations with attention to motivational factors.
- Practical limitations include session length, subject compliance, and artifact management as described in the protocol.
