我们设计了一种利用动作捕捉系统评估日常生活工具性活动（IADL）的虚拟现实测试。我们提出了一种详细的运动学分析方法，用于解读参与者的各种动作，包括运动轨迹、移动距离和完成时间，以评估其IADL能力。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
无法完成日常生活工具性活动（IADL）是多种神经心理疾病发生的前兆。基于问卷的IADL评估方法虽易于使用，但易受主观偏倚影响。本文介绍一种新颖的虚拟现实（VR）测试方法，用于评估两项复杂的IADL任务：处理财务交易和使用公共交通工具。当受试者在虚拟现实环境中执行任务时，动作捕捉系统会追踪其惯用手和头部在三维笛卡尔坐标系中的位置与朝向。采集运动学原始数据，并将其转化为“运动学表现指标”， 即，运动轨迹、移动距离和完成时间。运动轨迹是指身体特定部位的运动路径（例如，优势手或头部）在空间中的运动。移动距离指运动轨迹的总长度，完成时间指完成一项工具性日常生活活动（IADL）任务所需的时间。这些运动学指标能够区分认知功能障碍患者与健康对照者。该运动学测量方案的建立有助于检测早期与IADL相关的认知功能障碍。
引言
日常生活工具性活动（IADL），例如处理财务交易、使用公共交通工具和烹饪，由于需要多种神经心理功能，因而可作为医学标志物1。因此，IADL能力受损被认为是轻度认知障碍（MCI）和痴呆等神经系统疾病的前兆2。Gold对IADL任务的系统综述3指出，认知需求较高的任务，如财务管理与使用公共交通工具，是预测轻度认知障碍和痴呆的最早指标。
迄今为止，日常生活活动能力（IADL）最常用的评估方法包括自报告问卷、由知情者填写的问卷以及基于表现的评估4。基于问卷的IADL评估成本低且易于实施，但容易受到主观偏倚的影响。例如，患者在自我报告时往往高估或低估自身的IADL能力5。同样，知情者也可能因观察者的误解或知识缺失而错误判断患者的IADL能力4。因此，要求患者执行特定IADL任务的基于表现的评估方法更受青睐，尽管其中许多任务并不适用于一般的临床环境6。
近年来，虚拟现实（VR）研究表明，该技术在医学和医疗保健领域具有重要的应用前景，涵盖从培训、康复到医学评估等各个方面7。所有参与者均可在模拟真实世界的相同VR条件下接受测试。例如，Allain et al.8 开发了一项虚拟制作咖啡任务，结果显示认知功能受损的患者在该任务中表现较差。Klinger et al.9 构建了另一个用于邮寄和购物任务的虚拟现实环境，发现VR中任务完成时间与神经心理学测试结果之间存在显著关联。以往关于工具性日常生活活动（IADL）评估的VR研究大多集中在使用鼠标和键盘等传统输入设备时的简单绩效指标，如反应时间或准确率8,9。因此，需要获取更详细的IADL绩效数据，以有效筛查轻度认知障碍（MCI）患者4。
基于实时动作捕捉数据的运动学分析是一种用于定量记录与工具性日常生活活动（IADL）任务相关详细行为表现数据的有力方法。例如，White et al.10 开发了一个虚拟厨房环境，可在个体执行日常生活任务时采集其关节角度数据，并利用这些采集到的数据对物理治疗的效果进行定量评估。Dimbwadyo-Terrer et al.11 构建了一个沉浸式虚拟现实（VR）环境，用于评估个体在完成基本日常生活任务时上肢的功能表现，并证明在虚拟现实环境中记录的运动学数据与上肢功能量表具有高度相关性。这类结合动作捕捉系统的运动学分析有望为进一步快速评估患者的认知功能障碍提供新的途径12。在轻度认知障碍（MCI）患者的筛查中引入详细的运动学数据，相较于健康对照组，显著提高了患者的分类准确性13。
本文介绍了一种利用动作捕捉系统在沉浸式虚拟现实（VR）环境中评估日常生活活动运动学的实验方案。该方案包含两项复杂的工具性日常生活活动（IADL）任务： "任务1：取款" （处理财务交易）以及 "任务2：乘坐公交车" （使用公共交通工具）。在执行任务期间，动作捕捉系统记录了受试者优势手和头部的位置与朝向。完成任务1后，采集优势手的运动轨迹、移动距离和完成时间。在任务2中，采集头部的运动轨迹、移动距离和完成时间。本文的“代表性结果”部分详细描述了轻度认知障碍（MCI）患者初步测试的结果即，与健康对照组相比，IADL能力受损）即，IADL能力保持完整。
访问受限。请登录或开始试用以查看此内容。
方案
根据《赫尔辛基宣言》的规定，本研究所涉及的所有实验程序均经汉阳大学机构审查委员会批准（批准编号：HYI-15-029-2）。研究对象包括6名健康对照者（4名男性和2名女性）以及6名轻度认知障碍（MCI）患者（3名男性和3名女性），均来自汉阳大学医院这一三级医疗中心。
1. 招募参与者
- 招募轻度认知障碍患者（i.e.，工具性日常生活能力受损）和健康对照者（i.e.，工具性日常生活能力正常），年龄介于70至80岁之间。
- 在具有10年以上临床经验的神经科医生协助下，回顾患者的病史，并排除有神经系统/精神疾病史或脑部手术史的患者。
注意：采用以下神经心理学测验进行轻度认知障碍诊断：简易精神状态检查-痴呆筛查、韩国版工具性日常生活能力量表、自由与提示选择性提醒测验、数字广度测验-顺背/倒背、连线测验-A/B13，以及Albert et al.14的诊断标准。
2. 安装VR软件并连接计算机
- 在专用房间内以类似方式设置硬件 图1在房间大小的沉浸式虚拟环境中（4 x 2.5 x 2.5 m）执行本方案3包含4台计算机、4台立体三维（3D）投影仪和8个运动追踪摄像头，用于在两项工具性日常生活活动（IADL）任务期间追踪受试者优势手和头部的位置与朝向。
注意：本文所使用的虚拟现实（VR）技术是能够提供沉浸式和交互式三维体验的计算机硬件与软件，可在虚拟环境中呈现逼真的物体和事件。相关硬件与软件的详细信息见下文 材料表. - 确保所有计算机均已安装所需软件（Visual Studio 2012 可再发行程序包 (x86)、DirectX 和 MiddleVR 或同等版本）。对于 MiddleVR， 即，中间件软件，请查看网站15 获取输入设备、立体显示、集群和交互功能相关库的最新版本。
- 将计算机连接至立体3D投影仪。图形设置分辨率为1920 x 1080像素。
- 创建一个 Windows 10 家庭组，将 4 台计算机连接到家庭网络。在主计算机上创建一个文件夹，并将其共享给其他家庭组计算机。
- 在主计算机上启动中间件软件。点击 "簇" 按钮。将主计算机设置为服务器，其他计算机设置为客户端，这将同步所有设备的状态。点击 "3D 节点" 按钮。指定虚拟环境屏幕的位置、方向和大小。
- 根据网站完成设置15 并保存配置文件。
3. 在虚拟环境中设置动作捕捉系统
- 在虚拟环境中安装8个运动追踪摄像头，以完全覆盖捕捉范围。将摄像头牢固固定，确保在捕捉过程中保持静止。确保虚拟环境中的物体在任何时候至少能被2个摄像头同时可见。
- 安装 OptiTrack Motive 软件， 即，使用安装手册在主计算机上安装动作捕捉软件16使用六类以太网线将主计算机与动作捕捉系统连接。
- 按照软件手册中的详细说明，通过以下步骤校准动作捕捉系统16.
- 移除捕捉区域内的所有多余反射或不必要的标记。
- 点击 "遮罩可见" 按钮，用于遮蔽不需要的反射或环境干扰。
- 点击 "开始Wanding" 按钮。使用校准棒辅助采集样本帧，以计算其在三维空间中的相应位置和姿态。
- 点击 "计算" 使用采集的样本校准系统的按钮。
- 检查校准结果（按从差到优排序）：差、一般、良好、优秀、极好和卓越。如果结果优于优秀，则点击 "应用" 按钮。如果没有反应，请单击该 "取消" 按钮并重复点样过程。
- 将校准方块放置在您希望设定原点的三维空间内。点击 "设置地面平面" 按钮，用于建立带追踪的三维坐标系原点。
- 为惯用手和头部选择相应的反光标记点。点击 "刚体" 按钮，然后单击 "从选定标记创建" 按钮。
- 在动作捕捉软件中，打开 "实时流媒体" 菜单。确认所列端口号为 3883，然后选择 "广播帧数据" 框内 "VRPN 流媒体引擎" 类别。点击 "Ctrl" + "S" 保存校准文件。
- 在主计算机上启动中间件软件。点击 "设备" 按钮。添加 VRPN 跟踪器以从动作捕捉系统获取跟踪数据，然后保存配置文件。
4. 准备用于使用的虚拟环境
- 移除所有反光物体（即手表、戒指、耳环、金属 等等。）从虚拟环境中。
- 打开计算机、立体3D投影仪和动作捕捉系统（360帧每秒）。
- 当4台计算机运行后，启动VRDaemon软件。例如，双击 "VRDaemon.exe" 位于 "C:\Program Files (x86)\MiddleVR\bin"
- 在主计算机上启动动作捕捉软件。点击顶部菜单附近标有 "打开现有项目" 加载相机校准文件。
- 在主计算机上启动中间件软件。单击 "模拟" 按钮。从共享文件夹中加载相应的模拟和配置文件。
- 在中间件软件上，按下 "运行" 按钮以使用选定的模拟和配置文件执行沉浸式虚拟应用。
5. 让参与者熟悉虚拟环境
- 为参与者提供一副重量约为 50 g 的立体眼镜。立体眼镜的显示频率为 192 Hz。确保立体眼镜舒适地佩戴在眼睛和耳朵上；见图 2A。
- 将重量小于 1 g 的反光标记物贴附在参与者的优势手和头部。注意将反光标记物牢固贴附；见图 2B。告知参与者，他们可通过头部运动在虚拟环境中自由移动或旋转，并使用优势手点击虚拟物体。虚拟环境中会出现一只虚拟手，用于模拟参与者食指的位置；见图 3。
- 要求参与者在虚拟环境中自由移动（即，站起、坐下、向左、向右）5 分钟，以熟悉虚拟现实环境。随后要求参与者用优势手点击虚拟按钮 5 分钟，以熟悉与虚拟物体交互的方式。若参与者提出需求，可额外提供 10 分钟的训练时间。
- 使用模拟器晕动症问卷17检查参与者是否对虚拟现实引起的不适具有耐受性。
警告：立体显示器上的同步运动追踪可能引发虚拟现实晕动症，导致不适、头痛、胃部不适、恶心、呕吐、面色苍白、出汗、疲劳、嗜睡、定向障碍和冷漠等症状。若参与者报告疲劳，或模拟器晕动症评分过高，应立即终止实验流程。
6. 执行"任务 1：取款"
注意：为消除遗留效应，需平衡任务1和任务2的执行顺序。
- 向参与者详细解释任务内容，并提供在虚拟环境中完成任务的8个操作步骤：（1）将卡片插入ATM机，（2）选择“取款”菜单，（3）选择取款金额，（4）选择钞票类型，（5）输入个人识别码（PIN），（6）选择是否打印凭条，（7）取出卡片，（8）从ATM机中取走现金（见图4）。
- 在主计算机上启动中间件软件。在"仿真"选项卡中，为任务1选择一个仿真文件和一个配置文件，然后点击"运行"按钮；"任务1：取款"将在虚拟环境中运行。
注：任务1的文件请参见附加的"任务1 取款.zip"文件（见补充文件1）。请注意，该虚拟任务使用Unity 3D引擎开发。 - 当"任务1：取款"在虚拟环境中运行后，指导参与者按以下说明操作："请从ATM机中取出70,000韩元（约合60美元）用于购物。请选择两种不同面额的纸币：一张50,000韩元纸币（金额50,000韩元）和两张10,000韩元纸币（金额20,000韩元）。交易密码为当天的日期。例如，若实验在11月11日进行，则PIN码为1111。请保留凭条以供后续参考。"
- 任务完成后，从共享文件夹中检查保存的CSV格式（逗号分隔值）运动学数据，以供进一步分析。
注：使用动作捕捉系统，在"任务1：取款"过程中，以1 ms的采样频率记录参与者优势手在执行任务时的位置和方向数据。 - 在开始"任务2：乘坐公交车"之前，给予参与者约5分钟的休息时间。
7. 执行"任务 2：乘坐公交车"
- 向参与者详细解释任务内容，并说明如何完成"任务2：乘坐公交车"，具体如下："请在公交车站等候并乘坐目标公交车。目标公交车的信息将通过虚拟现实（VR）屏幕上的特定线路编号、颜色和目的地显示。当目标公交车到达时，请务必走出公交站台，走到目标公交车的前门上车。系统将随机生成并呈现8辆不同的目标公交车。" 参见 图5。
- 在主计算机上启动中间件软件。在"模拟"选项卡中，选择任务2的模拟文件和配置文件。点击"运行"按钮后，"任务2：乘坐公交车"将在虚拟环境中运行。
注：任务2的文件详见补充文件2中附带的"Task 2 Take a Bus.zip"文件。请注意，该虚拟任务使用Unity 3D引擎开发。 - 当"任务2：乘坐公交车"在虚拟环境中运行时，指导参与者在公交站台内等候。按下键盘上的"空格键"，以使公交车驶入站台。
- 任务完成后，从共享文件夹中检查保存的CSV格式运动学数据，以供进一步分析。
注：使用动作捕捉系统，在"任务2：乘坐公交车"过程中，以1 ms的采样频率记录参与者执行任务时头部的位置和朝向。 - 实验流程结束。协助参与者取下立体眼镜，并移除优势手和头部上的反光标记点。
访问受限。请登录或开始试用以查看此内容。
结果
使用统计软件 R 分析了“任务1：取款”中的 CSV 文件，以计算优势手的运动轨迹、移动距离和完成时间。优势手运动轨迹的可视化结果见图6。优势手的移动距离是通过累加执行任务1过程中连续手部位置之间的总距离来计算的，位置间的距离为欧几里得距离。完成时间是指完成整个任务所需的时间（即从第1步“将卡片插入ATM”到第8步“从ATM取款”）。有关统计分析的R代码，请参见补充文件3中附带的“Task 1 R Code.docx”文件。
使用 R 统计软件分析“任务 2：乘坐公交车”生成的 CSV 文件，以计算头部运动轨迹、移动距离和任务完成时间。头部运动轨迹可视化结果见图 7。执行任务 2 时，通过累加连续头部位置之间的总距离来计算头部移动距离，两位置间的距离为欧几里得距离。完成时间是指从开始...
访问受限。请登录或开始试用以查看此内容。
讨论
我们详细描述了一种在沉浸式虚拟现实（VR）环境中，利用动作捕捉系统测量日常生活活动运动学的实验方案。首先，实验设置指导如何搭建、准备并让受试者熟悉沉浸式虚拟现实环境。其次，我们在虚拟现实中开发了两项标准化的工具性日常生活活动（IADL）任务。第三，方案部分的第3步和第5步是减轻虚拟现实晕动症最关键的步骤。在虚拟环境中设置动作捕捉系统时（第3步），应确保追踪相机安装得足够高，以完全覆盖捕捉区域；稳固固定相机，防止采集过程中发生移动；确保至少有两个相机可同时捕捉同一物体；并清除虚拟环境中的任何多余反光或不必要的标记点。在让受试者熟悉虚拟现实环境时（第5步），必须提供充足的训练时间，使其适应虚拟体验。若受试者出现任何虚拟现实晕动症状（例如：不适、头痛、恶心、呕吐、面色苍白、出汗、疲劳、嗜睡、定向障碍或冷漠），应立即终止实验。最后，运动学原始数据通过R统计软件进行处理与分析。
本方案的一个局限性和挑战在于，虚拟的工具性日常生活活动（IADL）任务需要通过与真实的IADL任务进行比较来加以验证。尽管先前的研究表明，虚拟任务与真实任务在反应时间、准确性
访问受限。请登录或开始试用以查看此内容。
披露
作者声明无利益冲突。
致谢
K.S. 和 A.L. 贡献相同。本研究由韩国国家研究基金会（NRF）通过科学、信息通信技术部资助的基础科学研究中心项目支持 & 未来规划（NRF-2016R1D1A1B03931389）
访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 计算机 | N/A | N/A | 计算机配置要求： - 单插槽 H3 (LGA 1150) 支持 - Intel® Xeon® E3-1200 v3，第四代 Core i7/i5/i3 处理器 - Intel® C226 Express PCH - 最高支持 32GB DDR3 ECC/非 ECC 1600MHz UDIMM，共 4 个插槽 - 双千兆以太网 LAN 端口 - 8 个 SATA3 (6Gbps) - 2 个 PCI-E 3.0 x16，3 个 PCI-E 2.0 x1，以及 2 个 PCI 5V 32 位插槽 - 6 个 USB 3.0（2 个后置 + 4 个通过接头） - 10 个 USB 2.0（4 个后置 + 6 个通过接头） - 由 Realtek ALC1150 提供的 HD Audio 7.1 声道连接器 - 1 个 DOM 电源连接器和 1 个 SPDIF 输出接头 - 800W 高效率电源 - Intel Xeon E3-1230v3 - DDR3 PC12800 8GB ECC - WD 1TB BLUE WD 10EZEX 3.5" - NVIDIA QUADRO K5000 & SYNC |
| 立体 3D 投影仪 | Barco | F35 AS3D WUXGA | 分辨率： - WQXGA (2,560 x 1,600) - Panorama (2,560 x 1,080) - WUXGA (1,920 x 1,200)，1080p (1,920 x 1,080) |
| 立体眼镜 | Volfoni | Edge 1.2 | 更多信息，请访问 http://volfoni.com/en/edge-1-2/ |
| 动作捕捉系统 | NaturalPoint OptiTrack | 17W | 更多信息，请访问 http://optitrack.com/products/prime-17w/ |
| OptiTrack（动作捕捉软件） | NaturalPoint OptiTrack | Motive 2.0 | 更多信息，请访问 https://optitrack.com/downloads/motive.html |
| MiddleVR（中间件软件） | MiddleVR | MiddleVR For Unity | 更多信息，请访问 http://www.middlevr.com/middlevr-for-unity/ |
| VRDaemon（中间件软件） | MiddleVR | MiddleVR For Unity | 更多信息，请访问 http://www.middlevr.com/middlevr-for-unity/ |
| Unity3D（游戏引擎） | Unity Technologies | Personal | 更多信息，请访问 https://unity3d.com/unity |
参考文献
- Reppermund, S., et al. Impairment in instrumental activities of daily living with high cognitive demand is an early marker of mild cognitive impairment: the Sydney Memory and Ageing Study. Psychol. Med. 43 (11), 2437-2445 (2013).
- Graf, C. The Lawton instrumental activities of daily living scale. Am. J. Nurs. 108 (4), 52-62 (2008).
- Gold, D. A. An examination of instrumental activities of daily living assessment in older adults and mild cognitive impairment. J. Clin. Exp. Neuropsychol. 34 (1), 11-34 (2012).
- Jekel, K., et al. Mild cognitive impairment and deficits in instrumental activities of daily living: a systematic review. Alzheimers. Res. Ther. 7 (1), 17(2015).
- Suchy, Y., Kraybill, M. L., Franchow, E. Instrumental activities of daily living among community-dwelling older adults: discrepancies between self-report and performance are mediated by cognitive reserve. J. Clin. Exp. Neuropsychol. 33 (1), 92-100 (2011).
- Desai, A. K., Grossberg, G. T., Sheth, D. N. Activities of Daily Living in patients with Dementia. CNS drugs. 18 (13), 853-875 (2004).
- Ma, M., Jain, L. C., Anderson, P. Virtual, augmented reality and serious games for healthcare 1. 68, Springer Science & Business Pubs. Berlin. (2014).
- Allain, P., et al. Detecting everyday action deficits in Alzheimer's disease using a nonimmersive virtual reality kitchen. J. Int. Neuropsychol. Soc. 20 (5), 468-477 (2014).
- Klinger, E., et al. AGATHE: A tool for personalized rehabilitation of cognitive functions based on simulated activities of daily living. IRBM. 34 (2), 113-118 (2013).
- White, D., Burdick, K., Fulk, G., Searleman, J., Carroll, J. A virtual reality application for stroke patient rehabilitation. ICMA. 2, 1081-1086 (2005).
- Dimbwadyo-Terrer, I., et al. Activities of daily living assessment in spinal cord injury using the virtual reality system Toyra: functional and kinematic correlations. Virtual Real. 20 (1), 17-26 (2016).
- Preische, O., Heymann, P., Elbing, U., Laske, C. Diagnostic value of a tablet-based drawing task for discrimination of patients in the early course of Alzheimer's disease from healthy individuals. J. Alzheimers. Dis. 55 (4), 1463-1469 (2017).
- Seo, K., Kim, J. K., Oh, D. H., Ryu, H., Choi, H. Virtual daily living test to screen for mild cognitive impairment using kinematic movement analysis. PLOS ONE. 12 (7), e0181883(2017).
- Albert, M. S., et al. The diagnosis of mild cognitive impairment due to Alzheimer's disease: Recommendations from the National Institute on Aging-Alzheimer's Association workgroups on diagnostic guidelines for Alzheimer's disease. Alzheimers. Dement. 7 (3), 270-279 (2011).
- MiddleVR. User Guide. [FR]. , Available from: http://www.middlevr.com/doc/current/ c2014-c2017 (2017).
- OptiTrack. Motive Quick Start Guide. , Available from: https://optitrack.com/public/documents/motive-quick-start-guide-v1.10.0.pdf c1996-c2017 (2017).
- Kennedy, R. S., Lane, N. E., Berbaum, K. S., Lilienthal, M. G. Simulator sickness questionnaire: An enhanced method for quantifying simulator sickness. Int. J. Aviat. Psychol. 3 (3), 203-220 (1993).
- Singh, N. B., Baumann, C. R., Taylor, W. R. Can Gait Signatures Provide Quantitative Measures for Aiding Clinical Decision-Making? A Systematic Meta-Analysis of Gait Variability Behavior in Patients with Parkinson's Disease. Front. Hum. Neurosci. 10, 319(2016).
- Hernandez, F., et al. Six degree-of-freedom measurements of human mild traumatic brain injury. Ann. Biomed. Eng. 43 (8), 1918-1934 (2015).
- Gamito, P., et al. Cognitive training on stroke patients via virtual reality-based serious games. Disabil. Rehabil. 39 (4), 385-388 (2017).
访问受限。请登录或开始试用以查看此内容。
重印与许可
