Name: 虚拟现实中运动捕捉系统的日常生活运动运动学测量 (视频) | JoVE Journal
Uploaded: 2018-04-05T14:00:00.000+00:00
Duration: 8 min 45 s
Description: 学习使用虚拟现实运动捕捉系统评估日常生活活动运动学表现。该方法通过轨迹、移动距离和完成时间等数据，帮助早期诊断痴呆症和轻度认知障碍。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

K.S. 和 A.L. 贡献相同。本研究由韩国国家研究基金会（NRF）通过科学、信息通信技术部资助的基础科学研究中心项目支持 &amp;#38; 未来规划（NRF-2016R1D1A1B03931389）

根据《赫尔辛基宣言》的规定，本研究所涉及的所有实验程序均经汉阳大学机构审查委员会批准（批准编号：HYI-15-029-2）。研究对象包括6名健康对照者（4名男性和2名女性）以及6名轻度认知障碍（MCI）患者（3名男性和3名女性），均来自汉阳大学医院这一三级医疗中心。
1. 招募参与者
<ol>
	<li>招募轻度认知障碍患者（i.e.，工具性日常生活能力受损）和健康对照者（i.e.，工具性日常生活能力正常），年龄介于70至80岁之间。</li>
	<li>在具有10年以上临床经验的神经科医生协助下，回顾患者的病史，并排除有神经系统/精神疾病史或脑部手术史的患者。 
	注意：采用以下神经心理学测验进行轻度认知障碍诊断：简易精神状态检查-痴呆筛查、韩国版工具性日常生活能力量表、自由与提示选择性提醒测验、数字广度测验-顺背/倒背、连线测验-A/B13，以及Albert et al.14的诊断标准。</li>
</ol>
2. 安装VR软件并连接计算机
<ol>
	<li>在专用房间内以类似方式设置硬件 图1在房间大小的沉浸式虚拟环境中（4 x 2.5 x 2.5 m）执行本方案3包含4台计算机、4台立体三维（3D）投影仪和8个运动追踪摄像头，用于在两项工具性日常生活活动（IADL）任务期间追踪受试者优势手和头部的位置与朝向。 
	注意：本文所使用的虚拟现实（VR）技术是能够提供沉浸式和交互式三维体验的计算机硬件与软件，可在虚拟环境中呈现逼真的物体和事件。相关硬件与软件的详细信息见下文 材料表.</li>
	<li>确保所有计算机均已安装所需软件（Visual Studio 2012 可再发行程序包 (x86)、DirectX 和 MiddleVR 或同等版本）。对于 MiddleVR， 即，中间件软件，请查看网站15 获取输入设备、立体显示、集群和交互功能相关库的最新版本。</li>
	<li>将计算机连接至立体3D投影仪。图形设置分辨率为1920 x 1080像素。</li>
	<li>创建一个 Windows 10 家庭组，将 4 台计算机连接到家庭网络。在主计算机上创建一个文件夹，并将其共享给其他家庭组计算机。</li>
	<li>在主计算机上启动中间件软件。点击 &#34;簇&#34; 按钮。将主计算机设置为服务器，其他计算机设置为客户端，这将同步所有设备的状态。点击 &#34;3D 节点&#34; 按钮。指定虚拟环境屏幕的位置、方向和大小。</li>
	<li>根据网站完成设置15 并保存配置文件。</li>
</ol>
3. 在虚拟环境中设置动作捕捉系统
<ol>
	<li>在虚拟环境中安装8个运动追踪摄像头，以完全覆盖捕捉范围。将摄像头牢固固定，确保在捕捉过程中保持静止。确保虚拟环境中的物体在任何时候至少能被2个摄像头同时可见。</li>
	<li>安装 OptiTrack Motive 软件， 即，使用安装手册在主计算机上安装动作捕捉软件16使用六类以太网线将主计算机与动作捕捉系统连接。</li>
	<li>按照软件手册中的详细说明，通过以下步骤校准动作捕捉系统16.
	<ol>
		<li>移除捕捉区域内的所有多余反射或不必要的标记。</li>
		<li>点击 &#34;遮罩可见&#34; 按钮，用于遮蔽不需要的反射或环境干扰。</li>
		<li>点击 &#34;开始Wanding&#34; 按钮。使用校准棒辅助采集样本帧，以计算其在三维空间中的相应位置和姿态。</li>
		<li>点击 &#34;计算&#34; 使用采集的样本校准系统的按钮。</li>
		<li>检查校准结果（按从差到优排序）：差、一般、良好、优秀、极好和卓越。如果结果优于优秀，则点击 &#34;应用&#34; 按钮。如果没有反应，请单击该 &#34;取消&#34; 按钮并重复点样过程。</li>
		<li>将校准方块放置在您希望设定原点的三维空间内。点击 &#34;设置地面平面&#34; 按钮，用于建立带追踪的三维坐标系原点。</li>
		<li>为惯用手和头部选择相应的反光标记点。点击 &#34;刚体&#34; 按钮，然后单击 &#34;从选定标记创建&#34; 按钮。</li>
	</ol>
	</li>
	<li>在动作捕捉软件中，打开 &#34;实时流媒体&#34; 菜单。确认所列端口号为 3883，然后选择 &#34;广播帧数据&#34; 框内 &#34;VRPN 流媒体引擎&#34; 类别。点击 &#34;Ctrl&#34; + &#34;S&#34; 保存校准文件。</li>
	<li>在主计算机上启动中间件软件。点击 &#34;设备&#34; 按钮。添加 VRPN 跟踪器以从动作捕捉系统获取跟踪数据，然后保存配置文件。</li>
</ol>
4. 准备用于使用的虚拟环境
<ol>
	<li>移除所有反光物体（即手表、戒指、耳环、金属 等等。）从虚拟环境中。</li>
	<li>打开计算机、立体3D投影仪和动作捕捉系统（360帧每秒）。</li>
	<li>当4台计算机运行后，启动VRDaemon软件。例如，双击 &#34;VRDaemon.exe&#34; 位于 &#34;C:\Program Files (x86)\MiddleVR\bin&#34;</li>
	<li>在主计算机上启动动作捕捉软件。点击顶部菜单附近标有 &#34;打开现有项目&#34; 加载相机校准文件。</li>
	<li>在主计算机上启动中间件软件。单击 &#34;模拟&#34; 按钮。从共享文件夹中加载相应的模拟和配置文件。</li>
	<li>在中间件软件上，按下 &#34;运行&#34; 按钮以使用选定的模拟和配置文件执行沉浸式虚拟应用。</li>
</ol>
5. 让参与者熟悉虚拟环境
<ol>
	<li>为参与者提供一副重量约为 50 g 的立体眼镜。立体眼镜的显示频率为 192 Hz。确保立体眼镜舒适地佩戴在眼睛和耳朵上；见图 2A。</li>
	<li>将重量小于 1 g 的反光标记物贴附在参与者的优势手和头部。注意将反光标记物牢固贴附；见图 2B。告知参与者，他们可通过头部运动在虚拟环境中自由移动或旋转，并使用优势手点击虚拟物体。虚拟环境中会出现一只虚拟手，用于模拟参与者食指的位置；见图 3。</li>
	<li>要求参与者在虚拟环境中自由移动（即，站起、坐下、向左、向右）5 分钟，以熟悉虚拟现实环境。随后要求参与者用优势手点击虚拟按钮 5 分钟，以熟悉与虚拟物体交互的方式。若参与者提出需求，可额外提供 10 分钟的训练时间。</li>
	<li>使用模拟器晕动症问卷17检查参与者是否对虚拟现实引起的不适具有耐受性。 
	警告：立体显示器上的同步运动追踪可能引发虚拟现实晕动症，导致不适、头痛、胃部不适、恶心、呕吐、面色苍白、出汗、疲劳、嗜睡、定向障碍和冷漠等症状。若参与者报告疲劳，或模拟器晕动症评分过高，应立即终止实验流程。</li>
</ol>
6. 执行&#34;任务 1：取款&#34;
注意：为消除遗留效应，需平衡任务1和任务2的执行顺序。
<ol>
	<li>向参与者详细解释任务内容，并提供在虚拟环境中完成任务的8个操作步骤：（1）将卡片插入ATM机，（2）选择“取款”菜单，（3）选择取款金额，（4）选择钞票类型，（5）输入个人识别码（PIN），（6）选择是否打印凭条，（7）取出卡片，（8）从ATM机中取走现金（见图4）。</li>
	<li>在主计算机上启动中间件软件。在&#34;仿真&#34;选项卡中，为任务1选择一个仿真文件和一个配置文件，然后点击&#34;运行&#34;按钮；&#34;任务1：取款&#34;将在虚拟环境中运行。 
	注：任务1的文件请参见附加的&#34;任务1 取款.zip&#34;文件（见补充文件1）。请注意，该虚拟任务使用Unity 3D引擎开发。</li>
	<li>当&#34;任务1：取款&#34;在虚拟环境中运行后，指导参与者按以下说明操作：&#34;请从ATM机中取出70,000韩元（约合60美元）用于购物。请选择两种不同面额的纸币：一张50,000韩元纸币（金额50,000韩元）和两张10,000韩元纸币（金额20,000韩元）。交易密码为当天的日期。例如，若实验在11月11日进行，则PIN码为1111。请保留凭条以供后续参考。&#34;</li>
	<li>任务完成后，从共享文件夹中检查保存的CSV格式（逗号分隔值）运动学数据，以供进一步分析。 
	注：使用动作捕捉系统，在&#34;任务1：取款&#34;过程中，以1 ms的采样频率记录参与者优势手在执行任务时的位置和方向数据。</li>
	<li>在开始&#34;任务2：乘坐公交车&#34;之前，给予参与者约5分钟的休息时间。</li>
</ol>
7. 执行&#34;任务 2：乘坐公交车&#34;
<ol>
	<li>向参与者详细解释任务内容，并说明如何完成&#34;任务2：乘坐公交车&#34;，具体如下：&#34;请在公交车站等候并乘坐目标公交车。目标公交车的信息将通过虚拟现实（VR）屏幕上的特定线路编号、颜色和目的地显示。当目标公交车到达时，请务必走出公交站台，走到目标公交车的前门上车。系统将随机生成并呈现8辆不同的目标公交车。&#34; 参见 图5。</li>
	<li>在主计算机上启动中间件软件。在&#34;模拟&#34;选项卡中，选择任务2的模拟文件和配置文件。点击&#34;运行&#34;按钮后，&#34;任务2：乘坐公交车&#34;将在虚拟环境中运行。 
	注：任务2的文件详见补充文件2中附带的&#34;Task 2 Take a Bus.zip&#34;文件。请注意，该虚拟任务使用Unity 3D引擎开发。</li>
	<li>当&#34;任务2：乘坐公交车&#34;在虚拟环境中运行时，指导参与者在公交站台内等候。按下键盘上的&#34;空格键&#34;，以使公交车驶入站台。</li>
	<li>任务完成后，从共享文件夹中检查保存的CSV格式运动学数据，以供进一步分析。 
	注：使用动作捕捉系统，在&#34;任务2：乘坐公交车&#34;过程中，以1 ms的采样频率记录参与者执行任务时头部的位置和朝向。</li>
	<li>实验流程结束。协助参与者取下立体眼镜，并移除优势手和头部上的反光标记点。</li>
</ol>

<ol><li>Reppermund, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Impairment+in+instrumental+activities+of+daily+living+with+high+cognitive+demand+is+an+early+marker+of+mild+cognitive+impairment%3A+the+Sydney+Memory+and+Ageing+Study%5BTitle%5D)+AND+%22Psychol.+Med%22%5BJournal%5D)">Impairment in instrumental activities of daily living with high cognitive demand is an early marker of mild cognitive impairment: the Sydney Memory and Ageing Study.</a> Psychol. Med. 43 (11), 2437-2445 (2013).</li>
<li>Graf, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+Lawton+instrumental+activities+of+daily+living+scale%5BTitle%5D)+AND+%22Am.+J.+Nurs%22%5BJournal%5D)">The Lawton instrumental activities of daily living scale.</a> Am. J. Nurs. 108 (4), 52-62 (2008).</li>
<li>Gold, D. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+examination+of+instrumental+activities+of+daily+living+assessment+in+older+adults+and+mild+cognitive+impairment%5BTitle%5D)+AND+%22J.+Clin.+Exp.+Neuropsychol%22%5BJournal%5D)">An examination of instrumental activities of daily living assessment in older adults and mild cognitive impairment.</a> J. Clin. Exp. Neuropsychol. 34 (1), 11-34 (2012).</li>
<li>Jekel, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mild+cognitive+impairment+and+deficits+in+instrumental+activities+of+daily+living%3A+a+systematic+review%5BTitle%5D)+AND+%22Alzheimers.+Res.+Ther%22%5BJournal%5D)">Mild cognitive impairment and deficits in instrumental activities of daily living: a systematic review.</a> Alzheimers. Res. Ther. 7 (1), 17(2015).</li>
<li>Suchy, Y., Kraybill, M. L., Franchow, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Instrumental+activities+of+daily+living+among+community-dwelling+older+adults%3A+discrepancies+between+self-report+and+performance+are+mediated+by+cognitive+reserve%5BTitle%5D)+AND+%22J.+Clin.+Exp.+Neuropsychol%22%5BJournal%5D)">Instrumental activities of daily living among community-dwelling older adults: discrepancies between self-report and performance are mediated by cognitive reserve.</a> J. Clin. Exp. Neuropsychol. 33 (1), 92-100 (2011).</li>
<li>Desai, A. K., Grossberg, G. T., Sheth, D. N. <a target="_blank" href="https://www.ncbi.nlm.nih.gov/pubmed/15521790">Activities of Daily Living in patients with Dementia.</a> CNS drugs. 18 (13), 853-875 (2004).</li>
<li>Ma, M., Jain, L. C., Anderson, P. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aMa%2C+M+%22Virtual%2C+augmented+reality+and+serious+games+for+healthcare+1%22">Virtual, augmented reality and serious games for healthcare 1</a>. 68, Springer Science & Business Pubs. Berlin. (2014).</li>
<li>Allain, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+everyday+action+deficits+in+Alzheimer%27s+disease+using+a+nonimmersive+virtual+reality+kitchen%5BTitle%5D)+AND+%22J.+Int.+Neuropsychol.+Soc%22%5BJournal%5D)">Detecting everyday action deficits in Alzheimer's disease using a nonimmersive virtual reality kitchen.</a> J. Int. Neuropsychol. Soc. 20 (5), 468-477 (2014).</li>
<li>Klinger, E., et al. <a target="_blank" href="https://www.sciencedirect.com/science/article/pii/S1959031813000183">AGATHE: A tool for personalized rehabilitation of cognitive functions based on simulated activities of daily living.</a> IRBM. 34 (2), 113-118 (2013).</li>
<li>White, D., Burdick, K., Fulk, G., Searleman, J., Carroll, J. <a target="_blank" href="http://ieeexplore.ieee.org/abstract/document/1626702/">A virtual reality application for stroke patient rehabilitation.</a> ICMA. 2, 1081-1086 (2005).</li>
<li>Dimbwadyo-Terrer, I., et al. <a target="_blank" href="https://link.springer.com/article/10.1007/s10055-015-0276-2">Activities of daily living assessment in spinal cord injury using the virtual reality system Toyra: functional and kinematic correlations.</a> Virtual Real. 20 (1), 17-26 (2016).</li>
<li>Preische, O., Heymann, P., Elbing, U., Laske, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Diagnostic+value+of+a+tablet-based+drawing+task+for+discrimination+of+patients+in+the+early+course+of+Alzheimer%27s+disease+from+healthy+individuals%5BTitle%5D)+AND+%22J.+Alzheimers.+Dis%22%5BJournal%5D)">Diagnostic value of a tablet-based drawing task for discrimination of patients in the early course of Alzheimer's disease from healthy individuals.</a> J. Alzheimers. Dis. 55 (4), 1463-1469 (2017).</li>
<li>Seo, K., Kim, J. K., Oh, D. H., Ryu, H., Choi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+daily+living+test+to+screen+for+mild+cognitive+impairment+using+kinematic+movement+analysis%5BTitle%5D)+AND+%22PLOS+ONE%22%5BJournal%5D)">Virtual daily living test to screen for mild cognitive impairment using kinematic movement analysis.</a> PLOS ONE. 12 (7), e0181883(2017).</li>
<li>Albert, M. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+diagnosis+of+mild+cognitive+impairment+due+to+Alzheimer%27s+disease%3A+Recommendations+from+the+National+Institute+on+Aging-Alzheimer%27s+Association+workgroups+on+diagnostic+guidelines+for+Alzheimer%27s+disease%5BTitle%5D)+AND+%22Alzheimers.+Dement%22%5BJournal%5D)">The diagnosis of mild cognitive impairment due to Alzheimer's disease: Recommendations from the National Institute on Aging-Alzheimer's Association workgroups on diagnostic guidelines for Alzheimer's disease.</a> Alzheimers. Dement. 7 (3), 270-279 (2011).</li>
<li>MiddleVR. User Guide. [FR]. , Available from:
 <a target="_blank" href="http://www.middlevr.com/doc/current/">http://www.middlevr.com/doc/current/</a> c2014-c2017 (2017).</li>
<li>OptiTrack. Motive Quick Start Guide. , Available from:
 <a target="_blank" href="https://optitrack.com/public/documents/motive-quick-start-guide-v1.10.0.pdf">https://optitrack.com/public/documents/motive-quick-start-guide-v1.10.0.pdf</a> c1996-c2017 (2017).</li>
<li>Kennedy, R. S., Lane, N. E., Berbaum, K. S., Lilienthal, M. G. <a target="_blank" href="http://www.tandfonline.com/doi/abs/10.1207/s15327108ijap0303_3">Simulator sickness questionnaire: An enhanced method for quantifying simulator sickness.</a> Int. J. Aviat. Psychol. 3 (3), 203-220 (1993).</li>
<li>Singh, N. B., Baumann, C. R., Taylor, W. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Can+Gait+Signatures+Provide+Quantitative+Measures+for+Aiding+Clinical+Decision-Making%3F+A+Systematic+Meta-Analysis+of+Gait+Variability+Behavior+in+Patients+with+Parkinson%27s+Disease%5BTitle%5D)+AND+%22Front.+Hum.+Neurosci%22%5BJournal%5D)">Can Gait Signatures Provide Quantitative Measures for Aiding Clinical Decision-Making? A Systematic Meta-Analysis of Gait Variability Behavior in Patients with Parkinson's Disease.</a> Front. Hum. Neurosci. 10, 319(2016).</li>
<li>Hernandez, F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Six+degree-of-freedom+measurements+of+human+mild+traumatic+brain+injury%5BTitle%5D)+AND+%22Ann.+Biomed.+Eng%22%5BJournal%5D)">Six degree-of-freedom measurements of human mild traumatic brain injury.</a> Ann. Biomed. Eng. 43 (8), 1918-1934 (2015).</li>
<li>Gamito, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cognitive+training+on+stroke+patients+via+virtual+reality-based+serious+games%5BTitle%5D)+AND+%22Disabil.+Rehabil%22%5BJournal%5D)">Cognitive training on stroke patients via virtual reality-based serious games.</a> Disabil. Rehabil. 39 (4), 385-388 (2017).</li>
</ol>

作者声明无利益冲突。

我们详细描述了一种在沉浸式虚拟现实（VR）环境中，利用动作捕捉系统测量日常生活活动运动学的实验方案。首先，实验设置指导如何搭建、准备并让受试者熟悉沉浸式虚拟现实环境。其次，我们在虚拟现实中开发了两项标准化的工具性日常生活活动（IADL）任务。第三，方案部分的第3步和第5步是减轻虚拟现实晕动症最关键的步骤。在虚拟环境中设置动作捕捉系统时（第3步），应确保追踪相机安装得足够高，以完全覆盖捕捉区域；稳固固定相机，防止采集过程中发生移动；确保至少有两个相机可同时捕捉同一物体；并清除虚拟环境中的任何多余反光或不必要的标记点。在让受试者熟悉虚拟现实环境时（第5步），必须提供充足的训练时间，使其适应虚拟体验。若受试者出现任何虚拟现实晕动症状（例如：不适、头痛、恶心、呕吐、面色苍白、出汗、疲劳、嗜睡、定向障碍或冷漠），应立即终止实验。最后，运动学原始数据通过R统计软件进行处理与分析。
本方案的一个局限性和挑战在于，虚拟的工具性日常生活活动（IADL）任务需要通过与真实的IADL任务进行比较来加以验证。尽管先前的研究表明，虚拟任务与真实任务在反应时间、准确性<sup class="...

日常生活工具性活动（IADL），例如处理财务交易、使用公共交通工具和烹饪，由于需要多种神经心理功能，因而可作为医学标志物1。因此，IADL能力受损被认为是轻度认知障碍（MCI）和痴呆等神经系统疾病的前兆2。Gold对IADL任务的系统综述3指出，认知需求较高的任务，如财务管理与使用公共交通工具，是预测轻度认知障碍和痴呆的最早指标。
迄今为止，日常生活活动能力（IADL）最常用的评估方法包括自报告问卷、由知情者填写的问卷以及基于表现的评估4。基于问卷的IADL评估成本低且易于实施，但容易受到主观偏倚的影响。例如，患者在自我报告时往往高估或低估自身的IADL能力5。同样，知情者也可能因观察者的误解或知识缺失而错误判断患者的IADL能力4。因此，要求患者执行特定IADL任务的基于表现的评估方法更受青睐，尽管其中许多任务并不适用于一般的临床环境6。
近年来，虚拟现实（VR）研究表明，该技术在医学和医疗保健领域具有重要的应用前景，涵盖从培训、康复到医学评估等各个方面7。所有参与者均可在模拟真实世界的相同VR条件下接受测试。例如，Allain et al.8 开发了一项虚拟制作咖啡任务，结果显示认知功能受损的患者在该任务中表现较差。Klinger et al.9 构建了另一个用于邮寄和购物任务的虚拟现实环境，发现VR中任务完成时间与神经心理学测试结果之间存在显著关联。以往关于工具性日常生活活动（IADL）评估的VR研究大多集中在使用鼠标和键盘等传统输入设备时的简单绩效指标，如反应时间或准确率8,9。因此，需要获取更详细的IADL绩效数据，以有效筛查轻度认知障碍（MCI）患者4。
基于实时动作捕捉数据的运动学分析是一种用于定量记录与工具性日常生活活动（IADL）任务相关详细行为表现数据的有力方法。例如，White et al.10 开发了一个虚拟厨房环境，可在个体执行日常生活任务时采集其关节角度数据，并利用这些采集到的数据对物理治疗的效果进行定量评估。Dimbwadyo-Terrer et al.11 构建了一个沉浸式虚拟现实（VR）环境，用于评估个体在完成基本日常生活任务时上肢的功能表现，并证明在虚拟现实环境中记录的运动学数据与上肢功能量表具有高度相关性。这类结合动作捕捉系统的运动学分析有望为进一步快速评估患者的认知功能障碍提供新的途径12。在轻度认知障碍（MCI）患者的筛查中引入详细的运动学数据，相较于健康对照组，显著提高了患者的分类准确性13。
本文介绍了一种利用动作捕捉系统在沉浸式虚拟现实（VR）环境中评估日常生活活动运动学的实验方案。该方案包含两项复杂的工具性日常生活活动（IADL）任务： &#34;任务1：取款&#34; （处理财务交易）以及 &#34;任务2：乘坐公交车&#34; （使用公共交通工具）。在执行任务期间，动作捕捉系统记录了受试者优势手和头部的位置与朝向。完成任务1后，采集优势手的运动轨迹、移动距离和完成时间。在任务2中，采集头部的运动轨迹、移动距离和完成时间。本文的“代表性结果”部分详细描述了轻度认知障碍（MCI）患者初步测试的结果即，与健康对照组相比，IADL能力受损）即，IADL能力保持完整。

<table><tbody><tr><td>计算机</td><td>N/A</td><td>N/A</td><td>计算机配置要求：&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp; - 单插槽 H3 (LGA 1150) 支持&lt;br/&gt; - Intel&amp;reg; Xeon&amp;reg; E3-1200 v3，第四代 Core i7/i5/i3 处理器&lt;br/&gt; - Intel&amp;reg; C226 Express PCH&lt;br/&gt; - 最高支持 32GB DDR3 ECC/非 ECC 1600MHz UDIMM，共 4 个插槽&lt;br/&gt; - 双千兆以太网 LAN 端口&lt;br/&gt; - 8 个 SATA3 (6Gbps)&lt;br/&gt; - 2 个 PCI-E 3.0 x16，3 个 PCI-E 2.0 x1，以及 2 个 PCI 5V 32 位插槽&lt;br/&gt; - 6 个 USB 3.0（2 个后置 + 4 个通过接头）&lt;br/&gt; - 10 个 USB 2.0（4 个后置 + 6 个通过接头）&lt;br/&gt; - 由 Realtek ALC1150 提供的 HD Audio 7.1 声道连接器&lt;br/&gt; - 1 个 DOM 电源连接器和 1 个 SPDIF 输出接头&lt;br/&gt; - 800W 高效率电源&lt;br/&gt; - Intel Xeon E3-1230v3&lt;br/&gt; - DDR3 PC12800 8GB ECC&lt;br/&gt; - WD 1TB BLUE WD 10EZEX&amp;nbsp; 3.5&quot;&lt;br/&gt; - NVIDIA QUADRO K5000 &amp;amp; SYNC</td></tr><tr><td>立体 3D 投影仪</td><td>Barco</td><td>F35 AS3D WUXGA</td><td>分辨率：&lt;br /&gt;- WQXGA (2,560 x 1,600) &lt;br /&gt;- Panorama (2,560 x 1,080) &lt;br /&gt;- WUXGA (1,920 x 1,200)，1080p (1,920 x 1,080)</td></tr><tr><td>立体眼镜</td><td>Volfoni</td><td>Edge 1.2</td><td>更多信息，请访问 http://volfoni.com/en/edge-1-2/</td></tr><tr><td>动作捕捉系统</td><td>NaturalPoint OptiTrack</td><td>17W</td><td>更多信息，请访问 http://optitrack.com/products/prime-17w/</td></tr><tr><td>OptiTrack（动作捕捉软件）</td><td>NaturalPoint OptiTrack</td><td>Motive 2.0</td><td>更多信息，请访问 https://optitrack.com/downloads/motive.html</td></tr><tr><td>MiddleVR（中间件软件）</td><td>MiddleVR</td><td>MiddleVR For Unity</td><td>更多信息，请访问 http://www.middlevr.com/middlevr-for-unity/</td></tr><tr><td>VRDaemon（中间件软件）</td><td>MiddleVR</td><td>MiddleVR For Unity</td><td>更多信息，请访问 http://www.middlevr.com/middlevr-for-unity/</td></tr><tr><td>Unity3D（游戏引擎）</td><td>Unity Technologies</td><td>Personal</td><td>更多信息，请访问 https://unity3d.com/unity</td></tr></tbody></table>

使用运动捕捉系统在虚拟现实中测量日常生活动作的运动学参数

Measuring the Kinematics of Daily Living Movements with Motion Capture Systems in Virtual Reality

无法完成日常生活工具性活动（IADL）是多种神经心理疾病发生的前兆。基于问卷的IADL评估方法虽易于使用，但易受主观偏倚影响。本文介绍一种新颖的虚拟现实（VR）测试方法，用于评估两项复杂的IADL任务：处理财务交易和使用公共交通工具。当受试者在虚拟现实环境中执行任务时，动作捕捉系统会追踪其惯用手和头部在三维笛卡尔坐标系中的位置与朝向。采集运动学原始数据，并将其转化为“运动学表现指标”， 即，运动轨迹、移动距离和完成时间。运动轨迹是指身体特定部位的运动路径（例如，优势手或头部）在空间中的运动。移动距离指运动轨迹的总长度，完成时间指完成一项工具性日常生活活动（IADL）任务所需的时间。这些运动学指标能够区分认知功能障碍患者与健康对照者。该运动学测量方案的建立有助于检测早期与IADL相关的认知功能障碍。

使用统计软件 R 分析了“任务1：取款”生成的 CSV 文件，以计算优势手的运动轨迹、移动距离和完成时间。优势手运动轨迹的可视化结果如下（图6）。优势手的移动距离通过计算执行任务1时连续手部位置之间的总距离之和得出，位置间的距离为欧几里得距离。完成时间指完成整个任务所需的时间（即，从第1步“将卡片插入ATM”到第8步“从ATM取钱”）。有关统计分析的R代码，请参见随附的“Task 1 R Code.docx”文件 补充文件 3.
使用 R 统计软件分析“任务 2：乘坐公交车”中的 CSV 文件，以计算头部运动轨迹、移动距离和任务完成时间。头部运动的轨迹可视化结果见图 7。头部移动距离通过累加执行任务 2 过程中连续头部位置之间的总距离来计算，两个位置之间的距离为欧几里得距离。完成时间...

我们设计了一种利用动作捕捉系统评估日常生活工具性活动（IADL）的虚拟现实测试。我们提出了一种详细的运动学分析方法，用于解读参与者的各种动作，包括运动轨迹、移动距离和完成时间，以评估其IADL能力。

无法完成日常生活工具性活动（IADL）是多种神经心理疾病的先兆。基于问卷的……

本实验流程的总体目标是通过在沉浸式虚拟环境中使用动作捕捉系统，评估日常生活动作的运动学性能指标。该方法有助于回答医学领域中的关键问题，例如如何通过完成日常任务的能力来早期诊断痴呆症和轻度认知障碍。该技术的主要优势在于能够实时定量记录执行日常任务时的详细运动学数据，例如运动轨迹、移动距离和完成时间。该技术的应用意义在于有助于对轻度认知障碍老年人（EMSCI）进行痴呆的早期诊断，因为完成使用公共交通工具等日常任务的能力与神经心理功能密切相关。我们最初产生这一方法的想法，是意识到虚拟现实可作为评估环境的潜力，在该环境中，参与者能够在模拟真实世界体验的相同条件下接受测试。通常，刚接触该方法的研究人员会面临困难，因为在虚拟现实中开展实验并分析运动学数据具有较高的操作难度。首先设置硬件，包括四台计算机、四个立体三维投影仪和八个运动追踪摄像头，用于追踪在进行两项日常生活工具性活动（IADL任务）过程中受试者惯用手和头部的位置与朝向。确保所有计算机均已安装所需的软件。对于MiddleVR，请访问其网站以获取输入设备、立体显示、集群和交互功能相关的最新版本库。接下来，创建一个 Windows 10 家庭组，将四台计算机连接到家庭网络。在主计算机上创建一个文件夹，并将其共享给其他家庭组计算机。然后，在虚拟环境中安装八个运动追踪摄像头，以完全覆盖捕捉范围。牢固固定摄像机，确保其在采集过程中保持静止。确保虚拟环境中的物体在任何时候至少能被两个摄像机同时捕捉到。根据安装手册，在主计算机上安装动作捕捉软件。使用六类以太网电缆将主计算机与动作捕捉系统连接。接下来，通过移除所有反光物体来准备虚拟环境。确保所有计算机、立体3D投影仪和动作捕捉系统均已开启。四台计算机启动后，通过双击 VRDaemon.exe 来启动虚拟现实软件。最后，在主计算机上启动动作捕捉软件，点击顶部菜单附近标有“打开现有项目”的按钮，加载相机校准文件。首先为受试者提供一副重量约为50克的立体眼镜，确保其舒适地佩戴在眼睛和耳朵上。接着，将重量不足1克的反光标记物贴附在受试者的优势手和头部。注意确保反光标记物牢固贴附。告知参与者，他们可以通过头部运动在虚拟环境中自由移动或旋转，并可用优势手点击虚拟物体。让他们了解，虚拟环境中将出现一只虚拟手，以模拟其食指的位置。接下来，请参与者在虚拟环境中自由活动五分钟，以熟悉虚拟现实环境。然后，要求受试者使用惯用手点击虚拟按钮五分钟，以熟悉与虚拟物体交互的操作方式。最后，通过模拟器晕动症问卷评估受试者是否对虚拟现实（VR）引起的不适具有免疫力。首先，向受试者详细解释任务内容，并提供在虚拟环境中完成该任务的八个动作步骤。告知他们操作步骤为：第一步，将卡片插入ATM；第二步，选择取款菜单；第三步，选择取款金额；第四步，选择钞票面额；第五步，输入PIN（个人识别号码）；第六步，选择是否打印凭条

measuring-kinematics-daily-living-movements-with-motion-capture

Research

科研

JoVE Journal

Behavior

行为

虚拟现实中运动捕捉系统的日常生活运动运动学测量

在损伤或疾病后重新训练异常的运动模式是物理康复的关键组成部分。近年来技术的进步使得在多种任务中能够准确评估运动，并几乎即时地对结果进行量化，从而为实时修正错误运动模式提供了新的机会。...

利用表现的实时反馈进行运动再训练

证明精神分裂症认知功能损害治疗有效性的难点之一，在于找到能够优化评估与日常功能相关技能的测量方法。...

日常生活技能虚拟现实评估工具的开发

经颅磁刺激、肌电图和三维运动捕捉是研究人类神经肌肉功能的常用无创技术。本文介绍了一种同步采集这三种工具所产生的数据的方案，同时还创新性地加入了虚拟现实刺激呈现与反馈。...

用于研究人类运动控制的多功能实验平台：结合经颅磁刺激、肌电图、运动捕捉与虚拟现实技术

本文描述了一种用于检验智能手机应用程序在矢状面内记录的运动学测量值与三维运动捕捉系统相比的同时效度的方法。该方案将使临床医生能够设置智能手机以采集人体运动视频。...

使用智能手机进行视频运动分析（ViMAS）：一项初步研究

本方案描述了一种用于评估中风患者及健康对照个体上肢运动表现和感觉运动功能的客观方法。提供了饮水任务三维运动捕捉的标准化测试流程、运动学分析方法及结果变量。...

对有无上肢功能障碍者饮水任务的三维运动捕捉运动学分析

虚拟现实（VR）实验的实施可能较为困难，且需要细致的规划。本方案描述了一种用于设计和实施虚拟现实实验的方法，该实验可采集人类受试者的生理数据。本方法采用虚拟环境实验（Experiments in Virtual Environments,...

结合生理指标测量的虚拟现实实验

双荧光透视技术可精确捕捉 体内 人体关节的动态运动，可相对于重建的解剖结构进行可视化观察（例如关节运动学）。本文提供了一项详细方案，用于量化日常生活负重活动中髋关节的关节运动学，包括将双平面透视技术与传统的皮肤标记点运动捕捉技术相结合的方法。...

体内动态负重活动中髋关节关节运动学的双荧光透视定量分析

虚拟现实（VR）是一种强大但尚未充分利用的方法，可用于推动神经系统疾病的诊断与治疗。克利夫兰诊所虚拟现实购物平台将先进的VR内容与全向跑步机相结合，用以量化日常生活中工具性活动能力——这一指标被认为是神经系统疾病的前驱标志物。...

克利夫兰医学中心用于评估日常生活工具性活动能力的沉浸式虚拟现实购物平台

本文所述方案旨在加强上肢功能障碍的定量评估，目标是开发更多可用于临床和家庭远程评估的技术。该方案结合虚拟现实与生物传感器技术以及标准临床技术，以深入了解神经肌肉系统的功能状态。...

虚拟改良箱块测试中运动与肌肉活动定量评估的设置

本文描述了在虚拟现实环境中对小鼠行为期间进行皮层双光子成像所涉及的实验步骤。...

小鼠在虚拟现实环境中导航时的双光子钙成像

学习使用虚拟现实运动捕捉系统评估日常生活活动运动学表现。该方法通过轨迹、移动距离和完成时间等数据，帮助早期诊断痴呆症和轻度认知障碍。

使用运动捕捉系统在虚拟现实中测量日常生活动作的运动学参数

探索更多视频