Summary
对肌肉功能的客观测量尤其对儿童具有挑战性。基于商业上可用的数字3维传感器, 开发了一个儿童友好的游戏测试, 以评估上肢功能的临床试验。
Abstract
渐进和不可逆转的肌肉萎缩的特点是脊柱肌肉萎缩 (SMA) 和其他类似的肌肉紊乱疾病。客观地评估肌肉功能是成功临床试验的一个重要的, 虽然具有挑战性的先决条件。目前的临床评定量表限制了某些预定义的粗粒度单个项目的运动异常。Kinect 3 维传感器已成为一种低成本、便携的运动传感技术, 用于在许多医学和研究领域捕捉和跟踪人们的运动。研制了一种使用该3维传感器的新方法, 并对 SMA 患者的上肢功能进行了一种类似游戏的测试。原型测试以关节运动能力为目标。当坐在一个虚拟的场景, 病人被指示延长, 弯曲, 并解除整个手臂, 以达到和放置一些对象。对上肢运动的运动学和时空特征进行了提取和分析,例如、肘关节伸展和屈曲角、手速度和加速度。第一项研究包括一小群 18 ambulant SMA 患者和19个年龄和性别匹配的健康控制。对手臂运动进行了综合分析;然而, 由于患者能力的不匹配和测试困难, 发现组间没有显著差异。根据这一经验, 设计并实施了第二个版本的测试, 其中包含了第一个游戏的修改版本, 增加了难度, 第二个游戏针对的是肌肉耐力。新的测试尚未在任何病人组进行。我们的工作已经证明了3维传感器在评估此类肌肉功能方面的潜在能力, 并提出了一种客观的方法来补充临床评定量表。
Introduction
对肌肉功能的综合评估是许多神经肌肉疾病的关键评价, 是成功临床试验的重要前提。临床评分表越来越多地用作标准化评估工具, 并作为一项既定的结果衡量指标1。但是, 它们严重依赖于临床医生的主观判断, 并可能导致显著的差异, 导致内部和评分人不一致的2或生成的数字不符合精确测量1的标准。此外, 许多神经肌肉疾病在很大程度上影响到儿童, 大多数的这些评分表是冗长和枯燥的, 这带来了额外的挑战。神经肌肉疾病的一个例子是脊柱肌肉萎缩 (SMA), 这是一个致命的神经肌肉疾病的特点是渐进性肌肉虚弱3。根据临床表型, 有些病人生活在轮椅上 (类型 2), 有些人可以独立站立和行走 (3 型)4。在关节运动范围、肌肉强度、肌肉疲劳等方面, 需要更灵敏客观的评估工具来测量肌肉功能, 以追踪疾病进展和药物功效。
运动传感技术的飞速发展, 使得分析相对较低成本的运动特性成为可能, 其中3维传感器 (Kinect) 在无标记方式下捕获全身运动的价值得到了广泛的研究。通过使用集成的红外传感器和已实现的机器学习算法, 通过3维位置推断出被追踪者的身体位置, 其中20个解剖地标称为身体关节或点, 包括头部、颈部、手, 手腕, 肘部, 肩膀, 脊柱, 臀部, 膝盖, 脚踝和脚5。时间分辨率是高达30赫兹, 这是足够的身体运动, 除了一些病理性运动症状, 如震颤。3维传感器的空间精度得到了广泛的验证与地面真相6或金标准, 这是一个基于标记的3维运动分析系统7,8,9,10 ,11,12。通过不同的测试, 特别是从额视图12和粗运动7中发现了良好的并发有效性和重现性。为了客观地评估 SMA 儿童上肢功能, 设计并实现了基于3维传感器的游戏式测试, 以测量关节运动的能力。
Protocol
这项试验是在巴塞尔大学儿童医院 (UKBB) 与成人和儿童进行的一项观察性的纵向研究中进行的。有关该研究的更多人口统计学和临床信息, 请在上一出版物13、14中找到。所有程序都已得到地方道德委员会 Ethikkomission UKBB 的批准, 并按照《赫尔辛基宣言》中所表达的原则进行。根据国际协调会议 (ICH) 和地方条例, 由所有受试者或法律授权的代表为低于法定年龄的儿童提供书面知情同意和遵守研究议定书同意.
注: 设计并实现了一个旨在测量关节运动范围的原型游戏 "衣柜"。它随后被导出为可在任何 Windows 8 或更高操作系统上运行的可执行应用程序, 只要还安装了必要的3维传感器驱动程序。基于 kinect 传感器 v1 或第二个版本 (参见讨论) 的原型游戏的基础上, v2 的感应器可以根据要求提供 (请参阅补充编码文件)。
1. 测试的设置和准备
- 在计算机上安装3维传感器 (e. g、Kinect) 驱动程序和设计的应用程序。
- 将计算机放在合适的曲面上, 如表, 高度为 0.5-1 米。
- 将3维设备也放在与计算机中间对齐的同一曲面上, 使3维相机的高度固定在地面上约 0.5-1 米的桌子上。根据需要手动调整3维传感器的仰角, 以正确捕获主题 (请参见下面的 2.4.2)。
- 正确连接所有电缆, 包括3维适配器到计算机和电源电缆。
- 在桌子前面放一个高度可调节的椅子, 电脑和3维传感器在2米左右。
2. 进行测试
- 启动计算机并将声音打开到最佳音量。如果需要自动数据传输, 请确保 Internet 已连接。
- 指示主语坐在椅子上。
- 在计算机上启动应用程序, 并在第一页上输入主题 ID。
- 点击第一页上的 "开始" 按钮进入第二页, 显示 "衣柜" 游戏:
- 请注意屏幕上的骨架图 (仅上半身), 代表主体在大衣柜前面的主体。当图没有被看见, 指示主题波浪并且向前和向后移动, 如果他在轮椅或站立直到3维传感器捕获人。
- 阅读屏幕上的说明, 并相应地调整椅子和主题的距离、高度和侧面位置, 直到所有指令都以绿色字体显示。
注意: 椅子的距离、高度和侧向位置可以由主语自己调整, 或者由一个帮助者在之后走出田野。如果无法达到最佳高度, 请手动调整3维相机的仰角。最佳位置是距离设备2米, 与主题的颈部显示在屏幕的中间。 - 按火车按钮启动培训会话而不进行数据录制。
注意: 如果主题已经熟悉游戏并知道要做什么, 请直接按开始按钮并跳过培训。 - 让主题按照屏幕上的指示执行以下动作:
- 将请求的臂 (右或左) 扩展到闪烁的虚拟对象, 直到对象在虚拟手中。
- 弯曲相同的手臂, 身体接触所指示的点在身体上, 以便放置对象。
- 继续手臂伸展和屈曲运动, 直到所有20物体到达并放置。
注: 每回合有两轮10个物体。在一个圆内有5物体在右侧, 需要右手臂后面跟着5对象, 左边是左手臂被问。培训会议结束。
- 按 "开始" 按钮从一开始就执行相同的任务, 如在步骤2.4.3 中, 但这一次将9上半身的位置记录到加密文件中。游戏会自动完成, 无论是放置所有的20对象, 或当预定义的时间 (4 分钟) 耗尽。
注意: 如果主题太弱或任何其他情况发生, 也可以在任何时候退出游戏。
- 进入最后一页, 自动显示一个蜘蛛情节表明关节的范围从 "衣柜" 游戏。
- 通过按下END按钮或通过按重复按钮重复测试来退出游戏。
3. 测试数据处理后
- 将记录和加密的数据和日志文件保存在硬盘上, 并可选择通过 internet 传输到数据分析人员。以前的出版物13中提供了数据处理和分析的详细说明。
- 通过检查日志文件并将临床报告与3维记录进行比较, 确认数据的完整性和有效性。
- 计算和提取27运动特性, 如关节角、速度和加速度、手径长度、身体补偿运动、可到达空间等。
- 计算, 绘制和选择的特点, 以了解和解释3维传感器数据以及以下统计分析。
- 执行 PCA (主成分分析), 方差分析, 相关分析和线性混合效应模型作为统计分析。
Representative Results
运用上述程序, 对不同的运动特征进行了绘制, 并对分析方法进行了探讨, 以获得对运动的全面理解。
在图 1中, 9 个上半身点的轨迹被绘制为 x 和 Y 轴的限制, 表示2维投影 (x 代表主题的水平位置, Y 表示垂直位置, 而 Z 是到3维的距离传感器)。图 1显示了3维传感器实际测量的内容, 即主体点的空间位置。通过并列一个 SMA 患者和一个健康控制在4次访问, 它显示, 患者和控制完成了任务以清楚地可辨认的轨道。有某些主题相关的特点, 保持一致的所有访问,例如, 患者的手的轨迹。相比之下, 控制主体的树干运动随着时间的推移, 这是由较小人群的红色, 黄色和粉红色的线 (头部, 颈部和躯干点, 分别) 表示。两个学科都没有表现出任何不对称的运动特征。
图 2显示从正文点的时间序列位置提取的一些具有代表性的功能。与图 1相比,图 2提供了从原始的3维传感器数据中提取和可视化潜在信息的概念, 以了解底层的移动特性。图 2a是一个分段的手迹图, 指示从单个主题两轮的肘伸展和屈曲阶段。弹道在两个回合之间相当很好相似。对于三个较低的对象, 两只手倾向于超越, 但这不是对上面两个对象的情况。图 2b绘制手速度的直方图 (当手移动时, 静止状态被排除)。这一主题的左手和右手之间没有显著的差别。图 2c显示头部、颈部和躯干点的总路径长度, 可视为每个对象位置的一种主干补偿运动。对于放置在更高拐角处的对象3和 8, 树干运动相对于其他位置比较大。此外, 头部的移动比其他两点更明显。图2d、2e、和2f boxplots 显示了对某些功能的所有4次访问的总体分布。只有前七名患者, 所有4次访问都显示清晰。图 2d显示总的手径长度除以传感器测量的单个臂长度, 以补偿主体间臂长度差异。在被执行的运动期间到达和安置对象, 手路径长度是大约两次胳膊长度为一个对象;因此, 对于20对象, 总路径长度大约是臂长的40倍。例如, 在患者2和3之间的主干补偿移动 (图 2e) 或患者1和3之间的中间速度 (图 2f) 之间存在明显的跨学科差异。
完整的临床相关分析和结果可以在我们的早期出版物13中找到。
图 1: 在测试期间, 9 上半身点的代表性跟踪图.前4个地块是从一个 SMA 患者和底部4地块是从一个健康的控制。此数字已从我们以前的出版物13中进行了修改。请单击此处查看此图的较大版本.
图 2: 具有代表性的摘要分析结果: (a)、(b)、(c) 均来自单个主题, (d)、(e)、(f) 是由前7例 SMA 患者完成4次访问的总结.在 (d)、(e) 和 (f) 中, 框的底部和顶部为第一个和第三个分位数, 框内的水平线为中值。胡须的长度 (从盒子中延伸垂直线) 被定义为下四分位的1.5 四分位范围 (IQR) 中的最低点, 以及上部四分位的 1.5 IQR 内的最高点。钻石代表了胡须外的异常点。(一) 分段手迹图。当手伸向物体时, 实线表示肘伸展阶段, 当手把物体放在身体上时, 虚线代表肘屈曲阶段。每种颜色表示两个回合中相同位置的对象。(b) 伸展和屈曲运动期间手速度的直方图。(c) 每个物体的头部、颈部和躯干点的总补偿运动长度。(d) 右、左手总箱线图轨迹长度分别超过4次。y 轴显示总的手径长度除以各臂长度。(e) 箱线图的总躯干补偿运动, 包括头部、颈部和躯干点, 分别在4次访问中左右运动。(f) 右手和左手运动期间中位数的箱线图分别超过4次。请单击此处查看此图的较大版本.
Discussion
建议的基于 Kinect 的评估提供了一个客观和全面的运动分析, 同时提供了一个儿童友好的, 低成本的, 便携的解决方案, 关于传统的临床评分表或复杂的基于标记的视频系统.通过一个持续不到5分钟的游戏测试, 同时对多体点进行了深入的研究, 并对许多时空运动特性进行了高精度的分析, 包括速度、关节角等。与评级秤或视频系统相比, 整个设置和培训工作的要求也要低得多。
此方法中最关键的一步是测试设计。为了捕捉潜在的运动症状, 设计的任务应涵盖相应的能力谱, 避免地板或天花板的影响。在这一特定征兆的例子中, SMA 的常见物理症状包括肌肉虚弱、关节范围有限、肌肉僵硬、疲劳等。所提出的试验适用于这些症状涉及有限关节范围, 这是典型的 SMA 2 型患者。不幸的是, 原型仅被测试作为第一次尝试在计划的研究只吸收 SMA 3 型患者。因为这些患者的能力高于当前测试可能测量 (天花板作用), 期望的结果不可能达到。对于这个 ambulant 患者组, 肌肉疲劳和身体移植将是一个更好的措施。
根据这一经验, 设计了第二版的测试, 包括修改版的 "衣柜" 游戏和额外的 "划船划船" 游戏。修改版的 "衣柜" 游戏有三难度水平。在第一级, 物体被放置在身体的附近, 因此主语不需要完全伸展手臂, 它的目标是虚弱的病人组, 他们只能坐在轮椅上, 不能完全伸展手臂而不受支持。在第二个层次, 对象放置在整个手臂长度的距离, 这是针对病人组谁可以解除和伸展手臂没有任何支持。在最困难的水平, 对象被放置在胳膊范围之内轻微地;因此, 主题需要移动上部树干作为扩展。第三个层次的目标是 ambulant 患者组, 其中轴向和近端运动也测量。在游戏的定位阶段, 主体的臂长被自动测量, 然后用来计算下一游戏中物体的位置;因此, 难度水平自动调整到个人的能力。当达到每个个体的能力限制并且无法达到或放置对象时, 该级别将在某一时间后自动跳过, 或由操作员手动按屏幕上的 "跳过" 按钮。"赛艇" 游戏的目标是肌肉耐力, 它需要的主题重复一个手臂滚动运动尽可能快1分钟。在未来的研究中, 第二个版本的目的是涵盖患者频谱从 SMA 2 型到3型, 因为任务测量的能力有限的患者的手臂运动能力的患者的全臂功能和有限的轴向运动。
测试设计的另一面是对地板效果的考虑。由于空间和时间分辨率有限, 3 维传感器只能精确地捕捉到诸如行走、挥舞手臂等运动的大体动作。为了进行精细的运动检测, 包括数字攻丝或手转, 需要更灵敏的数字设备, 如手机或手腕 "服饰"。正如所讨论的那样, 此类应用程序成功的关键是在潜在疾病症状、设备功能和设计任务之间建立正确的匹配。
测试设计过程中的其他一些考虑因素包括年龄组、学习效果、语言等。由于 SMA 主要影响儿童, 测试应尽可能简单和清晰, 同时保持一个有吸引力的游戏化特征。在我们的设计中, 使用了卡通人物和手绘对象。这项任务模仿了三岁以后儿童通常获得的自我着装行为。这些运动保持简单, 使受试者能够在短的训练阶段和学习效果被避免的情况下理解和执行测试, 在我们以前的出版物13中对此进行了测量和讨论。
在执行测试协议和数据分析时, 可能会出现类似于其他3维传感器应用程序的问题。这些问题包括阳光干扰, 特殊服装, 在视野中的一个以上的主题, 和不规则的取样时间。我们发现一个案例, 在一个阳光明媚的房间里, 3 维传感器没有发现黑色衣服上的一个主题, 即使这个主题不是直接在阳光下。当多个主题出现并从视图字段中消失时, 检测到的骨架的 ID 号的分配可能会跳过, 这会给分析造成负担。尽管3维传感器在理论上输出信号的频率为30赫兹, 但实际输出可能有多达100毫秒的间隙. 因此, 跟踪和导出时间戳很重要。
我们的第一个测试是在3维传感器的第一个版本上执行的, 它目前已被第二个版本取代, 我们修改后的版本是基于这第二个版本实现的。在版本之间, 底层驱动程序是不同的, 并且应用程序接口 (API) 也已更改。迁移应用程序时没有其他显著差异。由于两种应用程序版本都可以根据作者的要求自由提供, 传感器驱动程序可以从 Kinect 网站下载, 这与用户无关。
使用3维传感器, 我们开发了一种创新的、定量的和客观的上肢功能评估工具, 其中包含了儿童友好的类似游戏技术。对其可行性进行了探讨和分析。我们的工作展示了3维传感器作为一种替代和互补的运动评估方法的潜在威力。
Disclosures
作者邢陈, 德特勒夫·布维特狼, Juliane Siebourg Polster, 基督教捷克, 奥马尔 Khwaja 和马丁. 霍夫曼-罗氏公司的雇员, 资助了本文的所有研究。
Acknowledgments
我们感谢巴斯蒂安的参加测试演示和劳拉 Aguiar 校对这篇手稿。
Materials
| Name | Company | Catalog Number | Comments |
| Microsoft Kinect for Windows v1 sensor | Microsoft | N/A | The first version of the test was developed on Kinect sensor v1 which is not sold any more. But the second version was developed on the Kinect sensor v2 which can be tested in a similar way by using Microsoft Kinect for Windows v2 sensor (GT3-00003) together with Microsoft Kinect Adapter (9J7-00009) |
| DELL XPS 2720 All-In-One PC with windows 8 operating system, 16G RAM, Intel Core i7 and 64-bits | DELL | N/A | In our setup, a All-in-one computer was used, but in fact any laptop or computer which fullfills the following requirements and a big screen for the subjects to see will work: windows 8 or higher operating system; 64-bit processor; dual-core 3.2 GHz or faster processor; dedicated USB 3.0 bus; 2 GB RAM |
References
- Hobart, J. C., Cano, S. J., Zajicek, J. P., Thompson, A. J. Rating scales as outcome measures for clinical trials in neurology: problems, solutions, and recommendations. Lancet Neurol. 6, 1094-1105 (2007).
- Cano, S. J., et al. Rasch analysis of clinical outcome measures in spinal muscular atrophy. Muscle Nerve. 49, 422-430 (2014).
- Monani, U. R., De Vivo, D. C. Neurodegeneration in spinal muscular atrophy: from disease phenotype and animal models to therapeutic strategies and beyond. Future Neurol. 9, 49-65 (2014).
- Kolb, S. J., Kissel, J. T.
- Shotton, J., et al. Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society. , 1297-1304 (2011).
- Plantard, P., Shum, H. P., Le Pierres, A. S., Multon, F. Validation of an ergonomic assessment method using Kinect data in real workplace conditions. Appl Ergon. , (2016).
- Galna, B., et al. Accuracy of the Microsoft Kinect sensor for measuring movement in people with Parkinson's disease. Gait Posture. 39, 1062-1068 (2014).
- Otte, K., et al. Accuracy and Reliability of the Kinect Version 2 for Clinical Measurement of Motor Function. PLoS One. 11, 0166532 (2016).
- Clark, R. A., et al. Reliability and concurrent validity of the Microsoft Xbox One Kinect for assessment of standing balance and postural control. Gait Posture. 42, 210-213 (2015).
- Milgrom, R., Foreman, M., Standeven, J., Engsberg, J. R., Morgan, K. A. Reliability and validity of the Microsoft Kinect for assessment of manual wheelchair propulsion. J Rehabil Res Dev. 53, 901-918 (2016).
- Bonnechere, B., et al. Validity and reliability of the Kinect within functional assessment activities: Comparison with standard stereophotogrammetry. Gait & Posture. 39, 593-598 (2014).
- Huber, M. E., Seitz, A. L., Leeser, M., Sternad, D. Validity and reliability of Kinect skeleton for measuring shoulder joint angles: a feasibility study. Physiotherapy. 101, 389-393 (2015).
- Chen, X., et al. Feasibility of Using Microsoft Kinect to Assess Upper Limb Movement in Type III Spinal Muscular Atrophy Patients. Plos One. 12, (2017).
- Bonati, U., et al. Longitudinal characterization of biomarkers for spinal muscular atrophy. Ann Clin Transl Neur. 4, 292-304 (2017).
