基于网络的临床医生指南：录制标准化饮酒任务运动学视频以用于计算机视觉分析

摘要

饮水任务的运动学指标已被推荐用于上肢中风康复，但传统的运动学研究方法被认为不切实际。本方案描述了一种基于网络的指南，用于采集饮水任务的视频，这些视频可与计算机视觉技术兼容，以提取推荐的运动学指标。

摘要

上肢功能评估对于康复过程至关重要。在过去二十年中，饮水任务活动的运动学评估已被证实对受多种疾病影响的康复人群（包括脑卒中和肌肉骨骼疾病患者）具有良好的效度，并能敏感地反映临床变化。这些关于饮水任务运动学的基础研究工作，已促成了在康复研究中采用上肢运动学指标的共识性建议。然而，实际应用中的若干问题限制了其在研究领域的推广以及向临床实践的转化。采用运动学评估的主要障碍包括：传统动作捕捉方法在获取运动学数据时的技术复杂性，以及运动学背后活动方案的标准化程度不足。针对前者，人工智能领域中的计算机视觉技术取得的突破正显著降低运动学分析的技术门槛；针对后者，本文介绍了一款基于网络的应用程序（app），旨在指导临床医生使用现成的立体摄像头、个人计算机以及门诊临床环境中易于获取的基本材料，完成高度标准化的饮水任务活动视频采集。此外，我们还展示了该视频采集方式与自主开发的计算机视觉分析流程之间的兼容性，可用于提取饮水任务的运动学参数。通过持续开展的验证研究和可用性评估，我们预期此类工具将显著提升获取高度标准化上肢运动学指标的可及性，从而推动上肢功能障碍康复人群的研究进展与临床诊疗水平。

引言

在日常生活中，我们大部分上肢活动都需要双侧肢体共同参与。神经损伤后常出现上肢功能丧失，约80%的脑卒中幸存者存在上肢功能障碍¹。这些功能障碍已知会降低个体的功能水平和生活质量²。康复治疗仍是恢复功能的主要干预手段³，而康复过程被描述为一个以精确评估为基础的循环过程⁴。在过去二十年中，上肢运动学评估受到越来越多的关注。这部分归因于现有临床评估方法的局限性，这些局限性包括评估者主观性以及对细微变化的分辨能力较差等公认缺点⁵。

运动学是生物力学的一个分支，涉及研究人体、肢体和关节在运动过程中的活动。在以往的研究中，饮水任务的运动学研究已受到学术界的广泛关注⁶。饮水任务在运动学评估中广受欢迎，原因在于其运动复杂性、目标导向的任务特异性以及周期性运动特征⁷。除了在神经发育典型成人和儿童中开展的大量研究外，饮水任务还在多种神经系统疾病中得到了研究^8,9,10,11。在脑卒中人群中，这些研究已识别出若干重要的运动学指标，这些指标具有良好的有效性、可靠性和对临床变化的敏感性^12,13,14。然而，由于需要复杂的设备、高昂的成本以及专业技术知识，运动学评估长期以来被认为难以在临床实践中推广应用¹⁵。

随着人工智能的发展，运动学评估的实际障碍正在显著减少。例如，计算机视觉——人工智能的一个分支领域，能够从数字图像中提取信息——如今可被用于利用相对简单的摄像机和计算机实现无标记动作捕捉系统^16,17,18。为了利用计算机视觉领域的这些进展，本方法学论文旨在介绍一种基于网络的工具，以指导临床医生完成以下工作：（i）实施饮水任务的标准化活动方案；（ii）录制与计算机视觉工作流程兼容的饮水任务视频，以便提取运动学参数。尽管这些运动学参数尚未纳入常规临床诊疗，但本方案的目标是吸引希望将生物力学研究融入临床实践的医务人员参与其中。预期影响是显著提升临床对上肢运动学参数的可及性，从而为当前康复治疗方案提供依据，并支持新型治疗方案的研发与探索。

方案

代表性结果部分展示的图示对应于根据《赫尔辛基宣言》开展的两项独立病例研究。在数据收集前，已从所有参与者处获得知情同意。由于这两项独立病例研究仅涉及两名参与者，未达到当地机构审查委员会（IRB）所定义的临床研究标准，因此无法提供指定的IRB方案编号。

注意：该方案及相关的网络应用程序主要分为以下三个步骤：（i）工作区设置；（ii）校准任务；（iii）饮水任务。信息图（图1）直观展示了这些步骤，包括用户在使用网络应用程序（https://mobile-motion-lab-public.web.app）时可能遇到的工作流程。

图1：本实验方案的流程图解。 结合基于网页应用程序的截图，本图展示了每个主要步骤的示意图，包括工作区设置（左图）、校准工作流程（中图）和饮酒任务工作流程（右图）。请点击此处查看此图的放大版本。

1. 工作区设置

注意：此步骤概述了如何正确设置工作区（图2），以进行后续的校准任务和饮水任务。正确的设置对于确保视频采集的标准化和质量至关重要，从而通过计算机视觉工作流程可靠地进行后期处理并提取运动学参数。

1. 椅子、桌子和受试者位置
   1. 使用带靠背的可调节高度椅子，调整至受试者能够舒适就座，手掌朝下平放在桌面上，且腕横纹与桌缘对齐。
   2. 调节座椅高度，确保受试者的髋关节和膝关节屈曲角度约为90°。
   3. 调节桌面高度，使受试者在保持直立坐姿时双臂自然下垂于身体两侧，肘关节屈曲90°。
2. 饮水任务活动垫的放置
   1. 使用网页应用程序“资源”菜单中的可打印文件（Drinking Task Activity Placement），配合尺寸为10英寸×17英寸的大幅面纸张进行打印，制作活动垫。
   2. 将活动垫前缘与受试者正前方的桌边对齐，确保目标方格位于受试者身体中线的正前方并居中。
   3. 使用胶带将活动垫牢固地固定在桌面。
3. 杯子放置
   1. 将一个250 mL的塑料杯放置在活动垫的方格内。此位置使杯子距离桌缘30 cm，正对受试者。向杯中加入100 mL饮用水。
4. 相机放置
   1. 将立体相机（焦距4 mm）置于前方上方位置，以获取受试者和杯子的正面俯视视角。需使用可通过网络连接个人计算机的立体相机（例如通过USB连接至诊所工作站）。建议使用更高焦距的立体相机，以尽量减少镜头畸变对录制图像/视频的影响。可使用标准相机三脚架。
      注意：相机校准完成后（将在后续步骤中执行），校准结果的有效性依赖于相机位置的稳定性。因此，建议为相机提供稳固的支撑，例如地面固定三脚架，或放置在坚固表面（如固定台面或重型桌子）上的桌面三脚架。
   2. 调整相机位置，以完整捕捉目标体积，即一个假想的立方体空间，该空间完全包含受试者初始位置，并留有足够余量，以全面记录受试者在后续任务试验中（例如饮水任务）上肢近端和远端的全部活动（包括手部运动）。
      1. 尽管立体相机的理想位置取决于具体设备的内在参数（如图像传感器尺寸、焦距、视场角），建议初始设置时将立体相机置于距离桌缘约150 cm（即靠近受试者的桌边）处，相机高度设置为距桌面约100 cm。
      2. 在此初始位置基础上，根据需要进一步微调相机位置，以优化目标体积的完整捕捉。需注意，相机校准过程将自动补偿相机外参（如横滚角/偏航角/俯仰角）的变化。
5. 照明设置
   1. 尽可能确保房间照明充足且光线柔和均匀。避免强烈的背光（如附近窗户射入的强烈日光），因为眩光可能在校准过程中干扰棋盘格图案的成功识别。
   2. 避免相机视野内出现阴影，因为阴影可能影响校准效果以及后续基于计算机视觉的人体姿态估计的准确性。使用顶灯或合理布置灯具以减少受试者身上的阴影。若存在严重眩光，可考虑使用柔光罩对光源进行调整。

2. 校准操作

注意：本步骤概述了如何成功完成校准操作，并通过网络应用程序确保将图像正确整理至适当的保存位置。校准操作建议每天在采集受试者视频数据前进行一次。如果在当天因任何原因改变了摄像头位置（包括路人意外触碰摄像头或三脚架导致的位置变动），建议重新进行校准，并且所有后续录制的视频活动在计算机视觉工作流程中均需关联此次新的校准数据。

1. 校准准备
   1. 使用网页应用程序资源菜单中的可打印文件（校准棋盘格打印模板）创建用于校准的棋盘格图案（https://mobile-motion-lab-public.web.app/resources）。
   2. 使用标准信纸尺寸（8.5 英寸 × 11 英寸）打印黑白棋盘格图案。请选用无光泽表面的纸张和打印机设置。
   3. 将打印好的棋盘格图案粘贴到一个平坦的表面上（例如，文件夹背面），并用胶带固定。确保胶带不会遮挡棋盘格图案的任何部分，并保证纸张尽可能平整无变形。否则，棋盘格图案的遮挡或形变可能会降低计算机视觉算法成功完成校准的可能性。
2. 采集校准图像
   1. 打开网页应用程序仪表板菜单中的校准活动模块（校准活动指南）（https://mobile-motion-lab-public.web.app/calibrationActivity）。该模块旨在引导完成校准过程。
      1. 按照以下步骤执行校准：(i) 观看校准活动的演示视频；(ii) 确认双目相机的身份；以及 (iii) 在录制前预览双目相机的实时画面。最后，开始录制以采集校准活动图像，该过程包括在工作区域内移动棋盘格图案的同时进行图像采集。
   2. 按照引导操作，直到出现双目相机预览画面和“开始录制”图标。
   3. 在开始录制前，将棋盘格置于起始位置。以之前描述的坐在桌旁的个体为例，棋盘格的起始位置为：将图案持于大约胸部高度，并与桌面表面垂直（图 3）。
   4. 点击网页应用程序中的 开始录制 图标以启动录制。启动后，应用程序将提供 3 秒的视觉/听觉倒计时，随后通过视觉/听觉提示指示何时开始执行校准活动。
      注：若单独进行校准，倒计时可为用户提供足够时间启动录制，然后在正式开始图像采集前将棋盘格调整至合适位置。
   5. 当收到提示开始校准活动时，以平稳可控的方式将棋盘格图案向前移动通过工作区域（朝向相机方向）。当棋盘格完全前移通过工作区域（即为受试者和杯子预留的假想立方体空间）后，再以平稳可控的方式反向移动图案（远离相机方向）。重复此前后移动过程，直至图像采集完成。图像采集总时长为 10 秒。
      1. 避免移动棋盘格过快。快速移动可能导致相机捕获的图像模糊，而图像模糊可能降低计算机视觉流程提取准确校准参数的能力。
         注：作为提醒，网页应用程序在校准活动模块中提供了演示视频。此外，在网页应用程序资源页面的“入门视频”中也展示了校准图案的移动方式。
3. 校准录制的回顾
   1. 回顾已录制的校准过程。完成校准活动录制后，网页应用程序将立即播放视频回放。请仔细查看以下内容。
      1. 图像质量：确保在整个视频过程中棋盘格图案始终完全可见。应尽可能避免图像模糊；若发现明显模糊现象，建议以更慢的速度重新移动棋盘格图案，再次尝试校准录制。提高图像质量有助于后续的计算机视觉流程更可靠地检测棋盘格图案，该图案是提取深度和位置测量值所必需的参考。
      2. 清晰可见性：确保光照充足。避免明显的暗影或过曝反光遮挡棋盘格图案。在图像采集过程中，确保无任何物体遮挡相机视线（例如，有人从前景走过）。
         注：作为评估图像质量和可见性的参考，校准活动模块以及网页应用程序资源菜单中的“入门视频”均提供了校准视频示例。
      3. 必要时重试。若对校准活动的表现或校准视频的质量存在任何疑虑，请选择“重试”选项，重新开始视频录制。否则，继续提交/保存校准图像。
4. 保存校准图像
   1. 完成校准活动及录制后，选择 保存校准图像 图标。系统将弹出窗口提示选择校准图像的保存路径。默认情况下，文件将保存至桌面，并采用默认的文件命名格式（即 calibration_[日期]_[时间]_[相机类型]）。
   2. 确认校准图像保存成功后，选择 确认保存 以继续。保存完成后将出现确认消息，并提供选项：进入后续的“饮水任务活动指南”模块，或重新启动“校准任务活动指南”模块。

3. 饮水任务活动

注意：此步骤概述了如何指导受试者完成饮水任务活动，如何创建饮水任务的视频记录，以及如何通过网络应用程序确保将视频正确整理并保存至指定位置。

1. 饮水任务活动的准备工作
   1. 将受试者置于饮水任务活动的适当起始/结束位置。调节座椅高度，使受试者能够舒适地坐着，髋关节和膝关节屈曲成90°角。根据需要调节桌面高度。确保受试者直坐在椅子上，双臂自然垂于身体两侧，肘关节屈曲90°，双手手掌舒适地平放在桌面上，两手间距与肩同宽，手腕横纹与桌缘对齐，身体中线与餐垫上杯子的位置对齐。
   2. 指示受试者使用指定的手（右手或左手）进行首次记录。
      注：可通过网络应用程序进行饮水任务活动的后续额外试验。在任何额外试验期间，可在网络应用程序中指明手的侧别，该信息将在数据整理过程中自动与相应的试验文件名关联。
   3. 指导受试者练习饮水任务活动。受试者可进行一至两次饮水任务活动的练习试验（不进行记录）。提醒受试者只需从杯中轻啜一口，然后将杯子和手返回各自的起始位置即可。
      1. 避免对受试者在饮水任务活动中的操作进行过度指导。目的是捕捉现实世界中自然发生的行为。如果受试者请求进一步说明，可建议其考虑日常生活中真实的情境。
2. 记录饮水任务活动
   1. 打开位于网络应用程序仪表板菜单中的饮水任务活动模块（Drinking Task Activity Guide）（https://mobile-motion-lab-public.web.app/drinkingTaskActivity）。
      注：该模块旨在指导对受试者执行饮水任务活动的视频录制过程，包括以下步骤：(i) 查看饮水任务活动的示例录像；(ii) 确认立体摄像头身份并输入受试者标识符；(iv) 输入本次试验所用手的侧别，例如右手或左手；以及 (v) 在开始录制前预览立体摄像头的实时画面。
   2. 在开始录制前，向受试者说明倒计时流程。移动应用程序将提供3秒的视觉/音频倒计时，随后通过视觉/音频提示信号指示受试者何时开始执行饮水任务活动。
   3. 在网络应用程序中点击开始录制图标以启动视频录制。利用倒计时和提示信号，要求受试者执行饮水任务活动（图3）。饮水任务活动的总时长为20秒。
      注：受试者只需从杯中轻啜一口，然后将杯子放回餐垫上的指定区域，再将手放回指定区域即可。
3. 审查饮水任务视频记录。录制完成后，网络应用程序将立即播放视频。请仔细审查以下内容：
   1. 受试者是否完整入镜：确保在整个饮水任务过程中，受试者的面部、躯干、上肢及杯子在所有视频帧中均被完整捕捉。
   2. 无视觉干扰：确保光照充足，无干扰性阴影或反光。避免在视频前景/背景中无意拍摄到其他人。否则，计算机视觉工作流程成功识别目标受试者的可能性可能受到影响。
   3. 任务完成情况：确保受试者完成了整个任务，包括拿起杯子、从杯中啜饮一口、将杯子放回原位，并将身体/手部恢复至起始位置。
   4. 必要时重试。若对饮水任务视频记录的质量有任何疑虑，请选择重试选项以重新启动视频录制。
      注：选择“重试”将丢弃之前的视频记录。若不希望丢弃视频，请勿选择“重试”，而应按以下说明进行额外试验。
4. 记录饮水任务活动的额外试验
   1. 若希望同一受试者进行更多饮水任务试验，请选择重复另一次试验选项。
      注：饮水任务活动指南模块设计为每位唯一受试者独立运行一次（例如，每位不同受试者需重新启动该模块）。
   2. 按照上述说明，继续为同一受试者进行额外试验的录制与审查。
      注：对于同一受试者的重复试验，最初输入的受试者标识符和摄像头标识符将自动与所有试验关联。其余每项试验仅需完成以下步骤：(i) 输入受试者所用手的侧别，例如右手或左手；(ii) 录制前预览立体摄像头的实时画面；(iii) 启动饮水任务活动的视频录制；以及 (iv) 根据需要审查或重试录制。
5. 保存视频记录
   1. 完成所有期望的试验录制后，选择完成所有试验以继续将视频文件保存至目标位置。
   2. 在“备注”字段中添加与未来数据处理、分析和解释相关的任何注释。选择打包并添加备注以继续。
   3. 选择保存饮水任务视频图标。这将弹出一个窗口，允许选择文件保存位置。默认情况下，文件保存位置设置为桌面。
      注：一旦设定文件保存位置，网络应用程序将自动整理视频数据，并根据用户在完成网络应用程序指南过程中输入的信息，建立基于命名规则的文件夹/子文件夹结构。结果生成一个标准化命名的主文件夹（即 subj[标识符]_drinktask_[日期]_[时间]_[摄像头类型]），以及标准化命名的子文件夹（即 [侧别]_[试验编号]_[帧率]），其中包含每次活动试验对应的视频。
   4. 确认视频文件已成功保存后，选择确认保存以继续。保存完成后将出现确认消息，并提供重启“饮水任务活动指南”模块的选项。如下文结果部分所示，保存的视频随后可与计算机视觉工作流程结合，用于提取运动学参数。

结果

开发基于网络的临床医生指南的一个主要动机是降低技术门槛，从而避免临床医生因技术障碍而无法使用计算机视觉来评估患者的上肢生物力学。该基于网络的临床医生指南预计将为用户提供两种主要输出结果：（i）基于立体相机双图像传感器的一系列同步棋盘格校准图像，以及（ii）受试者每次试验过程中标准化饮水任务活动的一对同步视频（图3）。该网络指南以多种形式提供操作说明，包括书面操作流程、视频/音频演示以及交互式虚拟操作引导。为减轻管理负担，数据整理过程已实现自动化。图像和视频数据将根据用户指定的路径自动保存至首选的数字文件夹中，例如保存在计算机桌面或机构内部的基于云的网络存储中。数据会自动归档到压缩文件夹中，文件夹结构包含嵌套的子文件夹，文件命名遵循标准化格式，依据受试者编号、数据采集的日期/时间、手部侧别、相机类型/侧别以及试验序号进行组织。

图2：用于采集图像和视频的门诊诊所设置。 饮水任务的运动学数据可通过计算机视觉技术从兼容的视频中提取，该过程可借助图示的立体相机、计算机以及诊所中常见的物品（如椅子、桌子、打印资料、文件夹、水杯、饮用水）实现。尽管相机的具体放置位置和朝向会因设备型号而异，(A) 图中显示了一个近似位置，(B) 可根据需要进行调整，以完整捕捉受试者在执行饮水任务时的身体及上肢活动范围。 请点击此处查看此图的放大版本。

图3：基于网络的临床指南生成的兼容图像与视频。 基于网络的临床指南的主要输出包括（A）一系列棋盘格校准图案的同步图像，以及（B）一对同步视频，记录受试者完成饮水任务各个阶段的表现。请点击此处查看该图的放大版本。

根据采集的图像和视频数据，可利用计算机视觉技术提取饮水任务期间上肢的生物力学参数。重要的是，原始数据的采集与计算机视觉技术的应用可以相互独立。已有多种计算机视觉工作流程在先前文献中被描述，可用于此类数据的分析^16,18，用户也可采用自行构建的工作流程。例如，我们此前开发了一种用于估计人体三维姿态（图4）并进一步提取三个运动学指标的计算机视觉工作流程。简而言之，该工作流程包含以下关键步骤：（i）相机标定，以提取相机的内参和外参，实现像素到真实世界尺寸的映射；（ii）人体姿态检测，用于在二维图像中标注人体解剖关键点的像素位置；（iii）应用提升算法，从两幅二维图像中计算三维信息；（iv）应用滤波方法对轨迹进行平滑处理，例如移动平均滤波和卡尔曼滤波。更详细的描述超出了本文范围，但可在先前的研究中查阅¹⁶。通过应用该工作流程，所提取的运动学指标可量化运动平滑性（例如运动单元数量，NMU）、代偿行为（例如躯干位移，TD）以及运动时间（MT），这些指标在脑卒中康复研究中已被证实具有有效性、可靠性和对临床变化的敏感性^5,13,14。与传统的基于标记点的运动捕捉系统相比，该计算机视觉工作流程产生的误差较小（NMU_error为-0.12个单位，TD_error为3.4 mm，MT_error为0.15 s），远低于临床显著变化的估计值（3–7个NMU，20–50 mm TD，2.5–5 s MT）¹⁶。为说明某一具体运动学指标，即基于NMU的运动平滑性（图5），在一项针对既往脑卒中个体的案例研究中，绘制了饮水任务期间手腕速度曲线图，展示了所测得的NMU（例如，每个运动单元以红色星号标示）（受试者为51岁女性，右利手，曾发生右侧延髓缺血性脑卒中，导致轻度左侧偏瘫，脑卒中发病时间>6个月前，合并症包括高血压和右侧腕管综合征）。

图 4：计算机视觉在图像与视频中提取人体运动数据的应用。 已有多种计算机视觉工作流程用于获取饮水任务的运动学数据。（A）初始校准步骤需要二维图像，以将像素映射到真实世界的尺寸；（B）随后可通过投影几何方法将这些二维数据转换为三维坐标。接着，在饮水任务的视频上应用人体姿态估计，（C）可自动检测出二维解剖关键点，并进一步转换为（D）三维关键点，用于各种度量计算与可视化，例如关键点轨迹。请点击此处查看该图的放大版本。

图 5：饮水任务中运动平滑性的运动学指标。 基于饮水任务获取的三维人体运动数据，可获得多种卒中后运动学指标。以一位处于卒中恢复慢性期的受试者为例，可通过计算机视觉技术从视频中提取运动平滑性的运动学指标（例如运动单位数，NMU，如手腕速度曲线上红色星号的数量所示），从而揭示（A）左侧与（B）右侧上肢在运动功能上的客观差异。请点击此处查看该图的放大版本。

讨论

已有研究推荐在脑卒中康复研究中使用饮水任务的运动学评估方法⁶。然而，实际应用中的顾虑被指出是阻碍运动学方法在康复研究中推广的障碍，其中包括传统用于测量人体生物力学的运动捕捉技术所需的成本和技术要求¹⁵。这些顾虑继而妨碍了运动学评估在临床实践中的应用和转化。作为替代方案，可通过计算机视觉技术，利用单个立体摄像头、一台个人计算机以及门诊诊所环境中常见的物品，实现更为实用的运动学参数提取方法¹⁶。本文介绍了一项面向临床医生的实验方案，该方案采用基于网页的指导工具，记录可用于计算机视觉流程的图像和视频，以提取饮水任务的运动学指标。本方法的长期目标是提高这些运动学指标的可及性，这些指标此前已被开发并推荐用于脑卒中康复研究^5,6,12,13,14。

视频同步对于计算机视觉中的双摄像头方法至关重要。双摄像头设置模拟了人眼，能够从现实世界中略微不同的视角同时感知场景，从而实现深度感知。在计算机视觉中，从两个二维信息源（例如，手腕在图像中的像素位置）确定三维信息（例如，手腕在笛卡尔坐标系中的位置）的准确性，依赖于适当的同步。根据我们的经验，当双摄像头的同步精度在1毫秒以内时，可以获得合理的结果¹⁶。多种因素可能降低同步性能，包括摄像头帧率不稳定、线缆数据传输速率有限、软件效率低下以及硬件规格不足（例如，内存较低或处理器等级较低）。为缓解同步问题，本实验方案采用一款现成的立体摄像头，其体积较小，并设计为即插即用设备（例如，通过单根USB线连接至标准个人计算机），可自动从两个内置图像传感器获取同步图像。

在任何计算机视觉应用中，都需要仔细考虑相机的特性。理论上，更高分辨率的图像和更高帧率的人体运动录像能够提供更丰富的数据，从而以更高的时空精度检测解剖关键点。然而，在数据量与可用计算资源之间必须取得不可避免的平衡。本方案所采用的双目相机以60 Hz的帧率录制分辨率为1280 × 720像素的视频，这与先前将计算机视觉应用于饮水任务运动学研究的实验条件相当^16,18。在录制此类视频时，我们发现使用高端消费级计算机（例如，3.2 GHz CPU，128 GB内存）可稳定获得成功结果，而使用笔记本电脑（例如，2.6 GHz CPU，16 GB内存）则结果不稳定。当使用低端计算机时，常见问题是视频帧丢失，通常表现为输出视频的持续时间短于预期的20秒录像。值得注意的是，虽然数据计算能力通常是导致视频帧丢失的主要原因，但数据传输同样重要。例如，在医疗环境中，与计算机接口（如USB端口）相关的安全设置可能导致数据传输延迟，从而影响视频录制的可靠性。

视线干扰会影响计算机视觉工作流程中的关键步骤，包括相机标定和人体姿态估计。相机标定依赖于标准尺寸棋盘格图案的数字图像，从而使计算机视觉系统能够将图像像素映射到真实世界的物理尺寸。清晰地呈现棋盘格图案有助于提高该映射的成功率。视觉干扰可能由多种原因引起，包括但不限于以下情况：（i）光照问题（例如，来自附近窗户的强烈反光或深色阴影）；（ii）棋盘格移动过快（例如，由于相机曝光时间过长导致图像模糊）；或（iii）相机固有参数设置不当（例如，焦距错误或严重的镜头畸变）。人体姿态估计利用人工智能技术，从单人图像（单人姿态估计）或多个人图像（多人姿态估计）中自动标注解剖学关键点。因此，清晰地呈现人体对于姿态估计的成功至关重要。根据计算机视觉参数（例如，人工智能架构、预测阈值）的不同，某些视觉干扰可能在一定程度上被容忍。然而，为了评估视频是否适用于人体姿态估计，需警惕以下常见问题：（i）在进行单人姿态估计时，画面中出现旁观者；（ii）身体部位间歇性地超出相机视场范围；以及（iii）由于身体部位重叠造成的自遮挡。

将数据采集与计算机视觉工作流程本身分离既有优势也存在不足。一个显著的不足是，临床医生和患者获得用于决策的临床相关信息会有所延迟。潜在的优势则是减少了对医患互动的干扰。例如，假设在患者就诊前已完成校准，按照先前文献所述¹²，录制饮水任务10次重复的视频，理想情况下所需视频录制时间少于4分钟，外加指导不熟悉该方案的患者所花费的时间。此外，这种分离可通过分担信息处理责任来提高临床医生的接受度。在这种职责划分下，临床医生负责决定视频评估的时机与目的，而数据科学家或工程师则负责优化生成准确且可靠临床指标（如饮水任务运动学参数）的计算机视觉工作流程。事实上，这种情况类似于当前临床实践中许多基于血液（如全面代谢检测）和基于影像（如磁共振成像检查）的检测常态，均由临床医生常规开具申请。最后，随着人工智能领域持续发展，这种分离模式可能更具优势。当前采集的视频数据未来可由更先进的计算机视觉方法进行重复分析，从而以更高的速度、准确性和可靠性提取更多的运动学指标。

我们的目标是进一步推动康复领域（包括门诊临床医生以及未来可能涉及的家庭环境中的个体，例如远程康复）对上肢运动学数据的获取。本方案及基于网络的应用程序应被视为处于早期开发阶段，迄今为止仅针对一项高度集中的活动（即饮水任务）以及相对有限的利益相关者群体（即临床医生用户和能够顺利完成饮水任务的受试者）。未来的版本需要适应更加多样化的用户群体、更多样化的活动类型以及更广泛的受试人群（例如存在严重功能障碍、需调整活动方式的个体）。此外，未来的发展还需在广泛实施前纳入重要的关键环节，例如与电子病历系统的整合，以及对患者隐私和保密性的维护。这些后续版本还可能引入新技术并对现有技术进行优化。例如，当前方案采用基于双目视觉（如立体相机）的计算机视觉工作流程。下一步合理的发展方向是采用单目视觉（如更基础的相机设备）的方案，这可能通过利用基于双目数据集训练的人工智能（AI）技术实现。值得注意的是，当前方案生成的图像和视频数据可兼容目前最先进的计算机视觉解决方案，但这些方案的性能正逐渐被更新的技术所超越¹⁸。本文所述的基于网络的方案可使临床医生在其实践中建立计算机视觉应用的基础，而随着人工智能技术在医疗健康行业的深入渗透，该技术有望实现显著进步。

材料

本文使用的材料清单

姓名	公司	目录编号	评论
相机安装臂，两段式单关节带相机平台	Manfrotto	196B-2	立体相机支架
相机三脚架，兼容 1/4 英寸和 3/8 英寸标准安装螺钉	iFootage	CB3 Base	用于安装立体相机的三脚架
文件夹板，标准信纸尺寸	N/A	N/A	用于固定校准图案的表面
杯子，8 盎司塑料杯	N/A	N/A	饮水任务用水容器
高度可调椅子，带锁定脚轮	Vermund Larsen A/S	VELA Independence	受试者使用的椅子
高度可调桌子，带锁定脚轮	Midmark Corporation	6215 Rectangular Workstation	用于设置饮水任务的桌子
校准棋盘格打印件	N/A	N/A	校准视频用图案
饮水任务活动垫打印件	N/A	N/A	指导饮水任务设置的垫板
立体相机，4mm 焦距，无偏振镜，5m USB 3.0 线缆	Stereolabs	Zed 2i	用于视频录制的立体相机
胶带	N/A	N/A	用于固定打印材料的粘合剂