需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

将诊所带回家：一种支持自适应深部脑刺激的家庭多模态数据采集生态系统

2.3K 次观看

⸱

DOI：

10.3791/65305

⸱

2023年7月14日

 ,  ,  ,  ,  ,  ,  ,  ,  , 
1Computer Science and Engineering, University of Washington, 2Neuroscience, University of Washington, 3Neurology, University of California, San Francisco, 4Bioengineering, University of Washington, 5Bioengineering, University of California, Berkeley, 6Biophysics, University of California, Berkeley, 7Psychology, University of California, Berkeley, 8Neurological Surgery, University of Washington

本文内容

摘要

本方案展示了一种家庭多模态数据采集平台的原型，该平台支持针对神经系统运动障碍患者优化自适应深部脑刺激（aDBS）的研究。我们还展示了将该平台部署于一名帕金森病患者家中超过一年所获得的关键研究结果。

摘要

自适应深部脑刺激（aDBS）在改善帕金森病（PD）等神经系统疾病治疗方面展现出良好前景。aDBS 利用与症状相关的生物标志物，实时调整刺激参数，从而更精确地针对特定症状。为了实现这些动态调节，必须为每位患者 individually 确定 aDBS 算法的参数。这通常需要临床研究人员进行耗时的手动调参，使得为单个患者找到最优配置变得困难，也难以推广至大量患者。此外，当患者在家中接受治疗时，临床配置的 aDBS 算法能否长期有效仍是一个未解问题。要实现该疗法的大规模应用，亟需一种能够在远程监测治疗效果的同时自动配置 aDBS 算法参数的方法。本文中，我们提出了一种家庭数据采集平台的设计方案，以帮助领域内研究人员解决上述两个问题。该平台由开源的软硬件生态系统组成，支持在家庭环境中采集神经信号、惯性数据以及多摄像头视频数据。为保障患者可识别信息的隐私安全，平台通过虚拟专用网络（VPN）对数据进行加密传输。所采用的方法包括对多源数据流进行时间对齐，以及从视频记录中提取姿态估计结果。为验证该系统的实用性，我们将该平台部署至一名帕金森病患者的家中，并在其为期 1.5 年的自我指导临床任务及自由行为期间持续采集数据。数据采集涵盖了低于治疗剂量、标准治疗剂量以及高于治疗剂量的刺激强度，以评估不同治疗条件下运动症状的严重程度。这些时间对齐的数据表明，该平台能够实现家庭环境下的同步多模态数据采集，用于治疗效果评估。该系统架构可用于支持自动化 aDBS 的研究，促进新数据集的构建，并有助于研究神经系统疾病患者在院外接受深部脑刺激（DBS）治疗的长期效应。

引言

脑深部电刺激（DBS）通过向大脑特定区域直接输送电流，用于治疗帕金森病（PD）等神经系统疾病。全球估计有850万例帕金森病患者，当药物无法充分控制症状时，DBS已被证实是一种关键的治疗手段1,2。然而，DBS的疗效可能受到副作用的限制，这些副作用有时源于传统恒定振幅、频率和脉宽的刺激模式3。这种开环刺激方式无法响应症状状态的波动，导致刺激参数未能与患者不断变化的需求相匹配。此外，DBS还受限于刺激参数调节过程耗时较长，目前这一过程仍由临床医生针对每位患者手动完成。

自适应深部脑刺激（aDBS）是一种闭环方法，通过在检测到与症状相关的生物标志物时实时调整刺激参数，已被证明是深部脑刺激技术的有效下一代迭代形式3,4,5。研究表明，丘脑底核（STN）中的β振荡（10–30 Hz）在运动迟缓（bradykinesia）期间持续出现，而运动迟缓是帕金森病（PD）的典型特征6,7。类似地，大脑皮层中的高γ振荡（50–120 Hz）在异动症（dyskinesia）期间出现，异动症表现为过度且不自主的运动，这在帕金森病患者中也十分常见8。近期研究已成功在临床环境之外长期实施aDBS5，然而，当患者在家中时，针对在临床配置的aDBS算法的长期有效性尚未得到证实。

需要远程系统来捕捉这些动态算法在日常生活中抑制症状时随时间变化的效果。尽管aDBS的动态刺激方法有望实现更精确的治疗并减少副作用3,9，但aDBS仍给临床医生带来沉重负担，需手动为每位患者确定刺激参数。除了传统DBS已有的大量编程参数外，aDBS算法还引入了许多新的参数，这些参数也必须仔细调整。刺激参数与算法参数的结合导致参数空间极为庞大，可能的组合数量难以管理，从而限制了aDBS在大量患者中的推广应用10。即使在研究环境中，配置和评估aDBS系统所需的额外时间也使得仅在临床环境下充分优化算法变得困难，因此需要能够远程更新参数。为了使aDBS成为可扩展的治疗方法，必须实现刺激参数和算法参数调节的自动化。此外，还需通过多次重复试验分析治疗效果，以确立aDBS作为临床外可行的长期治疗手段。目前亟需一个平台，能够收集用于远程评估治疗效果的数据，并支持远程部署aDBS算法参数的更新。

本方案的目标是提供一种可重复使用的多模态家庭数据采集平台设计，以提高闭环脑深部电刺激（aDBS）在临床外环境中的治疗效果，并推动该疗法惠及更多患者。据我们所知，这是首个通过家用摄像头、可穿戴传感器、慢性神经信号记录以及患者自主反馈，在受控任务和自然行为过程中远程评估aDBS系统治疗效果的数据采集平台设计。

该平台是一个基于先前开发系统的硬件与软件组件生态系统5。在完成最小化硬件的初始安装后，整个系统可通过远程访问进行完全维护，从而在患者家中舒适地采集多模态数据。其中关键组件为可植入神经刺激系统（INS）11，该系统可感知神经活动并向丘脑底核（STN）传递刺激，同时记录胸部植入装置的加速度信息。在首次部署所使用的植入装置中，神经活动信号通过植入双侧STN的电极导线以及植入运动皮层表面的皮层脑电图（ECoG）电极进行记录。视频记录系统协助临床医生监测症状严重程度及治疗效果，并配备图形用户界面（GUI），以便轻松取消正在进行的录像，保护患者隐私。视频经处理后可提取二维（2D）或三维（3D）空间中的运动学轨迹，同时患者双腕佩戴智能手表，用于采集角速度与加速度信息。重要的是，所有数据在传输至长期云存储前均经过加密，且存储患者可识别视频的计算机仅可通过虚拟专用网络（VPN）访问。该系统包含两种事后时间同步所有数据流的方法，所采集数据用于远程监测患者的运动质量，并识别与症状相关的生物标志物，以优化自适应深部脑刺激（aDBS）算法。本研究的视频部分展示了数据采集过程以及从所收集视频中提取的运动学轨迹动画。

在制定本方案时，需考虑多个设计因素：
确保数据安全与患者隐私：采集可识别的患者数据时，必须在传输和存储过程中格外谨慎，以符合《健康保险可携性和责任法案》（HIPAA）12， 13 的要求，并尊重患者在家中时的隐私权。在本项目中，通过建立自定义虚拟专用网络（VPN）来确保系统计算机之间所有敏感通信的隐私性。
刺激参数的安全边界：在测试可能产生意外效应的 aDBS 算法时，必须确保患者的安全。患者的植入式神经刺激器（INS）必须由临床医生设定安全的刺激参数边界，以防止因过度或不足刺激而引发不安全的效应。在本研究使用的 INS 系统11 中，该功能由临床医生编程器启用。
确保患者拥有否决权：即使在安全的参数范围内，症状和刺激反应的日常变化仍可能导致患者感到不适，使其对正在测试的算法产生反感，并希望恢复到常规的临床开环 DBS 治疗。所选的 INS 系统包含一个患者遥测模块（PTM），允许患者手动切换刺激组别以及以 mA 为单位调节刺激幅度。此外，还配备了一个与 INS 连接的研究用应用程序，用于在数据采集前远程配置 INS14，该程序同样允许患者中止 aDBS 试验并自主控制其治疗。
捕捉复杂且自然的行为：平台中引入了视频数据，以便临床医生远程监测治疗效果，并通过姿态估计提取运动学轨迹，用于科研分析15。尽管可穿戴传感器侵入性较低，但仅依靠可穿戴系统难以完整捕捉全身运动的动态范围。视频记录能够同时呈现患者随时间变化的全部运动范围及其症状表现。
系统的患者可用性：采集家庭环境下的多模态数据需要在患者家中安装并使用多种设备，这可能给患者带来操作负担。为提升系统易用性并保障患者对设备的控制，仅要求患者手动开启与其身体直接相关或已植入体内的设备（本案例中包括 INS 系统和智能手表）。对于与患者分离的设备（本案例中为摄像头记录的数据），其录制过程自动开始和结束，无需患者干预。在图形用户界面（GUI）设计过程中，特别注意减少按钮数量并避免深层菜单结构，以简化操作流程。所有设备安装完成后，由研究协调员指导患者通过各设备自带的面向患者的 GUI 学习如何操作，包括如何终止任一设备的录制，以及如何输入用药史和症状报告。
数据采集的透明性：必须明确提示摄像头何时处于开启状态，以便相关人员知晓自己是否正在被录制，并可在需要隐私时暂停录制。为此，采用一个摄像头系统应用程序，通过面向患者的 GUI 控制视频录制。应用程序启动后，GUI 会自动打开，并显示下次预定录制的时间和日期。录制进行中时，界面会提示当前录制的预计结束时间。GUI 中央显示一个醒目的红色指示灯图像：录制进行时，指示灯图像呈明亮点亮状态；录制关闭时，图像则变为熄灭状态。

本方案详细介绍了设计、构建和部署家庭数据采集平台的方法，对采集的数据进行质量检查以确保其完整性和稳健性，并对数据进行后期处理以用于后续研究。

智能家居数据流示意图；视频、传感器数据、智能手表；自动数据验证、对齐。
图 1：数据流。 每种模态的数据均从患者住所独立采集，随后被处理并汇总至一个远程存储端点。每种模态的数据会自动发送到远程存储端点。在团队成员协助下，可对数据进行提取、有效性检查、跨模态时间对齐，以及进一步的模态特异性预处理。整合后的数据集将上传至远程存储端点，所有团队成员均可通过安全方式访问，用于后续分析。所有访问数据的设备，特别是涉及原始视频等敏感数据的设备，均位于虚拟专用网络（VPN）内，以确保数据传输安全，且存储数据始终处于加密状态。 请点击此处查看该图的放大版本。

访问受限。请登录或开始试用以查看此内容。

方案

患者通过加州大学旧金山分校一项经机构审查委员会（IRB）和研究器械豁免（IDE）批准的更大规模研究入组，方案编号为 G1800975。参与本研究的患者 additionally 提供了针对本研究的知情同意。

1. 家用系统组件

  1. 中央服务器和虚拟专用网络
    1. 获取一台运行基于 Linux 操作系统（OS）的个人计算机（PC），专用于提供 VPN 服务。将该设备安置于安全房间内，并对硬盘进行加密以确保数据安全。
    2. 将VPN服务器配置为至少在一个端口上可公开访问。
      注：在此情况下，通过与信息技术部门合作，利用大学的DNS托管服务为服务器分配了一个对外的静态IP地址和自定义URL来实现。
    3. 服务器安装需在选定用于运行VPN的计算机上一次性完成以下步骤。
      1. 防火墙配置：在 PC 终端中运行以下命令以安装和配置简易防火墙：
        sudo apt install ufw
        sudo ufw 允许 ssh
        sudo ufw 允许 <端口号>/udp
        sudo ufw 启用
      2. 服务器VPN安装：安装开源的WireGuard VPN协议16 在电脑上导航至安装目录。在电脑终端中运行 umask 007 更新目录访问规则。
      3. 密钥生成：在PC终端中运行
        wg genkey | tee privatekey | wg pubkey > publickey
        这将为VPN服务器生成一个公钥/私钥对。该公钥将提供给连接到VPN的任何客户端计算机。
      4. VPN 配置：在 PC 终端上运行 触碰 <界面名称>.conf 创建一个配置文件，文件名应与接口名称一致。将以下服务器规则粘贴到该文件中：
        [界面]
        PrivateKey = <服务器私钥内容>
        地址 = ##.#.#.#/##
        PostUp = iptables -A FORWARD -i interface_name -j ACCEPT; iptables -t nat -A POSTROUTING -o network_interface_name -j MASQUERADE
        PostDown = iptables -D FORWARD -i interface_name -j ACCEPT; iptables -t nat -D POSTROUTING -o network_interface_name -j MASQUERADE
        ListenPort = #####
        [同行]
        PublicKey = <客户端公钥内容>
        允许的IP地址 = ##.#.#.#/##
      5. 启动 VPN：通过输入激活 VPN wg-quick up <界面名称> 在终端中。为使VPN协议在PC重启时自动启动，请在终端中运行以下命令：
        systemctl enable wg-quick@ <界面名称>
    4. 对于客户端安装，请对每个需要访问 VPN 的新机器完成以下步骤。
      1. 客户端 VPN 安装：根据 WireGuard 上针对特定操作系统的说明安装 VPN 协议16 下载页面
      2. 将客户端添加到VPN：从安装过程中生成的配置文件中获取公钥。将该公钥粘贴至服务器配置文件的对等端（peer）部分。
      3. 启动 VPN：根据 WireGuard 上针对操作系统的具体说明启动 VPN16 下载页面
  2. 云存储
    1. 选择一个云存储站点，以实现所有记录数据流的长期集中存储。此处使用了基于亚马逊网络服务（Amazon Web Service）且与所选数据传输协议兼容的云存储站点。
  3. 可植入式神经调节系统
    1. 遵循IRB和IDE指南，选择一种可植入神经调节系统（INS）11 允许患者手动调整其刺激参数。
    2. 获取一台平板电脑，并安装开源的 UCSF DBS 应用程序，以实现对神经刺激器（INS）记录的采集、药物使用情况、症状及患者其他任何评论的报告14将流式传输到平板电脑的 INS 数据配置为上传至符合 HIPAA 的临时云存储端点，以便在数据去标识化及卸载至长期云存储之前进行临时存储。
  4. 视频采集系统
    1. 在将视频文件传输至云存储之前，获取一台能够采集和存储所需数量视频文件的个人电脑。确保该电脑主板包含可信平台模块（TPM）芯片。
      注意：本案例中选用了一台配备 500 GB SSD、2 TB HDD 和 6 GB GPU 的个人电脑。2 TB 硬盘可确保在长时间录制或数天内断网的情况下仍能缓存视频，而单台 PC 的配置使硬件在家庭环境中占用空间最小，干扰降至最低。
    2. 安装所需的操作系统，并按照提示启用自动磁盘加密，以确保患者隐私并防止数据泄露。本例中选择基于 Linux 且采用 Ubuntu 发行版的操作系统，因其易于使用且可靠性高。
    3. 操作系统安装完成后，需分别对硬盘进行加密。务必启用系统重启后硬盘自动重新挂载功能。
    4. 配置计算机主板上的 TPM 芯片，以便在系统重启后仍能访问磁盘加密的计算机17.
      注意：如果使用 Linux 操作系统，务必选择已安装 TPM2 芯片的主板，以启用此步骤。如果使用 Windows 操作系统，可由 Bitlocker 程序自动处理磁盘加密与解锁。
    5. 按照1.1.4节中的安装步骤将计算机配置为VPN客户端。启用VPN协议，使其在计算机每次重启时自动启动（参见1.1.3.5节），以确保研究人员的计算机能够始终远程访问该计算机（推荐）。
    6. 创建一个 GitHub 机器用户账户，以轻松自动化更新安装在 PC 上的软件。该账户可作为 webhook，用于自动化从远程 git 端点拉取更新，并帮助识别从远程机器推送的任何更新。
    7. 选择用于安排和控制视频录制的软件，并将其安装在计算机上。为最大程度保护患者隐私和舒适，所选软件应包含图形用户界面（GUI），以清晰显示录制正在进行，并可在任意时刻方便地中止录制。
      注意：如有需要，可通过下载应用程序并按照 GitHub 上的说明安装作者定制的带患者交互界面的视频录制应用（https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp）。
    8. 选择一台显示器，用于指示视频录制状态，并方便人员随时终止录制。应选择具备触摸屏功能的显示器，以便无需操作键盘或鼠标即可终止录制。
    9. 在计算机上安装远程桌面应用程序。这可以运行具有图形用户界面（GUI）的应用程序，使得该界面在患者端和远程研究人员端均保持可见。
      注意：对于 Linux 操作系统，开源的 NoMachine 远程桌面应用程序效果最佳。
    10. 选择兼容 USB 且分辨率足够高的网络摄像头，用于在指定空间内计算姿态。
      注意：本实验选用支持 4K 的网络摄像头，该摄像头提供多种分辨率和帧率组合，包括 30 fps 下的 4K 分辨率或 60 fps 下的 HD 分辨率。
    11. 选择坚固的硬件以在患者家中安装网络摄像头。使用带有夹子的蛇形支架将其固定在家具上，防止摄像头晃动。
    12. 选择一种具备加密功能的数据传输协议，并将其安装到计算机上。创建访问云存储站点的配置，然后创建加密配置，在数据传输前对初始配置进行加密封装。
      注意：本案例中安装了一种具备加密功能的开源数据传输和文件同步协议18数据传输协议文档说明了如何配置数据向云存储的传输。该协议首先在VPN服务器上安装，并创建了加密配置，以将数据传输至异地云存储站点。
  5. 可穿戴传感器数据组件
    1. 选择智能手表佩戴于患者的每只手腕上，以监测包括运动、加速度和心率在内的信号。
      注意：选用 Apple Watch Series 3，其内置运动障碍症状监测功能，可生成帕金森病（PD）症状评分，如异动症评分和震颤评分。
    2. 在每块智能手表上选择并安装能够启动和结束录制、并将数据传输至云存储的软件。选择一款可将所有数据流上传至其关联在线平台的应用程序，以便研究人员和临床医生进行分析19.

计算机视觉设置，带摄像头的设备，图像处理实验显示。
图 2：视频录制组件。 支持视频数据采集的硬件组件极为精简，仅包括一台立式台式机、USB 连接的网络摄像头以及一台用于显示面向患者的图形用户界面（GUI）的小型显示器。该显示器具备触摸屏功能，通过点击 GUI 上可见的按钮，可轻松终止正在进行或已安排的任何录制。GUI 中央显示一个录制指示灯图像，当视频摄像头处于活动录制状态时，该指示灯变为明亮的红色。请点击此处查看此图的放大版本。

2. 家庭环境配置

  1. 硬件安装
    1. 确定安装网络摄像头的合适位置，以尽量减少对家庭日常活动的干扰。通过与患者讨论来确定具体位置；此处选择家庭办公室区域作为最佳位置，以在录制范围与隐私保护之间取得平衡。
    2. 将网络摄像头安装在选定的支架上，并固定于已确定的位置。将可夹式鹅颈支架固定在附近稳固的家具上，可防止有人经过时导致摄像头晃动。
    3. 将计算机放置在已安装的网络摄像头附近，确保其 USB 线缆能够连接至计算机。
    4. 将平板电脑、惯性导航系统（INS）组件、智能手表和智能手机放置在电源插座附近，以便所有设备均可持续供电并随时可用。
    5. 通过在计算机终端运行 route -n 命令，确认虚拟专用网络（VPN）已开启。若未开启，请按照第 1.1.3.5 节中的说明激活 VPN。
  2. 启动视频录制程序
    1. 视频录制时间安排：在开始采集任何数据之前，需与患者商定合适的录制时间表，并在视频录制软件中配置该时间表。
      注：若使用作者自定义的视频录制应用程序，可在 GitHub 上找到设置时间表的说明（https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide）。
    2. 更新录制软件：确保已使用第 1.4.6 节中安装的 GitHub 机器用户账户，将所选视频录制软件的最新版本上传至计算机。
    3. 开始视频录制：通过已安装的远程桌面软件登录计算机，并启动视频录制软件。
      注：若使用作者自定义的视频录制应用程序，可在 GitHub 上找到启动应用程序的说明（https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide）。
  3. 视频摄像头校准
    1. 关闭自动对焦：为计算镜头畸变和透视畸变等内参参数，请根据所选操作系统和网络摄像头型号，按照相应说明关闭自动对焦功能。
      注：在 Linux 系统中，摄像头通过 Video for Linux API 访问，每次连接摄像头的计算机重启时，默认会自动开启自动对焦。为确保摄像头在校准过程中获得的焦点在后续三维姿态处理中保持不变，需配置脚本自动禁用该功能。
    2. 内参校准：准备一个 6×8 的棋盘格图案，方格边长为 100 mm，用于支持姿态估计算法的三维校准20。由研究人员手持棋盘格，在所有摄像头视野范围内以不同角度移动，同时分别从每个摄像头单独录制视频。确保棋盘格具有偶数行和奇数列（或相反），以消除旋转方向的歧义。
    3. 外参校准：同时从三个摄像头录制视频。确保录制视频的分辨率与后续用于三维姿态估计的视频分辨率一致。为保证所有视频之间精确的时间同步，在录制开始和结束时闪烁一个红外（IR）LED 灯。使用视频编辑软件，通过标记 LED 亮起的帧并裁剪视频至相同长度，手动对齐各视频。
    4. 校准矩阵生成：将前两步录制的视频输入 OpenPose21，以生成内参和外参校准矩阵。
      注：OpenPose 使用 OpenCV 库进行摄像头校准，更多说明可通过 OpenPose GitHub 文档查阅20, 22。

3. 数据采集

  1. 患者开始记录的指导说明
    1. 检查设备电池和电源：神经刺激器（INS）设备始终处于开启状态，以为患者提供持续刺激。要开始记录神经数据，请让患者打开平板电脑，并确保左右两侧 INS 设备的临床遥测模块（CTM）均已开启且电量充足。
    2. CTM 放置：将 CTM 分别放置于胸部两侧。为实现最佳连接并减少数据包丢失，请在记录期间将 CTM 尽量靠近胸部植入物。其他可选的 CTM 放置位置包括夹克的胸前口袋，或使用专用围巾。
    3. 激活平板连接：平板启动后，请患者打开 DBS 应用程序并选择 连接，系统将提示通过蓝牙连接至 CTM，进而连接至 INS 设备14。
    4. 摄像头激活：请患者确认视频摄像头已通过 USB 线缆连接至电脑，并确保摄像头已开启。
      注意：若使用作者定制的视频录制应用程序，患者界面图形用户界面（GUI）上会以明亮的红色大灯图标清晰显示正在录制。当录制停止时，该图标变为不亮的红灯。所选网络摄像头还带有小型白色指示灯。
    5. 智能手表激活：请患者长按 电源 按钮，开启智能手表和智能手机。随后，请患者打开智能手表应用程序，以启动数据记录和帕金森病（PD）症状追踪。
  2. 基于手势的数据对齐与记录场景
    1. 在开始数据采集前，预先写下患者在记录过程中需执行的任何指定任务。
    2. 由于多设备基于时钟的时间戳同步可能不可靠，因此请患者执行一个特定手势，以便在每次新记录开始时对齐各设备记录数据的时间戳，即使计划在自由行为期间进行记录也应如此。
      ​注意：作者设计了一个简单手势，即患者在双手保持摄像头可视范围内时轻触两侧植入的 INS 设备。该轻触动作会在智能手表的惯性传感器和 INS 加速度计记录中产生明显的特征信号，同时在视频中易于观察。
  3. 患者结束记录的指导说明
    1. 将刺激组切换回患者临床常规使用的偏好组。
    2. 在 DBS 应用程序的患者界面 GUI 中，填写症状报告。
    3. 关闭 DBS 应用程序，该操作将断开与 CTM 的连接并终止 INS 数据流传输。
    4. 关闭智能手表记录应用程序，并将 CTM、智能手机和智能手表设备放回各自的充电接口。
  4. 数据卸载
    1. 通过加密配置的数据传输协议，将原始视频传输至云存储。在视频录制电脑上创建一个 cron 任务，以通过数据传输协议自动将录制的视频上传至云存储18。
      注意：根据每日录制视频的分辨率和时长，互联网速度必须足够高，以确保所有视频在 24 小时内完成上传。若数据传输过慢，磁盘空间可能耗尽，导致次日计划的视频录制失败。
    2. 将 INS 数据保存至第 1.3.2 步中配置的符合 HIPAA 标准的安全云终端。从该 HIPAA 安全云终端下载 INS 数据并对数据进行去标识化处理，然后将去标识化后的数据保存至外部云存储。
      ​注意：使用开源的 OpenMind 预处理代码23 对数据进行去标识化处理，并将其从 json 文件转换为表格格式。患者的平板电脑已配置符合 HIPAA 标准的云终端，用于临时存储原始 INS 数据；但理论上，只要长期存储所用的云存储站点符合 HIPAA 要求且在卸载前对数据进行加密，也可用于此步骤。
    3. 如有需要，可将智能手表数据副本保存至外部云存储，以便在单一位置访问所有数据流。

4. 系统表征

  1. 原始数据可视化：在所需的编程环境中，可视化所有原始数据流，以确保数据已正确记录和传输，且无丢失或损坏。
    注：所选用于管理智能手表记录的应用程序提供了一个浏览器应用程序，有助于可视化智能手表数据24。
  2. 视频帧与时间戳延迟：检查不同网络摄像头生成的时间戳之间是否存在延迟。通过在所有网络摄像头的拍摄画面内放置一个可编程LED灯并进行录像，来分析此类延迟。
    注：分析发现，自定义视频录制应用程序导入的一个视频分段功能25是导致时间戳延迟逐渐增加的原因。在不使用该分段功能的情况下进行录像，可使不同摄像头之间的帧和时间戳延迟不随时间增加（参见 补充文件 1 和 补充图 1）。

5. 事后数据预处理与比对

  1. 姿态数据
    1. 安装软件，用于从录制的视频中计算关节位置估计值。
      注意：选择 OpenPose 库，因为它包含 2D 和 3D 的手部与面部追踪功能。
    2. OpenPose 库无法自动处理画面中出现多个人的情况，因此需使用后处理脚本，确保每个人的姿态估计在连续帧之间保持连续。OpenPose 提供了代码，可轻松生成 2D 或 3D 动画，用于对姿态估计质量进行可视化检查。
  2. 基于手势的时间对齐
    1. 针对每个惯性导航系统（INS）设备（左侧和右侧），使用作者提供的数据对齐图形用户界面（GUI）（https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI）执行以下步骤。
      1. 读取数据：从云存储中获取所需数据会话保存的 INS 和智能手表加速度数据。
        注意：可根据需要添加额外的时间序列。图3 以绿色显示右手食指指尖的姿态位置。
      2. 在 GUI 中可视化数据流：使用手动时间对齐 GUI 将 INS 加速度、智能手表加速度和姿态数据进行叠加显示。
      3. 放大查看对齐伪影：在时间轴上放大，并将视窗移动至录音中的胸部敲击段。移动待对齐的时间序列，使 INS 和智能手表时间序列信号中胸部敲击的峰值尽可能重合。
        ​注意：该 GUI 的设计目的是便于将任意时间序列手动对齐至统一的真实时间。图3 以蓝色显示真实时间序列，待对齐的时间序列则以橙色和绿色显示。GUI 对齐的关键指南详见 GitHub ReadMe（https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment）。
      4. 对齐确认：将 GUI 视窗移至录音中每个胸部敲击任务处，确认对齐在整个时间序列中保持一致。按下“切换对齐”按钮，并对剩余的数据流重复执行对齐操作。
      5. 警告标记：为指示数据是否存在缺失、偏移或其他有关数据质量的一般性警告，分别使用 D、S 和 F 键在 GUI 中设置警告标志。
  3. 零均值归一化互相关（ZNCC）时间对齐
    1. 确定最接近真实时间的信号。通常为采样频率最高或互联网时间刷新最快的信号。
    2. 将两个信号重采样至相同的时域采样频率，并对两个信号分别进行 z 分数标准化。这可确保所得 ZNCC 分数被归一化至 -1 到 1 之间，从而提供两个信号相似程度的估计值，有助于发现错误。
    3. 计算第二个信号与第一个信号在各个时间滞后点上的互相关。
    4. 若两个信号的相位信息不重要，则取测得的互相关曲线的绝对值。
      注意：若行为显著为非周期性，则无需考虑相位信息，本案例即属此类情况。
    5. 分析 ZNCC 曲线。若存在单一明显峰值，且峰值 ZNCC 分数高于 0.3，则该峰值对应的时间即为两个信号之间的时间滞后。若存在多个峰值、无明显峰值，或在所有时间滞后下 ZNCC 分数均较低，则需对两个信号进行手动对齐。

显示手表、惯性导航系统（INS）和姿态数据对齐的时间序列图；插图放大了100-400秒的数据。
图3：基于手势的数据对齐。 图的上半部分展示了对齐三组数据流后的手动对齐图形用户界面（GUI）。蓝色线表示智能手表的加速度计数据，橙色线表示来自惯性导航系统（INS）的加速度计数据，绿色线表示单个网络摄像头捕捉的右手食指指尖的二维姿态位置。右上角显示了智能手表与INS之间真实时间的偏移量，以及用于标记任何异常情况的各种警告标志。在此示例中，INS比智能手表提前20.8秒。左下角的子图进行了放大，以展示患者为数据对齐所执行的五次胸部敲击动作。在每组数据流中，五个峰值均足够清晰，可确保准确对齐。请点击此处查看该图的放大版本。

访问受限。请登录或开始试用以查看此内容。

结果

原型平台的设计与部署
我们设计了一个原型平台，并将其部署到一位患者的家中（图1）。在家中完成硬件的首次安装后，该平台可通过远程访问进行维护，并实现数据的完全远程采集。胰岛素输注设备、智能手表和摄像头均配备面向患者的应用程序，允许患者自主启动或停止数据记录。视频采集硬件可在配置好经批准的时间表后，自动启动视频录制。患者只需按下视频录制应用程序图形用户界面（GUI）上的一个按钮，即可轻松取消正在进行的录制（图2）。所有采集的数据均经过加密，并传输至云端存储平台，供研究人员处理和分析。

数据采集
在最初的部署和数据采集周期中，我们要求患者执行自我指导的临床任务。这些任务选自统一帕金森病评定量表（unified Parkinson's disease rating scale, UPDRS）26，具体包括静止性震颤、拇指与食指对指敲击、手掌开...

访问受限。请登录或开始试用以查看此内容。

讨论

我们分享了一种用于支持神经调节研究未来研究的居家多模态数据采集平台原型设计。该设计为开源且模块化，任何硬件组件均可替换，任何软件组件均可更新或修改，而不会导致整个平台失效。尽管神经数据的采集与去标识化方法针对所选的植入式神经刺激器（INS）而定，但其余方法及行为数据采集的整体方案并不依赖于所使用的具体植入设备。我们将该平台部署至一位帕金森病（PD）患者家中，并在实验性和自然状态下均采集了数据。在部署、数据采集及事后数据处理过程中，发现若干因素对于实现成功的研究迭代尤为关键。

我们团队中一位重要的成员是研究协调员，其前往患者家中安装硬件设备、设置虚拟专用网络（VPN）、完成三维姿态的摄像头校准，并指导患者如何使用各个设备面向患者的图形用户界面（GUI）。重要的是，研究协调员还担任了患者与研究团队之间的主要联络人。患者更倾向于使用电子邮件聊天功能进行快速的双向沟通。拥有一个稳定且易于联系的联络点在两个方面尤为有帮助：

为患者建立一个熟悉的沟通渠道，以便其请求调整预定的录制时间，并报告系统使用过程中遇到的任何困难。这有助于研究协调员...

访问受限。请登录或开始试用以查看此内容。

披露

作者声明无利益冲突。

致谢

本材料基于美国国家科学基金会研究生研究奖学金计划（DGE-2140004）、Weill Neurohub 和美国国立卫生研究院（UH3NS100544）支持的工作。本材料中表达的任何观点、发现、结论或建议均为作者（们）的观点，不一定反映美国国家科学基金会、Weill Neurohub 或美国国立卫生研究院的观点。我们感谢 Tianjiao Zhang 在平台设计及视频数据整合方面提供的专业咨询。我们特别感谢患者参与本研究，并对网络安全和平台设计提供了反馈与建议。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
分析 RCS 数据处理OpenMindhttps://github.com/openmind-consortium/Analysis-rcs-data, 开源
Apple 手表Apple, Inc每位患者使用 2 块手表，每只手腕各佩戴一块
BRIO ULTRA HD PRO BUSINESS WEBCAMLogitech960-001105在我们的平台设计中使用了 3 个 
DaVinci Resolve 视频编辑软件 DaVinci Resolve用于支持相机校准
Dell XPS 电脑 Dell2TB 硬盘驱动器，500GB 固态硬盘
DropboxDropbox
ffmpeg N/A开源，需安装以运行视频录制应用程序
用于网络摄像头的鹅颈支架N/A
GPUNvidia建议至少配备 8GB GPU 内存以运行 OpenPose，12GB 为理想配置
Java 11Oracle需安装以运行视频录制应用程序
Microsoft Surface 平板电脑 Microsoft
NoMachine NoMachine在使用 Linux 操作系统时尤为理想，开源
OpenPose N/A开源
Rclone 文件传输程序Rclone对数据进行加密，并将数据复制或移动至异地存储，开源
StrivePD 应用程序RuneLabs我们将该应用程序安装在 Apple 手表上，用于启动录制并将数据上传至在线门户。
Summit RC+S 神经调控系统Medtronic仅限研究用途
支持触控屏的显示器N/A
Video for Linux 2 APILinux 内核若使用 Linux 操作系统进行视频录制，则需安装 
Wasabi Wasabi长期云数据存储
WireGuard VPN 协议WireGuard开源

参考文献

  1. World Health Organization. Parkinson disease. , https://www.who.int/news-room/fact-sheets/detail/parkinson-disease (2022).
  2. Herrington, T. M., Cheng, J. J., Eskandar, E. N. Mechanisms of deep brain stimulation. Journal of Neurophysiology. 115 (1), 19-38 (2016).
  3. Little, S., et al. Adaptive deep brain stimulation for Parkinson's disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
  4. Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson's disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
  5. Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson's disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
  6. Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson's disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
  7. Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson's disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
  8. Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson's disease using motor cortex sensing. J. Neural Eng. 11, (2018).
  9. Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
  10. Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson's disease. Journal of Neural Engineering. 18 (4), 046046(2021).
  11. Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid - State Circuits Conference - (ISSCC). , 460-462 (2018).
  12. Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/privacy/index.html (2008).
  13. Rights (OCR), O. for C. The Security Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/security/index.html (2009).
  14. Perrone, R., Gilron, R. SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , https://github.com/openmind-consortium/App-SCBS-PatientFacingApp (2021).
  15. Strandquist, G., et al. In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
  16. Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
  17. etzion. Ubuntu 20.04 and TPM2 encrypted system disk - Running Systems. , https://run.tournament.org.il/ubuntu-20-04-and-tpm2-encrypted-system-disk/ (2021).
  18. Craig-Wood, N. Rclone. , https://github.com/rclone/rclone (2023).
  19. Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401(2021).
  20. Hidalgo, G. inés, et al. CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose (2023).
  21. Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
  22. Cao, Z. openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/advanced/calibration_module.md (2023).
  23. Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398(2021).
  24. Ranti, C. Rune Labs Stream API. , https://docs.runelabs.io/ (2023).
  25. ffmpeg development community. FFmpeg Formats Documentation. , https://ffmpeg.org/ffmpeg-formats.html (2023).
  26. Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

将诊所带回家：一种支持自适应深部脑刺激的家庭多模态数据采集生态系统
联系我们
向图书馆推荐

隐私

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。