Name: 触觉/图形康复:整合成一个虚拟的环境下图书馆的机器人，它应用于中风治疗 (视频) | JoVE Journal
Uploaded: 2011-08-08T13:00:00.000+00:00
Duration: 13 min 44 s
Description: 学习将机器人整合到虚拟环境库中，用于中风患者的康复治疗。该方法通过创建触觉和图形包装类，实现标准化机器人治疗流程，帮助改善中风患者的康复效果。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

感谢 Brian Zenowich、Daniel Evestedt 和 Winsean Lin 提供的技术支持。

引言
在所有人机交互（HMI）领域中，对直观且高效交互环境的需求日益增长。众多行业对人机交互的依赖程度持续加深，例如：康复机器人、汽车工业、金属制造、包装机械、制药、食品、饮料和公用事业。这些行业中采用的技术包括：显示终端、个人计算机以及人机交互软件。这些技术可组合使用，以实现无限多样的功能。
机器人可用于促进与用户的直接互动，例如担任音乐教师。例如，早稻田大学的研究人员开发了一款能够演奏萨克斯管的机器人，用以教授人们演奏技巧，并理解师生之间的互动过程1。其他机器人研究者则研制了一种基于视觉的飞行机器人，以探索人工智能如何发展出与环境之间的智能交互能力2。本文的重点则集中在康复机器人领域。
在研究与工业领域，新产品和用户需求的变化速度持续加快。这些需求对可扩展性提出了更高的挑战。因此，代码设计已成为及时满足这些需求的关键环节。一个优秀的架构方案应具备易于互换的图形-机器人系统，并包含驱动支持。H3DAPI 架构正是为满足这些需求而设计，因此已开发出相应的封装类。此外，H3D 专为虚拟现实环境设计，适用于康复机器人等应用场景。
神经康复机器人旨在利用机器人辅助康复专业人员。这些机器人提供的辅助以力场的形式实现。诸如 Shadmehr 和 Mussa-Ivaldi 等运动指令研究者曾使用力场来促进运动适应，并发现：1）针对外加力场的适应可在多种类型的运动中发生，包括但不限于伸手运动；2）适应效应可泛化至经过外部力场相同区域的不同运动3。来自生物力学工程师在基于表现的渐进式机器人辅助治疗方面的研究表明，重复性、任务特异性、目标导向的机器人辅助治疗在减轻中风后患侧上肢运动功能障碍方面是有效的4，但其确切的治疗效应和参数仍处于研究之中。
感觉反馈会影响学习与适应过程。因此，下一个合乎逻辑的问题是：人为增强此类反馈的强度是否能够促进更快或更彻底的学习/适应？一些研究发现，施加更强的感觉反馈力或视觉提示以放大错误，可提供足够的神经刺激，从而促进更高水平的适应/学习5,6。这种现象被称为“误差增强”（error augmentation）。该现象可能源于以下机制：当运动控制行为的结果偏离理想状态时，我们的内部模型会根据误差的大小进行自我调整。因此，随着内部模型逐渐接近外部环境的真实状态，执行任务时的误差也随之减小。
研究持续支持通过长期练习功能相关的活动来恢复功能，尽管当前许多医疗政策限制了患者与治疗师相处的时间。一个引人关注的问题是，这些新技术的应用是否能够超越简单地增加现有治疗模式的剂量。人机交互研究在运动学习领域揭示了新的前景，在某些情况下可为治疗过程带来额外价值。结合计算机显示的专用机器人设备可以增强错误反馈，从而加速、加强或触发运动再学习。本文将介绍一种利用已开发系统进行临床干预的方法学，作为此类技术应用的一个实例。
1. 为机器人建立 HAPI 包装类
<ol>
<li>通过创建您自己的 .cpp 和头文件，为 HAPI 触觉库创建一个封装器。例如，我们将使用名称 HAPIWAM.cpp 和 HAPIWAM.h。</li>
<li>将 HAPIWAM.cpp 放置到源代码目录：HAPI/src</li>
<li>将 HAPIWAM.h 放置到头文件目录：HAPI/include/HAPI</li>
<li>在 HAPIWAM.h 文件的顶部，包含您机器人主头文件，以 Barrett WAM 为例，应包含：</li>
</ol>

extern "C" { 
#include &lt;include/btwam.h&gt; 
} 
#include &lt;HAPI/HAPIHapticsDevice.h&gt; 


注意：由于所包含的库是用 C 语言编写的，而 H3DAPI 是用 C++ 编写的，因此需要使用 extern "C" 来解决编译器的名称修饰问题。

<ol start="5"><li>在 HAPIWAM.h 中，创建您的类并包含以下 4 个函数</li></ol>

bool initHapticsDevice(int); 
bool releaseHapticsDevice(); 
void updateDeviceValues(DeviceValues &amp;dv, HAPITime dt); 
void sendOutput(HAPIHapticsDevice::DeviceOutput &amp;d, HAPITime t); 


<ol start="6">
<li>确保您的类公开继承自 HAPIhapticsdevice 类。</li>

<li>为您的类创建头文件保护符。</li>
<li>在 HAPIWAM 类下创建静态 DeviceOutput 和静态 HapticsDeviceRegistration 属性。</li>
<li>为回调函数创建您的静态成员函数。</li>
<li>在 HAPIWAM.cpp 中定义您的构造函数和析构函数。</li>
<li>在 HAPIWAM.cpp 中注册您的设备。</li>
<li>在 HAPIWAM.cpp 中定义您继承的 4 个函数和回调函数。</li>
</ol>

2. HAPI 文库构建
<ol>
 <li>现在我们已经创建了 HAPI 包装类，接下来需要将你的包装器构建到 HAPI 库中。WAM 依赖于一些 H3DAPI 在原始形式下并不依赖的库，因此需要将这些库添加到 HAPI 中。进入 HAPI/HAPI/build 目录，编辑 CMakeLists.txt 文件，在标有 'SET(OptionalLibs)' 的行之后添加所依赖的库。</li>
 
 <li>打开命令行控制台，导航至：HAPI/HAPI/build，并按以下顺序输入以下 3 条命令：</li>
</ol>
cmake . 
sudo make 
sudo make install 

3. H3D 包装类
<ol>
 <li>要为 H3D 库创建 HAPIWAM 的包装类，首先在源代码目录 H3DAPI/src 中创建 WAMDevice.cpp</li>
 <li>将 WAMDevice.h 放入头文件目录：H3DAPI/include/H3D</li>
 <li>WAMDevice.h 应包含所有 H3DAPI 设备的标准头文件，名称可替换为您希望的任意名称</li>
 <li>WAMDevice.cpp 应包含所有 H3DAPI 设备的标准源代码，名称可替换为您希望的任意名称</li>
 <li>现在包装类已创建完成，需重新构建 H3DAPI 库。方法是按照步骤 2.1 的方式编辑目录 H3DAPI/build 中的 CMakeLists.txt 文件</li>
 <li>在目录 H3DAPI/build 下重新构建 H3DAPI 库</li>
</ol>
cmake . 
sudo make 
sudo make install 

4. 有限状态机
<ol>
 <li>每个目标到达程序都需要创建一个有限状态机，以控制实验协议或训练范式。典型的状态机包括：试验开始、发射、目标接触和试验结束。以下列出了每个状态的功能及状态间转换的条件。</li>
 <li>试验开始阶段需要分配一个目标。目标位置可在每次试验中随机设定，或从文件中读取。当用户向目标移动的速度超过预设速度阈值（通常为 0.06 米/秒）时，试验开始阶段结束，进入下一状态。</li>
 <li>发射状态发生在试验开始之后。该状态在用户接触到目标或在目标区域内持续停留一段时间后结束。一旦目标被触碰，即触发目标接触状态。</li>
 <li>目标接触状态发生在发射状态期间。该状态可在目标被触碰的瞬间结束，也可在受试者在目标区域内持续停留特定时间后结束。当该时间段结束后，即进入试验结束状态。</li>
 <li>试验结束状态应向数据采集软件发送信号，按照软件开发者所采用的数据解析方式，在数据文件中标记每个试验的结束位置。除非已完成最终试验，否则试验结束状态结束后将重新启动试验开始状态。</li>
</ol>
5. 应用：脑卒中患者的康复
<ol>
 <li>机器人接口的设计旨在融入治疗师的专业知识，同时利用机器人实现原本无法完成的操作。该技术实现了误差增强（下文将详细描述）的应用，即放大患者感知到的运动误差，出于多个已知原因，这有助于促进重学过程（图1）。</li>
 <li>一种名为虚拟现实机器人与光学操作机（Virtual Reality Robotic and Optical Operations Machine, VRROOM）的三维触觉/图形系统。该系统此前已有所报道6，结合了投射式立体成像、基于半透银镜叠加显示的头戴追踪渲染，以及记录手腕位置并生成力矢量的机器人系统（图2）。</li>
 <li>一部影院级数字投影仪（Christie Mirage 3000 DLP）显示图像，覆盖一个五英尺宽、分辨率为1280×1024像素的显示屏，从而实现 110° 宽视角。红外发射器通过液晶显示器（LCD）快门眼镜（Stereographics, Inc）同步左右眼图像。Ascension Flock of Birds 磁性元件追踪头部运动，从而使视觉显示呈现相应的以头部为中心的视角。</li>
 <li>在符合研究入组条件后，由一名盲法评估员在每种治疗方案开始时和结束时对每位参与者的功能能力进行评估，每种方案结束后1周进行随访评估，并在总体治疗结束后45天进行最终随访评估。每次评估均包括在VRROOM中进行的关节活动度（ROM）评估，以及若干临床评估指标，包括：方盒方块测试（Box and Blocks Assessment）、Wolf上肢运动功能测试（WMFT）、Fugl-Meyer上肢运动功能部分（AMFM）以及简易功能性前伸距离评估（ASFR）。 </li>
 <li>使用带有腕部夹板的外肌腱手套以辅助维持腕关节和手部的中立位对齐。机器人手柄的中心连接于前臂，置于桡腕关节后方，使其作用力施加于腕部，同时允许手部自由活动。</li>
 <li>使用弹簧驱动的威尔明顿机器人外骨骼（WREX）重力平衡矫形器减轻患者手臂重量。要求患者的目标是追逐由治疗师手持跟踪装置操控移动的、呈现在其前方的光标（治疗师遥操作）。</li>
 <li>患者每周进行三次训练，每次约40至60分钟，由患者、治疗师和机器人组成三人协作模式。受试者与治疗师并排而坐，受试者的手腕与机器人相连接。 </li>
 <li>每次训练开始时，受试者先由治疗师进行五分钟的被动关节活动度训练（PROM），随后约十分钟用于将患者安置于设备中。之后，受试者完成六个运动训练组块，每组持续五分钟，组间休息两分钟。</li>
 <li>训练期间，参与者在立体显示器上观察两个光标。治疗师操控其中一个光标，参与者控制另一个。患者需跟随治疗师光标在工作空间内移动的精确路径。 </li>
 <li>通过机器人产生的力和视觉反馈同时提供误差增强。当参与者的手偏离治疗师的光标时，会建立一个瞬时误差向量 e，表示治疗师光标与参与者手部位置之间的差异。误差在视觉上被放大了1.5倍。e （m）作为误差增强的一部分。此外，施加100的误差增强力e （N/m）也被施加，出于安全考虑，程序设定其最大值为 4 N 时达到饱和。</li>
 <li>每隔一个治疗模块包含特定的标准化动作，这些动作在每次治疗中均保持一致。其余模块则允许治疗师根据其专业判断及观察结果，针对患者特定的薄弱环节进行个性化训练。治疗方案要求所有参与者练习特定动作，包括向前和向侧方伸手、肩-肘联动动作，以及跨越身体中线的对角线方向伸手。</li>
 <li>在练习过程中，每日中位误差被作为练习效果的一项指标进行测量。特别关注了每次训练中保持一致的标准动作模块，将其与之前的数据进行对比，以判断是否存在逐日递进的改善，并将结果反馈给患者、治疗师及照护人员（图3）。</li>
 <li>主要结局指标在治疗结束后1周及治疗后45天每周进行测量，以评估疗效的维持情况。关键结局指标包括Fugl-Meyer运动功能评分和我们自行设计的上肢伸展测试，后者用于测量关节活动范围。 </li>
</ol>
6. 代表性结果：
当正确执行该方案后，一旦将 &lt;AnyDevice&gt; 节点加载到 H3DViewer 或 H3DLoad 中，WAM 设备应被识别并初始化。如果将 WAM 替换为另一台机器人，则代码本身无需更改。
<img src="/files/ftp_upload/3007/3007fig1.jpg" alt="机器人辅助康复；示意图；机械臂辅助患者治疗。" data-altupdatedat="1788235205000" data-alt="图1"> 
图1. 受试者坐在触觉/图形装置前。
<img src="/files/ftp_upload/3007/3007fig2.jpg" alt="两名参与者在交互式模拟中使用虚拟现实设备的实验设置。" data-altupdatedat="1788235205000" data-alt="图 2"> 
图 2. 受试者与物理治疗师共同坐在触觉/图形装置前。
<img src="/files/ftp_upload/3007/3007fig3.jpg" alt="运动任务训练装置及多日-reaching误差减少图；学习分析。" data-altupdatedat="1788235205000" data-alt="图3"> 
图3. 脑卒中患者康复训练的配置。A) 患者与治疗师共同工作，坐姿状态下使用大工作空间的触觉/图形显示设备进行运动训练。治疗师为患者提供提示，并可根据患者的具体需求调整训练方案。机器人施加使肢体偏离目标的力，视觉反馈系统则放大光标误差。B) 典型慢性脑卒中患者逐日功能改善情况。每个圆点代表一个持续2分钟的典型功能性运动区块所测得的中位误差。尽管该患者在为期两周的训练期间总体表现出进步和获益，但并非每天都持续改善。

<ol><li>Solis, J., Takeshi, N., Petersen, K., Takeuchi, M., Takanishi, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Development+of+the+anthropomorphic+saxophonist+robot+WAS-1%3A+Mechanical+design+of+the+simulated+organs+and+implementation+of+air+pressure%5BTitle%5D)+AND+%22Advanced+Robotics+Journal%22%5BJournal%5D)">Development of the anthropomorphic saxophonist robot WAS-1: Mechanical design of the simulated organs and implementation of air pressure.</a> Advanced Robotics Journal. 24, 629-650 (2010).</li>
<li>Evolving Won-Based Flying Robots. Zufferey, J. C., Floreano, D. Proceedings of the 2nd International Workshop on Biologically Motivated Computer Vision, 2002 November, Berlin, , Springer-Verlag. 592-600 (2002).</li>
<li>Conditt, M. A., Gandolfo, F., Mussa-Ivaldi, F. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+motor+system+does+not+learn+the+dynamics+of+the+arm+by+rote+memorization+of+past+experience%5BTitle%5D)+AND+%22Journal+of+Neurophysiology%22%5BJournal%5D)">The motor system does not learn the dynamics of the arm by rote memorization of past experience.</a> Journal of Neurophysiology. 78, 554-554 (1997).</li>
<li>Krebs, H. I., Palazzolo, J. J., Dipietro, L., Ferraro, M., Krol, J., Rannekleiv, K., Volpe, B. T., Hogan, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Rehabilitation+robotics%3A+Performance-based+progressive+robot-assisted+therapy%5BTitle%5D)+AND+%22Autonomous+Robots%22%5BJournal%5D)">Rehabilitation robotics: Performance-based progressive robot-assisted therapy.</a> Autonomous Robots. 15, 7-20 (2003).</li>
<li>Wei, K., Kording, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Relevance+of+error%3A+what+drives+motor+adaptation%5BTitle%5D)+AND+%22Journal+of+neurophysiology%22%5BJournal%5D)">Relevance of error: what drives motor adaptation.</a> Journal of neurophysiology. 101, 655-65 (2009).</li>
<li>Wei, Y., Bajaj, P., Scheidt, R., Patton, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Visual+error+augmentation+for+enhancing+motor+learning+and+rehabilitative+relearning%5BTitle%5D)+AND+%22IEEE+International+Conference+on+Rehabilitation+Robotics%22%5BJournal%5D)">Visual error augmentation for enhancing motor learning and rehabilitative relearning.</a> IEEE International Conference on Rehabilitation Robotics. , 505-510 (2005).</li>
</ol>

这种包装类实现方法使得在使用 H3DAPI 时，无需更改源代码即可使用不同的机器人。具体而言，那些已在 H3D 中编写了触觉/图形环境并使用 Phantom 机器人测试其实验的研究人员，将能够使用 Barrett WAM 机器人开展相同或类似的实验，反之亦然。此类设备无关的交叉通信对国际康复机器人研究具有重要意义，有助于加快触觉/图形环境的开发，促进国际科研合作以及不同研究实验室之间的交流。
康复机器人领域尚未揭示运动学习中涉及的众多参数。在触觉/图形开发过程中，耗时的步骤之一是编译时间。由于康复参数众多，加之每个程序都需要编译时间，导致测试所有可能分组组合的开发周期迅速增加。H3D无需编译，能够快速开发大量虚拟现实场景，这对于希望深入探究各种训练方案效果的研究人员而言具有显著优势。
这种“硬编码”包装类集成方法的局限性在于，每次发布新的 H3DAPI 版本时，都必须重复此过程。将包装类集成到最新 H3DAPI 版本中的可能改进方法是：将包装类独立于 H3DAPI 单独创建，然后将其编译为 *.so 库文件。这样可使您的类与原始 H3DAPI 发行版本相互隔离。

<table><tbody><tr><td colspan="4">&lt;ol&gt;&lt;李&gt;名为巴黎（personal augmented reality immersion system，个人增强现实沉浸系统）的显示设备位于 &lt;a href=&quot;http://www.evl.uic.edu&quot;&gt;www.evl.uic.edu&lt;/a&gt;&lt;/li&gt;&lt;李&gt;大型灰色机器人是 Barrett WAM： &lt;a href=&quot;http://www.barrett.com&quot;&gt;www.barrett.com&lt;/a&gt;&lt;/li&gt;&lt;李&gt;体型较小、较纤细的黑色机器人是Phantom： &lt;a href=&quot;http://www.sensable.com&quot;&gt;www.sensable.com&lt;/a&gt;&lt;/li&gt;&lt;李&gt;臂部支架为 RIC 开发的 T-WREX： &lt;a href=&quot;http://www.ric.org/research/centers/mars2/Projects/development/d3.aspx&quot;&gt;http://www.ric.org/research/centers/mars2/Projects/development/d3.aspx&lt;/a&gt;&lt;/li&gt;&lt;李&gt;用于3D视觉的快门眼镜： &lt;a href=&quot;http://www.vrlogic.com&quot;&gt;www.vrlogic.com&lt;/a&gt;&lt;/li&gt;&lt;李&gt;头部追踪软件 &lt;a href=&quot;http://www.mechdyne.com&quot;&gt;www.mechdyne.com&lt;/a&gt;&lt;/li&gt;&lt;李&gt;H3DAPI 本身： &lt;a href=&quot;http://www.h3dapi.org&quot;&gt;www.h3dapi.org&lt;/a&gt;&lt;/li&gt;&lt;/ol&gt;</td></tr></tbody></table>

触觉/图形康复：将机器人整合至虚拟环境库并应用于中风康复治疗

Haptic/Graphic Rehabilitation: Integrating a Robot into a Virtual Environment Library and Applying it to Stroke Therapy

近期针对交互式设备在长期治疗训练中应用的研究，揭示了机器人技术结合图形化及其他形式生物反馈的新前景。以往的人机交互系统需要为每种机器人分别编写不同的软件指令，导致每次有新系统出现时都会产生不必要的开发开销。例如，当为某一特定机器人编写了触觉/图形虚拟现实环境以提供触觉反馈后，若要更换为另一种机器人，则必须重新编写程序。然而，开源社区近期提出了一种类封装（wrapper class）方法，能够使不同机器人产生几乎相同的响应。这一方法可使全球研究人员利用共享代码开展相似实验，从而在模块化地“替换”一种机器人为另一种时，不会影响开发时间。本文阐述了成功创建并实现一种机器人封装类，并将其集成到开源的 H3DAPI 中，该 API 整合了各类机器人最常用的软件指令。

近年来，人机交互系统出现了大量发展前景。本文概述了一种新型机器人设备与开源软件的集成，该集成可快速实现一系列交互功能。随后，我们介绍了一种神经康复应用的临床应用。

近期针对交互式设备用于长期治疗训练的研究揭示了机器人技术与图形及其他技术结合的新前景。

该实验的总体目标是将机器人集成到虚拟环境库中，并利用该机器人进行中风康复治疗。首先创建一个包装类以扩展触觉库，然后将该包装类集成到触觉库中。下一步是创建另一个包装类以扩展图形库，待包装类完成后，再将其集成到图形库中。该H 3D API接口用于为中风患者测试建立有限状态机。随后利用集成机器人帮助中风患者进行康复治疗。该技术的主要优势在于，无需再为每种机器人编写不同的软件应用程序。此外，全球各地的科研人员均可运行这些应用程序，而无需考虑其实验室使用何种机器人设备。该方法有助于回答康复、机器人学和运动控制领域中的关键问题，例如我们的神经系统在多大程度上可能受益于误差增强。该方法可为中风导致的功能障碍提供深入见解，同时进一步增进我们对正常运动功能的理解。通常，刚进入康复阶段的中风患者在使用机器人辅助治疗时，需要克服一些障碍，例如学习如何握持手柄。当我们意识到需要一种具有较大操作工作空间且具备重力补偿功能的机器人时，便首次提出了这一方法。同时，我们希望尽量减少软件的重复编写，以便未来的研究生能够受益于前人的工作成果，而无需重复相同的工作。本视频介绍了如何将全臂操作（WHAM）机器人与 www.hthreedpi.org 网站提供的开源代码进行集成。要将新型机器人集成到触觉库中，第一步是为 HAP 触觉渲染引擎编写一个封装类，该引擎用于控制 WHAM 机器人的运动。首先创建一个 CPP 文件和头文件。本示例使用的文件名分别为 happy、wham、cpp 和 happy wham h。将 happy wham cpp 文件放入源目录中，即 Happy slash source，然后放置 happy。将 wham h 放入头文件目录。happy/slash/include/slash/happy。在 happy wham h 的顶部包含机器人的主要头文件。请注意，由于所包含的库是用 C 语言编写的，而 H 3D API 是用 C++ 编写的，因此需要使用 extern C 来解决编译器的名称修饰问题。在 Happy WHAM 中，需为机器人创建类，并在其中包含四个函数：触觉设备释放、触觉设备、更新设备参数和发送输出。请确保该类公开继承自 Happy HapticsDevice 类。接下来，为该类创建头文件保护。然后在 happy WHAM 类下创建静态设备输出和静态触觉设备注册属性。接着，为与机器人相关的回调创建静态成员函数。对于 WHAM 机器人，回调函数在公牛和触觉设备的初始化函数中使用。现在，由于原型已在头文件中设置，打开 happy wham.cpp 文件，并包含适当的头文件和命名空间。接下来，在 Happy Wam.cpp 中定义构造函数和析构函数。然后在 Happy Wam cpp 中注册该设备。现在在 happy Wam cpp 中定义四个继承的函数和回调函数。update device values 函数用于告知计算机机器人手臂的位置以及机器人对环境施加的力的大小。创建 Happy Wrapper 类后，下一步是将该封装构建到 Happy 库中。WAM 依赖于一些 H 3D API 在原始形式下并不依赖的库。因此，需要将这些库添加到 happy 中。进入 H 3D 2.1/happy/build 目录并编辑 CMakeLists.txt 文件。在标记为“Set optional libs”的行后添加依赖库。打开命令行终端，导航至 H 3D 2.1/happy/build 目录，依次输入以下命令：make、make install，以完成新机器人与 H 3D 开源代码的集成。为场景图编写第二个包装类。该 API 称为 H 3D API。此示例使用一个名为 wam device 的包装类。导航至源目录 H 3D AP I / source，并创建 WAM 设备的 CPP 文件 wam device.Cpp。添加所有 H 3D PI 设备的标准源代码。接着，将 Wam device H 头文件放入头文件目录中。Wam 设备 H 应包含所有 H 3D API 设备的标准头文件。现在包装类已创建完毕，通过编辑目录 H three DPI / build 中的 C make lists 文本，重新构建 H 3D PI 库。最后进入目录 H 3D PI / build。使用命令 CMake、点伪生成（pseudo make）和伪生成安装（pseudo make install）重建 H 3D API 库。新的封装类现已可与机器人配合使用。在安装适当的封装类后，将创建一个有限状态机，以控制 Barrett WHAM 机器人进行目标指向任务的实验协议。该状态机的状态包括试验开始、启动、目标接触以及试验结束。试验开始阶段始于目标的分配。每次试验的目标位置可以随机设置，也可以从文件中读取设定。试验开始阶段结束，随即进入发射阶段。当受试者的手启动并向目标移动的速度超过速度阈值（通常为 0.06 米/秒）时，启动阶段结束，目标接触阶段开始。当光标接触到目标时，目标消失，目标接触阶段结束，试验结束阶段开始。试验结束状态会向数据采集软件发出信号，以在数据文件中添加标记，表示本次试验的结束。除非已完成最后一次试验，否则试验结束状态的终止将触发下一次试验的开始状态，并分配一个新的目标。本节演示了一种用于中风患者康复的不同机器人，称为phantom。通过将幻影装置的封装类代码代入适当的库中，可将新型机器人集成到虚拟环境中。此处使用的是一个名为虚拟现实机器人与光学操作装置（ROOM）的三维触觉图形系统。该系统结合了在半透银镜叠加显示器上实现的投影立体头戴追踪渲染技术与一套机器人系统，后者能够记录手腕位置并生成力矢量。一套影院级数字投影仪显示图像，覆盖一个五英尺宽的显示区域，形成110度的宽视角。 红外发射器通过液晶快门眼镜同步左右眼的独立图像。使用Ascension Flock of Birds磁性元件追踪头部运动，从而以适当的以头部为中心的视角渲染视觉显示。带有腕部夹板的外骨骼肌腱手套有助于维持腕部和手部的中立对齐。将机器人手柄的中心置于桡腕关节远端的前臂上。这使得其作用力可施加于腕部，同时允许手部自由活动。使用由弹簧驱动的威尔明顿机器人外骨骼重力平衡矫形器来减轻患者手臂的重量。坐在患者旁边的治疗师使用跟踪设备在显示屏上移动光标。在患者前方，指导其使用机器人手柄追逐光标。机器人通过视觉反馈和自身产生的力提供误差增强训练。当患者的光标偏离治疗师的光标时，瞬时误差矢量 E 被定义为治疗师光标与患者手部位置之间的差异。该误差在误差增强过程中以 1.5 E 的倍数进行视觉放大。此外，向患者手臂施加一个大小为 100 E 的误差增强力，该力被程序设定为最大不超过 4 牛顿。出于安全考虑，误差增强会放大患者感知到的误差，从而促进重新学习过程。治疗方案要求患者练习若干特定动作，包括向前和向侧方伸展时的肩肘联动，以及对角线方向穿越身体的伸展动作。在接下来的演示中，将更换为高级代码，并使用 Barrett WHAM 机器人。本项任务的目标是让健康受试者或卒中患者在半透明的绿色球体内捕捉一个虚拟投射物。如果患者的手移出球体范围，球体将变为红色，同时机器人为患者手臂提供错误增强反馈。当患者在规定空间内成功捕捉到投射物时，球体保持绿色。该图显示了中位数到达误差。每个圆点代表对两分钟典型功能性运动区段所测得的中位数误差。尽管患者在两周内总体呈现进步趋势，但并非每天都表现出改善。该图显示了误差增强在选择性降低运动间变异性的方面所产生的益处。上方的图显示了对照组的数据，下方的图显示了治疗组的数据。每种颜色代表不同的受试者。两条水平线显示了任务边界的所在位置。受试者的目标是在这些边界内接住虚拟投射物。圆点的位置显示了每位受试者最接近接触点的位置。在投射图中，叠加于原始数据上方的蓝色半透明直方图显示了该组的运动分布情况。在前部轴向上，卒中患者共完成了600次抓取任务试验，其中前200次试验和后200次试验期间未提供误差增强反馈，而第201至400次试验期间未给予反馈。机器人向患者提供误差增强反馈，显著提高了患者在规定边界内成功抓取目标的能力。完成该操作流程后，传统的康复方法仍然可以继续实施，但借助机器人，我们可以在多次重复试验中持续量化患者手部的实时位置。该技术为神经工程领域的新研究开辟了道路，使我们能够在特定区域内探索模拟的伸手运动，从而获得多种可能的解决方案。观看本视频后，您应能够理解如何扩展所选康复机器人的 H 3D API 库，并应用多种触觉图形界面来评估和治疗卒中患者。因此，与机器人协作可能存在潜在危险，在选择用于此类人机交互的机器人时应仔细考量。在最近的项目中，我们选择了 Barrett WHAM 机器人，因为它功能更强大且具备反向驱动能力。反向驱动能力意味着，如果我们进行相应编程，机器人几乎可以感受不到阻力，同时它也是目前可用于人机交互的最安全选项之一。它配备了一个独立的看门狗计算机，用于监控主计算机，并在出现任何异常时禁用系统；动态制动功能则确保系统在不工作时始终处于阻尼状态。尽管许多机器人性能各异，但它们的许多功能确实存在重叠。因此，我们技术在不同机器人之间的可移植性可能促进实验室之间的新合作与资源共享。明确的是，诸如本研究中所展示的训练方法为恢复患者功能提供了令人鼓舞的证据，同时也可增强体育训练、遥操作音乐表演、外科手术技术以及任何需要重复练习的任务的训练效果。

hapticgraphic-rehabilitation-integrating-robot-into-virtual

Research

科研

JoVE Journal

Bioengineering

生物工程

触觉/图形康复：整合成一个虚拟的环境下图书馆的机器人，它应用于中风治疗

我们开发了一种利用自动控制技术实现偏瘫上肢功能恢复的实时镜像机器人系统，对健康受试者进行了临床研究，并通过康复医生的反馈确定了训练任务。这种简单的镜像机器人可有效应用于偏瘫上肢中风患者的作业治疗。...

用于偏瘫上肢功能恢复的机器人镜像疗法系统

我们介绍一种基于虚拟现实的新颖实验装置，该装置通过主动控制一只手来提高另一只（未经训练的）手的运动技能表现。该方法通过提供实时的、基于运动的感官反馈，使未经训练的手产生正在运动的感知。这种新方法可用于增强单侧轻偏瘫患者的康复效果。...

利用虚拟现实将运动技能知识从一只手转移到另一只手

本文介绍了一种基于移动游戏的虚拟现实程序的开发与应用方案，用于中风患者上肢功能障碍的康复。本研究表明，该移动程序具有可行性，并能有效促进中风患者的上肢功能恢复。...

基于移动游戏的虚拟现实上肢卒中康复方案

联合使用经颅直流电刺激与机器人疗法作为常规康复治疗的补充手段，可能通过调节大脑可塑性而改善治疗效果。本文介绍了我们研究所采用的联合方法，用于改善卒中后的运动功能表现。...

联合使用经颅直流电刺激与机器人疗法治疗上肢功能障碍

本方案阐述了基于虚拟现实的数字化职业训练系统如何促进中风后认知障碍和上肢功能障碍患者的康复。...

卒中后认知功能与上肢康复训练：基于数字作业训练系统的应用

据估计，全球约有六分之一的人在一生中会发生中风，导致长期残疾，而其康复机制目前仍不甚清楚。本研究提出了一种方案，用于在下肢机器人治疗过程中，通过功能性近红外光谱技术（fNIRS）评估大脑激活情况。...

使用功能性近红外光谱技术与机器人辅助下肢多关节指物运动的实验

本方案介绍了一种上肢康复机器人，该机器人通过四种模式提供智能反馈。这些模式可增强上肢功能和灵活性，从而提高患者的生活质量。...

通过上肢康复机器人增强中风后上肢功能与运动技能

本实验方案概述了一种用于上肢功能障碍卒中患者的双侧上肢任务导向型机器人系统。研究结果表明，该系统可显著改善卒中患者的上肢功能及日常生活活动能力。...

中风患者上肢功能恢复中双侧上肢任务导向型机器人系统的应用

将外骨骼辅助的减重平板车训练与基于游戏的虚拟现实技术相结合，对中风幸存者双重任务能力的影响尚未得到研究。因此，本康复计划旨在探讨这种组合在中风恢复期间增强步行能力方面的潜在作用与优势。...

一种结合非沉浸式虚拟现实的外骨骼辅助减重平板车训练康复项目用于中风患者

本研究探讨了可调节的柔性气动机器人对脑卒中后全脑网络拓扑结构的增强作用。图论分析表明，聚类系数、路径长度和全局效率均有显著改善。研究结果突显了可编程机器人方案在调节神经可塑性及优化脑卒中康复过程中功能恢复方面的潜力。...

软体气动机器人调节中风后手功能康复的脑网络图论指标

本方案旨在通过随机对照试验，评估在床旁使用下肢康复机器人对脑卒中后偏瘫患者进行康复治疗的临床疗效及患者舒适度，并与传统人工疗法的效果进行比较。...

床旁下肢康复机器人在卒中康复中的应用：一项随机对照试验

学习将机器人整合到虚拟环境库中，用于中风患者的康复治疗。该方法通过创建触觉和图形包装类，实现标准化机器人治疗流程，帮助改善中风患者的康复效果。

触觉/图形康复：将机器人整合至虚拟环境库并应用于中风康复治疗

探索更多视频