人类对3D立体视频的深度感知取决于相机间距、会聚点、物体距离以及物体的熟悉程度。本文介绍了一种在活体开胸手术期间快速、可靠地收集测试数据的机器人化方法，以确定理想的相机配置。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
手术过程的立体3D视频在医学教育中具有重要价值，并可改善临床沟通。然而，手术室及手术区域的进入受到严格限制。手术环境需保持无菌，且物理空间已被手术人员和技术设备占据，十分拥挤。在此环境下，要无遮挡地采集并真实再现手术过程十分困难。本文介绍了一种可在不同摄像机基线距离和会聚距离下快速、可靠地采集立体3D视频数据的方法。为在手术过程中以最小干扰、高精度和可重复性采集测试数据，摄像机被安装于一台双臂机器人的两只机械臂末端。该机器人安装于手术室天花板上，程序设定其执行定时的同步摄像运动序列，逐步遍历一系列测试位置，基线距离范围为50至240毫米，以10毫米为增量步长，并在1100毫米和1400毫米两个会聚距离下进行采集。手术过程中短暂暂停，以获取连续40段、每段5秒的视频样本。共记录了10种不同的手术场景。
引言
在外科手术中，三维可视化可用于教学、诊断、术前规划和术后评估1,2。真实的深度感知有助于更好地理解正常与异常解剖结构3,4,5,6。对手术过程进行简单的二维视频记录是一个良好的开端。然而，由于缺乏深度感知，非手术专业人员可能难以充分理解不同解剖结构之间的前后关系，从而增加解剖结构被误读的风险7,8,9,10。
3D 观看体验受五个因素影响：（1）相机配置可以是平行配置或内倾配置，如图1所示；（2）基线距离（相机之间的间距）；（3）到目标物体的距离以及其他场景特征，例如背景；（4）观看设备的特性，例如屏幕尺寸和观看位置1,
访问受限。请登录或开始试用以查看此内容。
方案
实验已获得瑞典隆德当地伦理委员会的批准。参与研究为自愿行为，患者的法定监护人已提供知情书面同意。
1. 机器人设置与配置
注意：本实验使用了一台双臂协作式工业机器人及配备触摸显示屏的标准控制面板。机器人由 RobotWare 6.10.01 控制器软件和机器人集成开发环境（IDE）RobotStudio 2019.525 进行控制。作者开发的软件，包括机器人应用程序、记录应用程序和后处理脚本，可在 GitHub 代码仓库中获取26。
警告：在设置和测试机器人程序期间，请佩戴护目镜并降低运行速度。
- 按照产品说明书第25页所述，使用可承受100 kg重量的螺栓将机器人安装在天花板或桌面上24，并遵循制造商的安装规范。确保机械臂能够自由移动，且视野范围内无遮挡。
注意：在高处安装机器人时，请使用起重设备或安全绳。 - 通过打开机器人底座上的启动开关来启动机器人。按照操作手册第47-56页所述的程序对机器人进行校准25。
- 在一台Windows计算机上启动机器人IDE。
- 连接至物理机器人系统（参....
访问受限。请登录或开始试用以查看此内容。
结果
在视频1中展示了一个可接受的评估视频，其正确的图像位于上下立体3D格式的顶部。成功的序列应清晰、聚焦，且无不同步的图像帧。不同步的视频流会导致模糊，如文件视频2所示。融合点应在水平方向上居中，与相机间距无关，如图9A、B所示。当机器人在位置之间切换时，视频中会出现轻微抖动，这在50 mm/s的过渡速度下是可预期的。当左右图像之间的间距过大时，大脑无法将图像融合为一个3D图像，参见图9C和视频3。
在整个视频中，图像中心应始终对准心脏位置，如图1C所示。导致无法实现该效果的原因可能有以下几点：（1）汇聚点距离心脏过远，参见图7。可通过机器人应用程序设置界面调整摄像头相对于患者的位置（
访问受限。请登录或开始试用以查看此内容。
讨论
在活体手术期间，为确保患者安全，用于三维视频数据采集的实验总时间受到严格限制。如果目标物体失焦或曝光过度，则所采集的数据无法使用。关键步骤在于相机工具的校准与设置（步骤2）。手术开始后，不得再调整相机的光圈和焦点；设置阶段与手术过程中应保持相同的照明条件和距离。步骤2.1至2.4中的相机校准必须仔细执行，以确保心脏位于所采集视频的中心位置。若需排查校准问题，可通过在坐标系中点动机器人（步骤2.3.3）来单独验证相机工具坐标系的数值。手术前必须联合测试完整的机器人程序、相机系统以及录制应用程序。手术过程中有时会调整手术台的高度；此时也可在机器人应用程序中实时调整机器人相机的高度（步骤3.4），以维持相机与心脏之间的理想距离。机器人程序中的距离参数和等待时间可根据步骤2.5所述方法进行修改。
该技术的一个局限性在于需要暂停手术；因此，只有在患者能够安全暂停手术的情况下才能进行数据采集。另一个局限性是需要对手术室进行物理改造，以便将机器人安装在天花板上，且编程的机器人运动假设机器人位于心脏正上方中心位置。此外，相机采用的是内倾式安装而非平行安装，这可能会导致产生梯形畸变。梯形畸变可在后期.......
访问受限。请登录或开始试用以查看此内容。
披露
作者无任何利益冲突需要披露。
致谢
本研究获得了来自Vinnova（2017-03728、2018-05302和2018-03651）、心脏-肺基金会（20180390）、卡姆普拉德家族基金会（20190194）以及安娜-莉萨和斯文·埃里克·伦德格伦基金会（2017年和2018年）的资助。
....访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 2 个 C 接口镜头（35 mm F2.1，500 万像素） | Tamron | M112FM35 | 适用于 500 万像素相机 |
| 3D 眼镜（DLP-link 主动快门式） | Celexon | G1000 | 可使用任何兼容的 3D 眼镜 |
| 3D 投影仪 | Viewsonic | X10-4K | 支持 1080 分辨率 3D 显示，可替换为其他 3D 投影仪 |
| 6 个 M2 × 8 螺丝 | 用于将 cXimea 相机固定到相机适配板上 | ||
| 8 个 M2.5 × 8 螺丝 | 用于将圆形安装板固定到机器人腕部 | ||
| 8 个 M5 × 40 螺丝 | 用于安装机器人 | ||
| 8 个平头 M6 × 10 螺丝 | 用于连接圆形安装板和相机适配板 | ||
| 标定用棋盘格板（25 × 25 mm） | 可使用任意标准棋盘格图案，包括打印版本，只要在相机中能清晰识别网格即可 | ||
| 相机适配板，×2 | 由作者设计，文件名为 robot_camera_adaptor_plates.dwg，采用铝材铣削加工制成。 | ||
| 圆形安装板，×2 | 经设计者 Julius Klein 授权分发，使用 FDM 3D 打印机以 ABS 塑料打印而成。许可方：Tecnalia Research & Innovation 2017。文件名为 Mountingplate_ROBOT_SIDE_ NewDesign_4.stl | ||
| 固定焦距 USB 相机，×2（500 万像素） | Ximea | MC050CG-SY-UB | 搭载 Sony IMX250LQR 传感器 |
| Flexpendant | ABB | 3HAC028357-001 | 机器人触摸显示屏 |
| Liveview | 录制应用程序 | ||
| RobotStudio | 机器人集成开发环境（IDE） | ||
| USB3 有源线缆（10.0 m），×2 | 带旋紧式连接器，防水设计 | ||
| YuMi 双臂机器人 | ABB | IRB14000 |
参考文献
- Held, R. T., Hui, T. T. A guide to stereoscopic 3D displays in medicine. Academic Radiology. 18 (8), 1035-1048 (2011).
- van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. Effectiveness of stereoscopic displays in medicine: A review. 3D Research. 3 (1), 1-13 (2012).....
访问受限。请登录或开始试用以查看此内容。
重印与许可
