相机位置的机器人化测试，以确定心脏直视手术立体3D可视化的理想配置

摘要

3D立体视频的人类深度感知取决于摄像机的分离度，收敛点，距离和物体的熟悉程度。本文提出了一种机器人化方法，用于在现场心脏直视手术期间快速可靠地收集测试数据，以确定理想的相机配置。

摘要

来自外科手术的立体3D视频对于医学教育非常有价值，并改善了临床沟通。但进入手术室和手术区域受到限制。这是一个无菌的环境，物理空间挤满了外科医生和技术设备。在这种情况下，很难对外科手术进行无遮挡的捕获和逼真的再现。本文提出了一种在不同摄像机基线距离和收敛距离下快速可靠地采集立体3D视频数据的方法。为了在手术过程中以最小的干扰收集测试数据，具有高精度和可重复性，相机被连接到双臂机器人的每只手上。机器人安装在手术室的天花板上。它被编程为执行同步相机移动的定时序列，以10 mm的增量步进，在基线距离在50-240 mm之间的一系列测试位置，以及1100 mm和1400 mm的两个收敛距离。暂停手术以允许40个连续的5秒视频样本。共记录了10种手术场景。

引言

在外科手术中，3D 可视化可用于教育、诊断、术前计划和术后评估^1，2。逼真的深度知觉可以提高对正常和异常解剖结构的理解^3，4，^5，6。外科手术的简单2D视频录制是一个良好的开端。然而，缺乏深度知觉可能使非手术同事难以完全理解不同解剖结构之间的前后关系，因此也会带来误解解剖结构的风险^{7，8，9，10}。

3D 观看体验受五个因素的影响:（1） 摄像机配置可以是并行的，也可以是脚趾式的，如图 1 所示，（2） 基线距离（摄像机之间的距离）。（3）与感兴趣对象的距离和其他场景特征，如背景。（4）观看设备的特点，如屏幕尺寸和观看位置^1，....

方案

这些实验得到了瑞典隆德当地伦理委员会的批准。参与是自愿的，患者的法定监护人提供了知情的书面同意书。

1. 机器人设置和配置

注:本实验使用双臂协作式工业机器人和带触摸显示屏的标准控制面板。机器人由RobotWare 6.10.01控制器软件和机器人集成开发环境（IDE）RobotStudio 2019.525^控制。作者开发的软件，包括机器人应用程序，记录应用程序和后处理脚本，可在GitHub存储库²⁶上找到。

注意:在设置和测试机器人程序期间，请使用防护眼镜并降低速度。

1. 按照制造商的规格，使用尺寸为100 kg的螺栓将机器人安装到天花板或桌子上，如产品规格^24第25页所述。确保手臂可以自由移动，并且视野的视线不被遮挡。
   注意:将机器人安装在高位时，请使用升降机或安全绳。
2. 通过转动位于机器人底部的启动开关来启动机器人。按照第47-5625页操作手册中描述的程序校准机器人。
3. 在 Windows 计算机上启动机器人 IDE。
4. 连接到物理机器人系统（操作手册页 ^14....

结果

Video1 中显示了一个可接受的评估视频，其中正确的图像放置在自上而下的立体 3D 的顶部。成功的序列应该是清晰的、集中的，并且没有不同步的图像帧。不同步的视频流将导致模糊，如文件视频 2 所示。收敛点应水平居中，独立于相机分离，如图9A，B所示。当机器人在各个位置之间转换时，视频中会出现一个小的抖动，这是在50 mm / s的过渡速度下预期的。由于左右图像之间的距离过大，大脑无法将图像融合成一个3D图像，参见图9C和视频3。

在整个视频中，图像中心脏的位置应居中，如图 1C所示。有几个原因可能导致此失败:（1）收敛点离心脏太远，见 图7。相机相对于患者的位置可以从机器人应用设置屏幕进行修改（

讨论

在现场手术期间，用于3D视频数据收集的实验的总时间受到限制，以便对患者安全。如果物体未聚焦或过度曝光，则无法使用数据。关键步骤是在相机工具校准和设置期间（步骤2）。手术开始时，相机光圈和对焦无法改变;在设置和手术过程中应使用相同的照明条件和距离。必须仔细执行步骤2.1-2.4中的相机校准，以确保心脏在捕获的视频中居中。要对校准进行故障排除，可以通过在坐标系中慢跑机器人来单独验证相机工具坐标系的值（步骤 2.3.3）。在手术前测试完整的机器人程序和相机以及记录应用程序至关重要。手术台的高度有时会在手术过程中进行调整;机器人摄像头的高度也可以在机器人应用中进行实时修改（步骤3.4），以保持与心脏的所需距离。机器人程序的距离和等待时间可以按照步骤2.5中所述进行修改。

这种技术的一个局限性是它要求暂停手术;因此，只有在患者暂停手术是安全的情况下，才能进行数据收集。另一个限制是，它需要手术室的物理适应才能将机器人安装在天花板上，并且编程的机器人运动假设机器人位于心脏上方。此外，摄像机是脚趾插入而不是并行的，这可能会导致梯形效果。基石效果可以在后期制作中调整

材料

本文使用的材料清单

姓名	公司	目录编号	评论
2 个 C 接口镜头（35 毫米 F2.1,5 M 像素）	腾龙	M112FM35	额定 5 M 像素
3D 眼镜（DLP 链接主动快门）	赛克森	G1000	任何兼容的 3D 眼镜都可以使用
3D 投影仪	Viewsonic	X10-4K	以 1080 显示 3D，可更换其他 3D 投影仪
6 M2 x 8 螺丝			将 cXimea 相机安装到相机转接板上
8 颗 M2.5 x 8 螺钉			将圆形安装板安装到机器人手腕上
8 颗 M5 x 40 螺钉			安装机器人
8 颗 M6 x 10 平头			用于连接圆形安装板和相机转接板
校准检查板（25 x 25 mm）			可以使用任何标准棋盘格，包括印刷品，只要网格在相机中清晰可见
相机转接板，x2			由作者在 robot_camera_adaptor_plates.dwg 设计，用铝铣削。
圆形安装板，x2			经设计师 Julius Klein 许可分发，并在 FDM 3D 打印机上使用 ABS 塑料打印。许可证： Tecnalia Research &创新 2017。作为 Mountingplate_ROBOT_SIDE_ NewDesign_4.stl 固定
对焦 USB 相机，x2（5 M像素）	Ximea	MC050CG-SY-UB	带索尼IMX250LQR传感器
Flexpendant	ABB	3HAC028357-001	机器人触摸显示器
实时取景			录制应用程序
RobotStudio			机器人集成开发环境 （IDE）
USB3 有源电缆 （10.0 m），x2			指旋螺钉锁连接器，防水。
YuMi 双臂机器人	ABB	IRB14000