机器人化测试相机位置以确定心脏直视手术立体3D可视化理想配置

摘要

人类对3D立体视频的深度感知取决于相机间距、会聚点、物体距离以及物体的熟悉程度。本文介绍了一种在活体开胸手术期间快速、可靠地收集测试数据的机器人化方法，以确定理想的相机配置。

摘要

手术过程的立体3D视频在医学教育中具有重要价值，并可改善临床沟通。然而，手术室及手术区域的进入受到严格限制。手术环境需保持无菌，且物理空间已被手术人员和技术设备占据，十分拥挤。在此环境下，要无遮挡地采集并真实再现手术过程十分困难。本文介绍了一种可在不同摄像机基线距离和会聚距离下快速、可靠地采集立体3D视频数据的方法。为在手术过程中以最小干扰、高精度和可重复性采集测试数据，摄像机被安装于一台双臂机器人的两只机械臂末端。该机器人安装于手术室天花板上，程序设定其执行定时的同步摄像运动序列，逐步遍历一系列测试位置，基线距离范围为50至240毫米，以10毫米为增量步长，并在1100毫米和1400毫米两个会聚距离下进行采集。手术过程中短暂暂停，以获取连续40段、每段5秒的视频样本。共记录了10种不同的手术场景。

引言

在外科手术中，三维可视化可用于教学、诊断、术前规划和术后评估^1,2。真实的深度感知有助于更好地理解正常与异常解剖结构^3,4,5,6。对手术过程进行简单的二维视频记录是一个良好的开端。然而，由于缺乏深度感知，非手术专业人员可能难以充分理解不同解剖结构之间的前后关系，从而增加解剖结构被误读的风险^7,8,9,10。

3D 观看体验受五个因素影响：（1）相机配置可以是平行配置或内倾配置，如图1所示；（2）基线距离（相机之间的间距）；（3）到目标物体的距离以及其他场景特征，例如背景；（4）观看设备的特性，例如屏幕尺寸和观看位置^1,11,12,13；（5）观看者的个体偏好^14,15。

设计3D相机设置时，首先需要在不同的相机基线距离和配置下拍摄测试视频，用于主观或自动评估^{16,17,18,19,20}。相机与手术区域之间的距离必须保持恒定，以获取清晰的图像。建议采用固定焦距，因为自动对焦可能会对手术人员的手部、器械或头部等进入视野的物体进行调焦。然而，当关注区域为手术区域时，这一点难以实现。由于手术室必须保持清洁和无菌，属于限制进入的区域。技术人员、外科医生和刷手护士通常需要紧密地围绕在患者周围，以确保良好的视觉视野和高效的工作流程。为了比较和评估相机位置对3D观看体验的影响，应使用一组完整的相机位置测试范围来记录同一场景，因为物体的形状、大小和颜色等特征可能会影响3D观看体验²¹。

出于相同原因，在不同外科手术中应重复测试相机位置的完整范围。整个位置序列必须以高精度重复执行。在外科手术环境中，由于空间和时间的限制，现有方法无论是需要手动调节基线距离²²，还是使用具有固定基线距离的不同相机组合²³，均不可行。为应对这一挑战，设计了此机器人化解决方案。

数据由安装在手术室天花板上的双臂协作工业机器人采集。摄像头安装在机器人的腕部，并沿弧形轨迹移动，基线距离逐渐增加，如图2所示。

为演示该方法，从4名患有4种不同先天性心脏缺陷的患者中记录了10组测试序列。选择在手术可暂停的时机进行拍摄：即在心脏跳动状态下，于手术修复前后进行采集。同时也在心脏停搏时进行了序列采集。每次手术暂停3分20秒，以采集40段5秒长的视频序列，通过不同的相机汇聚距离和基线距离来完整捕捉手术场景。随后对视频进行后期处理，并以3D形式向临床团队展示，由其根据0-5分的评分标准对3D视频的真实感进行评分。

内收式立体相机的汇聚点是指两幅图像中心相交的位置。根据原理，汇聚点可以位于物体前方、物体内部或物体后方，参见图1A-C。当汇聚点位于物体前方时，物体在左相机图像中将显示于中线左侧，在右相机图像中则显示于中线右侧（图1A）。当汇聚点位于物体后方时，情况则相反（图1B）。当汇聚点位于物体上时，物体在相机图像中也将出现在中线上（图1C），这通常可提供最舒适的观看体验，因为无需眼球内聚即可融合图像。为了获得舒适的立体3D视频效果，汇聚点必须位于目标物体上或略靠其后方，否则观看者将需要主动外展眼球（外斜视）才能观看。

使用双臂协作工业机器人定位相机以采集数据（图2A-B）。该机器人在未安装设备时重38 kg。机器人具有本质安全性；当检测到意外碰撞时，会自动停止运动。机器人被编程用于沿弧形轨迹移动，并在预设的基线距离处停顿，以定位配备C接口镜头的5百万像素相机（图2C）。相机通过适配板安装在机器人机械手末端，如图3所示。每台相机以每秒25帧的速度进行录制。镜头光圈设置为f/8，焦点固定在感兴趣物体（心脏的近似几何中心）上。每一帧图像均带有时间戳，用于同步两路视频流。

已对机器人腕部与相机之间的偏移量进行了校准。可通过使相机图像的十字线对齐来实现此校准，如图4所示。在此设置中，从机器人腕部安装点到相机图像传感器中心的总平移偏移量在X方向为55.3 mm，Z方向为21.2 mm，如图5所示。旋转偏移量在校准过程中设定的会聚距离为1100 mm，基线距离为50 mm，并通过机器人控制面板上的操纵杆手动调整。本研究中使用的机器人在笛卡尔空间中的定位精度为0.02 mm，旋转分辨率为0.01度²⁴。在1100 mm半径下，0.01度的角度差异会导致中心点偏移0.2 mm。在整个机器人运动过程中（分离距离从50 mm至240 mm），每台相机的十字线与理想会聚中心的偏差均在2 mm以内。

通过将相机围绕视场中心对称分离，以10 mm为增量，逐步增加基线距离，范围从50 mm至240 mm（图2）。相机在每个位置保持静止5秒，并以50 mm/s的速度在各位置之间移动。可通过图形用户界面在X和Z方向上调整会聚点（图6）。机器人在其工作范围内相应地进行跟随运动。

使用图7A和B中的均匀三角形及变量名称来估算收敛点的准确性。高度'z'通过勾股定理由收敛距离'R'计算得出：

当实际收敛点比目标点更近时，如图7A所示，误差距离“f₁”的计算方法为

类似地，当会聚点位于目标点远端时，误差距离“f₂'”的计算公式如下：

其中，e 为十字线之间的最大间距，在校准过程中最大基线间距下不超过 2 mm（D = 240 mm）。当 R = 1100 mm（z = 1093 mm）时，误差小于 ± 9.2 mm；当 R = 1400 mm（z = 1395 mm）时，误差为 ± 11.7 mm。也就是说，会聚点位置的误差在目标值的 1% 以内。因此，1100 mm 和 1400 mm 这两个测试距离之间具有良好的区分度。

方案

实验已获得瑞典隆德当地伦理委员会的批准。参与研究为自愿行为，患者的法定监护人已提供知情书面同意。

1. 机器人设置与配置

注意：本实验使用了一台双臂协作式工业机器人及配备触摸显示屏的标准控制面板。机器人由 RobotWare 6.10.01 控制器软件和机器人集成开发环境（IDE）RobotStudio 2019.5²⁵ 进行控制。作者开发的软件，包括机器人应用程序、记录应用程序和后处理脚本，可在 GitHub 代码仓库中获取²⁶。

警告：在设置和测试机器人程序期间，请佩戴护目镜并降低运行速度。

1. 按照产品说明书第25页所述，使用可承受100 kg重量的螺栓将机器人安装在天花板或桌面上²⁴，并遵循制造商的安装规范。确保机械臂能够自由移动，且视野范围内无遮挡。
   注意：在高处安装机器人时，请使用起重设备或安全绳。
2. 通过打开机器人底座上的启动开关来启动机器人。按照操作手册第47-56页所述的程序对机器人进行校准²⁵。
3. 在一台Windows计算机上启动机器人IDE。
4. 连接至物理机器人系统（参见操作手册第140页²⁷）。
5. 将机器人程序代码及用户界面的应用程序库加载到机器人中：
   1. 用于吊装式机器人的机器人代码位于Robot/InvertedCode文件夹中，用于桌面安装式机器人的代码位于Robot/TableMountedCode文件夹中。对于每个文件left/Data.mod、left/MainModule.mod、right/Data.mod和right/MainModule.mod：
   2. 创建一个与文件同名（Data或MainModule）的新程序模块（参见操作手册第318页²⁷），并将文件内容复制到该新模块中。
   3. 在机器人IDE中点击应用以将文件保存至机器人。
6. 使用文件传输功能（参见操作手册第346页²⁷），将位于FPApp文件夹中的机器人应用程序文件TpSViewStereo2.dll、TpsViewStereo2.gtpu.dll和TpsViewStereo2.pdb传输至机器人。完成此步骤后，将不再使用机器人IDE。
7. 按下机器人触摸屏（FlexPendant）背面的重置按钮，以重新加载图形界面。此时，机器人应用程序Stereo2将出现在触摸屏菜单中。
8. 在一台Ubuntu 20.04计算机上运行Github仓库根目录中的脚本install_all_linux.sh，以安装录制应用程序（Liveview）和后处理应用程序。
9. 将每个相机安装到机器人上。安装所需的组件如图3A所示。
   1. 将镜头安装到相机上。
   2. 使用三颗M2螺钉将相机固定在相机适配板上。
   3. 在相机相反一侧，使用四颗M6螺钉将圆形安装板固定在相机适配板上。
10. 对另一个相机重复步骤1.9.1–1.9.3。最终组装结果呈镜像对称，如图3B和图3C所示。
11. 使用四颗M2.5螺钉将适配板安装到机器人腕部，如图3D所示。
    1. 对于吊装式机器人：将图3C中的左相机安装到左机械臂上，如图2A所示。
    2. 对于桌面安装式机器人：将图3C中的左相机安装到右机械臂上。
12. 将USB线缆连接至相机（如图3E所示），并连接至Ubuntu计算机。

2. 验证相机校准

1. 在机器人触摸屏上，按下 菜单 按钮，选择 Stereo2 以启动机器人应用程序。这将打开主界面，如 图6A 所示。
   1. 在主界面上，点击机器人应用程序中的 前往起始位置，移动至1100 mm处，并等待机器人移动到起始位置。
   2. 取下相机的保护镜头盖，并将USB线缆连接至Ubuntu计算机。
   3. 将一张打印好的校准网格（位于代码仓库中的CalibrationGrid.png）放置在距离相机传感器1100 mm的位置。为便于准确识别对应的方格，请在网格中心附近放置一个小螺母或标记。
2. 在Ubuntu计算机上启动录制应用程序（运行GitHub代码仓库中liveview文件夹内的脚本start.sh）。这将启动界面，如 图4 所示。
   1. 使用光圈环和对焦环调节镜头的光圈和对焦。
   2. 在录制应用程序中，勾选 十字线 以显示十字线。
3. 在录制应用程序中，确保两个相机图像中的十字线与校准网格在相同位置对齐，如 图4 所示。通常需要进行以下调整：
   1. 如果十字线未重叠，请在机器人触摸屏的机器人应用程序中按下 齿轮 图标（位于 图6A 左下角），以打开设置界面，如 图6B 所示。
   2. 点击 1. 前往起始位置，如 图6B 所示。
   3. 使用操纵杆微调机器人，以调整相机位置（操作手册第31页²³）。
   4. 更新每条机器人臂的工具位置。分别点击 3. 更新左侧工具 和 4. 更新右侧工具，以保存左侧和右侧臂的校准数据。
   5. 点击 返回箭头 图标（右上角，图6B）返回主界面。
4. 在机器人应用程序中点击 运行实验（图6A），并确认十字线对齐。否则，请重复步骤2.3–2.3.5。
5. 此时可添加并测试距离和/或时间的任何更改。这需要修改机器人程序代码，并具备高级机器人编程技能。在左侧任务（机械臂）的 数据 模块中修改以下变量：整数数组变量 Distances 中的目标间距、整数数组 ConvergencePos 中的会聚距离，并通过编辑变量 Nwaittime（单位为秒）修改每一步的时间。
   警告：切勿在活体手术期间运行未经测试的机器人程序。
6. 校准完成后，点击 抬起，将机器人臂抬升至待机位置。
7. 可选择关闭机器人。
   ​注：上述任意步骤之间均可暂停该操作流程。

3. 手术开始前的准备

1. 清洁机器人。
   1. 如果机器人处于关闭状态，请打开机器人底部的启动开关以启动机器人。
2. 在触摸显示屏上启动机器人应用程序以及步骤2.1和2.2中所述的录制应用程序。
3. 在录制应用程序中，创建并选择用于保存视频的文件夹（按更改文件夹）。
4. 在机器人应用程序中：按下齿轮图标，根据患者位置调整摄像头。分别通过按机器人手部距离和高度的 +/- 按钮来调节X轴和Z轴方向，使图像覆盖手术区域。通过手动移动机器人或患者来完成Y轴方向的定位。
   ​注意：准备步骤3.1至3.4之间可暂停操作。

4. 实验

警告：所有人员应在实验开始前了解相关实验内容。

1. 暂停手术。
   1. 通知手术室人员实验已开始。
2. 在录制应用程序中点击Record （开始录制）。
3. 在机器人应用程序中点击Run experiment（运行实验）。
4. 等待程序运行；完成后，机器人在触摸屏显示的应用程序中会显示"Done"（完成）。
5. 通过点击Quit（退出）在录制应用程序中停止录制。
   1. 通知手术室人员实验已结束。
6. 恢复手术。
   ​注意：在步骤 4.1–4.6 期间无法暂停实验。

5. 重复

1. 重复步骤 4.1–4.6 以采集另一段序列，并重复步骤 3.1–3.4 及步骤 4.1–4.6 以采集不同手术中的序列。总共采集约十段完整序列。

6. 后处理

注意：以下步骤可使用大多数视频编辑软件或后处理文件夹中提供的脚本完成。

1. 由于视频以 RAW 格式保存，需对其进行去马赛克处理：
   1. 运行脚本 postprocessing/debayer/run.sh，打开如图 8A所示的去马赛克应用程序。
   2. 点击浏览输入目录，选择包含 RAW 视频的文件夹。
   3. 点击浏览输出目录，选择用于保存去马赛克及色彩校正后视频文件的文件夹。
   4. 点击去马赛克！，并等待处理完成——两个进度条均显示满格，如图 8B所示。
2. 将左右同步的视频合并为 3D 立体格式²⁸：
   1. 运行脚本 postprocessing/merge_tb/run.sh 以启动合并应用程序；该程序将打开如图 8C所示的图形用户界面。
   2. 点击浏览输入目录，选择包含去马赛克后视频文件的文件夹。
   3. 点击浏览输出目录，选择用于保存合并后 3D 立体视频文件的文件夹。
   4. 点击合并！，并等待图 8D所示的完成界面出现。
3. 使用现成的视频编辑软件（如 Premiere Pro）在视频中为每个摄像机距离添加文字标签。
   ​注意：在视频中，每次机器人移动且摄像机距离增加时，均会出现明显的抖动。本实验中，使用标签 A-T 表示不同的摄像机距离。

7. 评估

1. 使用主动式3D投影仪播放上下格式的3D视频。
2. 观看体验取决于观看角度和与屏幕的距离；应根据目标观众和设置情况评估视频效果。

结果

在视频1中展示了一个可接受的评估视频，其正确的图像位于上下立体3D格式的顶部。成功的序列应清晰、聚焦，且无不同步的图像帧。不同步的视频流会导致模糊，如文件视频2所示。融合点应在水平方向上居中，与相机间距无关，如图9A、B所示。当机器人在位置之间切换时，视频中会出现轻微抖动，这在50 mm/s的过渡速度下是可预期的。当左右图像之间的间距过大时，大脑无法将图像融合为一个3D图像，参见图9C和视频3。

在整个视频中，图像中心应始终对准心脏位置，如图1C所示。导致无法实现该效果的原因可能有以下几点：（1）汇聚点距离心脏过远，参见图7。可通过机器人应用程序设置界面调整摄像头相对于患者的位置（

讨论

在活体手术期间，为确保患者安全，用于三维视频数据采集的实验总时间受到严格限制。如果目标物体失焦或曝光过度，则所采集的数据无法使用。关键步骤在于相机工具的校准与设置（步骤2）。手术开始后，不得再调整相机的光圈和焦点；设置阶段与手术过程中应保持相同的照明条件和距离。步骤2.1至2.4中的相机校准必须仔细执行，以确保心脏位于所采集视频的中心位置。若需排查校准问题，可通过在坐标系中点动机器人（步骤2.3.3）来单独验证相机工具坐标系的数值。手术前必须联合测试完整的机器人程序、相机系统以及录制应用程序。手术过程中有时会调整手术台的高度；此时也可在机器人应用程序中实时调整机器人相机的高度（步骤3.4），以维持相机与心脏之间的理想距离。机器人程序中的距离参数和等待时间可根据步骤2.5所述方法进行修改。

该技术的一个局限性在于需要暂停手术；因此，只有在患者能够安全暂停手术的情况下才能进行数据采集。另一个局限性是需要对手术室进行物理改造，以便将机器人安装在天花板上，且编程的机器人运动假设机器人位于心脏正上方中心位置。此外，相机采用的是内倾式安装而非平行安装，这可能会导致产生梯形畸变。梯形畸变可在后期...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
2 个 C 接口镜头（35 mm F2.1，500 万像素）	Tamron	M112FM35	适用于 500 万像素相机
3D 眼镜（DLP-link 主动快门式）	Celexon	G1000	可使用任何兼容的 3D 眼镜
3D 投影仪	Viewsonic	X10-4K	支持 1080 分辨率 3D 显示，可替换为其他 3D 投影仪
6 个 M2 × 8 螺丝			用于将 cXimea 相机固定到相机适配板上
8 个 M2.5 × 8 螺丝			用于将圆形安装板固定到机器人腕部
8 个 M5 × 40 螺丝			用于安装机器人
8 个平头 M6 × 10 螺丝			用于连接圆形安装板和相机适配板
标定用棋盘格板（25 × 25 mm）			可使用任意标准棋盘格图案，包括打印版本，只要在相机中能清晰识别网格即可
相机适配板，×2			由作者设计，文件名为 robot_camera_adaptor_plates.dwg，采用铝材铣削加工制成。
圆形安装板，×2			经设计者 Julius Klein 授权分发，使用 FDM 3D 打印机以 ABS 塑料打印而成。许可方：Tecnalia Research & Innovation 2017。文件名为 Mountingplate_ROBOT_SIDE_ NewDesign_4.stl
固定焦距 USB 相机，×2（500 万像素）	Ximea	MC050CG-SY-UB	搭载 Sony IMX250LQR 传感器
Flexpendant	ABB	3HAC028357-001	机器人触摸显示屏
Liveview			录制应用程序
RobotStudio			机器人集成开发环境（IDE）
USB3 有源线缆（10.0 m），×2			带旋紧式连接器，防水设计
YuMi 双臂机器人	ABB	IRB14000