Name: 相机位置的机器人化测试，以确定心脏直视手术立体3D可视化的理想配置 (视频) | JoVE Journal
Uploaded: 2021-08-12T14:45:00.000+00:00
Duration: 5 min 12 s
Description: 了解机器人化相机测试方法，用于心脏直视手术中立体3D视觉的理想配置评估。该方法可快速收集数据，优化深度感知，提升手术培训质量。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本研究获得了来自Vinnova（2017-03728、2018-05302和2018-03651）、心脏-肺基金会（20180390）、卡姆普拉德家族基金会（20190194）以及安娜-莉萨和斯文·埃里克·伦德格伦基金会（2017年和2018年）的资助。

实验已获得瑞典隆德当地伦理委员会的批准。参与研究为自愿行为，患者的法定监护人已提供知情书面同意。
1. 机器人设置与配置
注意：本实验使用了一台双臂协作式工业机器人及配备触摸显示屏的标准控制面板。机器人由 RobotWare 6.10.01 控制器软件和机器人集成开发环境（IDE）RobotStudio 2019.525 进行控制。作者开发的软件，包括机器人应用程序、记录应用程序和后处理脚本，可在 GitHub 代码仓库中获取26。
警告：在设置和测试机器人程序期间，请佩戴护目镜并降低运行速度。
<ol>
	<li>按照产品说明书第25页所述，使用可承受100 kg重量的螺栓将机器人安装在天花板或桌面上24，并遵循制造商的安装规范。确保机械臂能够自由移动，且视野范围内无遮挡。 
	注意：在高处安装机器人时，请使用起重设备或安全绳。</li>
	<li>通过打开机器人底座上的启动开关来启动机器人。按照操作手册第47-56页所述的程序对机器人进行校准25。</li>
	<li>在一台Windows计算机上启动机器人IDE。</li>
	<li>连接至物理机器人系统（参见操作手册第140页27）。</li>
	<li>将机器人程序代码及用户界面的应用程序库加载到机器人中：
	<ol>
		<li>用于吊装式机器人的机器人代码位于Robot/InvertedCode文件夹中，用于桌面安装式机器人的代码位于Robot/TableMountedCode文件夹中。对于每个文件left/Data.mod、left/MainModule.mod、right/Data.mod和right/MainModule.mod：</li>
		<li>创建一个与文件同名（Data或MainModule）的新程序模块（参见操作手册第318页27），并将文件内容复制到该新模块中。</li>
		<li>在机器人IDE中点击应用以将文件保存至机器人。</li>
	</ol>
	</li>
	<li>使用文件传输功能（参见操作手册第346页27），将位于FPApp文件夹中的机器人应用程序文件TpSViewStereo2.dll、TpsViewStereo2.gtpu.dll和TpsViewStereo2.pdb传输至机器人。完成此步骤后，将不再使用机器人IDE。</li>
	<li>按下机器人触摸屏（FlexPendant）背面的重置按钮，以重新加载图形界面。此时，机器人应用程序Stereo2将出现在触摸屏菜单中。</li>
	<li>在一台Ubuntu 20.04计算机上运行Github仓库根目录中的脚本install_all_linux.sh，以安装录制应用程序（Liveview）和后处理应用程序。</li>
	<li>将每个相机安装到机器人上。安装所需的组件如图3A所示。
	<ol>
		<li>将镜头安装到相机上。</li>
		<li>使用三颗M2螺钉将相机固定在相机适配板上。</li>
		<li>在相机相反一侧，使用四颗M6螺钉将圆形安装板固定在相机适配板上。</li>
	</ol>
	</li>
	<li>对另一个相机重复步骤1.9.1–1.9.3。最终组装结果呈镜像对称，如图3B和图3C所示。</li>
	<li>使用四颗M2.5螺钉将适配板安装到机器人腕部，如图3D所示。
	<ol>
		<li>对于吊装式机器人：将图3C中的左相机安装到左机械臂上，如图2A所示。</li>
		<li>对于桌面安装式机器人：将图3C中的左相机安装到右机械臂上。</li>
	</ol>
	</li>
	<li>将USB线缆连接至相机（如图3E所示），并连接至Ubuntu计算机。</li>
</ol>
2. 验证相机校准
<ol>
	<li>在机器人触摸屏上，按下 菜单 按钮，选择 Stereo2 以启动机器人应用程序。这将打开主界面，如 图6A 所示。
	<ol>
		<li>在主界面上，点击机器人应用程序中的 前往起始位置，移动至1100 mm处，并等待机器人移动到起始位置。</li>
		<li>取下相机的保护镜头盖，并将USB线缆连接至Ubuntu计算机。</li>
		<li>将一张打印好的校准网格（位于代码仓库中的CalibrationGrid.png）放置在距离相机传感器1100 mm的位置。为便于准确识别对应的方格，请在网格中心附近放置一个小螺母或标记。</li>
	</ol>
	</li>
	<li>在Ubuntu计算机上启动录制应用程序（运行GitHub代码仓库中liveview文件夹内的脚本start.sh）。这将启动界面，如 图4 所示。
	<ol>
		<li>使用光圈环和对焦环调节镜头的光圈和对焦。</li>
		<li>在录制应用程序中，勾选 十字线 以显示十字线。</li>
	</ol>
	</li>
	<li>在录制应用程序中，确保两个相机图像中的十字线与校准网格在相同位置对齐，如 图4 所示。通常需要进行以下调整：
	<ol>
		<li>如果十字线未重叠，请在机器人触摸屏的机器人应用程序中按下 齿轮 图标（位于 图6A 左下角），以打开设置界面，如 图6B 所示。</li>
		<li>点击 1. 前往起始位置，如 图6B 所示。</li>
		<li>使用操纵杆微调机器人，以调整相机位置（操作手册第31页23）。</li>
		<li>更新每条机器人臂的工具位置。分别点击 3. 更新左侧工具 和 4. 更新右侧工具，以保存左侧和右侧臂的校准数据。</li>
		<li>点击 返回箭头 图标（右上角，图6B）返回主界面。</li>
	</ol>
	</li>
	<li>在机器人应用程序中点击 运行实验（图6A），并确认十字线对齐。否则，请重复步骤2.3–2.3.5。</li>
	<li>此时可添加并测试距离和/或时间的任何更改。这需要修改机器人程序代码，并具备高级机器人编程技能。在左侧任务（机械臂）的 数据 模块中修改以下变量：整数数组变量 Distances 中的目标间距、整数数组 ConvergencePos 中的会聚距离，并通过编辑变量 Nwaittime（单位为秒）修改每一步的时间。 
	警告：切勿在活体手术期间运行未经测试的机器人程序。</li>
	<li>校准完成后，点击 抬起，将机器人臂抬升至待机位置。</li>
	<li>可选择关闭机器人。 
	&#8203;注：上述任意步骤之间均可暂停该操作流程。</li>
</ol>
3. 手术开始前的准备
<ol>
	<li>清洁机器人。
	<ol>
		<li>如果机器人处于关闭状态，请打开机器人底部的启动开关以启动机器人。</li>
	</ol>
	</li>
	<li>在触摸显示屏上启动机器人应用程序以及步骤2.1和2.2中所述的录制应用程序。</li>
	<li>在录制应用程序中，创建并选择用于保存视频的文件夹（按更改文件夹）。</li>
	<li>在机器人应用程序中：按下齿轮图标，根据患者位置调整摄像头。分别通过按机器人手部距离和高度的 +/- 按钮来调节X轴和Z轴方向，使图像覆盖手术区域。通过手动移动机器人或患者来完成Y轴方向的定位。 
	&#8203;注意：准备步骤3.1至3.4之间可暂停操作。</li>
</ol>
4. 实验
警告：所有人员应在实验开始前了解相关实验内容。
<ol>
	<li>暂停手术。
	<ol>
		<li>通知手术室人员实验已开始。</li>
	</ol>
	</li>
	<li>在录制应用程序中点击Record （开始录制）。</li>
	<li>在机器人应用程序中点击Run experiment（运行实验）。</li>
	<li>等待程序运行；完成后，机器人在触摸屏显示的应用程序中会显示&#34;Done&#34;（完成）。</li>
	<li>通过点击Quit（退出）在录制应用程序中停止录制。
	<ol>
		<li>通知手术室人员实验已结束。</li>
	</ol>
	</li>
	<li>恢复手术。 
	&#8203;注意：在步骤 4.1–4.6 期间无法暂停实验。</li>
</ol>
5. 重复
<ol>
	<li>重复步骤 4.1–4.6 以采集另一段序列，并重复步骤 3.1–3.4 及步骤 4.1–4.6 以采集不同手术中的序列。总共采集约十段完整序列。</li>
</ol>
6. 后处理
注意：以下步骤可使用大多数视频编辑软件或后处理文件夹中提供的脚本完成。
<ol>
	<li>由于视频以 RAW 格式保存，需对其进行去马赛克处理：
	<ol>
		<li>运行脚本 postprocessing/debayer/run.sh，打开如图 8A所示的去马赛克应用程序。</li>
		<li>点击浏览输入目录，选择包含 RAW 视频的文件夹。</li>
		<li>点击浏览输出目录，选择用于保存去马赛克及色彩校正后视频文件的文件夹。</li>
		<li>点击去马赛克！，并等待处理完成——两个进度条均显示满格，如图 8B所示。</li>
	</ol>
	</li>
	<li>将左右同步的视频合并为 3D 立体格式28：
	<ol>
		<li>运行脚本 postprocessing/merge_tb/run.sh 以启动合并应用程序；该程序将打开如图 8C所示的图形用户界面。</li>
		<li>点击浏览输入目录，选择包含去马赛克后视频文件的文件夹。</li>
		<li>点击浏览输出目录，选择用于保存合并后 3D 立体视频文件的文件夹。</li>
		<li>点击合并！，并等待图 8D所示的完成界面出现。</li>
	</ol>
	</li>
	<li>使用现成的视频编辑软件（如 Premiere Pro）在视频中为每个摄像机距离添加文字标签。 
	&#8203;注意：在视频中，每次机器人移动且摄像机距离增加时，均会出现明显的抖动。本实验中，使用标签 A-T 表示不同的摄像机距离。</li>
</ol>
7. 评估
<ol>
	<li>使用主动式3D投影仪播放上下格式的3D视频。</li>
	<li>观看体验取决于观看角度和与屏幕的距离；应根据目标观众和设置情况评估视频效果。</li>
</ol>

<ol><li>Held, R. T., Hui, T. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+guide+to+stereoscopic+3D+displays+in+medicine%5BTitle%5D)+AND+%22Academic+Radiology%22%5BJournal%5D)">A guide to stereoscopic 3D displays in medicine.</a> Academic Radiology. 18 (8), 1035-1048 (2011).</li>
<li>van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Effectiveness+of+stereoscopic+displays+in+medicine%3A+A+review%5BTitle%5D)+AND+%223D+Research%22%5BJournal%5D)">Effectiveness of stereoscopic displays in medicine: A review.</a> 3D Research. 3 (1), 1-13 (2012).</li>
<li>Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Optimizing+conditions+for+computer-assisted+anatomical+learning%5BTitle%5D)+AND+%22Interacting+with+Computers%22%5BJournal%5D)">Optimizing conditions for computer-assisted anatomical learning.</a> Interacting with Computers. 18 (5), 1123-1138 (2006).</li>
<li>Takano, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Usefulness+and+capability+of+three-dimensional%2C+full+high-definition+movies+for+surgical+education%5BTitle%5D)+AND+%22Maxillofacial+Plastic+and+Reconstructive+Surgery%22%5BJournal%5D)">Usefulness and capability of three-dimensional, full high-definition movies for surgical education.</a> Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10(2017).</li>
<li>Triepels, C. P. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Does+three-dimensional+anatomy+improve+student+understanding%5BTitle%5D)+AND+%22Clinical+Anatomy%22%5BJournal%5D)">Does three-dimensional anatomy improve student understanding.</a> Clinical Anatomy. 33 (1), 25-33 (2020).</li>
<li>Beermann, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three-dimensional+visualisation+improves+understanding+of+surgical+liver+anatomy%5BTitle%5D)+AND+%22Medical+Education%22%5BJournal%5D)">Three-dimensional visualisation improves understanding of surgical liver anatomy.</a> Medical Education. 44 (9), 936-940 (2010).</li>
<li>Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+Effectiveness+of+an+interactive+3-dimensional+computer+graphics+model+for+medical+education%5BTitle%5D)+AND+%22Interactive+Journal+of+Medical+Research%22%5BJournal%5D)">The Effectiveness of an interactive 3-dimensional computer graphics model for medical education.</a> Interactive Journal of Medical Research. 1 (2), (2012).</li>
<li>Yammine, K., Violato, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+meta-analysis+of+the+educational+effectiveness+of+three-dimensional+visualization+technologies+in+teaching+anatomy%5BTitle%5D)+AND+%22Anatomical+Sciences+Education%22%5BJournal%5D)">A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy.</a> Anatomical Sciences Education. 8 (6), 525-538 (2015).</li>
<li>Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Are+we+teaching+sufficient+anatomy+at+medical+school%3F+The+opinions+of+newly+qualified+doctors%5BTitle%5D)+AND+%22Clinical+Anatomy%22%5BJournal%5D)">Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors.</a> Clinical Anatomy. 21 (7), 718-724 (2008).</li>
<li>Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Why+don%27t+they+know+enough+about+anatomy%3F+A+narrative+review%5BTitle%5D)+AND+%22Medical+Teacher%22%5BJournal%5D)">Why don't they know enough about anatomy? A narrative review.</a> Medical Teacher. 33 (5), 403-409 (2011).</li>
<li>Terzić, K., Hansard, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Methods+for+reducing+visual+discomfort+in+stereoscopic+3D%3A+A+review%5BTitle%5D)+AND+%22Signal+Processing%3A+Image+Communication%22%5BJournal%5D)">Methods for reducing visual discomfort in stereoscopic 3D: A review.</a> Signal Processing: Image Communication. 47, 402-416 (2016).</li>
<li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display%5BTitle%5D)+AND+%22Journal+of+Biomedical+Informatics%22%5BJournal%5D)">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li>
<li>Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+quantitative+evaluation+system+for+autostereoscopic+display%5BTitle%5D)+AND+%22Journal+of+Display+Technology%22%5BJournal%5D)">3D quantitative evaluation system for autostereoscopic display.</a> Journal of Display Technology. 12 (10), 1185-1196 (2016).</li>
<li>McIntire, J. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Binocular+fusion+ranges+and+stereoacuity+predict+positional+and+rotational+spatial+task+performance+on+a+stereoscopic+3D+display%5BTitle%5D)+AND+%22Journal+of+Display+Technology%22%5BJournal%5D)">Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display.</a> Journal of Display Technology. 11 (11), 959-966 (2015).</li>
<li>Kalia, M., Navab, N., Fels, S. S., Salcudean, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+method+to+introduce+%26+evaluate+motion+parallax+with+stereo+for+medical+AR%2FMR%5BTitle%5D)+AND+%22IEEE+Conference+on+Virtual+Reality+and+3D+User+Interfaces%22%5BJournal%5D)">A method to introduce & evaluate motion parallax with stereo for medical AR/MR.</a> IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).</li>
<li>Kytö, M., Hakala, J., Oittinen, P., Häkkinen, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Effect+of+camera+separation+on+the+viewing+experience+of+stereoscopic+photographs%5BTitle%5D)+AND+%22Journal+of+Electronic+Imaging%22%5BJournal%5D)">Effect of camera separation on the viewing experience of stereoscopic photographs.</a> Journal of Electronic Imaging. 21 (1), 1-9 (2012).</li>
<li>Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Subjective+evaluation+of+stereoscopic+image+quality%5BTitle%5D)+AND+%22Signal+Processing%3A+Image+Communication%22%5BJournal%5D)">Subjective evaluation of stereoscopic image quality.</a> Signal Processing: Image Communication. 28 (8), 870-883 (2013).</li>
<li>Yilmaz, G. N. A depth perception evaluation metric for immersive 3D video services. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aYilmaz%2C+GN+%223DTV+Conference%3A+The+True+Vision+-+Capture%2C+Transmission+and+Display+of+3D+Video%22">3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video</a>. , 1-4 (2017).</li>
<li>Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluating+depth+perception+of+3D+stereoscopic+videos%5BTitle%5D)+AND+%22IEEE+Journal+on+Selected+Topics+in+Signal+Processing%22%5BJournal%5D)">Evaluating depth perception of 3D stereoscopic videos.</a> IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).</li>
<li>López, J. P., Rodrigo, J. A., Jiménez, D., Menéndez, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Stereoscopic+3D+video+quality+assessment+based+on+depth+maps+and+video+motion%5BTitle%5D)+AND+%22EURASIP+Journal+on+Image+and+Video+Processing%22%5BJournal%5D)">Stereoscopic 3D video quality assessment based on depth maps and video motion.</a> EURASIP Journal on Image and Video Processing. 2013 (1), 62(2013).</li>
<li>Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Stereoscopy+and+the+human+visual+system%5BTitle%5D)+AND+%22SMPTE+Motion+Imaging+Journal%22%5BJournal%5D)">Stereoscopy and the human visual system.</a> SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).</li>
<li>Kytö, M., Nuutinen, M., Oittinen, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Method+for+measuring+stereo+camera+depth+accuracy+based+on+stereoscopic+vision%5BTitle%5D)+AND+%22Three-Dimensional+Imaging%2C+Interaction%2C+and+Measurement%22%5BJournal%5D)">Method for measuring stereo camera depth accuracy based on stereoscopic vision.</a> Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).</li>
<li>Kang, Y. S., Ho, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Geometrical+compensation+algorithm+of+multiview+image+for+arc+multi-camera+arrays%5BTitle%5D)+AND+%22Advances+in+Multimedia+Information+Processing%22%5BJournal%5D)">Geometrical compensation algorithm of multiview image for arc multi-camera arrays.</a> Advances in Multimedia Information Processing. 2008, 543-552 (2008).</li>
<li>Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics. , Available from: 
 <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2018).</li>
<li>Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics. , Available from: 
 <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019).</li>
<li>Github repository. , Available from: 
 <a target="_blank" href="https://github.com/majstenmark/stereo2">https://github.com/majstenmark/stereo2</a> (2021).</li>
<li>Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics. , Available from: 
 <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019).</li>
<li>Won, C. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Adaptive+interpolation+for+3D+stereoscopic+video+in+frame-compatible+top-bottom+packing%5BTitle%5D)+AND+%22IEEE+International+Conference+on+Consumer+Electronics%22%5BJournal%5D)">Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing.</a> IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).</li>
<li>Kim, S. K., Lee, C., Kim, K. T. Multi-view image acquisition and display. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aKim%2C+SK+%22Three-Dimensional+Imaging%2C+Visualization%2C+and+Display%22">Three-Dimensional Imaging, Visualization, and Display</a>. Javidi, B., Okano, F., Son, J. Y. , Springer. New York. 227-249 (2009).</li>
<li>Liu, F., Niu, Y., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Keystone+correction+for+stereoscopic+cinematography%5BTitle%5D)+AND+%22IEEE+Computer+Society+Conference+on+Computer+Vision+and+Pattern+Recognition+Workshops%22%5BJournal%5D)">Keystone correction for stereoscopic cinematography.</a> IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).</li>
<li>Kang, W., Lee, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Horizontal+parallax+distortion+correction+method+in+toed-in+camera+with+wide-angle+lens%5BTitle%5D)+AND+%223DTV+Conference%3A+The+True+Vision+-+Capture%2C+Transmission+and+Display+of+3D+Video%22%5BJournal%5D)">Horizontal parallax distortion correction method in toed-in camera with wide-angle lens.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).</li>
</ol>

作者无任何利益冲突需要披露。

在活体手术期间，为确保患者安全，用于三维视频数据采集的实验总时间受到严格限制。如果目标物体失焦或曝光过度，则所采集的数据无法使用。关键步骤在于相机工具的校准与设置（步骤2）。手术开始后，不得再调整相机的光圈和焦点；设置阶段与手术过程中应保持相同的照明条件和距离。步骤2.1至2.4中的相机校准必须仔细执行，以确保心脏位于所采集视频的中心位置。若需排查校准问题，可通过在坐标系中点动机器人（步骤2.3.3）来单独验证相机工具坐标系的数值。手术前必须联合测试完整的机器人程序、相机系统以及录制应用程序。手术过程中有时会调整手术台的高度；此时也可在机器人应用程序中实时调整机器人相机的高度（步骤3.4），以维持相机与心脏之间的理想距离。机器人程序中的距离参数和等待时间可根据步骤2.5所述方法进行修改。
该技术的一个局限性在于需要暂停手术；因此，只有在患者能够安全暂停手术的情况下才能进行数据采集。另一个局限性是需要对手术室进行物理改造，以便将机器人安装在天花板上，且编程的机器人运动假设机器人位于心脏正上方中心位置。此外，相机采用的是内倾式安装而非平行安装，这可能会导致产生梯形畸变。梯形畸变可在后期...

在外科手术中，三维可视化可用于教学、诊断、术前规划和术后评估1,2。真实的深度感知有助于更好地理解正常与异常解剖结构3,4,5,6。对手术过程进行简单的二维视频记录是一个良好的开端。然而，由于缺乏深度感知，非手术专业人员可能难以充分理解不同解剖结构之间的前后关系，从而增加解剖结构被误读的风险7,8,9,10。
3D 观看体验受五个因素影响：（1）相机配置可以是平行配置或内倾配置，如图1所示；（2）基线距离（相机之间的间距）；（3）到目标物体的距离以及其他场景特征，例如背景；（4）观看设备的特性，例如屏幕尺寸和观看位置1,11,12,13；（5）观看者的个体偏好14,15。
设计3D相机设置时，首先需要在不同的相机基线距离和配置下拍摄测试视频，用于主观或自动评估16,17,18,19,20。相机与手术区域之间的距离必须保持恒定，以获取清晰的图像。建议采用固定焦距，因为自动对焦可能会对手术人员的手部、器械或头部等进入视野的物体进行调焦。然而，当关注区域为手术区域时，这一点难以实现。由于手术室必须保持清洁和无菌，属于限制进入的区域。技术人员、外科医生和刷手护士通常需要紧密地围绕在患者周围，以确保良好的视觉视野和高效的工作流程。为了比较和评估相机位置对3D观看体验的影响，应使用一组完整的相机位置测试范围来记录同一场景，因为物体的形状、大小和颜色等特征可能会影响3D观看体验21。
出于相同原因，在不同外科手术中应重复测试相机位置的完整范围。整个位置序列必须以高精度重复执行。在外科手术环境中，由于空间和时间的限制，现有方法无论是需要手动调节基线距离22，还是使用具有固定基线距离的不同相机组合23，均不可行。为应对这一挑战，设计了此机器人化解决方案。
数据由安装在手术室天花板上的双臂协作工业机器人采集。摄像头安装在机器人的腕部，并沿弧形轨迹移动，基线距离逐渐增加，如图2所示。
为演示该方法，从4名患有4种不同先天性心脏缺陷的患者中记录了10组测试序列。选择在手术可暂停的时机进行拍摄：即在心脏跳动状态下，于手术修复前后进行采集。同时也在心脏停搏时进行了序列采集。每次手术暂停3分20秒，以采集40段5秒长的视频序列，通过不同的相机汇聚距离和基线距离来完整捕捉手术场景。随后对视频进行后期处理，并以3D形式向临床团队展示，由其根据0-5分的评分标准对3D视频的真实感进行评分。
内收式立体相机的汇聚点是指两幅图像中心相交的位置。根据原理，汇聚点可以位于物体前方、物体内部或物体后方，参见图1A-C。当汇聚点位于物体前方时，物体在左相机图像中将显示于中线左侧，在右相机图像中则显示于中线右侧（图1A）。当汇聚点位于物体后方时，情况则相反（图1B）。当汇聚点位于物体上时，物体在相机图像中也将出现在中线上（图1C），这通常可提供最舒适的观看体验，因为无需眼球内聚即可融合图像。为了获得舒适的立体3D视频效果，汇聚点必须位于目标物体上或略靠其后方，否则观看者将需要主动外展眼球（外斜视）才能观看。
使用双臂协作工业机器人定位相机以采集数据（图2A-B）。该机器人在未安装设备时重38 kg。机器人具有本质安全性；当检测到意外碰撞时，会自动停止运动。机器人被编程用于沿弧形轨迹移动，并在预设的基线距离处停顿，以定位配备C接口镜头的5百万像素相机（图2C）。相机通过适配板安装在机器人机械手末端，如图3所示。每台相机以每秒25帧的速度进行录制。镜头光圈设置为f/8，焦点固定在感兴趣物体（心脏的近似几何中心）上。每一帧图像均带有时间戳，用于同步两路视频流。
已对机器人腕部与相机之间的偏移量进行了校准。可通过使相机图像的十字线对齐来实现此校准，如图4所示。在此设置中，从机器人腕部安装点到相机图像传感器中心的总平移偏移量在X方向为55.3 mm，Z方向为21.2 mm，如图5所示。旋转偏移量在校准过程中设定的会聚距离为1100 mm，基线距离为50 mm，并通过机器人控制面板上的操纵杆手动调整。本研究中使用的机器人在笛卡尔空间中的定位精度为0.02 mm，旋转分辨率为0.01度24。在1100 mm半径下，0.01度的角度差异会导致中心点偏移0.2 mm。在整个机器人运动过程中（分离距离从50 mm至240 mm），每台相机的十字线与理想会聚中心的偏差均在2 mm以内。
通过将相机围绕视场中心对称分离，以10 mm为增量，逐步增加基线距离，范围从50 mm至240 mm（图2）。相机在每个位置保持静止5秒，并以50 mm/s的速度在各位置之间移动。可通过图形用户界面在X和Z方向上调整会聚点（图6）。机器人在其工作范围内相应地进行跟随运动。
使用图7A和B中的均匀三角形及变量名称来估算收敛点的准确性。高度'z'通过勾股定理由收敛距离'R'计算得出：
<img alt="概念几何方程 z=√(R²-D²/4)。用于数学教育的示意图。" src="/files/ftp_upload/62786/62786eq01.jpg" data-altupdatedat="1788282455000" data-alt="方程 1">
当实际收敛点比目标点更近时，如图7A所示，误差距离“f1”的计算方法为
<img alt="光学公式，D/e = (z-f₁)/f₁ ⇔ f₁ = ez/(D+e)；数学方程表示。" src="/files/ftp_upload/62786/62786eq02.jpg" data-altupdatedat="1788282455000" data-alt="方程 2">
类似地，当会聚点位于目标点远端时，误差距离“f2'”的计算公式如下：
<img alt="显示静态平衡的数学公式，方程为：D/e=(z+f₂)/f₂⇔f₂=ez/(D-e)。" src="/files/ftp_upload/62786/62786eq03.jpg" data-altupdatedat="1788282455000" data-alt="方程 3">
其中，e 为十字线之间的最大间距，在校准过程中最大基线间距下不超过 2 mm（D = 240 mm）。当 R = 1100 mm（z = 1093 mm）时，误差小于 ± 9.2 mm；当 R = 1400 mm（z = 1395 mm）时，误差为 ± 11.7 mm。也就是说，会聚点位置的误差在目标值的 1% 以内。因此，1100 mm 和 1400 mm 这两个测试距离之间具有良好的区分度。

<table><tbody><tr><td>2 个 C 接口镜头（35 mm F2.1，500 万像素）</td><td>Tamron</td><td>M112FM35</td><td>适用于 500 万像素相机</td></tr><tr><td>3D 眼镜（DLP-link 主动快门式）</td><td>Celexon</td><td>G1000</td><td>可使用任何兼容的 3D 眼镜</td></tr><tr><td>3D 投影仪</td><td>Viewsonic</td><td>X10-4K</td><td>支持 1080 分辨率 3D 显示，可替换为其他 3D 投影仪</td></tr><tr><td>6 个 M2 × 8 螺丝</td><td></td><td></td><td>用于将 cXimea 相机固定到相机适配板上</td></tr><tr><td>8 个 M2.5 × 8 螺丝</td><td></td><td></td><td>用于将圆形安装板固定到机器人腕部</td></tr><tr><td>8 个 M5 × 40 螺丝</td><td></td><td></td><td>用于安装机器人</td></tr><tr><td>8 个平头 M6 × 10 螺丝</td><td></td><td></td><td>用于连接圆形安装板和相机适配板</td></tr><tr><td>标定用棋盘格板（25 × 25 mm）</td><td></td><td></td><td>可使用任意标准棋盘格图案，包括打印版本，只要在相机中能清晰识别网格即可</td></tr><tr><td>相机适配板，×2</td><td></td><td></td><td>由作者设计，文件名为 &lt;em&gt;robot_camera_adaptor_plates.dwg&lt;/em&gt;，采用铝材铣削加工制成。</td></tr><tr><td>圆形安装板，×2</td><td></td><td></td><td>经设计者 Julius Klein 授权分发，使用 FDM 3D 打印机以 ABS 塑料打印而成。许可方：Tecnalia Research &amp; Innovation 2017。文件名为 Mountingplate_ROBOT_SIDE_&lt;br/&gt; NewDesign_4.stl</td></tr><tr><td>固定焦距 USB 相机，×2（500 万像素）</td><td>Ximea</td><td>MC050CG-SY-UB</td><td>搭载 Sony IMX250LQR 传感器</td></tr><tr><td>Flexpendant</td><td>ABB</td><td>3HAC028357-001</td><td>机器人触摸显示屏</td></tr><tr><td>Liveview</td><td></td><td></td><td>录制应用程序</td></tr><tr><td>RobotStudio</td><td></td><td></td><td>&amp;nbsp;机器人集成开发环境（IDE）</td></tr><tr><td>USB3 有源线缆（10.0 m），×2</td><td></td><td></td><td>带旋紧式连接器，防水设计</td></tr><tr><td>YuMi 双臂机器人</td><td>ABB</td><td>IRB14000</td><td></td></tr></tbody></table>

机器人化测试相机位置以确定心脏直视手术立体3d可视化理想配置

Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery

手术过程的立体3D视频在医学教育中具有重要价值，并可改善临床沟通。然而，手术室及手术区域的进入受到严格限制。手术环境需保持无菌，且物理空间已被手术人员和技术设备占据，十分拥挤。在此环境下，要无遮挡地采集并真实再现手术过程十分困难。本文介绍了一种可在不同摄像机基线距离和会聚距离下快速、可靠地采集立体3D视频数据的方法。为在手术过程中以最小干扰、高精度和可重复性采集测试数据，摄像机被安装于一台双臂机器人的两只机械臂末端。该机器人安装于手术室天花板上，程序设定其执行定时的同步摄像运动序列，逐步遍历一系列测试位置，基线距离范围为50至240毫米，以10毫米为增量步长，并在1100毫米和1400毫米两个会聚距离下进行采集。手术过程中短暂暂停，以获取连续40段、每段5秒的视频样本。共记录了10种不同的手术场景。

在视频1中展示了一个可接受的评估视频，其正确的图像位于上下立体3D格式的顶部。成功的序列应清晰、聚焦，且无不同步的图像帧。不同步的视频流会导致模糊，如文件视频2所示。融合点应在水平方向上居中，与相机间距无关，如图9A、B所示。当机器人在位置之间切换时，视频中会出现轻微抖动，这在50 mm/s的过渡速度下是可预期的。当左右图像之间的间距过大时，大脑无法将图像融合为一个3D图像，参见图9C和视频3。
在整个视频中，图像中心应始终对准心脏位置，如图1C所示。导致无法实现该效果的原因可能有以下几点：（1）汇聚点距离心脏过远，参见图7。可通过机器人应用程序设置界面调整摄像头相对于患者的位置（<strong class="x...

人类对3D立体视频的深度感知取决于相机间距、会聚点、物体距离以及物体的熟悉程度。本文介绍了一种在活体开胸手术期间快速、可靠地收集测试数据的机器人化方法，以确定理想的相机配置。

机器人化测试相机位置以确定心脏直视手术立体3D可视化理想配置

来自外科手术的立体3D视频对于医学教育具有极高价值，并可改善临床沟通。但进入手术室的机会……

它能够拍摄高质量的3D视频，用于培训和教育。该技术可应用于大多数开放手术的手术室环境。通过机器人化的方法，我们可以快速而准确地收集数据，以评估摄像头的位置。该方法用于快速测试三维视觉应用中的相机配置，也可用于研究不同观察者对深度的感知方式。开始安装相机至机器人时，首先将镜头安装到相机上，然后使用三颗 M2 螺丝将相机安装到适配板上。接下来，使用四个 M4 螺丝将圆形安装板固定到相机适配板上，安装位置为相机的对侧。所有相机安装到机器人后，观察所形成组件的镜像情况。使用四个 M2.5 螺丝将适配板安装到机器人腕部。对于台式机器人，将左侧相机安装到右侧机械臂上。将USB线缆连接至相机和Ubuntu计算机。在机器人触摸显示屏上，按下菜单按钮，选择Stereo 2以启动机器人应用程序。在主界面，按下“前往”按钮，使机器人应用中的距离设置为 1,100 毫米，并等待机器人移动至起始位置。取下相机的保护镜头盖。将打印好的校准网格放置在距离相机传感器 1,100 毫米的位置。为了正确识别对应的方格，请在网格中心放置一个小螺母或做一标记。在 Ubuntu 计算机上启动录制应用程序以启动界面，然后使用光圈环和对焦环调节镜头的光圈和对焦。在录制应用程序中，勾选“十字线”以显示十字准线。在录制应用程序中，确保十字准线与两个相机图像中校准网格的同一位置对齐。按下机器人应用程序中的齿轮图标后，调整相机相对于患者的位置。通过按压“机械臂与手的距离”参数的加号或减号来改变X方向，通过按压“采集高度”的加号或减号来改变Z方向，以在图像中捕获手术视野。通过手动移动机器人或患者来调整Y方向。暂停手术并告知手术室人员即将开始实验后，先在录制应用程序中按“录制”，然后在机器人应用程序中按“运行实验”。一段时间后，当实验结束时，触摸显示屏上将出现“Done”。然后，在录制应用程序中按“停止录制”以结束录制。通知手术室人员实验已经完成，并恢复手术。评估时，使用主动式3D投影仪以上下3D格式播放视频。正确的评估视频在上下立体3D格式中应显示为右图像位于上方。成功的序列应清晰、聚焦，且无不同步的图像帧。不同步的视频流会产生模糊。无论左右摄像头间距如何，会聚点都应在水平方向上居中。当左右图像间距过大时，大脑将无法将图像融合成单一的三维图像。心脏中心定位失败可能由多种原因导致，例如会聚点与心脏之间的距离。为正确配置相机工具坐标系，需确保录制应用程序中的十字线对准同一物体，校准物体位于中心位置，并采用正确的颜色去马赛克格式。通过基线距离变化的3D视频，我们能够研究深度信息如何影响医务人员对解剖结构的理解。

robotized-testing-camera-positions-to-determine-ideal-configuration

Research

科研

JoVE Journal

Medicine

医学

相机位置的机器人化测试，以确定心脏直视手术立体3D可视化的理想配置

已开发出一种新型计算系统，该系统采用GPU加速的分子动力学模拟，并结合纳米结构的3D/VR可视化、分析与操控功能，为推进材料研究提供了全新途径，促进了对人类肉眼不可见尺度材料结构的创新性探索与替代性学习方法。...

用于分子动力学模拟、可视化与分析的新型3D/VR交互环境

本文概述了一项多模态脑图谱计划，旨在识别支持个体神经外科患者关键认知功能的脑区。...

罗切斯特大学医学中心的转化脑图谱研究：通过个性化脑图谱保护大脑功能

双平面视频放射照相技术能够以高精度量化肩关节运动学。本文所述方案专为在平面肱骨抬高过程中追踪肩胛骨、肱骨和肋骨而设计，并概述了数据采集、处理和分析的步骤。文中还描述了数据采集过程中的特殊注意事项。...

使用双平面视频放射摄影测量体内肩关节三维运动学

通过遵循一种新型工作流程，将增强现实头戴式显示器 Magic Leap 与传统导航系统结合使用，在猪模型中置入椎弓根螺钉。根据 Gertzbein 标准，螺钉置入的中位时间为 &lt;2.5 分钟，技术精度达到亚毫米级，临床准确率达到...

使用增强现实头戴式显示器在猪模型中进行椎弓根螺钉置入

血管内治疗技术的进步已用微创治疗方式取代了复杂的开放性外科手术，例如瓣膜置换和动脉瘤修复。本文提出利用三维（3D）建模和虚拟现实技术，辅助神经介入导管室手术规划中的C形臂定位、角度测量和路径图生成，以缩短手术时间。...

利用影像学与虚拟现实技术开创精准手术的患者特异性方法

本方案介绍了一种综合性的分析流程，用于分析来自人类心脏的样本，涵盖微观和宏观尺度。...

人类心脏多尺度三维解剖研究流程

本文介绍了基于增强现实（AR）三维重建的自动手术模块的设计与实现。该系统通过允许外科医生观察重建的特征并复制手术手部动作，实现远程手术，使其如同在近距离进行手术操作一般。...

使用增强现实技术实现经导管主动脉瓣置换术的自动手术

本文介绍了一种基于计算机断层扫描从头构建心脏模型的方案，并通过三维（3D）打印与混合现实技术向医学生展示，以辅助解剖学学习。...

混合现实技术与三维打印在教学中的应用：以心脏解剖为例

本方案提供了在自由移动的模型（例如器官）上实施红外标记跟踪以及利用增强现实进行全息可视化的操作指南。此外，还概述了使用电磁跟踪技术在自由移动模型上对全息导航系统进行临床前验证的实验设置。...

全息头戴式显示器结合红外追踪软组织导航的技术方法及临床前验证

我们介绍了一种大鼠异位腹部心肺联合移植（HAHLT）的新技术。该移植构型可实现移植物循环的部分负荷，从而允许对功能进行直接评估。此模型可用于研究移植移植物的急性或慢性功能及免疫状态。...

大鼠异位腹部心脏/单肺联合移植在容量负荷配置下的手术方法

了解机器人化相机测试方法，用于心脏直视手术中立体3D视觉的理想配置评估。该方法可快速收集数据，优化深度感知，提升手术培训质量。

机器人化测试相机位置以确定心脏直视手术立体3D可视化理想配置

探索更多视频