我们提供了一套详细的水下运动恢复结构摄影测量调查方案,用于生成三维模型和正射影像镶嵌图。
我们提供了一套详细的水下运动恢复结构摄影测量调查方案,用于生成三维模型和正射影像镶嵌图。
运动恢复结构(Structure-from-motion,SfM)摄影测量是一种通过一系列二维(2D)图像生成三维(3D)重建模型的技术。SfM 方法正日益流行,被广泛用作一种非侵入性手段,用于监测多种系统,包括人为和自然景观、地质构造以及陆地和水生生态系统。本文提供了一套详细的协议,用于采集 SfM 图像以构建底栖生境的 3D 模型。此外,还比较了使用数码单反相机(DSLR)与成本较低的运动相机在成本、时间效率和输出质量方面的差异。研究发现,在计算时间和分辨率之间存在权衡:DSLR 相机生成的模型分辨率超过运动相机的两倍以上,但生成时间大约比运动相机多出 1.4 倍。本指南旨在为不熟悉该技术的研究人员以及正在使用类似方法的研究人员,全面描述在底栖生境中采集 SfM 数据所必需的各个步骤。
生态系统过程本质上是动态的,难以量化。过去十年中,出现了大量新技术,可用于在不同尺度上捕捉生态系统及其动态,从对单个生态特征进行三维激光扫描,到对大范围区域进行卫星遥感监测1,2,3。在底栖生境中,结构与生态系统功能密切相关8,因此能够同时监测几何形态和群落结构的工具对于理解生态动态尤为重要。然而,由于水体的物理特性(如折射、畸变、浊度),许多现代方法无法在水生系统中应用。诸如激光雷达(LiDAR,Light Detection and Ranging)和某些航空勘测技术等方法可能适用于大空间尺度,但无法获得评估底栖生境细微变化所需的分辨率。近年来,运动结构重建(Structure-from-Motion, SfM)摄影测量技术已被应用于生成大范围、高分辨率的水下生境正射镶嵌图和三维地表模型4,5,6,7。
运动恢复结构(SfM)摄影测量法是一种相对低成本、操作简单、非侵入性且可重复的方法,可用于生成水生生态系统中底栖环境的大范围、高分辨率记录9。SfM利用一系列二维图像生成三维模型重建。通过SfM生成的模型可用于获取底栖生态系统结构复杂性(如粗糙度、维度)4,5,10,11,12以及群落结构(如物种组成、种群统计特征)13,14,15的相关数据。此外,由于该方法成本较低、操作快速且可重复,科学家和非专业人员均可使用,以收集有关这些生态系统的宝贵且客观的信息。因此,该方法在公民科学项目中是一种可行的技术,尤其在采样工作的标准化、偏差最小化、参与者参与度以及培训便捷性对数据质量和项目整体成功至关重要的情况下尤为适用16,17。
本文提供了一种开展水下SfM(运动结构恢复)调查的详细方案。同时,本文比较了单反相机与更具成本效益的“运动相机”的使用效果,并概述了每种设备的相对优缺点。总体目标是通过提供一种简单且常用的协议,使科研人员和非科研人员能够尽快熟悉底栖SfM调查方法,从而更广泛地推广该方法的应用。 有关应用该方法的变体研究水下生态群落的实例,请参见Burns等(2015)4、Storlazzi等(2016)18、Ventura等(2016年和2018年)19、20、Edwards等(2017)14、George等(2018)21、Anelli等(2019)22以及Torres-Pulliza等(2020)10。
此处所述方法需要两名人员组成的浮潜或水肺潜水团队。选定调查区域后,将一卷测线(图1A)放置在区域中心,并在距中心约2米处布设校准标板(图1B)。其中一人(潜水员)携带相机对区域进行影像采集,另一人(助手)则在样地中心负责管理测线轮(图1C)。首先,潜水员通过测线将相机与测线轮连接,然后在面朝下向前游动以释放测线的同时,持续拍摄底栖生物图像。潜水员应始终保持在基质上方约1米的垂直距离,并根据地形变化调整自身位置。重要的是,在潜水员对样地进行调查时,连接测线轮与相机的测线应始终保持拉紧状态,以确保螺旋轨迹的间距均匀。助手需保持测线轮稳定且垂直,并确保测线轮不发生旋转,测线不发生缠绕。
当绳索完全展开后,游泳者停止前进,转身并向相反方向游动,以将绳索重新缠绕到卷轴上。当游泳者改变方向时,助手将卷轴旋转恰好180°,以缠绕绳索,防止回程路径与去程路径完全重叠。当游泳者尽可能靠近中心位置后,将相机从绳索上取下,助手携带卷轴和绳索游离样地的中心区域。随后,游泳者通过在中心区域进行小范围螺旋移动,完成对样地中心的成像。尽管有多种有效成像区域的方法,但此处所述的卷轴-绳索法即使在非理想的环境条件下(如水面波浪起伏、涌浪或能见度较低)也具有良好的稳健性。在这些情况下,该方法可使浮潜者或潜水员保持连接,并通过控制游泳路径确保图像具有高重叠度,从而保障数据采集的完整性。
1. 材料
2. 详细方法
3. 清理现场。
本示例中,对位于夏威夷瓦胡岛凯内奥赫湾13号斑礁上的珊瑚礁点位2_7进行了成像,使用了来自数码单反相机的3,125张JPEG照片以及运动相机视频提取的3,125张JPEG帧图像(表1),作为生成正射镶嵌图和三维模型的输入数据。 总体工作流程包括5个阶段:1)对照片进行对齐以生成稀疏点云;2)对稀疏点云进行缩放并优化相机参数;3)构建稠密点云(此阶段同时生成深度图);4)生成数字高程模型(DEM)和正射镶嵌图;5)生成三维模型及其纹理。需要注意的是,第4和第5阶段不一定必须按此顺序执行,但必须在完成稠密点云和深度图处理之后进行。模型的地理配准应在生成正射镶嵌图和DEM之前完成。各阶段所用设置及处理细节分别列于表2和材料表中。
有关生成三维模型和正射镶嵌图的更详细方法,请参见补充材料以及 Suka 等人23。在包括稀疏点云生成、密集点云生成、网格模型渲染和带纹理模型渲染的每一个步骤中,运动相机所生成模型的处理时间均更短。这使得运动相机模型的整体处理时间(6 小时 39 分钟)显著短于单反相机模型(9 小时 14 分钟)。模型处理的具体时间将因计算能力和特定硬件配置的不同而有所差异。
使用单反相机拍摄的图像生成的模型包含 2,848,358 个稀疏点云点和 787,450,347 个密集点云点,而使用运动相机图像生成的模型仅包含 2,630,543 个稀疏点云点和 225,835,648 个密集点云点。这使得单反相机模型的分辨率超过运动相机模型的两倍,正射镶嵌图的分辨率分别为 0.442 mm/像素(单反相机)和 0.208 mm/像素(运动相机)(表 1)。尽管单反相机模型的分辨率优于运动相机模型,但两种方法均能生成高质量的模型,在将约 113 m2 的珊瑚礁区域表示为 20 cm2 的数字高程模型(图 2 上排图)或二维正射镶嵌投影(图 2 中排图)时,视觉表现差异极小。

图1:运动结构法摄影测量。(A)用于控制潜水员距离的卷轴装置示例,配有手柄和杆以实现精确定位和操作。(B)校准色板。(C)游泳路径示意图,显示潜水员(绿色)与助手(橙色)的相对位置。请点击此处查看此图的放大版本。

图 2:数字高程模型与正射镶嵌图的视觉对比。 基于单反相机(左)和运动相机(右)图像构建的数字高程模型(顶部)和正射镶嵌图(中部)。底部面板为正射镶嵌图中白色框选区域的放大图。顶部面板中的热图色标表示距水面的距离,单位为米(m)。请点击此处查看该图的高清版本。
| Canon EOS Rebel SL3 | GoPro Hero 7 | |
| 成本 | ||
| 相机 | ~$600.00 | ~$220.00 |
| 水下外壳 | ~$1,700.00 | NA |
| 总成本 | ~$2,300.00 | ~$220.00 |
| 照片 | ||
| 照片文件格式 | jpeg | jpeg |
| 照片分辨率 | 24 百万像素 | 12 百万像素(来自 4K 视频) |
| 对齐照片数 / 总照片数 | 3125 / 3125 | 3125 / 3125 |
| 摄影测量指标 | ||
| 稀疏点云点数 | 2,848,358 | 2,630,543 |
| 密集点云点数 | 787,450,347 | 225,835,648 |
| 面数(3D 模型) | 11,919,451 | 3,834,651 |
| 数字高程模型(DEM)分辨率 | 0.831 mm/像素 | 1.77 mm/像素 |
| 正射影像分辨率 | 0.208 mm/像素 | 0.442 mm/像素 |
| 处理时间 | ||
| 稀疏点云生成 | 1 小时 23 分钟 | 1 小时 27 分钟 |
| 密集点云生成 | 4 小时 | 3 小时 11 分钟 |
| 网格模型渲染 | 3 小时 32 分钟 | 1 小时 49 分钟 |
| 纹理渲染 | 19 分钟 | 12 分钟 |
| 计算机总处理时间 | 9 小时 14 分钟 | 6 小时 39 分钟 |
表1:关于设置成本、用于构建模型的照片、摄影测量指标及处理时间的详细信息。两个模型的处理均使用相同的设置。请注意,处理时间不包括照片编辑、从视频中提取图像、重新对齐照片以及模型编辑和缩放等各个步骤所需的时间。
| Canon EOS Rebel SL3 | GoPro Hero 7 | |
| 图像 | ||
| 平均文件大小 | ~ 8.3 MB | ~ 4.7 MB |
| 照片采集方式 | 连续拍摄模式 | 从4K视频中提取 |
| 色彩校正 | 手动 | 手动 |
| 镜头畸变校正 | 无 | 有 |
| 摄影测量处理设置 | ||
| 稀疏点云生成 | 精度:高 | 精度:高 |
| 关键点数量:40,000 | 关键点数量:40,000 | |
| 连接点数量:4,000 | 连接点数量:4,000 | |
| 通用预选:启用 | 通用预选:启用 | |
| 密集点云生成 | 中等质量 | 中等质量 |
| 三维网格模型生成 | ||
| 数据源: | 深度图 | 深度图 |
| 质量: | 中等 | 中等 |
| 面数: | 低 | 低 |
| 插值: | 启用 | 启用 |
| 计算顶点颜色: | 是 | 是 |
| 三维纹理生成 | ||
| 纹理类型: | 漫反射贴图 | 漫反射贴图 |
| 数据源: | 图像 | 图像 |
| 映射模式: | 通用 | 通用 |
| 混合模式: | 马赛克 | 马赛克 |
| 纹理尺寸/数量: | 4096 / 1 | 4096 / 1 |
| 数字高程模型(DEM) | 来自密集点云 | 来自密集点云 |
| 正射影像镶嵌图 | 来自DEM | 来自DEM |
表2:采集图像及摄影测量处理的详细信息。 处理过程中两个模型采用了相同的设置。
补充材料。 请点击此处下载该文件。
本研究表明,在标准台式计算机上进行不到10小时的处理时间,单反相机和运动相机均可生成分辨率优于0.5 mm/像素的模型。除成本外,单反相机与运动相机之间的主要权衡在于,前者提供更精细的分辨率,而后者具有更快的处理速度。然而,文中报告的处理时间仅包括计算处理时间。因此,尽管运动相机的计算时间较短,但需要投入大量额外时间(10–20分钟)从视频中提取图像,而使用单反相机则无需此步骤。一种替代方案是将运动相机设置为连拍模式,以避免图像提取过程。本示例未采用连拍模式,因为该运动相机的拍摄速度仅为每秒2帧(2 fps),为采集足够数量的图像以构建完整模型,必须显著降低游泳速度。在此情况下,使用连拍模式意味着需要更长的野外作业时间,而使用视频模式则意味着需要更长的计算机图像提取时间,两者之间存在权衡。
运动相机的优势包括价格实惠、便于携带以及可在水下轻松操作。单反相机(DSLR)的主要优势在于其能够拍摄更高分辨率的图像;因此,当成本不是限制因素时,建议优先选用单反相机而非运动相机。研究拟解决的科学问题类型也会影响方法的选择。例如,在相对均质的环境中(如海草床、死珊瑚/碎石生境),或仅需在较大空间尺度上评估群落的总体指标(如丰度、多样性)时,运动相机可能是更合适的选择。然而,当研究关注个体生物或基质的细微变化时,则更适合使用单反相机。
由于这是一种野外方法,模型的输出结果将取决于多种环境因素,例如光照、水体透明度、水面状况、涌浪程度以及鱼类或非固定底栖结构(如海草)的运动情况。尽管目前尚无绝对的标准来界定何时适合使用该方法,但通常在多云稍阴、水体透明度高、水面平静且涌浪较小的条件下,所生成的模型质量最佳。此外,该方法对最小水深有一定要求。当水深小于0.5 m时,由于照片之间的重叠区域较少且每张照片中可识别的特征点不足,建模效果通常不佳。然而,这也突显了运动相机的另一优势:其体积较小,因此在较浅水深条件下更易于使用。此外,使用直径更小的线轴,以及更高的帧率(或更广角的镜头),可在极浅水条件下改善图像间的重叠程度9。
许多其他类型的数据也可与该方法整合。例如,已有研究利用正射镶嵌图结合开源软件“ili”来展示珊瑚24和人类25中分子数据(如基因和代谢物)的空间密度26。同一平台还可用于绘制环境中动物、微生物、病毒和/或化学物质的空间分布密度。其他研究案例则利用运动恢复结构(SfM)技术,结合地理信息系统软件,将底栖物种信息在正射镶嵌图上进行空间标注10。此外,SfM生成的三维模型可用于估算栖息地特征,如表面粗糙度(rugosity)和分形维数(fractal dimension)。事实上,本文所述方法最近已被用于推导出一种新的栖息地表面几何理论10。最后,正射镶嵌图正被用作空间显式计算模型的输入表面,使得动态模拟结果可叠加于模型的三维表面之上。能够便捷地生成大尺度图像和底栖生境的三维表征,使海洋科学家得以探索此前难以想象的科学问题3。
总体而言,本文提供了一套详细的水下SfM摄影测量操作流程,可使用单反相机或更具成本效益的运动相机进行。科研人员可将这些方法用于多种目的,从获取底栖生态系统数据到为in silico模拟构建三维输入表面。然而,非专业人员也可在公民科学项目中应用这些流程,以收集有关生物多样性格局、生境复杂性、群落结构及其他生态指标的宝贵信息。
作者无竞争性财务利益或其他利益冲突。
我们感谢保罗·艾伦家族基金会对本研究的资助,并感谢露丝·盖茨启发我们利用技术帮助保护珊瑚礁。我们还要感谢美国国家海洋和大气管理局(NOAA)及其他合作者就这些方法进行的深入讨论。最后,我们感谢凯蒂·福利和帕特里克·尼科尔斯提供了这些方法所用的无人机和水下视频。
我们感谢国家鱼类和野生动物基金会作为本工作的资助合作伙伴。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 运动相机(GoPro Hero7 Black) | GoPro | 可使用任何防水运动相机 | |
| Adobe Lightroom | Adobe | 色彩校正 | |
| 校准板(按 Agisoft 标记尺寸切割的平板 PVC 板。若预期有波浪,可在其下方附加一个潜水配重) | 任何已知尺寸和颜色的负浮力物体。我们建议使用 Agisoft Metashape 软件(v.1.6.0)提供的比例标记模板。 | ||
| 单反相机(Canon EOS Rebel SL3) | Canon | 3453C002AA | 可使用任何配备水下外壳的单反相机 |
| 绳线(塑料晾衣绳丝) | 任何强度足够、可用于野外作业的负浮力绳线 | ||
| Micro SDXC 存储卡(用于 GoPro) | |||
| Oceanic Veo 2.0 | Oceanic | 数字深度计 | |
| SDXC 存储卡(用于单反相机) | 任何 SDXC 存储卡均可使用,只要其存储空间足以容纳构建模型所需的所有图像 | ||
| 线轴(一段长 2 英寸、直径 8 英寸的 PVC 管,连接一段长 3 英尺、直径 1 英寸的 PVC 管以形成轴杆) | 任何所需直径的负浮力圆形物体 | ||
| 单反相机水下外壳(Ikelite 200DLM/C Underwater TTL Housing) | Ikelite | 6970.09 | 应为特定品牌和型号单反相机专用的水下外壳 |
| 配备 Intel i9-9900K 8 核 CPU、两块 Nvidia GeForce RTX 2070 SUPER GPU 以及 128 GB 内存的 Windows 10 台式计算机 | 数据处理 |