收集和处理基于无人机的遥感数据，用于森林恢复监测

Summary

遥控飞机系统 （RPAS） 的最新进展允许亚米分辨率，非常适合森林恢复监测。集成人工智能 （AI） 可以从大型遥感数据集中获得更深入的见解。该协议通过支持对从干扰中恢复的林地进行更有效的评估和管理来改进监测。

Abstract

遥感 （RS） 技术，特别是光探测和测距 （LiDAR） 以及多光谱 （MS） 图像，可在不同的空间分辨率下提供广泛的植被监测能力。配备 LiDAR 和 MS 传感器的遥控飞机系统 （RPAS） 可以通过提供灵活的飞行时间表和捕获精细分辨率数据来增强植被评估。深度学习 （DL） 模型的进一步集成有望实现后处理工作流程的自动化，这对于植被监测应用尤为重要。

该协议概述了一套实用方法，用于收集、处理、对齐和合并基于RPAS的LiDAR和MS数据，以使用交互式DL插件进行单个3D树的描绘。专有的 DL 模型有效地检测和分割森林生态系统内各种传感器、研究地点和数据分辨率的树木边界。

我们开发该协议和工具的具体应用和动机是监测再生石油和天然气井场的森林恢复情况。目前，基于现场的评估方法耗时、劳动密集型且空间有限。随着复垦工作的扩大，越来越需要更高效、更可扩展的方法来监测复垦成功和生态系统恢复。通过推进基于RPAS的DL应用，该研究支持了对复垦井地生态恢复的监测，也适用于其他森林景观。

Introduction

石油和天然气资源的开采导致在艾伯塔省建立了数十万个井场¹，其中许多井场位于北方森林² 内。填海工作旨在将受干扰的土地恢复到原来的生态状态³.传统的地面调查仍然是监测填海认证的主要手段⁴;然而，这是一个耗时且劳动密集型的过程，随着受干扰和开垦区域数量的不断增加，效率也变得越来越低。

遥感（RS）技术的最新进展，特别是遥控飞机系统（RPAS）的使用，为井^场监测的空间和时间挑战提供了有希望的解决方案5,6,7,8。这些平台提供非常高分辨率的数据，允许在单个树水平进行准确测量。正如我们近年来看到的那样，与人工智能 （AI） 的集成 ^9,10,11 通过植被检测和测量的自动化，促进了大型遥感数据集的处理和分析。然而，为深度学习 （DL） 模型生成适当的训练和验证数据集仍然是主要挑战，特别是对于 3D 数据集。

该协议概述了从森林环境中收集、处理、对齐和合并基于 RPAS 的 LiDAR 和多光谱 （MS） 数据以描绘单个树木的分步工作流程。该方法使用新开发的 TreeAIBox¹² 插件（集成到 CloudCompare 中）来分析 RPAS 衍生的点云，以进行单个树冠分割。该插件引入了一种基于 TreeisoNet¹³ 模型的新型 3D DL 方法，这是一套专为 3D 树分割量身定制的监督深度神经网络，该方法在来自五个不同复垦井场的 RPAS 衍生数据集上进行了训练和验证。为模型训练选择的地点在树高、密度和物种组成方面有所不同，以确保模型的通用性。此外，训练数据集还包括夏季（2023 年 8 月）、秋季（2023 年 10 月）和春季（2024 年 5 月）连续三个季节收集的数据，以确保模型能够在不同季节条件下准确运行，树木能见度变化。该插件可自动执行点云过滤（树木与地面）、树顶检测和单个树冠分割的过程。该插件的输出可用于计算植被指标，例如树冠面积、树冠比例、茎密度和树高，用于开垦后植被监测。

TreeisoNet 模型集成到 TreeAIBox 插件中，与流域分割或 ShortestPath 等传统 3D 分割方法相比，提供了显着改进。TreeisoNet报告了不同森林类型的更高准确性，证明了监督深度学习方法相对于无监督替代方案的优势¹³。具体而言，树顶定位器模块（TreeLoc）的平均F1得分为0.96，显著优于局部最大值（LM）方法，后者的平均F1得分为0.57¹³。同样，树冠描绘模块（TreeOff）记录的平均交集（mIoU）为0.85，超过了传统的Watershed3D（mIoU 0.68）和ShortestPath方法（mIoU 0.79）¹³。这些指标凸显了 TreeisoNet 在检测树顶和描绘树冠方面的卓越准确性，特别是在复杂环境中，例如具有不同树高、茎密度和物种组成的开垦井场。

TreeisoNet模型是在RPAS衍生的激光雷达数据上训练的，点密度超过每平方米1100点。本文描述的方法侧重于监测油气井场的森林恢复情况;然而，它可以适应其他森林地区的使用。该工作流程非常适合茎密度稀疏至中等（每公顷 3,000 根<）的年轻人工林和混交林，这些森林的遮挡率极低。在封闭的树冠或多层森林中，由于激光雷达穿透力有限，对林下树木的检测可能会减少。该模型支持针叶树和落叶树冠，但准确性可能会因物种特定特征而异，例如年轻针叶树的细引线。TreeAIBox 插件包括一个预定义、预训练的模型库，这些模型旨在广泛适用于各种森林类型，并在来自开垦井场的不同数据集上进行验证。用户可以利用这些内置模型并调整插件参数（例如最大间隙或最小半径）来优化其特定数据集的输出，而无需训练新模型。这种灵活性允许用户直接在 CloudCompare 用户友好的图形用户界面 （GUI） 中调整工作流程以适应不同的森林条件，例如不同的树木高度或密度。当前版本的 TreeAIBox 插件不支持在软件本身内训练新模型;但是，高级用户可以将新的预训练模型添加到模型库中。

协议第 1 节和第 2 节描述了我们的数据收集和处理步骤，而协议的第 3 节描述了使用 TreeAIBox 插件来提取树指标。我们的具体研究融合了基于无人机的 LiDAR 数据和 MS 图像;然而，可以应用不同的程序、设备和软件来生成高密度点云文件，用于协议第 3 节。该工作流程通过将最先进的人工智能驱动的树木分割方法与基于 RPAS 的 RS 相结合，代表了植被监测的重大进步，从而能够更快、准确和可扩展地评估森林恢复。

Protocol

1. 使用 RPAS 进行数据收集

注意：所有 RPAS作都必须遵守当地空域法规和安全要求。使用 材料表 查看数据收集所需的设备和材料。

1. 飞行前准备：在进入现场之前，检查设备并在必要时更新固件。为每个飞行任务创建飞行文件并将其上传到遥控器。为每个飞行任务创建安全计划和应急程序文件。有关详细的印前检查设置过程，请参阅 补充文件 1 。
2. 现场数据收集：在现场，设置设备并执行飞行任务，以收集感兴趣区域的 LiDAR 和 MS 数据。有关设备设置和飞行参数的详细工作流程，请参阅 补充文件 2 。
3. GNSS基站设置：在RPAS的基站位置上设置并运行GNSS基站，以获得其位置的准确坐标，该坐标将在数据预处理期间用于精确点定位（PPP）校正¹⁴ （为了获得高精度，基站的最小推荐运行时间为2小时）（有关GNSS基站设置和获取坐标的过程的示例，请参阅 补充文件3 ）。
4. 数据传输：使用读卡器将收集到的 LiDAR 和 MS 数据从传感器传输到工作站进行进一步处理。

2. 原始数据处理

1. 多光谱数据预处理：使用摄影测量软件对采集到的质谱数据进行预处理，进行几何和辐射校正，并生成质谱正射镶嵌图。
   注意：有关使用摄影测量软件处理 RPAS 衍生的 MS 数据的一般工作流程，请参阅 补充文件 4 。
2. LiDAR 点云重建：使用适当的软件将原始 LiDAR 数据重建为点云文件（例如 *.las/laz 文件）。有关如何执行重建的详细程序，请参阅 补充文件 5 。
3. 对齐和合并 LiDAR 和多光谱数据。使用地理空间工具对齐 LiDAR 点云和 MS 正射镶嵌。有关执行对齐的详细过程，请参阅 补充文件 6 。使用 Python 脚本（参见 补充文件 7）将 LiDAR 点云与 MS 正射镶嵌合并以创建 MS 点云。
   注意：任何集成开发环境 （IDE） 都可用于运行 Python 脚本。 补充文件 8 演示了常规数据合并工作流程。

3. 使用 TreeAIBox 插件进行单个树分割

注意：可以使用来自森林环境的任何高分辨率点云数据（*.las/.laz 文件格式）来遵循协议的这一部分。

TreeAIBox 仅使用 Windows作系统进行了测试。

1. 安装和设置：下载并安装 3D 点云处理软件 CloudCompare¹⁵。接下来，从 GitHub （TreeAIBox_Plugin_Installer_v1.0.exe）¹² 下载插件安装程序（图 1）。运行安装程序并按照屏幕上的提示进行作。
   注意：安装程序会自动检测 CloudCompare 软件位置，并根据 GPU 或 CPU 可用性使用所需的 DL 库部署插件。有关替代安装方法或故障排除，请按照自述文件说明¹² 进行作。设置后，文件夹结构应与 图 2 所示的结构相匹配。
2. 加载点云数据：
   1. 从桌面图标打开 CloudCompare，或转到 “开始”菜单 |所有课程 |CloudCompare。通过拖动到画布或使用主控制台上的“ 打开一个或多个文件 ”按钮然后单击“ 应用 ”，将点云文件（例如 *.las/laz 文件）加载到 CloudCompare 中（图 3）。
   2. 如果点坐标较大，则提示是否应用全局偏移/比例。选择 Input，从 .las/laz 文件中读取元数据，然后单击 Yes （图 4）。点云现在将出现在画布中。
3. 打开 TreeAIBox 插件：打开 Python 插件工具栏， 展开 Script Register 下拉列表，然后单击 TreeAIBox 打开插件 GUI（图 5）。
4. 过滤树点和地面点
   1. 如果支持 CUDA 的 GPU 可用，请确保选中 Use GPU （CUDA） 复选框。在顶部面板中，选择 TreeFiltering，如果树干在 RPAS 数据中不可见，则选择 ALS ，取消选中 Tile size，从 Predefined Models 下拉列表中选择“treefiltering_als_esegformer3D_128_15cm（GPU3GB）”（图 6）。如果是第一次使用此模型，字体颜色将显示为灰色。单击 下载 并确认显示本地路径的弹出窗口。
   2. 在画布中选择点云（以边界框突出显示），然后单击 TreeFilter 面板中的应用。将创建一个名为 treefilter 的新标量字段：值 = 2（树点，红色）和值 = 1（其他点，蓝色）（图 7）。在继续下一步之前确认这一点。
5. 检测树梢
   1. 在 TreeAIBox 顶部面板中，选择 TreeisoNet，启用 Reclamation、ALS （词干隐式）和 TreeLoc，然后选择预训练模型：'treeisonet_als_reclamation_treeloc_esegformer3D_
      128_10cm（GPU4GB）'。确保选择画布中的点云（用边界框突出显示），然后单击并 应用 （图 8）。
   2. 处理完成后，数据库树窗口中原始点云下方将出现一个名为 treetops 的新项目。选择此项目并增加点大小（例如，增加到 16）以提高可见性。确认树顶位置在画布中显示为白点（图 9）。
6. 分割树冠
   1. 重新选择 树点云 项（以红色突出显示）（图 10）。在 TreeAIBox 顶部面板中，选择 TreeisoNet 并启用 TreeOff。下载预训练模型'treeisonet_als_reclamation_treeoff
      _esegformer3D_128_10cm（GPU4GB）'（图 11），如果尚不可用，则单击 Apply 运行模型。
   2. 将创建一个新的标量场 树状结构， 为每棵树分配一个唯一的 ID。同一树中的点共享相同的 ID。（可选）将树顶点大小重置为默认值以减少视觉混乱。确认软件画布的视图与 图 12 中所示的视图相似。
   3. 可选可视化：随机树颜色：为了提高分段树的视觉对比度，请按 ID 随机化树颜色。首先，克隆原始点云以保留数据（编辑 |克隆）。然后，转到 编辑 |标量场 |转换为随机 RGB （图 13）。输入一个较大的值（例如，256000）以确保有足够的离散颜色 ，然后单击确定。点云将以随机颜色显示树木（图 14）。
      注意：此步骤仅用于可视化，不会影响分割 ID，但它会覆盖克隆点云中的 RGB 值。
7. 导出分割指标和输出：从 TreeAIBox 顶部面板中，选择 TreeisoNet 并单击 导出统计数据 以导出树分割结果。然后，单击“ 打开输出路径 ”以查看结果文件夹中的输出文件（图 15）。导出的 CSV 包含分段的树 ID、坐标、树高和树冠面积。
   注意：这样就完成了使用 TreeAIBox 的数据处理。

图 1：通过 GitHub 存储库访问 TreeAIBox 插件安装程序。 请点击此处查看此图的大图。

图 2：带有 TreeAIBox 插件的文件夹结构。请点击此处查看此图的大图。

图 3：将点云文件加载到 CloudCompare 中。 请点击此处查看此图的大图。

图 4：在点云加载到 CloudCompare 时设置全局偏移。请点击此处查看此图的大图。

图 5：使用 CloudCompare 的 Python 插件工具栏启动 TreeAIBox 插件。请点击此处查看此图的大图。

图 6：设置 TreeFiltering 面板以将树点与地面点分开。请点击此处查看此图的大图。

图 7：将树点与地面点分开的结果。 树点显示为红色，而地面点显示为蓝色。 请点击此处查看此图的大图。

图 8：设置 TreeisoNet 面板以使用 TreeLoc 检测树顶。 请点击此处查看此图的大图。

图 9：树顶检测的结果。 白点代表树梢的位置。 请点击此处查看此图的大图。

图 10：在应用 TreeOff 面板之前重新选择树点云项。 请点击此处查看此图的大图。

图 11：使用 TreeOff 设置 TreeisoNet 面板进行树冠分割。 请点击此处查看此图的大图。

图 12：树冠分割的结果。请点击此处查看此图的大图。

图 13：设置分段点云，根据树的 ID 随机化树的颜色，以获得更好的边界对比度。 请点击此处查看此图的大图。

图 14：树色随机化的结果。请点击此处查看此图的大图。

图 15：将树分割结果从 TreeisoNet 面板提取到 csv 文件中。请点击此处查看此图的大图。

Results

按照既定方案，在三个种植幼树的研究地点收集了 RPAS 衍生的 LiDAR 和 MS 数据。选择这些地点是为了测试模型检测不同高度的单棵树的能力。1号地点种植了香脂冷杉（香脂冷杉），平均高度为1.46 m。地点 2 以平均高度 2.17 m 的 Pinus contorta（黑松）树为特色。地点 3 包含小型冷杉和松树，平均高度仅为 0.51 m。除了 RS 数据外，还使用 GNSS 单元记录了 224 棵参考树的位置。

数据收集和处理后，应用 TreeAIBox 插件来过滤树点并划定单个树。插件生成的结果如 图 16 所示。

图 16：三个研究地点（A - 地点 1;B - 站点 2;C - 站点 3）由 TreeAIBox 插件生成。请点击此处查看此图的大图。

在三个地点总共检测到了 2,755 棵树。该模型在站点 1 上识别了 1,706 棵树（图 16A），在站点 2 上识别了 882 棵树（图 16B），在站点 3 上识别了 167 棵树（图 16C）。参考树的检出率因地点而异，站点2检测到的参考树的检出率为100%，站点1的检出率为95%，站点3的检出率仅为21%，如 表1所示。这些结果凸显了该模型在检测 1 m >树木方面的高性能，该范围内所有参考树的检测率为 100%。然而，较短的树的性能有所下降：只有 45% 的 0.5 至 1 m 之间的参考树被检测到，并且没有识别出 0.5 m <的树（表 2）。

网站#	Aver 树高，m （stdev）	# 引用树	# 检测到的参考树	检测到的参考树的百分比
1	1.46 (0.45)	75	71	95
2	2.17 (0.4)	74	74	100
3	0.51 (0.17)	75	16	21

表1：不同站点的参考树检出率。

树高范围	# 引用树	# 检测到的参考树	检测到的参考树的百分比
0 - 0.5 米	41	0	0
0.5 - 1 米	40	18	45
1 - 1.5 米	49	49	100
1.5 - 2 米	42	42	100
> 2 米	52	52	100

表2：不同树高范围的参考树检出率。

补充文件 1：RPAS 数据收集工作流程 - 现场前任务。请点击此处下载此文件。

补充文件 2：RPAS 数据收集工作流程 - 在现场。请点击此处下载此文件。

补充文件 3：使用 GNSS 单元进行精确位置跟踪。请点击此处下载此文件。

补充文件 4：使用摄影测量软件进行 MS 数据处理程序。请点击此处下载此文件。

补充文件 5：根据原始 LiDAR 数据重建点云。请点击此处下载此文件。

补充文件 6：使用地理空间工具对齐 LiDAR 点云和 MS 正射镶嵌。 请点击此处下载此文件。

补充文件 7：用于合并 LiDAR 点云和 MS 图像以生成 MS 点云的 Python 脚本。请点击此处下载此文件。

补充文件 8：LiDAR 点云和 MS 图像合并的一般工作流程。请点击此处下载此文件。

Discussion

将 DL 应用于 RS 数据（尤其是 3D 点云）的主要挑战之一在于开发平衡且具有代表性的训练和验证数据集。任何DL模型的有效性在很大程度上取决于训练^期间使用的注释数据的多样性和质量9,10,11,16。本研究中使用的新型 3D DL 模型使用从北方森林区内多个开垦井场收集的数据集进行训练和验证，其特征是幼小、种植和自然再生的植被。这些地点经过精心挑选，涵盖广泛的森林条件，包括树高、茎密度和物种组成的变化，以确保广泛的模型普遍性。此外，训练数据集在时间上是多样化的，包括连续三个季节收集的 RS 数据。这种季节性变化对于训练模型在不同的树冠能见度条件下可靠地运行至关重要，并考虑了树叶覆盖的变化和结构复杂性。多季节和多结构数据的整合有助于该模型的稳健性，特别是在它能够检测变化的光照条件和物候阶段下的单个树木。

这项研究的一个显着发现是，将 MS 或 RGB 数据与 LiDAR 相结合并没有显着提高 TreeAIBox 工作流程中树木检测或树冠分割的准确性。这表明激光雷达点云的几何特性，如树冠形状和空间排列，是有效树木检测和分割的主要驱动力，特别是在植被幼少或稀疏的环境中。然而，光谱数据在物种分类等互补应用中显示出价值，其中质谱图像改善了针叶树和落叶树的区分。

影响 TreeAIBox 工作流程中单树检测和分割成功的关键因素是输入点云的质量。最佳性能需要非常高密度的 LiDAR 数据，通常每平方米超过 1,000 个点。现代基于 RPAS 的 LiDAR 系统可以通过使用优化的飞行参数（例如低空和高飞行重叠）来实现这种密度。虽然 TreeAIBox 能够处理密度较低的点云，但点密度降低会限制结构细节捕获。这通常会导致检测和分割准确性降低，特别是对于树冠和茎特征可能代表性不足的较小树木。

与传统或手动分割方法相比，TreeAIBox 工作流程提高了效率和自动化程度，并提供了来自我们在回收井场的验证的可测量指标。在标准 GPU（例如 NVIDIA RTX 3060）上，每个站点的树顶检测和树冠分割的处理时间平均为 5-10 分钟，而在 CloudCompare 等软件中手动描绘的处理时间则为数小时。自动化是通过插件的 GUI 实现的，它消除了命令行脚本和依赖项，允许非专家以最少的输入运行端到端分析。实际上，这将 1 公顷井场分析从 5-8 小时（手动方法）缩短到 30 分钟以内。回退到 CPU 模式可确保无需高端硬件即可访问，尽管 GPU 加速将时间缩短了 3-5 倍。这些效率可以实现频繁的监控，支持林业管理中的可扩展应用，同时保持高精度。

在这项研究中观察到的一个具体限制是该模型检测 1.0 m <树木的能力下降。虽然 1.0 m >树的检出率很高，在该高度范围内正确识别了 100% 的参考树木，但较小的树木的性能显着下降（表 2）。这种限制可能是由于多种因素造成的。首先，靠近地面的激光雷达点密度较低，尤其是在封闭的冠层下，再加上茂密的草本覆盖，阻碍了对与小树相关的精细结构细节的探测。此外，由较高植被引起的遮挡通常会阻止足够的点返回到达林下树木，这是此类应用中已知的错误来源^10,16。该算法还可能无法捕获细微的形态特征，例如细树引线，或将紧密聚集的树错误地分类为单个对象。应对这些挑战可能涉及优化 LiDAR 采集参数，例如调整飞行高度或扫描角度以增强地面能见度，以及改进分割方法以更好地处理遮挡和稀疏数据。

尽管存在这些局限性，但所提出的方法在开垦和重新造林监测中的应用前景巨大。基于 RPAS 的 RS 与 3D DL 算法相结合，提供了一种可扩展、经济高效且高分辨率的解决方案，用于跟踪植被随时间变化的恢复情况，特别是在受石油和天然气开采等工业活动干扰的地区。检测单棵树木、估计其高度和评估空间分布的能力为场地再生和遵守复垦标准提供了有意义的见解。此外，这种方法可以通过实现频繁、无创的监测来支持适应性管理策略，从而捕获恢复生态系统的季节性和结构动态。随着恢复项目越来越需要长期、精细的数据来评估生态恢复，这种方法为寻求评估复杂、异质景观中植被表现的森林管理者和研究人员提供了强大而实用的工具。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Avenza地图应用	阿文扎	那	用于使用QGIS创建的地理参考pdf地图进行离线现场导航
格子靶	任何供应商	那	地面控制点
CloudCompare	CloudCompare	那	3D点云处理与编辑软件
DJI BS60 电池站（配备 M300 电池（x8）、D-RTK2 电池（x4）、电源线和 USB-C 线连接遥控器）	大疆	那
带DLS（带控制器和替换螺旋桨）的大疆M300 RTK飞机	大疆	那	DLS（下游光传感器）
DJI Terra Pro	大疆	那	原始LiDAR数据重建为三维点云。nbsp;
DJI Zenmuse L1 激光雷达传感器（带microSD卡）	大疆	那
D-RTK2移动站（带三脚架和延长杆）	大疆	那
Emlid Reach RS2+ 基站（带三脚架）	Emlid	那
Emlid Reach RS2+ 探测车（配备GNSS测量杆）	Emlid	那
外置硬盘	任何供应商	那	备份数据
飞行日志	任何供应商	那
谷歌地球 Pro	谷歌	那	创建KML飞行文件
着陆坪	任何供应商	那	起降飞机
笔记本	任何供应商	那	用于现场下载数据、格式化卡片等。
MicaSense RedEdge-P 传感器（配备 MicaSense SD 卡、USB-C 线、MicaSense 校准反射面板（CRP））	云敏感知	那
PIX4Dmapper	Pix4D 股份有限公司	那	多光谱图像的几何和辐射校正及正交镶嵌图像生成。
气动计	任何供应商	那
派魅力	JetBrains s.r.o.	那	Python 集成开发环境（IDE）
QGIS和nbsp;	QGIS和nbsp;	那	地理空间数据处理、编辑与可视化
SD和microSD卡读卡器	任何供应商	那
智能手机	任何供应商	那	连接MicaSense RedEdge-P传感器和Emlid Reach RS2+设备
星形栅栏/钉子、木槌和旗带	任何供应商	那	标记D-RTK2基站的位置
片	任何供应商	那	用于野外导航
TreeAIBox（CloudCompare 插件）		那
双向无线电	任何供应商	那
工作站（CPU i5及更高型号，支持CUDA的NVIDIA显卡，显存大于4GB，内存大于32GB，SSD固态大于512GB及nbsp;	任何供应商	那