基于计算机视觉的入侵植物生物量估算

Summary

我们报告了一种入侵植物生物量估算方法的详细程序，该方法利用从无人机 （UAV） 遥感获得的数据来评估生物量并捕获入侵物种的空间分布。事实证明，这种方法对进行入侵植物的危害评估和早期预警非常有益。

Abstract

我们报告了一种基于无人机遥感和计算机视觉估计入侵植物生物量的方法的详细步骤。为了从研究区域收集样本，我们准备了一个样本方形组件来随机化采样点。使用无人机和相机构建了无人航空相机系统，通过自动导航获取研究区域的连续 RGB 图像。完成拍摄后，收集样本框内的地上生物量，并对所有对应物进行标记和包装。处理样本数据，并将航拍图像分割成 280 x 280 像素的小图像以创建图像数据集。采用深度卷积神经网络绘制研究区 薇甘菊 的分布图，得到其植被指数。将收集的生物体干燥，并将干重记录为真实生物量。使用 K 最近邻回归 （KNNR） 构建入侵植物生物量回归模型，方法是从样本图像中提取植被指数作为自变量，并将其与真实生物量作为因变量整合。结果表明，可以准确预测入侵植物的生物量。通过图像遍历生成入侵植物生物量的准确空间分布图，从而可以精确识别受入侵植物影响的高风险区域。总之，这项研究证明了将无人机遥感与机器学习技术相结合以估计入侵植物生物量的潜力。它为实时监测入侵植物的新技术和新方法的研究做出了重大贡献，并为区域范围内的智能监测和危害评估提供了技术支持。

Introduction

在该协议中，所提出的基于无人机遥感和计算机视觉的入侵生物量估计方法可以反映入侵生物的分布并预测入侵生物危害的程度。估计入侵生物的分布和生物量对于预防和控制这些生物至关重要。一旦入侵植物入侵，它们就会破坏生态系统并造成巨大的经济损失。快速准确地识别入侵植物并估计关键的入侵植物生物量是入侵植物监测和控制的主要挑战。本文以 薇甘菊 为例，探索一种基于无人机遥感和计算机视觉的入侵植物生物量估算方法，为入侵植物的生态学研究提供了新的途径和方法，促进了入侵植物的生态学研究与管理。

目前， 薇甘菊 的生物量测量主要通过人工采样¹.传统的生物量测量方法需要大量的人力和物力资源，效率低下且受地形限制;难以满足 薇甘菊 区域生物量估算的需要。使用该协议的主要优点是它提供了一种量化区域入侵植物生物量和入侵植物空间分布的方法，该方法不考虑该地区的采样限制，并且无需人工调查。

无人机遥感技术在植物生物量估算方面取得了一定的成果，并已广泛应用于农业 2,3,4,5,6,7，林业 ^8,9,10,11 和草原 12,13,14.无人机遥感技术具有成本低、效率高、精度高、操作灵活等优点^15,16，可以高效获取研究区遥感影像数据;然后，提取遥感影像的纹理特征和植被指数，为大面积植物生物量估算提供数据支持。目前的植物生物量估算方法主要分为参数模型和非参数模型¹⁷。随着机器学习算法的发展，具有更高准确性的非参数机器学习模型已广泛应用于植物生物量的遥感估计。Chen 等人 ¹⁸ 利用混合 logistic 回归 （MLR）、KNNR 和随机森林回归 （RFR） 来估计云南省森林的地上生物量。他们得出结论，与 MLR 相比，机器学习模型，特别是 KNNR 和 RFR，产生了更好的结果。Yan 等人¹⁹ 采用 RFR 和极端梯度提升 （XGBR） 回归模型来评估使用各种变量集估计亚热带森林生物量的准确性。Tian 等人²⁰ 利用 11 个机器学习模型来估计北部湾不同红树林物种的地上生物量。研究人员发现，XGBR 方法在确定红树林的地上生物量方面更有效。使用人机遥感进行植物生物量估算是一种成熟的做法，然而，使用无人机对入侵植物 Mikania micrantha 进行生物量估算在国内外尚未报道。这种方法与以前所有入侵植物的生物量估算方法根本不同，尤其是 Mikania micrantha。

综上所述，无人机遥感具有分辨率高、效率高、成本低等优点。在遥感影像的特征变量提取中，纹理特征结合植被指数可以获得较好的回归预测性能。在植物生物量估计中，非参数模型可以获得比参数模型更准确的回归模型。因此，为了精确计算入侵植物的零分布及其生物量，我们建议以下概述的入侵植物生物量实验程序，该实验依赖于使用无人机和计算机视觉的遥感。

Protocol

1. 数据集的准备

1. 选择研究对象
   1. 根据实验研究的重点选择测试样品，考虑 Mikania micrantha 或其他入侵植物等选项。
2. 收集 UAV 图像
   1. 根据研究区域的大小，准备 0.5 m*0.5 m 的方形塑料框架，数量为 25-50。
   2. 采用随机采样方法，使用足够数量的生物量样本确定研究区域中的土壤采样位置。将样品框架水平放置在植被上，完全包围植物，每株植物之间的最小间隔距离为 2 m。
   3. 使用无人机和相机组成无人机遥感拍摄系统，如图 1 所示。
   4. 使用 UAV 在指定的研究区域内绘制路线。路线规划设置如图 2 所示。
      1. 建立 70% 的航向侧重叠率，以 2 s 的均匀时间间隔拍摄照片，保持相机角度垂直于地面 90°，并将相机高度定位在 30 m。这导致研究区域的连续可见图像数据，单个图像分辨率为 8256 x 5504 像素，如图 3 所示。
   5. 存储航空影像，以便使用 Python 软件进行后续处理以进行生物量估算。
3. 收集地上生物量
   1. 完成无人机数据收集后，在每个样品地中手动收集 Mikania micrantha 的地上生物量。将它们装袋并相应地为每个袋子贴上标签。
      1. 收集 Mikania micrantha 时，防止样品地块移动。首先，沿着样品图的内边缘切割 Mikania micrantha 。
      2. 然后，从底部切下 Mikania micrantha 的根茎。清除任何混入的污垢、岩石或其他植物。最后，将样品装袋并贴上标签。
   2. 将步骤 1.3.1 中收集的入侵植物样本带到实验室。将所有收集的样品风干以蒸发大部分水分。
   3. 要进一步去除风干样品中的水分，请使用烘箱。将温度设置为 55 °C。 将样品干燥 72 小时，然后在电子天平上称量每个样品，并以克 （g） 为单位记录生物量数据。
      1. 将电子天平置于不受干扰的环境中，称量、校准并继续称量。将袋子的 Mikania micrantha 放在电子天平上，等待读数稳定，然后记录读数。
      2. 每小时称量一次 Mikania micrantha ，直到质量不再变化，并将读数减去袋子的重量记录为该样品的测量质量。使用以下公式计算入侵植物的地上生物量:
         
         其中 B 代表 Mikania micrantha 的生物量，以克/平方米 （g/m²） 为单位，M 是测量的 Mikania micrantha 的重量，以克 （g） 为单位，S 对应于样品地的面积，以平方米 （m²） 为单位。
4. 创建数据集
   1. 从原始无人机图像中提取样本图像对应的 RGB 图像。使用 Python 编程将其划分为 280 × 280 像素的网格（补充图 1）。
   2. 使用 Python 编程将原始图像数据分割为与示例图像大小相同的较小图像。使用滑动窗口方法进行分割，将水平和垂直步长设置为 280 像素。
   3. 从步骤 1.4.2 中分割的小图像中，随机选择 880 张入侵植物图像和 1500 张背景图像来创建数据集。然后，以 6:2:2 的比例将此数据集拆分为训练集、验证集和测试集（Supplementray 图 2）。

2. Mikania micrantha 的鉴定

1. 准备软件
   1. 前往 Anaconda 的官方网站 （https://www.anaconda.com/） 下载并安装 Anaconda。然后，前往 PyCharm 的网站 （https://www.jetbrains.com/pycharm/） 并下载 PyCharm IDE。
2. 创建 Conda 环境。
   1. 安装 Anaconda 后打开 Anaconda Prompt 命令行，然后键入 conda create -n pytorch python==3.8 以创建新的 Conda 环境。创建环境后，输入 conda info --envs 以确认 pytorch 环境存在。
   2. 打开 Anaconda 提示符，然后输入 conda activate pytorch 激活 pytorch 环境。键入 nvidia-smi 检查当前 （Compute Unified Device Architecture） CUDA 版本。然后，通过运行命令安装 PyTorch 版本 1.8.1 conda install pytorch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1 cudatoolkit=11.0 -c pytorch。
3. 用于模型识别的运行
   注意:使用 PyTorch 构建 Mikania micrantha 本文中使用的识别模型。采用的网络模型是 ResNet101²¹，该论文的架构与原始论文保持一致。对网络的输出部分进行了修改，以满足洋甘菊识别的要求。
   1. 预处理图像以准备用于模型输入。使用以下代码将图像的大小从 280 x 280 像素调整为 224 x 224 像素，并对其进行标准化，以确保它们满足模型的大小要求:
      transform = 转换。Compose（[
      变换。调整大小（（224， 224）），
      变换。ToTensor（） 的
      变换。标准化（[0.485， 0.456， 0.406]， [0.229， 0.224， 0.225]）]）
   2. 使用卷积神经网络执行图像特征提取并降维。
      1. 首先，通过 self.conv1 初始化初始特征提取的卷积层。通过这个卷积层，原始图像被卷积成一个特征图，该特征图具有self.in_channel通道，用于提取初始特征（补充图 3A）。
         注意:高级特征是在对残差传递的卷积操作中提取的。这些层是通过调用 _make_layer 函数生成的，该函数由一系列残差块组成。每个残差块由卷积、批量归一化和激活函数组成，以逐渐提取复杂的特征（补充图 3B）。
      2. 使用该层的函数修改通道号，以便通过 1x1 卷积进行降维。此操作减少了计算负载，同时保留了重要的特征（补充图 3C）。
         注意:总体而言，ResNet101 通过使用各种卷积层执行特征提取，并通过残差块内的 1x1 卷积层实现降维。这种方法使网络能够更深入地学习特征并避免梯度消失的问题，从而能够更有效地学习和表示复杂任务的图像特征。
      3. 经过卷积和池化操作后，将高质量特征输入到全连接层中。
         注意:在 ResNet 架构中，特征提取发生在卷积层中。这些特征随后被发送到全连接 （FC） 层进行分类（补充图 4）。操作 self.avgpool（x） 执行自适应平均池化，以将张量重塑为固定大小。操作 torch.flatten（x， 1） 将张量扩展为一维向量， self.fc（x） 将全连接层应用于展平向量，最终作为分类的最后一步。此过程有效地将提取的特征通过卷积层，通过全连接层将它们转换为适合分类的格式。
      4. 使用 Softmax 函数根据三个分类要求获取最终输出。
   3. 使用步骤 1.4 中的数据集训练多类识别模型。将迭代次数设置为 200，初始学习率为 0.0001。每 10 次迭代将学习率降低 1/3，批处理大小为 64。每次迭代后自动保存最佳模型参数（补充图 5）。
   4. 采用经过精心训练的识别模型，并系统地遍历步骤 1.2.2 中的原始图像以进行识别。
      1. 在 280 像素处精确配置水平和垂直步长，从而生成一个全面的分布图，突出显示研究区域边界内入侵植物群的存在。直观地显示所选结果，如图 4 所示。
         注意:初始图像的预处理方式是将其分割成更小的块，使用经过训练的深度学习模型对每个块进行分类，然后将结果组合成输出图像。如果将区块分类为入侵植物，则输出图像上的相应位置将设置为 255。生成的输出图像将保存为灰度图像文件。具体的实现代码如 补充图 6 所示。

3. 入侵植物生物量的估算

1. 使用 RandomResizedCrop 和 RandomHorizontalFlip 函数（补充图 7）执行简单的数据增强，以扩展在步骤 1.2 中创建的图像集，并提取通常用于估计生物量的六种植被指数，即 RBRI、GBRI、GRRI、RGRI、NGBDI 和 NGRDI。这些指数的计算公式见 表 1 。
2. 使用模型的输出创建 K 最近邻回归 （KNNR）²² 模型，以确保精确估计入侵植物的生物量。使用提取的植被指数作为估计模型的输入。
3. 使用决定系数 R² 和均方根误差 （RMSE）²³ 来评估模型的准确性，计算方法如下:
   
   
   注意:K 最近邻回归 （KNNR） 算法是一种用于解决回归问题的非参数机器学习技术。其基本概念是通过根据输入样本距离确定特征空间中最近的 K 个相邻要素来预测结果。使用 KNNR 的主要好处包括其简单性和易于理解性，并且不需要培训阶段。此外，KNNR 不会对数据的分布做出过多的假设。KNNR 可应用于回归问题，以预测连续客观变量并精确评估入侵植物的生物量。
4. 使用步骤 3.2 中选择的地上生物量估计模型，并以 280 像素的水平和垂直步幅扫描步骤 2.3.4 中的入侵植物分布图。

Results

我们展示了一种基于计算机视觉的入侵植物估计方法的代表性结果，该方法在计算机上以编程方式实现。在本实验中，我们以 Mikania micrantha 为研究对象，评估了入侵植物在其自然栖息地的空间分布并估计了其生物量。我们利用无人机相机系统来获取研究地点的图像，其中一部分如图 3 所示。我们利用 ResNet101 卷积神经网络来识别研究区域内的植物。随后，我们绘制了入侵植物的空间分布图，并在 图 4 中说明了我们的一些发现。在 图 3 中，可以观察到 Mikania micrantha 爬上装饰着白色花朵的植物。其他植物以及道路和伴随元素都在背景中被统一描绘。 在图 4 中，模型将红色部分识别为 Mikania micrantha。比较两组图像，很明显 ResNet101 在复杂背景中展示了对 Mikania micrantha 的稳健检测。此外，该方法准确绘制了 薇甘菊 在研究区的分布，精度较高。

通过截断 280 × 280 像素的正射影像的所有 Mikania micrantha 样地图像，并提取植被指数 RBRI、GBRI、GRRI、RGRI、NGBDI 和 NGBDI，估计研究区入侵植物的生物量。使用 KNNR 回归模型进行回归分析，将 6 个指标作为估计模型的输入，以生物量作为模型的输出。 图 5 显示了结果:图表的水平坐标表示现场测量的生物量的值，垂直坐标表示模型预测的生物量的值，灰色区域表示置信区间。结果表明，R² 值为 0.62，RMSE 为 10.56 g/m²。该模型提高了 Mikania micrantha 生物量估算的准确性， 图 6 中的空间分布图有效地捕捉了 Mikania micrantha 生物量的分布。

图 1:无人机遥感系统。 无人机捕获的 RGB 图像数据的一些示例。 请单击此处查看此图的较大版本。

图 2:路线规划。 区域路线规划研究 请点击此处查看此图的较大版本。

图 3:研究区域内的入侵植物鉴定结果。 该图显示了通过 ResNet101 卷积神经网络在研究区识别 Mikania micrantha 的结果。图中的红色区域表示 ResNet101 检测到的 Mikania micrantha 区域，而另一个背景表示研究区域的其余部分。这些结果对应于 图 1 中描绘的示例图像。它们分别代表 图 1 的识别结果。 请单击此处查看此图的较大版本。

图 4:入侵植物的空间分布。 该模型将红色部分识别为 Mikania micrantha。 请单击此处查看此图的较大版本。

图 5:生物量预测回归结果。 横轴显示在田间观察到的生物量值，而纵轴表示模型估计的生物量值。灰色阴影区域表示置信区间。KNNR 模型在测试集上的 R² 为 0.65，而最低的均方根误差为 30.59 g/m²。在模型的回归散点图中，许多 Mikania micrantha 生物量估计值都在置信区间内，表明生物量预测的有效性。 请单击此处查看此图的较大版本。

图 6:Mikania micrantha 生物量的空间分布。 该图说明了使用 KNNR 作为预测模型以及提取的 Mikania micrantha 生物量分布图对整个研究区域的 Mikania micrantha 生物量的估计。较深的阴影区域代表 Mikania micrantha 生物量较高。请单击此处查看此图的较大版本。

图 7:该协议的主要开发示意图。 该图说明了所介绍的协议的主要步骤。 请单击此处查看此图的较大版本。

植被索引名称	计算公式
绿蓝比率指数	GBRI = DNG/DNB
绿红比率指数	GRRI = DNG/DNR
红蓝比率指数	RBRI = DNR/DNB
红绿比指数	RGRI = DNR/DNG
归一化绿蓝差值指数	NGBDI = （DNG - DNB）/（DNG + DNB）
标准化 Green Red Difference Index	NGRDI = （DNG - DNR）/（DNG + DNR）

表 1:植被指数计算公式。 本协议中使用的植被指数及其各自的计算公式。

补充图 1:使用 OpenCV 库通过 Python 脚本将图像裁剪为 280 x 280 像素。请点击此处下载此文件。

补充图 2:将数据集划分为训练集、验证集和测试集。请点击此处下载此文件。

补充图 3:特征提取和降维。（A） 初始特征提取。（B） 卷积运算。（C） 降维。请点击此处下载此文件。

补充图 4:在 ResNet 架构中将功能传送到 FC 层。请点击此处下载此文件。

补充图 5:设置参数。请点击此处下载此文件。

解决方案 图 6:用于生成综合分布图的具体实现代码。请点击此处下载此文件。

补充图 7:RandomResizedCrop 和 RandomHorizontalFlip 函数。请点击此处下载此文件。

Discussion

我们介绍了使用无人机遥感和计算机视觉估算入侵植物生物量的实验的详细步骤。该协议的主要流程和步骤如图 7 所示。适当的样本质量是该计划最关键和最具挑战性的方面之一。这种重要性适用于所有入侵植物以及任何其他植物生物量估计实验²⁴。

为了确定研究区域内入侵植物的分布，我们必须首先使用无人机遥感获取研究区域的可见光和连续摄影测量。为此，需要适当的无人机摄影高度和相机分辨率。这将确保卷积神经网络 ResNet101 能够从图像中获取植被指数和纹理等特征。即使在复杂的环境背景下，这些特征也有助于识别入侵植物，并最终绘制它们在研究区域中的分布图。

为了估计研究区域内入侵植物的生物量，有必要创建具有 25-50 个随机采样点的方形样本框²⁵ 。一旦无人机系统完成拍照过程，就需要从样本框架中收集入侵植物。重要的是要注意，如第一部分所述，从框架中收集生物量应在不移动它们的情况下进行，并且应该通过分配唯一编号来精确进行。此外，生物质应在实验室中仔细干燥和称重，以获得准确的测量结果。KNNR 回归模型¹⁸ 用于获得入侵植物的空间分布，使用从无人机相机系统获取的图像中提取的六个植被指数作为估计模型的输入，生物量作为模型的输出。

本文中描述的估计入侵植物种群的方法并不详尽。可以使用其他工具来获得可比较数据，并且可以采用许多实用或创新的修改。可以使用一系列无人机，其中协议中的指定型号仅作为一种选择，可以替换为任何具有自动导航集成、适应万向节的能力、飞行距离可达 50 米的能力、超过所选相机的有效载荷能力以及覆盖整个研究区域的射程的无人机。在为无人机选择相机时，重要的是要考虑最大分辨率、有效图像像素、最大像素和其他成像参数等因素，以及无人机负载的大小和重量限制。此外，足够的射程对于成功完成拍摄过程是必要的。此外，鉴定模型不是唯一的方法，可以针对多种入侵植物物种进行调整，例如木本植物或多种类型的植物，以增强建议的方法。此策略还可以发展为回归算法，该算法使用更少的样本、获取额外的植被指数并获得更高的精度。或者，可以实施一个简化的识别网络来识别入侵植物，从而允许实际部署智能识别方法。

所提出的方法的主要约束是模型对照明条件和背景的依赖性。只有进一步纳入多光谱²⁶、LiDAR¹² 和气象数据²⁷，才能提高准确性。获取此类数据可能具有挑战性，并且可能需要昂贵的设备，但我们可以通过避免阳光直射和在通过无人机拍摄系统对区域进行采样时隔离植物背景来提高数据的准确性。

与其他方法相比，使用此方法的好处在于它能够提供指定研究区域中入侵植物物种的空间分布。分布是通过回归分析确定的，利用从无人机相机系统捕获的图像中提取的六个植被指数作为输入，生物量作为模型的输出。这种方法利用一种便携式方法来同时估计多个研究区域的生物量，这与以前的手动生物量收集方法有着根本的不同。传统方法涉及手动进行调查和收集大量生物量，这是低效且主观的²⁸，因此无法在复杂条件下提供生物量的实际估计。

使用上述方法估计入侵植物生物量可以量化区域分布。此外，它还为区域层面的智能监测和危害评估提供技术援助。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
DSLR 相机	尼康	D850	传感器类型：CMOS;最大像素数：4689 万;有效像素数：4575 万;最大分辨率 8256 x 5504。
GPU - 图形处理单元	NVIDIA
六轴飞行器	DJI	M600PRO	水平飞行：65 公里/小时（无风环境）;最大飞行载荷：6000 g
PyCharm	Python IDE	2023.1
Python	Python	3.8.0
Pytorch	Pytorch	1.8.1