冬季作物杂草图像分类的两阶段自监督学习框架

Summary

本研究评估了两阶段深度学习流程在冬季作物和杂草图像分类的自我监督预训练和监督微调中的应用。WinterCropWeedDB数据集上的实验采用单一内部分割，包含Grad-CAM可视化。

Abstract

精准农业需要精确区分冬季作物和杂草，但缺乏针对冬季作物系统的注释图像数据。本文探讨了一种两阶段深度学习方法，将自监督特征学习与监督微调相结合，用于冬季作物和杂草图像分类。本文提出了并使用了一个新的冬季作物和杂草图像数据集WinterCropWeedDB，其中包含了从印度中部农田采集的1136张高分辨率图像，涵盖六种冬季作物和四种杂草。在自监督学习的第一阶段，EfficientNet-B3模型采用SimCLR式自监督学习方法预训练，图像上使用InfoNCE损失函数（温度τ=0.5）。平均对比损耗值从第一代的2.0712降至预训练结束时的1.6835。在监督微调的第二阶段，预训练的EfficientNet-B3模型在图像上使用监督分类器头进行微调，并在数据集的单一内部验证分割（30%）上进行测试。经过精细调校的模型最高验证准确率为98.27%，宏观平均F1分数为0.98。在微调模型上使用梯度加权类别激活映射（Grad-CAM）和Grad-CAM++，以定性可视化对参与类别预测的图像区域。实验结果展示了利用自监督预训练和监督微调在特定区域数据集上分类冬季作物和杂草图像的可行性，同时强调对独立测试集进行额外测试的重要性。

Introduction

精准农业中，基于深度学习的计算机视觉方法在自动作物和杂草分类中的应用日益^增多。卷积神经网络已被证明在植物识别任务中具有有效性;然而，它们的性能通常依赖于大量且以精确注释方式标注的数据集的可用性².在大多数农业环境中，尤其是在像冬季作物这样代表性不足的作物系统中，获取大量标记图像数据的过程既耗时又费力，且成本高昂 ^3,4。这阻碍了基于数据驱动的冬季农业生态系统决策支持系统的发展。自监督学习（SSL）是一种最近在表示学习中展现出潜力的范式，它利用大量图像来学习即使未标注^为5的特征，也具有信息价值。通过设计前提任务，如对比学习，SSL使神经网络能够学习图像数据中的结构和语义模式，这些模式随后可以转移到监督学习任务⁶。农业成像的先前研究表明，当标记数据有限时，基于SSL的预训练能够提升下游表现，这促使其探索作物和杂草^{识别问题1,7}。

同时，也探索了半监督学习和对比学习方法。利用带标签和无标签数据的半监督学习方法，如师生学习和伪标注，已被探索用于杂草分类和检测 ^2,4。近年来，带有类感知目标的对比学习方法显示出从农业图像学习可转移表示的潜力，尤其是在类失衡或注释较少的情况下 ^1,3。尽管这些研究显示了半监督学习及相关技术相较于全监督学习的潜在优势，但现有文献大多仅限于夏季作物系统、物体检测或大规模数据集。

除了预测准确性外，深度神经网络内部决策机制的可解释性仍然是实际农业应用中的重要关注点。可解释人工智能（XAI）技术旨在提供模型预测的可解释性解释，试图填补模型预测与人类专业知识之间的^空白。基于梯度的可视化算法，如梯度加权类别激活映射（Grad-CAM）及其扩展Grad-CAM++^9,10，生成类别区分热图，指出图像中对模型预测最相关的关注区域。这些算法常用于农业图像分析任务中学习到的表征的定性分析，但并不代表可解释性的正式验证。

本研究的主要目标是探讨采用两阶段学习框架，利用自监督表示学习和监督微调，以及定性可视化，对冬季作物和杂草图像进行分类的潜力。本研究探讨了冬季作物和杂草图像分类的两步学习流程应用，结合自监督预训练与SimCLR以及监督微调EfficientNet-B3。实验在WinterCropWeedDB数据集上进行，该数据集是印度中部农田采集的冬季作物和杂草图像的区域特定^数据集。结果基于单一内部分割进行分析，并使用 Grad-CAM 和 Grad-CAM++ 来可视化模型的注意力。本研究旨在探讨结合自监督表示学习与可视化方法进行冬季裁剪和杂草图像分类的可能性，同时也要意识到实验装置的局限性。该工作流程旨在对区域特定作物杂草数据集进行探索性评估，且标签数据有限，并非经过验证的通用或大规模应用基准。

Protocol

数据集描述

WinterCropWeedDB数据集包含1136张高分辨率（红、绿、蓝）RGB图像，涵盖六种冬季作物（小麦、鹰嘴豆、豌豆、扁豆、芥菜和草豌豆）及四种杂草（普通豌豆、小金丝雀草、鹅足（Chenopodium相册）和大 戟叶（Euphorbia clementei），均取自印度恰蒂斯加尔邦的冬季农田（见图1）).这些图像是在自然条件下拍摄的，包括不同的光照、生长阶段和背景复杂度。所有图像最初均未注释，仅用于自我监督的预训练。在监督微调中，图像被人工注释并通过分层抽样分为训练组（70%）和验证组（30%）。验证集仅用于内部模型评估，未进行扩充。为解决训练中的类别不平衡和鲁棒性问题，数据增强仅在训练集中进行。增强技术包括随机旋转（+/-20°）、水平翻转、缩放、平移、亮度变化以及轻度仿射变换。训练样本被扩展到每类150张图像的目标，总共1500张训练图像，而验证集则包含347张原始图像。验证集中未包含增强或合成图像，以防止评估偏倚。除了保留评估外，还对原标记数据集进行了分层五折交叉验证作为次级分析。在每个折叠中，数据增强仅对训练集进行，验证集保持不变，以保持与主评估方案的一致性。

自监督和监督模型训练的计算工作流程

采用两步计算流程，研究了将自监督表示学习与监督微调相结合，用于冬季作物与杂草图像分类的可行性（见图2）。该流程包括：（i） 使用未标记图像进行自我监督预训练，以及 （ii） 使用带标签样本进行监督式微调。所有图像在训练前都被调整为300×300像素并进行归一化。模型的评估仅对一个内部分裂进行，未使用外部测试集。

第一阶段——自我监督预培训

在初期阶段，EfficientNet-B3架构被用作受SimCLR启发的自监督学习框架中的骨干网络。两层投影头将主干表示简化为128维嵌入空间。在自我监督学习中，每张图像通过随机缩小裁剪、水平翻转、色彩变换、高斯模糊和灰度转换转换为两个视图。两个视图被共同处理以优化对比损失函数。自监督学习过程共执行了30个时代，其中一个纪元表示在优化过程中将整个训练数据集完整通过，使用Adam优化器（一种基于梯度的自适应优化算法，估计梯度的一阶和二阶矩以调整学习率）完成16张图像批量处理。采用最大范数为1.0的梯度削波以确保训练稳定。此外，模型检查点在每个纪元后都会被保存，以便于可重复性。在自监督学习期间计算InfoNCE损失时，使用了0.5的温度值。

第二阶段——监督微调

经过自我监督的预训练后，投影头被移除，预先训练好的骨架砝码用于监督微调。主干网增加了一个全连接的分类头，用于多类别分类。微调仅使用训练集中的标记图像。监督式训练通过交叉熵损失加类别加权和标签平滑处理类别不平衡。Adam优化器用于不同的学习率，用于骨干（1×10⁻⁵）和分类器（1×10⁻⁴）。当验证准确性趋于平稳时，使用学习率调度器来降低学习率。训练涵盖20个时代，保存验证准确率最高的模型检查点供评估。

除了主要的保留评估外，还对标记集进行了分层五折交叉验证作为附加分析。每次折叠中，增强仅对训练集进行，验证集保持不变。交叉验证结果单独呈现，未用于模型选择或检查点优化。本研究中呈现的性能指标仅基于内部验证分段，代表当前实验设置下观察到的表现结果。

Grad-CAM 和 Grad-CAM++ 可视化

在模型中注意力的定性分析中，精调模型采用了基于梯度的类别激活映射方法（Grad-CAM和Grad-CAM++）。特征图和梯度来自基础网络的最终卷积层，并获得了针对选定验证图像的类别特定热图。这些数据仅用于模型的定性分析，未经过验证。 材料表 列出了该工作流程中使用的所有硬件、软件库、数据集和自定义训练脚本。

Results

先前方法与工作流程定位概述

表1中总结了此前用于农业作物杂草识别的代表性学习方法。表格概述了监督式、半监督式和自监督学习策略、所用数据集、报告结果及所呈现的局限性。大多数早期研究聚焦于夏季作物系统或物体检测任务，并基于较大的数据集进行评估，因此确立了对特定区域冬季作物-杂草分类场景的有限探索。

表1：农业作物杂草识别中代表性学习方法总结。 此前关于农作物和杂草分类工作的总结，包括学习策略、所用数据集、问题定义、取得成果及各项工作的局限性。 请点击此处下载此表格。

表2 对现有代表性的作物-杂草分类...

Discussion

本研究探讨了采用两步深度学习方法，包括基于SimCLR理念的自监督预训练和WinterCropWeedDB数据集上冬季作物和杂草图像分类的监督微调。结果显示，所提方法可以在特定区域的冬季农业图像数据集上可靠训练，并在内部验证集的一个分割上进行测试。本节分析了该工作的成果、影响及局限性。

在农业计算机视觉领域，先前的研究探讨了作物和杂草分类的监督式、半监督式和自监督学习策略，重点关注夏季作物系统或物体检测任务。近期的自监督学习策略，尤其是基于对比学习的方法，显示出从未标记农业图像中获得可转移表示的潜力。然而，这些策略在特定区域的冬季裁剪和杂草图像分类，尤其是多类图像分类方面的应用，研究相对不足。

对1136张图像进行的自监督预训练使InfoNCE对比损失在30个时代内稳步下降，确保了表示学习阶段的优化过程稳定。在标记数据集预训练骨干的微调过程中，模型在验证集的准确率和宏F1评分方面表现良好。混淆矩阵和各类表现指标显示，大多数作物和杂草类别的预测是正确的，误差主要...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA 工具包	NVIDIA	12.8
cuDNN	NVIDIA	9.1
图形处理单元（GPU）	NVIDIA	GeForce RTX 5050 笔记本电脑 GPU
Matplotlib	Matplotlib 开发者	3.9.2
数字派	NumPy 开发者	1.26.0
操作系统	Microsoft	Linux（WSL2），内核6.6.87
蟒蛇	Python 软件基础	3.12.7
PyTorch	PyTorch基金会	2.1.0（开发版本）
Scikit-Learn	scikit-learn 开发者	1.5.1
蒂姆	GitHub仓库	1.0.24
火炬视野	PyTorch基金会	0.25.0（开发版本）
冬季作物草DB	Mendeley Data，DOI： 10.17632/m4h6zdsh79.1	版本1