本研究评估了一种两阶段深度学习流程在冬季作物与杂草图像分类的自监督预训练和监督微调中的应用。实验基于WinterCropWeedDB数据集，采用单一内部划分方式进行，并包含了Grad-CAM可视化结果。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本研究评估了一种两阶段深度学习流程在冬季作物与杂草图像分类的自监督预训练和监督微调中的应用。实验基于WinterCropWeedDB数据集，采用单一内部划分方式进行，并包含了Grad-CAM可视化结果。
精准农业需要准确区分冬季作物与杂草，但目前缺乏针对冬季种植系统的标注图像数据。本文研究了一种两阶段深度学习方法，将自监督特征学习与有监督微调相结合，用于冬季作物与杂草图像的分类。本文提出并使用了一个新的冬季作物与杂草图像数据集 WinterCropWeedDB，该数据集包含来自印度中部农田采集的六种冬季作物和四种杂草的1,136张高分辨率图像。在自监督学习的第一阶段，采用基于 SimCLR 的自监督学习方法，结合 InfoNCE 损失函数（温度参数 τ = 0.5），对 EfficientNet-B3 模型进行图像数据上的预训练。平均对比损失值从第一次迭代时的 2.0712 下降至预训练结束时的 1.6835。在第二阶段的有监督微调中，将预训练后的 EfficientNet-B3 模型连接有监督分类头进行微调，并在数据集的一个内部验证划分（30%）上进行测试。微调后的模型达到最高 98.27% 的验证准确率，宏平均 F1 分数为 0.98。本文还对微调后的模型应用梯度加权类激活映射（Grad-CAM）和 Grad-CAM++，以定性可视化对分类预测有贡献的图像区域。实验结果表明，在区域特定的数据集上，采用自监督预训练与有监督微调相结合的方法对冬季作物与杂草图像进行分类是可行的，同时也强调了在独立测试集上进一步验证的重要性。
精准农业 increasingly 采用基于深度学习的计算机视觉方法，以实现作物与杂草的自动分类1。卷积神经网络在植物识别任务中已被证明是有效的；然而，其性能通常依赖于大量经过精确标注的数据集2。在大多数农业场景中，尤其是在代表性不足的种植系统（如冬季作物）中，获取大量标注图像数据的过程耗时、费力且成本高昂3,4。这阻碍了面向冬季农业生态系统的数据驱动型决策支持系统的发展。自监督学习（SSL）是一种近年来在表征学习中展现出潜力的学习范式，它利用大量未标注图像来学习具有信息量的特征5。通过设计预文本任务（如对比学习），SSL 使神经网络能够学习图像数据中的结构与语义模式，并可将这些模式迁移至有监督学习任务中6。先前在农业成像领域的研究表明，当标注数据有限时，基于 SSL 的预训练可提升下游任务的性能，这推动了其在作物与杂草识别问题中的探索与应用1,7。
同时，半监督学习和对比学习方法也得到了探索。利用有标签和无标签数据的半监督学习方法，如教师-学生学习和伪标....
访问受限。请登录或开始试用以查看此内容。
数据集描述
WinterCropWeedDB 数据集包含来自印度恰蒂斯加尔邦冬季农田的 1,136 张高分辨率（红、绿、蓝）RGB 图像，涵盖六种冬季作物物种（小麦、鹰嘴豆、豌豆、扁豆、芥菜和草豌豆）以及四种杂草物种（野豌豆、小看麦娘、藜（Chenopodium album）和 Euphorbia clementei）（图 1）。图像采集于自然条件下，包含不同的光照条件、生长阶段和复杂的背景环境。所有图像最初均未标注，仅用于自监督预训练。为进行监督式微调，图像经人工标注后通过分层抽样划分为训练集（70%）和验证集（30%）。验证集仅用于模型内部评估，未进行数据增强。为解决训练过程中的类别不平衡和模型鲁棒性问题，仅对训练集实施数据增强。增强技术包括随机旋转（±20°）、水平翻转、缩放、平移、亮度调整以及轻微的仿射变换。每类训练样本均增强至目标数量 150 张，最终形成共 1,500 张训练图像，而验证集包含 347 张原始图像。为避免评估偏差，验证集中未包含任何增强或合成图像。除保留验证外，还在原始标注数据集上进行了分层五折交叉验证作为二次分析。在每一折中，仅对训练集进行数据增强，验证集保持不变，以确保与主评估方案的一致性。
自监督与监督模型训练的计算工作流程<....
访问受限。请登录或开始试用以查看此内容。
先前方法及工作流程定位概述
表1给出了先前应用于农作物与杂草识别的代表性学习方法的总结。表1概述了监督学习、半监督学习和自监督学习策略、所使用的数据集、报告的结果以及存在的局限性。大多数早期研究集中于夏季作物种植系统或目标检测任务，并在相对较大的数据集上进行评估，因此针对特定区域的冬季作物与杂草分类场景的研究仍较为有限。
表1：应用于农作物与杂草识别的代表性学习方法概述。 对以往关于农作物与杂草分类研究工作的总结，列出了各项研究中采用的学习策略、数据集、问题定义、取得的结果以及观察到的局限性。请点击此处下载该表格。
表2展示了本研究中具有代表性的现有作物-杂草分类.......
访问受限。请登录或开始试用以查看此内容。
本研究探讨了一种两步深度学习方法在WinterCropWeedDB数据集上进行冬季作物与杂草图像分类的应用，该方法包括基于SimCLR思想的自监督预训练和有监督微调。结果表明，所提出的方法可在特定区域的冬季农业图像数据集上可靠地进行训练，并在内部验证集的一个划分上进行测试。本节将对该研究的结果、意义及局限性进行分析。
在农业计算机视觉领域，以往的研究已探讨了用于作物与杂草分类的监督学习、半监督学习和自监督学习策略，且主要关注夏季作物系统或目标检测任务。近期的自监督学习策略，尤其是基于对比学习的方法，已显示出从无标签农业图像中获取可迁移表征的潜力。然而，这些策略在特定区域冬季作物与杂草图像分类中的应用，特别是多类别图像分类方面，仍相对缺乏深入研究。
在1,136张图像上的自监督预训练使得InfoNCE对比损失在30个训练周期内持续下降，表明表征学习阶段的优化过程稳定。在对预训练主干网络使用标注数据集进行微调期间，模型在验证集上的准确率和宏平均F1分数方面表现良好。 混淆矩阵及每个类别的性能指标显示，大多数作物和杂草类别.......
访问受限。请登录或开始试用以查看此内容。
作者声明无竞争利益。基于人工智能的语言工具（QuillBot）仅用于语言润色和反驳意见准备，所有科学内容和结论均由作者撰写。
本研究未从公共、商业或非营利机构的资助方获得任何专项资助。
....访问受限。请登录或开始试用以查看此内容。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| CUDA 工具包 | NVIDIA | 12.8 | |
| cuDNN | NVIDIA | 9.1 | |
| 图形处理器 (GPU) | NVIDIA | GeForce RTX 5050 笔记本电脑 GPU | |
| Matplotlib | Matplotlib 开发者 | 3.9.2 | |
| NumPy | NumPy 开发者 | 1.26.0 | |
| 操作系统 | Microsoft | Linux (WSL2)，内核 6.6.87 | |
| Python | Python 软件基金会 | 3.12.7 | |
| PyTorch | PyTorch 基金会 | 2.1.0（开发版本） | |
| scikit-learn | scikit-learn 开发者 | 1.5.1 | |
| timm | GitHub 仓库 | 1.0.24 | |
| Torchvision | PyTorch 基金会 | 0.25.0（开发版本） | |
| WinterCropWeedDB | Mendeley Data，DOI: 10.17632/m4h6zdsh79.1 | 版本 1 |
访问受限。请登录或开始试用以查看此内容。