Een tweefasig zelf-supervised leerkader voor de classificatie van wintergewas-onkruidbeelden

Summary

Dit werk beoordeelt de toepassing van een tweefasige deep learning-pijplijn voor de zelf-supervised pretraining en begeleide finetuning van de classificatie van wintergewassen en onkruidbeelden. De experimenten op de WinterCropWeedDB-dataset worden uitgevoerd met een enkele interne splitsing, met Grad-CAM-visualisaties inbegrepen.

Abstract

Precisielandbouw vereist nauwkeurig onderscheid tussen wintergewassen en onkruid, maar er is een gebrek aan geannoteerde beeldgegevens voor winterteeltsystemen. Dit artikel onderzoekt een tweefasige deep learning-benadering die zelf-supervised feature learning integreert met supervised fine-tuning voor de classificatie van wintergewassen en onkruidbeelden. Een nieuwe dataset voor wintergewassen en onkruidbeelden, WinterCropWeedDB, wordt voorgesteld en gebruikt in dit artikel, dat 1.136 hoge-resolutiebeelden bevat van zes wintergewassoorten en vier onkruidsoorten verzameld op landbouwvelden in centraal India. In de eerste fase van zelf-supervised learning wordt een EfficientNet-B3-model vooraf getraind met een SimCLR-achtige zelf-supervised learning-aanpak met een InfoNCE-verliesfunctie (temperatuur τ = 0,5) op de afbeeldingen. De gemiddelde contrastieve verlieswaarde daalt van 2,0712 in de eerste iteratie tot 1,6835 aan het einde van de pretraining. In de tweede fase van supervised fine-tuning wordt het vooraf getrainde EfficientNet-B3-model fijn afgesteld met een begeleide classifierkop op de beelden en getest op een enkele interne validatiesplitsing (30%) van de dataset. Het fijn afgestelde model bereikt een maximale validatienauwkeurigheid van 98,27%, met een macro-gemiddelde F1-score van 0,98. Gradiëntgewogen classactivatiemapping (Grad-CAM) en Grad-CAM++ worden gebruikt op het fijn afgestemde model om een kwalitatieve visualisatie te bieden van de beeldgebieden die bijdragen aan klassevoorspellingen. De experimentresultaten tonen de haalbaarheid aan van zelf-supervised pretraining en supervised fine-tuning voor de classificatie van wintergewas- en onkruidbeelden op een regio-specifieke dataset, terwijl ook het belang wordt benadrukt van extra testen op onafhankelijke testsets.

Introduction

Precisielandbouw heeft een toenemende toepassing gezien van deep learning-gebaseerde computer vision-methoden voor geautomatiseerde gewas- en onkruidclassificatie¹. Convolutionele neurale netwerken zijn effectief gebleken bij plantherkenningstaken; hun prestaties zijn echter meestal afhankelijk van de beschikbaarheid van grote datasets die op een nauwkeurige manier zijn geannoteerd². In de meeste landbouwomgevingen, vooral in ondervertegenwoordigde teeltsystemen zoals wintergewassen, is het proces om uitgebreide gelabelde beeldgegevens te verkrijgen tijdrovend, arbeidsintensief en duur

Protocol

Datasetbeschrijving

De WinterCropWeedDB-dataset bestaat uit 1.136 hoge-resolutie (rood, groen, blauw) RGB-afbeeldingen van zes wintergewassoorten (tarwe, kikkererwt, erwten, linzen, mosterd en graserwt) en vier onkruidsoorten (gewone wikke, kleine kanariegras, ganzenvoet (Chenopodium album) en Euphorbia clementei) afkomstig van winterlandbouwgrond in de staat Chhattisgarh, India (Figuur 1). De beelden zijn genomen onder natuurlijke omstandigheden, waaronder wisselende verlichting, groeistadia en achtergrondcomplexiteit. Alle afbeeldingen waren....

Results

Overzicht van eerdere benaderingen en workflow-positionering

Een samenvatting van representatieve leermethoden die eerder zijn toegepast voor het herkennen van landbouwonkruid is te vinden in Tabel 1. De tabel geeft een overzicht van begeleide, semi-supervised en zelf-supervised leerstrategieën, gebruikte datasets, gerapporteerde resultaten en de gepresenteerde beperkingen. De meeste eerdere werken richten zich op zomerse teel.......

Discussion

Dit werk onderzocht het gebruik van een tweestaps deep learning-benadering, bestaande uit zelfbegeleide pretraining met behulp van het SimCLR-idee en begeleide fine-tuning voor de classificatie van wintergewassen en onkruidbeelden op de WinterCropWeedDB-dataset. De resultaten tonen aan dat de voorgestelde aanpak betrouwbaar kan worden getraind op een regio-specifieke winterlandbouwbeelddataset en getest kan worden op één splitsing van de interne validatieset. Deze sectie presenteert een .......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA Toolkit	NVIDIA	12.8
cuDNN	NVIDIA	9.1
Graphics processing unit (GPU)	NVIDIA	GeForce RTX 5050 Laptop GPU
Matplotlib	Matplotlib Developers	3.9.2
NumPy	NumPy Developers	1.26.0
Operating system	Microsoft	Linux (WSL2), kernel 6.6.87
Python	Python Software Foundation	3.12.7
PyTorch	PyTorch Foundation	2.1.0 (development build)
scikit-learn	scikit-learn Developers	1.5.1
timm	GitHub repository	1.0.24
Torchvision	PyTorch Foundation	0.25.0 (development build)
WinterCropWeedDB	Mendeley Data, DOI: 10.17632/m4h6zdsh79.1	Version 1