Ein zweistufiges, selbstüberwachtes Lernrahmen für die Bildklassifikation von Winterpflanzen und Unkraut

Summary

Diese Arbeit bewertet die Anwendung einer zweistufigen Deep-Learning-Pipeline für das selbstüberwachte Vortraining und überwachte Feinabstimmung der Klassifikation von Winterpflanzen und Unkrautbildern. Die Experimente auf dem WinterCropWeedDB-Datensatz werden mit einer einzigen internen Aufteilung durchgeführt, wobei Grad-CAM-Visualisierungen enthalten sind.

Abstract

Präzisionslandwirtschaft erfordert eine genaue Unterscheidung zwischen Winterpflanzen und Unkräutern, aber es fehlen annotierte Bilddaten für Winteranbausysteme. Dieses Paper untersucht einen zweistufigen Deep-Learning-Ansatz, der selbstüberwachtes Feature-Learning mit überwachtem Feinabstimmung für die Klassifikation von Winterpflanzen und Unkrautbildern integriert. Ein neuer Datensatz für Winterkulturen und Unkrautbilder, WinterCropWeedDB, wird vorgeschlagen und in diesem Artikel verwendet, der 1.136 hochauflösende Bilder von sechs Winterpflanzenarten und vier Unkrautarten enthält, die von landwirtschaftlichen Feldern in Zentralindien gesammelt wurden. In der ersten Phase des selbstüberwachten Lernens wird ein EfficientNet-B3-Modell mit einem SimCLR-ähnlichen selbstüberwachten Lernansatz mit einer InfoNCE-Verlustfunktion (Temperatur τ = 0,5) auf den Bildern vortrainiert. Der durchschnittliche kontrastive Verlustwert sinkt von 2,0712 in der ersten Iteration auf 1,6835 am Ende des Pretrainings. In der zweiten Phase der überwachten Feinabstimmung wird das vortrainierte EfficientNet-B3-Modell mit einem überwachten Klassifikatorkopf auf den Bildern fein abgestimmt und an einer einzigen internen Validierungsaufteilung (30 %) des Datensatzes getestet. Das fein abgestimmte Modell erreicht eine maximale Validierungsgenauigkeit von 98,27 %, mit einem makrogemittelten F1-Wert von 0,98. Gradient-gewichtete Klassenaktivierungskartierung (Grad-CAM) und Grad-CAM++ werden im fein abgestimmten Modell verwendet, um eine qualitative Visualisierung der Bildregionen zu liefern, die zur Klassenvorhersage beitragen. Die Experimentergebnisse zeigen die Machbarkeit der Verwendung von selbstüberwachtem Vortraining und überwachter Feinabstimmung für die Klassifizierung von Winterpflanzen- und Unkrautbildern auf einem regionsspezifischen Datensatz und betonen gleichzeitig die Bedeutung zusätzlicher Tests an unabhängigen Testsätzen.

Introduction

In der Präzisionslandwirtschaft wird zunehmend Deep-Learning-basierte Computer-Vision-Methoden für die automatisierte Klassifikation von Pflanzen und Unkraut¹. Konfaltionsneuronale Netze haben sich als wirksam bei Pflanzenerkennungsaufgaben erwiesen; ihre Leistung hängt jedoch meist von der Verfügbarkeit großer Datensätze ab, die präzise annotiert sind². In den meisten landwirtschaftlichen Umgebungen, insbesondere in unterrepräsentierten Anbausystemen wie Winterkulturen, ist der Prozess zur Beschaffung umfangreicher beschrifteter Bilddaten zeitaufwendig, mühsam un....

Protocol

Datensatzbeschreibung

Der WinterCropWeedDB-Datensatz besteht aus 1.136 hochauflösenden (rot, grün, blau) RGB-Bildern von sechs Winterpflanzenarten (Weizen, Kichererbse, Erbsen, Linsen, Senf und Graserbsen) und vier Unkrautarten (Wicke, Kleiner Kanariengras, Gänsefuß (Chenopodium-Album) und Euphorbia clementei), die von Winterlandwirtschaften im Bundesstaat Chhattisgarh, Indien, stammen (Abbildung 1). Die Bilder wurden unter natürlichen Bedingungen aufgenommen, darunter unterschiedliche Beleuchtung, Wachstumsphasen und Hintergrundkomplexität. A....

Results

Überblick über frühere Ansätze und Workflow-Positionierung

Eine Zusammenfassung repräsentativer Lernansätze, die zuvor für die landwirtschaftliche Unkrauterkennung angewandt wurden, findet sich in Tabelle 1. Die Tabelle bietet einen Überblick über überwachte, halbüberwachte und selbstüberwachte Lernstrategien, verwendete Datensätze, berichtete Ergebnisse und die dargestellten Einschränkungen. Die meisten früheren Arbeiten konz.......

Discussion

Diese Arbeit untersuchte den Einsatz eines zweistufigen Deep-Learning-Ansatzes, der aus selbstüberwachtem Vortraining unter Verwendung der SimCLR-Idee und überwachter Feinabstimmung für die Klassifikation von Winterpflanzen und Unkrautbildern auf dem WinterCropWeedDB-Datensatz besteht. Die Ergebnisse zeigen, dass der vorgeschlagene Ansatz zuverlässig auf einem regionsspezifischen Winterlandwirtschaftsbilddatensatz trainiert und an einem Split des internen Validierungssets getestet werden.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA-Toolkit	NVIDIA	12.8
cuDNN	NVIDIA	9.1
Grafikprozessoreinheit (GPU)	NVIDIA	GeForce RTX 5050 Laptop-GPU
Matplotlib	Matplotlib-Entwickler	3.9.2
NumPy	NumPy-Entwickler	1.26.0
Betriebssystem	Microsoft	Linux (WSL2), Kernel 6.6.87
Python	Python Software Foundation	3.12.7
PyTorch	PyTorch Stiftung	2.1.0 (Entwicklungsversion)
scikit-learn	scikit-learn Entwickler	1.5.1
Timm	GitHub-Repository	1.0.24
Torchvision	PyTorch Stiftung	0.25.0 (Entwicklungs-Build)
WinterCropWeedDB	Mendeley Daten, DOI: 10.17632/m4h6zdsh79.1	Version 1