Ein zweistufiges, selbstüberwachtes Lernrahmen für die Bildklassifikation von Winterpflanzen und Unkraut

Summary

Diese Arbeit bewertet die Anwendung einer zweistufigen Deep-Learning-Pipeline für das selbstüberwachte Vortraining und überwachte Feinabstimmung der Klassifikation von Winterpflanzen und Unkrautbildern. Die Experimente auf dem WinterCropWeedDB-Datensatz werden mit einer einzigen internen Aufteilung durchgeführt, wobei Grad-CAM-Visualisierungen enthalten sind.

Abstract

Präzisionslandwirtschaft erfordert eine genaue Unterscheidung zwischen Winterpflanzen und Unkräutern, aber es fehlen annotierte Bilddaten für Winteranbausysteme. Dieses Paper untersucht einen zweistufigen Deep-Learning-Ansatz, der selbstüberwachtes Feature-Learning mit überwachtem Feinabstimmung für die Klassifikation von Winterpflanzen und Unkrautbildern integriert. Ein neuer Datensatz für Winterkulturen und Unkrautbilder, WinterCropWeedDB, wird vorgeschlagen und in diesem Artikel verwendet, der 1.136 hochauflösende Bilder von sechs Winterpflanzenarten und vier Unkrautarten enthält, die von landwirtschaftlichen Feldern in Zentralindien gesammelt wurden. In der ersten Phase des selbstüberwachten Lernens wird ein EfficientNet-B3-Modell mit einem SimCLR-ähnlichen selbstüberwachten Lernansatz mit einer InfoNCE-Verlustfunktion (Temperatur τ = 0,5) auf den Bildern vortrainiert. Der durchschnittliche kontrastive Verlustwert sinkt von 2,0712 in der ersten Iteration auf 1,6835 am Ende des Pretrainings. In der zweiten Phase der überwachten Feinabstimmung wird das vortrainierte EfficientNet-B3-Modell mit einem überwachten Klassifikatorkopf auf den Bildern fein abgestimmt und an einer einzigen internen Validierungsaufteilung (30 %) des Datensatzes getestet. Das fein abgestimmte Modell erreicht eine maximale Validierungsgenauigkeit von 98,27 %, mit einem makrogemittelten F1-Wert von 0,98. Gradient-gewichtete Klassenaktivierungskartierung (Grad-CAM) und Grad-CAM++ werden im fein abgestimmten Modell verwendet, um eine qualitative Visualisierung der Bildregionen zu liefern, die zur Klassenvorhersage beitragen. Die Experimentergebnisse zeigen die Machbarkeit der Verwendung von selbstüberwachtem Vortraining und überwachter Feinabstimmung für die Klassifizierung von Winterpflanzen- und Unkrautbildern auf einem regionsspezifischen Datensatz und betonen gleichzeitig die Bedeutung zusätzlicher Tests an unabhängigen Testsätzen.

Introduction

In der Präzisionslandwirtschaft wird zunehmend Deep-Learning-basierte Computer-Vision-Methoden für die automatisierte Klassifikation von Pflanzen und Unkraut¹. Konfaltionsneuronale Netze haben sich als wirksam bei Pflanzenerkennungsaufgaben erwiesen; ihre Leistung hängt jedoch meist von der Verfügbarkeit großer Datensätze ab, die präzise annotiert sind². In den meisten landwirtschaftlichen Umgebungen, insbesondere in unterrepräsentierten Anbausystemen wie Winterkulturen, ist der Prozess zur Beschaffung umfangreicher beschrifteter Bilddaten zeitaufwendig, mühsam und kostspielig ^3,4. Dies ist ein Hindernis für die Entwicklung von Entscheidungsunterstützungssystemen, die datengetrieben für Winter-Agroökosysteme sind. Selbstüberwachtes Lernen (SSL) ist ein Paradigma, das kürzlich vielversprechend für Repräsentationslernen gezeigt hat, bei dem eine große Anzahl von Bildern verwendet wird, um informative Funktionen zu erlernen, auch wenn sie nicht mit⁵ gekennzeichnet sind. Durch die Gestaltung von Prescen-Aufgaben wie kontrastivem Lernen ermöglicht SSL neuronalen Netzen, strukturelle und semantische Muster in Bilddaten zu erlernen, die dann in überwachte Lernaufgaben⁶ übertragen werden können. Frühere Studien zur landwirtschaftlichen Bildgebung haben gezeigt, dass SSL-basiertes Vortraining die nachgelagerte Leistung verbessern kann, wenn markierte Daten begrenzt sind, was die Suche nach Problemen zur Erkennung von Pflanzen und Unkraut^{motiviert 1,7}.

Gleichzeitig wurden auch halbüberwachtes Lernen und kontrastives Lernen untersucht. Halbüberwachte Lernmethoden, die sowohl markierte als auch unlabelte Daten nutzen, wie Lehrer-Schüler-Lernen und Pseudo-Labeling, wurden für die Klassifikation und Erkennung von Cannabis^{untersucht 2,4}. In jüngerer Zeit haben kontrastive Lernmethoden mit klassenbewussten Zielen das Potenzial gezeigt, übertragbare Darstellungen aus landwirtschaftlichen Bildern zu lernen, insbesondere in Szenarien mit Klassenungleichgewicht oder wenigen Annotationen ^1,3. Obwohl diese Studien auf die potenziellen Vorteile von halbüberwachtem Lernen und verwandten Techniken gegenüber vollständig überwachtem Lernen hinweisen, beschränkt sich der Großteil der vorhandenen Literatur auf Sommeranbausysteme, Objekterkennung oder groß angelegte Datensätze.

Abgesehen von der prädiktiven Genauigkeit ist die Interpretierbarkeit der internen Entscheidungsmechanismen tiefer neuronaler Netze weiterhin ein relevantes Anliegen für praktische landwirtschaftliche Anwendungen. Erklärbare Künstliche Intelligenz (XAI)-Techniken sind darauf ausgelegt, interpretierbare Erklärungen von Modellvorhersagen zu bieten und versuchen so, die Lücke zwischen Modellvorhersagen und menschlicher Expertise zu schließen⁸. Gradientenbasierte Visualisierungsalgorithmen, wie Gradient-weighted class activation mapping (Grad-CAM) und deren Erweiterung Grad-CAM+^+9,10, erzeugen klassendiskriminierende Heatmaps, die die Interessenbereiche eines Bildes aufzeigen, die für die Vorhersagen eines Modells am relevantesten sind. Diese Algorithmen werden häufig für die qualitative Analyse erlernter Darstellungen in landwirtschaftlichen Bildanalyseaufgaben verwendet, stellen jedoch keine formale Validierung der Interpretierbarkeit dar.

Das Hauptziel dieser Forschungsarbeit ist es, das Potenzial eines zweistufigen Lernrahmens zur Klassifizierung von Winterpflanzen- und Unkrautbildern mittels selbstüberwachter Repräsentationslern und überwachter Feinabstimmung sowie qualitativer Visualisierung zu untersuchen. In dieser Forschung wurde die Anwendung einer zweistufigen Lernpipeline zur Klassifikation von Winterpflanzen und Unkrautbildern untersucht, die selbstüberwachtes Vortraining mit SimCLR und überwachte Feinabstimmung mit EfficientNet-B3 integriert. Die Experimente werden auf dem WinterCropWeedDB-Datensatz durchgeführt, einem regionsspezifischen Datensatz mit Winterernte- und Unkrautbildern, die von landwirtschaftlichen Feldern in Zentralindien^gesammelt wurden. Die Ergebnisse werden auf Basis einer einzigen internen Aufteilung analysiert, und Grad-CAM und Grad-CAM++ werden verwendet, um die Aufmerksamkeit des Modells zu visualisieren. Ziel dieser Forschung ist es, die Möglichkeit zu untersuchen, selbstüberwachtes Repräsentationslernen und Visualisierungsmethoden für die Klassifikation von Winterpflanzen und Unkrautbildern zu kombinieren, wobei gleichzeitig die Einschränkungen des experimentellen Aufbaus berücksichtigt werden. Dieser Workflow dient der explorativen Bewertung von regionsspezifischen Crop-Weed-Datensätzen mit begrenzten beschrifteten Daten und dient nicht als validierter Benchmark für Verallgemeinerungen oder großflächige Nutzung.

Protocol

Datensatzbeschreibung

Der WinterCropWeedDB-Datensatz besteht aus 1.136 hochauflösenden (rot, grün, blau) RGB-Bildern von sechs Winterpflanzenarten (Weizen, Kichererbse, Erbsen, Linsen, Senf und Graserbsen) und vier Unkrautarten (Wicke, Kleiner Kanariengras, Gänsefuß (Chenopodium-Album) und Euphorbia clementei), die von Winterlandwirtschaften im Bundesstaat Chhattisgarh, Indien, stammen (Abbildung 1). Die Bilder wurden unter natürlichen Bedingungen aufgenommen, darunter unterschiedliche Beleuchtung, Wachstumsphasen und Hintergrundkomplexität. Alle Bilder waren zunächst nicht kommentiert und dienten nur der selbstüberwachten Vorschulung. Für überwachte Feinabstimmung wurden die Bilder manuell annotiert und mittels stratifizierter Stichprobe in Trainings- (70 %) und Validierungssets (30 %) aufgeteilt. Das Validierungsset wurde ausschließlich für die interne Modellbewertung verwendet und nicht erweitert. Um Probleme mit Klassenungleichgewichten und Robustheit während des Trainings zu beheben, wurde die Datenerweiterung nur auf dem Trainingssatz durchgeführt. Die Augmentationstechniken umfassten zufällige Rotationen (+/-20°), horizontales Umdrehen, Skalieren, Translation, Helligkeitsänderungen und milde affine Transformationen. Die Trainingsproben wurden auf ein Ziel von 150 Bildern pro Klasse erweitert, was insgesamt 1.500 Trainingsbilder ergab, während der Validierungssatz aus 347 Originalbildern bestand. Im Validierungsset wurden keine erweiterten oder synthetischen Bilder aufgenommen, um Bewertungsfehler zu vermeiden. Neben der Hold-out-Bewertung wurde auch eine geschichtete fünffache Kreuzvalidierung auf dem ursprünglichen beschrifteten Datensatz als Sekundäranalyse durchgeführt. In jedem Fold wurde die Datenerweiterung nur auf den Trainingssätzen durchgeführt, und die Validierungssätze wurden unverändert beibehalten, um die Konsistenz mit dem Hauptbewertungsschema zu gewährleisten.

Computergestützter Workflow für selbstüberwachtes und überwachtes Modelltraining

Eine zweistufige Rechenpipeline wurde verwendet, um die Machbarkeit der Integration von selbstüberwachtem Repräsentationslernen und überwachter Feinabstimmung für die Klassifikation von Winterpflanzen vs. Unkrautbildern zu untersuchen (Abbildung 2). Diese Pipeline umfasst: (i) selbstüberwachtes Vortraining mit unbeschrifteten Bildern und (ii) überwachte Feinabstimmung mit einer beschrifteten Bildprobe. Alle Bilder wurden vor dem Training auf 300 × 300 Pixel verkleinert und normalisiert. Bewertungen der Modelle wurden nur bei einem internen Split durchgeführt, ohne einen externen Testsatz zu verwenden.

Stufe 1 – selbstüberwachtes Vortraining

In der Anfangsphase wurde die EfficientNet-B3-Architektur als Backbone-Netzwerk in einem von SimCLR inspirierten selbstüberwachten Lernaufbau eingesetzt. Der zweischichtige Projektionskopf reduzierte die Backbone-Darstellung auf einen 128-dimensionalen Einbettungsraum. Für das selbstüberwachte Lernen wurde jedes Bild in zwei Ansichten umgewandelt, indem zufällig die Größe beschnitten wurde, horizontale Umblätterung, Farbtransformation, Gaußsches Unschärfe und Graustufenumwandlung. Die beiden Ansichten wurden gemeinsam verarbeitet, um die kontrastive Verlustfunktion gemeinsam zu optimieren. Der selbstüberwachte Lernprozess wurde über 30 Epochen durchgeführt, wobei eine Epoche einen vollständigen Durchlauf des gesamten Trainingsdatensatzes durch das Modell während der Optimierung bezeichnet, mit einer Batchgröße von 16 Bildern mit dem Adam-Optimierer (einem adaptiven, gradientenbasierten Optimierungsalgorithmus, der erste und zweite Ordnung der Gradienten schätzt, um die Lernraten während des Trainings anzupassen). Gradient Clipping mit einer maximalen Norm von 1,0 wurde verwendet, um ein stabiles Training zu gewährleisten. Zusätzlich wurden nach jeder Epoche Modell-Checkpoints gespeichert, um die Reproduzierbarkeit zu erleichtern. Der Temperaturwert von 0,5 wurde bei der Berechnung des InfoNCE-Verlusts während des selbstüberwachten Lernens verwendet.

Stufe 2 – überwachte Feinabstimmung

Nach selbstbeaufsichtigtem Vortraining wurde der Projektionskopf entfernt und die vortrainierten Rückgratgewichte für die überwachte Feinabstimmung verwendet. Ein vollständig verbundener Klassifikatorkopf wurde dem Rückgrat für die Mehrklassenklassifikation hinzugefügt. Das Feinjustieren erfolgte nur mit den beschrifteten Bildern aus dem Trainingsset. Überwachtes Training nutzte Kreuzentropieverlust mit Klassengewichtung und Label-Glättung, um ein Klassenungleichgewicht zu bewältigen. Der Adam-Optimierer wurde mit unterschiedlichen Lernraten für Backbone (1 × 10⁻⁵) und Klassifikator (1 × 10⁻⁴) verwendet. Ein Learning Rate Scheduler wurde verwendet, um die Lernrate zu verringern, wenn die Validierungsgenauigkeit stagnierte. Schulungen wurden über 20 Epochen durchgeführt, und der Modell-Checkpoint mit der höchsten Validierungsgenauigkeit wurde für die Bewertung gespeichert.

Zusätzlich zur Haupt-Holdout-Bewertung wurde eine geschichtete fünffache Kreuzvalidierung als zusätzliche Analyse der markierten Menge durchgeführt. In jedem Fold wurde die Erweiterung nur auf den Trainingssätzen durchgeführt, und die Validierungssätze blieben unverändert. Die Ergebnisse der Kreuzvalidierung wurden separat präsentiert und nicht für die Modellauswahl oder Optimierung der Kontrollpunkte verwendet. Die in dieser Studie vorgestellten Leistungskennzahlen basieren ausschließlich auf der internen Validierungsaufteilung und stellen die Ergebnisse der beobachteten Leistung unter dem aktuellen experimentellen Aufbau dar.

Grad-CAM- und Grad-CAM++-Visualisierung

Für die qualitative Analyse der Aufmerksamkeit im Modell wurden gradientenbasierte Klassenaktivierungskartierungsmethoden (Grad-CAM und Grad-CAM++) im fein abgestimmten Modell verwendet. Die Merkmalskarten und die Gradienten wurden von der letzten Faltungsschicht des Basisnetzwerks gewonnen, und klassenspezifische Heatmaps wurden für ausgewählte Validierungsbilder erstellt. Diese wurden ausschließlich für die qualitative Analyse des Modells verwendet und nicht validiert. Die Materialtabelle listet alle Hardware-, Softwarebibliotheken, Datensätze und benutzerdefinierten Trainingsskripte auf, die in diesem Workflow verwendet werden.

Results

Überblick über frühere Ansätze und Workflow-Positionierung

Eine Zusammenfassung repräsentativer Lernansätze, die zuvor für die landwirtschaftliche Unkrauterkennung angewandt wurden, findet sich in Tabelle 1. Die Tabelle bietet einen Überblick über überwachte, halbüberwachte und selbstüberwachte Lernstrategien, verwendete Datensätze, berichtete Ergebnisse und die dargestellten Einschränkungen. Die meisten früheren Arbeiten konz...

Discussion

Diese Arbeit untersuchte den Einsatz eines zweistufigen Deep-Learning-Ansatzes, der aus selbstüberwachtem Vortraining unter Verwendung der SimCLR-Idee und überwachter Feinabstimmung für die Klassifikation von Winterpflanzen und Unkrautbildern auf dem WinterCropWeedDB-Datensatz besteht. Die Ergebnisse zeigen, dass der vorgeschlagene Ansatz zuverlässig auf einem regionsspezifischen Winterlandwirtschaftsbilddatensatz trainiert und an einem Split des internen Validierungssets getestet werden...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA-Toolkit	NVIDIA	12.8
cuDNN	NVIDIA	9.1
Grafikprozessoreinheit (GPU)	NVIDIA	GeForce RTX 5050 Laptop-GPU
Matplotlib	Matplotlib-Entwickler	3.9.2
NumPy	NumPy-Entwickler	1.26.0
Betriebssystem	Microsoft	Linux (WSL2), Kernel 6.6.87
Python	Python Software Foundation	3.12.7
PyTorch	PyTorch Stiftung	2.1.0 (Entwicklungsversion)
scikit-learn	scikit-learn Entwickler	1.5.1
Timm	GitHub-Repository	1.0.24
Torchvision	PyTorch Stiftung	0.25.0 (Entwicklungs-Build)
WinterCropWeedDB	Mendeley Daten, DOI: 10.17632/m4h6zdsh79.1	Version 1