Un quadro di apprendimento auto-supervisionato in due fasi per la classificazione delle immagini delle erbacce coltivate invernali

Summary

Questo lavoro valuta l'applicazione di una pipeline di deep learning a due fasi per la pre-formazione auto-supervisionata e la fine tuning supervisionata della classificazione delle immagini delle colture invernali e delle erbacce. Gli esperimenti sul dataset WinterCropWeedDB sono condotti utilizzando una singola divisione interna, includendo visualizzazioni Grad-CAM.

Abstract

L'agricoltura di precisione richiede una precisa discriminazione tra colture invernali e erbacce, ma mancano dati di immagini annotate per i sistemi di coltura invernale. Questo articolo analizza un approccio di deep learning a due fasi che integra apprendimento delle caratteristiche auto-supervisionato con un fine-tuning supervisionato per la classificazione delle immagini di colture e erbacce invernali. In questo articolo è proposto e utilizzato un nuovo dataset di immagini delle colture invernali e delle erbacce, WinterCropWeedDB, che contiene 1.136 immagini ad alta risoluzione di sei specie di colture invernali e quattro specie di erbe infestanti raccolte nei campi agricoli dell'India centrale. Nella prima fase dell'apprendimento auto-supervisionato, un modello EfficientNet-B3 viene pre-addestrato utilizzando un approccio di apprendimento auto-supervisionato in stile SimCLR con una funzione di perdita InfoNCE (temperatura τ = 0,5) sulle immagini. Il valore medio di perdita contrastiva si riduce da 2,0712 nella prima iterazione a 1,6835 alla fine del preaddestramento. Nella seconda fase di fine-tuning supervisionato, il modello EfficientNet-B3 pre-addestrato viene ottimizzato con una testa classificatrice supervisionata sulle immagini e testato su una singola divisione interna di validazione (30%) del dataset. Il modello fine-tuned raggiunge una precisione massima di validazione del 98,27%, con un punteggio F1 macro-mediato di 0,98. La mappatura di attivazione delle classi ponderata in gradiente (Grad-CAM) e Grad-CAM++ sono utilizzate sul modello fine-tuned per fornire una visualizzazione qualitativa delle regioni dell'immagine che contribuiscono alle previsioni delle classi. I risultati dell'esperimento dimostrano la fattibilità dell'uso di preaddestramento auto-supervisionato e di fine-tuning supervisionato per la classificazione delle immagini di colture invernali e erbacce su un dataset specifico per regione, sottolineando anche l'importanza di ulteriori test su set di test indipendenti.

Introduction

L'agricoltura di precisione ha visto un uso crescente di metodi di visione artificiale basati sul deep learning per la classificazione automatizzata di colture e^{erbacce 1}. Le reti neurali convoluzionali si sono dimostrate efficaci nei compiti di riconoscimento delle piante; tuttavia, le loro prestazioni dipendono solitamente dalla disponibilità di grandi dataset annotati in modo^{preciso 2}. Nella maggior parte degli ambienti agricoli, specialmente nei sistemi di coltura sottorappresentati come le colture invernali, il processo di ottenere dati di immagini etichettate estesi è dispendioso i....

Protocol

Descrizione del dataset

Il dataset WinterCropWeedDB consiste in 1.136 immagini RGB ad alta risoluzione (rosso, verde, blu) di sei specie di colture invernali (grano, ceci, pisello, lenticchia, senape e pisello d'erba) e quattro specie di erbe infestanti (vescia comune, canarino minore, piede d'oca (Chenopodium album) ed Euphorbia clementei) prese nei campi agricoli invernali dello stato di Chhattisgarh, India (Figura 1). Le immagini sono state scattate in condizioni naturali, inclusi vari tipi di illuminazione, fasi di crescita e complessità d....

Results

Panoramica degli approcci precedenti e del posizionamento del flusso di lavoro

Un riassunto degli approcci rappresentativi applicati in precedenza per il riconoscimento delle erbe infestanti agricole è fornito nella Tabella 1. La tabella presenta una panoramica delle strategie di apprendimento supervisionate, semi-supervisionate e auto-supervisionate, dei dataset utilizzati, dei risultati riportati e delle limitazioni presenta.......

Discussion

Questo lavoro ha esaminato l'uso di un approccio di deep learning in due fasi costituito da un preaddestramento auto-supervisionato utilizzando l'idea SimCLR e un fine-tuning supervisionato per la classificazione delle immagini invernali delle colture e delle erbacce sul dataset WinterCropWeedDB. I risultati mostrano che l'approccio proposto può essere addestrato in modo affidabile su un dataset di immagini dell'agricoltura invernale specifico per regione e testato su una suddivisione de.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Kit degli attrezzi CUDA	NVIDIA	12.8
cuDNN	NVIDIA	9.1
Unità di elaborazione grafica (GPU)	NVIDIA	GeForce RTX 5050 Laptop GPU
Matplotlib	Sviluppatori Matplotlib	3.9.2
NumPy	Sviluppatori NumPy	1.26.0
Sistema operativo	Microsoft	Linux (WSL2), kernel 6.6.87
Python	Python Software Foundation	3.12.7
PyTorch	Fondazione PyTorch	2.1.0 (build di sviluppo)
scikit-learn	scikit-learn Sviluppatori	1.5.1
timm	Repository GitHub	1.0.24
Torchvision	Fondazione PyTorch	0.25.0 (build di sviluppo)
WinterCropWeedDB	Dati Mendeley, DOI: 10.17632/m4h6zdsh79.1	Versione 1