Un quadro di apprendimento auto-supervisionato in due fasi per la classificazione delle immagini delle erbacce coltivate invernali

Summary

Questo lavoro valuta l'applicazione di una pipeline di deep learning a due fasi per la pre-formazione auto-supervisionata e la fine tuning supervisionata della classificazione delle immagini delle colture invernali e delle erbacce. Gli esperimenti sul dataset WinterCropWeedDB sono condotti utilizzando una singola divisione interna, includendo visualizzazioni Grad-CAM.

Abstract

L'agricoltura di precisione richiede una precisa discriminazione tra colture invernali e erbacce, ma mancano dati di immagini annotate per i sistemi di coltura invernale. Questo articolo analizza un approccio di deep learning a due fasi che integra apprendimento delle caratteristiche auto-supervisionato con un fine-tuning supervisionato per la classificazione delle immagini di colture e erbacce invernali. In questo articolo è proposto e utilizzato un nuovo dataset di immagini delle colture invernali e delle erbacce, WinterCropWeedDB, che contiene 1.136 immagini ad alta risoluzione di sei specie di colture invernali e quattro specie di erbe infestanti raccolte nei campi agricoli dell'India centrale. Nella prima fase dell'apprendimento auto-supervisionato, un modello EfficientNet-B3 viene pre-addestrato utilizzando un approccio di apprendimento auto-supervisionato in stile SimCLR con una funzione di perdita InfoNCE (temperatura τ = 0,5) sulle immagini. Il valore medio di perdita contrastiva si riduce da 2,0712 nella prima iterazione a 1,6835 alla fine del preaddestramento. Nella seconda fase di fine-tuning supervisionato, il modello EfficientNet-B3 pre-addestrato viene ottimizzato con una testa classificatrice supervisionata sulle immagini e testato su una singola divisione interna di validazione (30%) del dataset. Il modello fine-tuned raggiunge una precisione massima di validazione del 98,27%, con un punteggio F1 macro-mediato di 0,98. La mappatura di attivazione delle classi ponderata in gradiente (Grad-CAM) e Grad-CAM++ sono utilizzate sul modello fine-tuned per fornire una visualizzazione qualitativa delle regioni dell'immagine che contribuiscono alle previsioni delle classi. I risultati dell'esperimento dimostrano la fattibilità dell'uso di preaddestramento auto-supervisionato e di fine-tuning supervisionato per la classificazione delle immagini di colture invernali e erbacce su un dataset specifico per regione, sottolineando anche l'importanza di ulteriori test su set di test indipendenti.

Introduction

L'agricoltura di precisione ha visto un uso crescente di metodi di visione artificiale basati sul deep learning per la classificazione automatizzata di colture e^{erbacce 1}. Le reti neurali convoluzionali si sono dimostrate efficaci nei compiti di riconoscimento delle piante; tuttavia, le loro prestazioni dipendono solitamente dalla disponibilità di grandi dataset annotati in modo^{preciso 2}. Nella maggior parte degli ambienti agricoli, specialmente nei sistemi di coltura sottorappresentati come le colture invernali, il processo di ottenere dati di immagini etichettate estesi è dispendioso in termini di tempo, laborioso e^{costoso 3,4}. Questo rappresenta un ostacolo allo sviluppo di sistemi di supporto alle decisioni basati sui dati per gli agroecosistemi invernali. L'apprendimento auto-supervisionato (SSL) è un paradigma che ha recentemente mostrato potenzialità per l'apprendimento rappresentativo, in cui utilizza un gran numero di immagini per apprendere caratteristiche informative anche se non sono etichettate^{come 5}. Attraverso la progettazione di compiti pretestuali, come l'apprendimento contrastivo, SSL consente alle reti neurali di apprendere schemi strutturali e semantici nei dati delle immagini, che possono poi essere trasferiti a compiti di apprendimento^{supervisionato 6}. Studi precedenti in imaging agricolo hanno dimostrato che la pre-formazione basata su SSL può migliorare le prestazioni a valle quando i dati etichettati sono limitati, motivando la sua esplorazione per problemi di riconoscimento di colture e^{erbacce 1,7}.

Contemporaneamente, sono stati esplorati anche metodi di apprendimento semi-supervisionato e di apprendimento contrastivo. Metodi di apprendimento semi-supervisionato che sfruttano sia dati etichettati che non etichettati, come l'apprendimento insegnante-studente e la pseudo-etichettatura, sono stati esplorati per la classificazione e la rilevazione delle erbacce ^2,4. Più recentemente, i metodi di apprendimento contrastivo con obiettivi consapevoli della classe hanno mostrato il potenziale di apprendere rappresentazioni trasferibili da immagini agricole, specialmente in scenari con squilibrio di classe o poche^{annotazioni 1,3}. Sebbene questi studi indichino i potenziali benefici dell'apprendimento semi-supervisionato e delle tecniche correlate rispetto all'apprendimento completamente supervisionato, la maggior parte della letteratura esistente si è limitata a sistemi di coltura estiva, rilevamento di oggetti o dataset su larga scala.

Oltre all'accuratezza predittiva, l'interpretabilità dei meccanismi decisionali interni delle reti neurali profonde resta una preoccupazione rilevante per applicazioni agricole pratiche. Le tecniche di intelligenza artificiale spiegabile (XAI) sono progettate per offrire spiegazioni interpretabili delle previsioni dei modelli, cercando così di colmare il divario tra le previsioni del modello e l'esperienza^{umana 8}. Gli algoritmi di visualizzazione basati su gradiente, come la mappatura di attivazione delle classi ponderata per gradiente (Grad-CAM) e la sua estensione Grad-CAM++^9,10, producono heatmap discriminative per classe che indicano le regioni di interesse in un'immagine più rilevanti per le previsioni di un modello. Questi algoritmi sono comunemente impiegati per l'analisi qualitativa di rappresentazioni apprese in compiti di analisi di immagini agricole, ma non rappresentano una validazione formale dell'interpretabilità.

L'obiettivo principale di questo lavoro di ricerca è indagare il potenziale di un quadro di apprendimento a due fasi per la classificazione delle immagini di colture invernali e erbacce utilizzando apprendimento rappresentativo auto-supervisionato e fine tuning supervisionato, insieme alla visualizzazione qualitativa. In questa ricerca è stata studiata l'applicazione di una pipeline di apprendimento in due fasi per la classificazione delle immagini di colture invernali e infestanti, integrando il preaddestramento auto-supervisionato con SimCLR e il fine-tuning supervisionato con EfficientNet-B3. Gli esperimenti vengono condotti sul dataset WinterCropWeedDB, un dataset regionale specifico di immagini di colture invernali e erbacce raccolte dai campi agricoli dell'India^{centrale 11}. I risultati vengono analizzati basandosi su una singola suddivisione interna, e Grad-CAM e Grad-CAM++ vengono utilizzati per visualizzare l'attenzione del modello. L'obiettivo di questa ricerca è indagare la possibilità di combinare metodi di apprendimento e visualizzazione auto-supervisionati per la classificazione delle immagini delle colture invernali e delle erbacce, consapevoli anche dei limiti dell'impostazione sperimentale. Questo flusso di lavoro è pensato per la valutazione esplorativa su dataset di colture e infestanti specifiche per regione, con dati etichettati limitati, e non è inteso come un punto di riferimento validato per generalizzazione o uso su larga scala.

Protocol

Descrizione del dataset

Il dataset WinterCropWeedDB consiste in 1.136 immagini RGB ad alta risoluzione (rosso, verde, blu) di sei specie di colture invernali (grano, ceci, pisello, lenticchia, senape e pisello d'erba) e quattro specie di erbe infestanti (vescia comune, canarino minore, piede d'oca (Chenopodium album) ed Euphorbia clementei) prese nei campi agricoli invernali dello stato di Chhattisgarh, India (Figura 1). Le immagini sono state scattate in condizioni naturali, inclusi vari tipi di illuminazione, fasi di crescita e complessità dello sfondo. Tutte le immagini erano inizialmente non annotate e utilizzate solo per la preparazione auto-supervisionata. Per la fine tuning supervisionata, le immagini sono state annotate manualmente e suddivise usando campionamento stratificato in set di addestramento (70%) e di validazione (30%). Il set di validazione veniva utilizzato solo per la valutazione interna del modello e non veniva ampliato. Per affrontare lo squilibrio di classe e i problemi di robustezza durante l'addestramento, l'aumento dei dati è stato eseguito solo sul set di addestramento. Le tecniche di aumento prevedevano rotazioni casuali (+/-20°), inversione orizzontale, scala, traslazione, variazioni di luminosità e lievi trasformazioni affini. I campioni di addestramento sono stati aumentati a un target di 150 immagini per classe, risultando in un totale di 1.500 immagini di addestramento, mentre il set di validazione era composto da 347 immagini originali. Nel set di validazione non sono state incluse immagini aumentate o sintetiche per prevenire il bias di valutazione. Oltre alla valutazione di respinta, è stata eseguita anche una validazione incrociata stratificata a cinque volte sul dataset originale etichettato come analisi secondaria. In ogni fold, l'aumento dei dati veniva effettuato solo sugli addestramenti, e i set di validazione venivano mantenuti invariati per mantenere la coerenza con lo schema principale di valutazione.

Flusso di lavoro computazionale per l'addestramento auto-supervisionato e supervisionato del modello

È stata utilizzata una pipeline computazionale in due fasi per indagare la fattibilità dell'integrazione dell'apprendimento di rappresentazione auto-supervisionato e della fine-tuning supervisionata per la classificazione delle colture invernali rispetto a quelle delle immagini delle erbacce infestanti (Figura 2). Questa pipeline prevede: (i) preaddestramento auto-supervisionato con immagini non etichettate, e (ii) fine-tuning supervisionato con un campione etichettato delle immagini. Tutte le immagini sono state ridimensionate a 300 × 300 pixel e normalizzate prima dell'addestramento. Le valutazioni dei modelli sono state condotte solo su una suddivisione interna, senza utilizzare un set di test esterno.

Fase 1 - pre-formazione autonoma

Nella fase iniziale, l'architettura EfficientNet-B3 è stata impiegata come rete dorsale in un sistema di apprendimento auto-supervisionato ispirato a SimCLR. La testa di proiezione a due strati riduceva la rappresentazione della spina dorsale a uno spazio di incorporamento a 128 dimensioni. Per l'apprendimento auto-supervisionato, ogni immagine veniva convertita in due viste utilizzando ritaglio casuale ridimensionato, ribaltamento orizzontale, trasformazione del colore, sfocatura gaussiana e conversione in scala di grigi. Le due viste sono state elaborate insieme per ottimizzare congiuntamente la funzione di perdita contrastiva. Il processo di apprendimento auto-supervisionato è stato eseguito per 30 epoche, in cui un'epoca indica un passaggio completo dell'intero dataset di addestramento attraverso il modello durante l'ottimizzazione, con un lotto di 16 immagini utilizzando l'ottimizzatore Adam (un algoritmo di ottimizzazione adattivo basato su gradienti che stima i momenti di primo e secondo ordine dei gradienti per regolare i tassi di apprendimento durante l'addestramento). Il clipping gradiente con una norma massima di 1.0 veniva utilizzato per garantire un addestramento stabile. Inoltre, i checkpoint dei modelli venivano salvati dopo ogni epoca per facilitarne la riproducibilità. Il valore di temperatura di 0,5 è stato utilizzato durante il calcolo della perdita InfoNCE durante l'apprendimento auto-supervisionato.

Fase 2 - regolazione supervisionata

Dopo un preaddestramento auto-supervisionato, la testa di proiezione veniva rimossa e i pesi della spina dorsale pre-allenati venivano utilizzati per una messa a punto supervisionata. Una testa classificatrice completamente collegata fu aggiunta alla spina dorsale per la classificazione multiclasse. La messa a punto fine veniva effettuata utilizzando solo le immagini etichettate dal set di addestramento. L'addestramento supervisionato utilizzava perdita di entropia incrociata con ponderazione delle classi e levigatura delle etichette per gestire lo squilibrio di classe. L'ottimizzatore Adam veniva utilizzato con diversi tassi di apprendimento per la spina dorsale (1 × 10⁻⁵) e per il classificatore (1 × 10⁻⁴). Un scheduler della velocità di apprendimento veniva utilizzato per diminuire la velocità di apprendimento quando la precisione della validazione si stabilizzava. L'addestramento è stato svolto per 20 epoche e il checkpoint del modello con la massima accuratezza di validazione è stato salvato per la valutazione.

Oltre alla valutazione principale di resistenza, è stata effettuata una validazione incrociata stratificata a cinque punti come analisi aggiuntiva sull'insieme etichettato. In ogni fold, l'aumento veniva effettuato solo sui set di addestramento, e i set di validazione rimanevano invariati. I risultati della validazione incrociata sono stati presentati separatamente e non sono stati utilizzati per la selezione o ottimizzazione dei checkpoint del modello. Le metriche di performance presentate in questo studio si basano esclusivamente sulla divisione interna della validazione e rappresentano i risultati delle prestazioni osservate secondo l'attuale configurazione sperimentale.

Visualizzazione Grad-CAM e Grad-CAM++

Per l'analisi qualitativa dell'attenzione nel modello, sono stati utilizzati metodi di mappatura di attivazione delle classi basati su gradiente (Grad-CAM e Grad-CAM++) sul modello fine-tuned. Le feature map e i gradienti sono stati ottenuti dallo strato convoluzionale finale della rete base, e sono state ottenute heatmap specifiche per classe per le immagini di validazione selezionate. Questi sono stati utilizzati solo per l'analisi qualitativa del modello e non sono stati validati. La Tabella dei materiali elenca tutto l'hardware, le librerie software, i dataset e gli script di addestramento personalizzati utilizzati in questo flusso di lavoro.

Results

Panoramica degli approcci precedenti e del posizionamento del flusso di lavoro

Un riassunto degli approcci rappresentativi applicati in precedenza per il riconoscimento delle erbe infestanti agricole è fornito nella Tabella 1. La tabella presenta una panoramica delle strategie di apprendimento supervisionate, semi-supervisionate e auto-supervisionate, dei dataset utilizzati, dei risultati riportati e delle limitazioni presenta...

Discussion

Questo lavoro ha esaminato l'uso di un approccio di deep learning in due fasi costituito da un preaddestramento auto-supervisionato utilizzando l'idea SimCLR e un fine-tuning supervisionato per la classificazione delle immagini invernali delle colture e delle erbacce sul dataset WinterCropWeedDB. I risultati mostrano che l'approccio proposto può essere addestrato in modo affidabile su un dataset di immagini dell'agricoltura invernale specifico per regione e testato su una suddivisione de...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Kit degli attrezzi CUDA	NVIDIA	12.8
cuDNN	NVIDIA	9.1
Unità di elaborazione grafica (GPU)	NVIDIA	GeForce RTX 5050 Laptop GPU
Matplotlib	Sviluppatori Matplotlib	3.9.2
NumPy	Sviluppatori NumPy	1.26.0
Sistema operativo	Microsoft	Linux (WSL2), kernel 6.6.87
Python	Python Software Foundation	3.12.7
PyTorch	Fondazione PyTorch	2.1.0 (build di sviluppo)
scikit-learn	scikit-learn Sviluppatori	1.5.1
timm	Repository GitHub	1.0.24
Torchvision	Fondazione PyTorch	0.25.0 (build di sviluppo)
WinterCropWeedDB	Dati Mendeley, DOI: 10.17632/m4h6zdsh79.1	Versione 1