Dwuetapowe, samodzielnie nadzorowane ramy uczenia się do klasyfikacji obrazów chwastów zimowych

Summary

Prace te oceniają zastosowanie dwustopniowego pipeline'u głębokiego uczenia do samodzielnie nadzorowanego wstępnego szkolenia i precyzyjnego dostrojenia klasyfikacji obrazów roślin zimowych i chwastów. Eksperymenty na zbiorze danych WinterCropWeedDB prowadzone są przy użyciu jednego wewnętrznego podziału, z uwzględnieniem wizualizacji Grad-CAM.

Abstract

Rolnictwo precyzyjne wymaga dokładnego rozróżniania między uprawami zimowymi a chwastami, jednak brakuje adnotowanych danych obrazowych dla systemów upraw zimowych. Niniejszy artykuł bada dwuetapowe podejście do głębokiego uczenia, które integruje samodzielnie nadzorowane uczenie cech z nadzorowanym dopracowywaniem klasyfikacji obrazów upraw zimowych i chwastów. Proponowany i wykorzystany w tym artykule jest nowy zbiór zdjęć upraw zimowych i chwastów, WinterCropWeedDB, który zawiera 1 136 zdjęć w wysokiej rozdzielczości sześciu gatunków upraw zimowych oraz czterech gatunków chwastów zebranych na polach rolniczych w środkowych Indiach. W pierwszym etapie samodzielnie nadzorowanego uczenia model EfficientNet-B3 jest wstępnie trenowany za pomocą samonadzorowanego podejścia w stylu SimCLR z funkcją strat InfoNCE (temperatura τ = 0,5) na obrazach. Średnia wartość strat kontrastowych spada z 2,0712 w pierwszej iteracji do 1,6835 na końcu pretraining. W drugim etapie nadzorowanego dostrojenia model EfficientNet-B3 jest precyzyjnie dopracowywany za pomocą nadzorowanej głowicy klasyfikacyjnej na obrazach i testowany na jednym wewnętrznym podziale walidacyjnym (30%) zbioru danych. Model precyzyjnie dopracowany osiąga maksymalną dokładność walidacji na poziomie 98,27%, z makro-średnim wynikiem F1 0,98. Gradientowe ważone mapowanie aktywacji klas (Grad-CAM) oraz Grad-CAM++ są stosowane w precyzyjnie dostrojonym modelu, aby zapewnić jakościową wizualizację obszarów obrazów przyczyniających się do przewidywania klas. Wyniki eksperymentu pokazują wykonalność stosowania samodzielnie nadzorowanego wstępnego szkolenia i precyzyjnego dopracowywania do klasyfikacji obrazów upraw zimowych i chwastów na specyficznym dla regionu zbiorze danych, jednocześnie podkreślając znaczenie dodatkowych testów na niezależnych zestawach testowych.

Introduction

Rolnictwo precyzyjne odnotowało coraz większe wykorzystanie metod komputerowego widzenia opartych na głębokim uczeniu do automatyzacji klasyfikacji upraw i chwastów¹. Wykazano, że sieci neuronowe konwolucyjne są skuteczne w zadaniach rozpoznawania roślin; jednak ich wydajność zwykle zależy od dostępności dużych zbiorów danych, które są precyzyjnie anotowane². W większości środowisk rolniczych, zwłaszcza w niedostatecznie reprezentowanych systemach upraw, takich jak uprawy zimowe, proces pozyskiwania obszernych danych obrazowych z oznakowaniem jest czasochłonny, mozolny i kosztowny ^3,4. Jest to przeszkoda w rozwoju systemów wsparcia decyzji opartych na danych dla zimowych agroekosystemów. Samonadzorowane uczenie się (SSL) to paradygmat, który ostatnio wykazuje obiecujące cechy w zakresie uczenia się reprezentacji, gdzie wykorzystuje dużą liczbę obrazów do nauki cech informacyjnych, mimo że nie są oznaczone jako⁵. Poprzez projektowanie zadań pretekstowych, takich jak uczenie kontrastowe, SSL pozwala sieciom neuronowym uczyć się wzorców strukturalnych i semantycznych w danych obrazowych, które następnie mogą być przekazywane do zadań uczenia nadzorowanego⁶. Wcześniejsze badania obrazowania rolniczego wykazały, że wstępne szkolenie oparte na SSL może poprawić wyniki w dalszych etapach, gdy dane oznaczone są ograniczone, co skłoniło do ich badania nad problemami rozpoznawania upraw i chwastów ^1,7.

Równocześnie badane były także metody nauki półnadzorowanej oraz kontrastowej. Metody nauczania półnadzorowanego wykorzystujące zarówno dane oznaczone, jak i nieoznaczone, takie jak uczenie się nauczyciel-uczeń oraz pseudo-etykietowanie, zostały zbadane w celu klasyfikacji i wykrywania chwastów ^2,4. W ostatnich latach kontrastowe metody uczenia się z celami uwzględniającymi klasę wykazały potencjał do nauki przenośnych reprezentacji z obrazów rolniczych, zwłaszcza w scenariuszach z nierównowagą klasową lub niewielką liczbą adnotacji ^1,3. Chociaż badania te wskazują na potencjalne korzyści z nauki półnadzorowanej i pokrewnych technik w porównaniu do w pełni nadzorowanej nauki, większość istniejącej literatury ogranicza się do systemów letniego uprawiania, detekcji obiektów lub dużych zbiorów danych.

Poza precyzją predykcyjną, interpretowalność wewnętrznych mechanizmów decyzyjnej głębokich sieci neuronowych pozostaje istotnym zagadnieniem dla praktycznych zastosowań rolniczych. Techniki wyjaśniającej sztucznej inteligencji (XAI) zostały zaprojektowane tak, aby oferować interpretowalne wyjaśnienia prognoz modelu, próbując tym samym wypełnić lukę między prognozami modeli a ludzką wiedzą⁸. Algorytmy wizualizacji oparte na gradientach, takie jak gradientowo-ważone mapowanie aktywacji klas (Grad-CAM) oraz jego rozszerzenie Grad-CAM++^9,10, generują mapy cieplne dyskryminujące klasy, które wskazują obszary zainteresowania na obrazie najbardziej istotne dla prognoz modelu. Algorytmy te są powszechnie stosowane do jakościowej analizy wyuczonych reprezentacji w zadaniach analizy obrazów rolniczych, ale nie stanowią formalnej weryfikacji interpretowalności.

Głównym celem tych badań jest zbadanie potencjału dwuetapowego systemu uczenia się do klasyfikacji obrazów upraw zimowych i chwastów z wykorzystaniem samodzielnie nadzorowanego uczenia się reprezentacyjnego oraz nadzorowanego dostrojenia, a także wizualizacji jakościowej. W tych badaniach badało zastosowanie dwuetapowego procesu uczenia się do klasyfikacji obrazów upraw zimowych i chwastów, integrującego samodzielnie nadzorowane wstępne szkolenie z SimCLR oraz nadzorowane dostrojenie z EfficientNet-B3. Eksperymenty przeprowadzono na zbiorze danych WinterCropWeedDB, specyficznym dla regionu zbiorze zdjęć upraw zimowych i chwastów zebranych z pól rolniczych w środkowych Indiach¹¹. Wyniki analizowane są na podstawie pojedynczego wewnętrznego podziału, a do wizualizacji uwagi modelu używa się Grad-CAM i Grad-CAM++. Celem tych badań jest zbadanie możliwości łączenia metod uczenia się i wizualizacji samodzielnie nadzorowanej reprezentacji do klasyfikacji obrazów roślin zimowych i chwastów, przy jednoczesnej świadomości ograniczeń tego eksperymentu. Ten workflow ma na celu eksploracyjną ocenę na regionalnie specyficznych zbiorach danych o roślinach chwastów z ograniczonymi oznakowaniami i nie jest przeznaczony jako zweryfikowany benchmark do uogólnień czy zastosowań na dużą skalę.

Protocol

Opis zbioru danych

Zbiór danych WinterCropWeedDB składa się z 1 136 wysokorozdzielczych (czerwony, zielony, niebieski) obrazów RGB sześciu gatunków upraw zimowych (pszenica, ciecierzyca, groch, soczewica, gorczyca i groch trawny) oraz czterech gatunków chwastów (wyka zwyczajna, kanarka mniejsza, gęsia łapka (Chenopodium album) oraz Euphorbia clementei) wykonanych z zimowych pól uprawnych w stanie Chhattisgarh w Indiach (Rysunek 1). Zdjęcia zostały wykonane w warunkach naturalnych, w tym zmiennym oświetleniu, etapach wzrostu i złożoności tła. Wszystkie obrazy początkowo były bez adnotacji i używane wyłącznie do samodzielnie nadzorowanego przygotowania. Do nadzorowanego dostrojenia obrazy były ręcznie adnotowane i dzielone za pomocą próbkowania stratyfikowanego na zestawy treningowe (70%) i walidacyjne (30%). Zestaw walidacyjny był używany wyłącznie do wewnętrznej oceny modelu i nie był rozszerzany. Aby rozwiązać problemy z nierównowagą klas i odpornością podczas treningu, augmentacja danych była wykonywana wyłącznie na zbiorze treningowym. Techniki augmentacji obejmowały losowe obroty (+/-20°), przewracanie poziome, skalowanie, translację, zmiany jasności oraz łagodne transformacje afiniczne. Próbki treningowe zostały rozszerzone do celu 150 obrazów na klasę, co dało łącznie 1 500 obrazów treningowych, podczas gdy zestaw walidacyjny składał się z 347 oryginalnych obrazów. Do zestawu walidacyjnego nie uwzględniono obrazów rozszerzonych ani syntetycznych, aby zapobiec błędom ewaluacyjnym. Oprócz oceny wstrzymowanej, przeprowadzono również pięciokrotną walidację krzyżową na oryginalnym oznaczonym zbiorze danych jako analizę wtórną. W każdym etapie augmentacja danych była wykonywana tylko na zbiorach treningowych, a zestawy walidacyjne były niezmienione, aby zachować spójność z głównym schematem ewaluacji.

Obliczeniowy przepływ pracy do samodzielnie nadzorowanego i nadzorowanego trenowania modeli

Zastosowano dwuetapowy pipeline obliczeniowy do zbadania możliwości integracji samodzielnie nadzorowanego uczenia się reprezentacji oraz nadzorowanego dopracowywania klasyfikacji obrazów chwastów w porównaniu do upraw zimowych (Rysunek 2). Ten proces obejmuje: (i) samodzielne przygotowanie do samodzielnego przygotowania obrazów bez oznak oraz (ii) nadzorowane precyzyjne dostrajanie z oznaczoną próbką obrazów. Wszystkie obrazy zostały pomalowane do 300 × 300 pikseli i znormalizowane przed trenowaniem. Oceny modeli przeprowadzano tylko na jednym podziale wewnętrznym, bez użycia zewnętrznego zestawu testowego.

Etap 1 – samodzielnie nadzorowane przygotowanie wstępne

Na początkowym etapie architektura EfficientNet-B3 była wykorzystywana jako szkielet sieci w samonadzorowanym układzie uczenia się inspirowanym SimCLR. Dwuwarstwowa głowica projekcyjna zmniejszyła reprezentację szkieletu do 128-wymiarowej przestrzeni osadzenia. W samodzielnej nauce każdy obraz był konwertowany na dwa widoki za pomocą losowego przycinania rozmiaru, poziomego flippingu, transformacji kolorów, rozmycia Gaussa oraz konwersji na skalę szarości. Oba poglądy zostały przetworzone razem, aby wspólnie zoptymalizować kontrastową funkcję straty. Proces uczenia się samodzielnie nadzorowanego był realizowany przez 30 epok, gdzie jedna epoka oznacza pełne przejście całego zbioru danych treningowych przez model podczas optymalizacji, z wielkością partii 16 obrazów przy użyciu optymalizatora Adama (adaptacyjnego algorytmu optymalizacji opartego na gradientach, który szacuje momenty gradientów pierwszego i drugiego rzędu, aby dostosować tempo uczenia się podczas treningu). Zastosowano gradientowe przycinanie o maksymalnej normie 1,0, aby zapewnić stabilne szkolenie. Dodatkowo, punkty kontrolne modeli były zapisywane po każdej epoce, aby ułatwić powtarzalność. Wartość temperatury 0,5 została użyta podczas obliczania straty InfoNCE podczas samodzielnego uczenia się pod nadzorem.

Etap 2 – nadzorowane dostrajanie

Po samodzielnym nadzorowaniu wstępnym szkoleniu głowica projekcyjna była usuwana, a do nadzorowanego dostrojenia wykorzystywano ciężarki z przedtreningiem kręgosłupa. Do szkieletu dodano w pełni połączoną głowicę klasyfikacyjną umożliwiającą klasyfikację wieloklasową. Dostrajanie odbywało się wyłącznie przy użyciu oznaczonych obrazów z zestawu treningowego. Szkolenie nadzorowane wykorzystywało utratę entropii krzyżowej z ważeniem klas i wygładzeniem etykiet, aby radzić sobie z nierównowagą klasową. Optymalizator Adama był używany z różnymi wskaźnikami uczenia dla szkieletu (1 × 10⁻⁵) i klasyfikatora (1 × 10⁻⁴). Do obniżenia szybkości uczenia się, gdy dokładność walidacji osiągała plateau, stosowano harmonogram szybkości uczenia się. Treningi przeprowadzono przez 20 epok, a punkt kontrolny modelu o najwyższej dokładności walidacji został zapisany do oceny.

Oprócz głównej oceny wstrzymania, przeprowadzono stratyfikowaną, pięciokrotną walidację krzyżową jako dodatkową analizę na oznaczonym zbiorze. W każdym fazie augmentacja była wykonywana tylko na zbiorach treningowych, a zestawy walidacyjne pozostawały bez zmian. Wyniki walidacji krzyżowej były prezentowane osobno i nie były wykorzystywane do wyboru modelu ani optymalizacji punktów kontrolnych. Metryki wydajności przedstawione w tym badaniu opierają się wyłącznie na wewnętrznej walidacji i odzwierciedlają wyniki obserwowanych wyników w obecnym układzie eksperymentalnym.

Wizualizacja Grad-CAM i Grad-CAM++

Do jakościowej analizy uwagi w modelu zastosowano metody mapowania aktywacji klas oparte na gradientach (Grad-CAM i Grad-CAM++) na precyzyjnie dostrojonym modelu. Mapy cech i gradienty pozyskano z ostatniej warstwy splotowej sieci bazowej, a dla wybranych obrazów walidacyjnych uzyskano mapy cieplne specyficzne dla klasy. Były one używane wyłącznie do analizy jakościowej modelu i nie zostały zweryfikowane. Tabela materiałów zawiera cały sprzęt, biblioteki programowe, zbiory danych oraz niestandardowe skrypty treningowe używane w tym procesie.

Results

Przegląd wcześniejszych podejść i pozycjonowania workflow

Podsumowanie reprezentatywnych metod uczenia się stosowanych wcześniej do rozpoznawania chwastów rolniczych znajduje się w Tabeli 1. Tabela przedstawia przegląd strategii nauczania nadzorowanego, półnadzorowanego oraz samodzielnie nadzorowanego, wykorzystywanych zbiorów danych, raportowanych wyników oraz przedstawionych ograniczeń. Większość wcześniejszych prac koncentruje się na letnich systemach upraw...

Discussion

Praca ta analizowała zastosowanie dwuetapowego podejścia do głębokiego uczenia, obejmującego samodzielnie nadzorowane wstępne szkolenie z wykorzystaniem idei SimCLR oraz nadzorowane dopracowywanie klasyfikacji obrazów roślin zimowych i chwastów na zbiorze danych WinterCropWeedDB. Wyniki pokazują, że proponowane podejście można niezawodnie trenować na regionalnym zbiorze obrazów zimowego rolnictwa i testować na jednym fragmencie wewnętrznego zbioru walidacyjnego. Ta sekcja przedstawia analizę wyników, implikacji i ogranic...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Zestaw narzędzi CUDA	NVIDIA	12.8
cuDNN	NVIDIA	9.1
Jednostka przetwarzania grafiki (GPU)	NVIDIA	Karta graficzna GeForce RTX 5050 do laptopa
Matplotlib	Twórcy Matplotlib	3.9.2
NumPy	Deweloperzy NumPy	1.26.0
System operacyjny	Microsoft	Linux (WSL2), jądro 6.6.87
Python	Python Software Foundation	3.12.7
PyTorch	Fundacja PyTorch	2.1.0 (wersja deweloperska)
scikit-learn	Deweloperzy scikit-learn	1.5.1
timm	Repozytorium GitHub	1.0.24
Torchvision	Fundacja PyTorch	0.25.0 (wersja deweloperska)
WinterCropWeedDB	Dane Mendeley, DOI: 10.17632/m4h6zdsh79.1	Wersja 1