Szacowanie biomasy w oparciu o wizję komputerową dla roślin inwazyjnych

Podsumowanie

Raportujemy szczegółowe procedury dla metody szacowania biomasy roślin inwazyjnych, która wykorzystuje dane uzyskane z teledetekcji bezzałogowych statków powietrznych (UAV) do oceny biomasy i uchwycenia przestrzennego rozmieszczenia gatunków inwazyjnych. Takie podejście okazuje się bardzo korzystne w przeprowadzaniu oceny zagrożeń i wczesnym ostrzeganiu przed roślinami inwazyjnymi.

Streszczenie

Informujemy o szczegółowych krokach metody szacowania biomasy roślin inwazyjnych na podstawie teledetekcji UAV i wizji komputerowej. W celu pobrania próbek z badanego obszaru przygotowaliśmy zestaw kwadratów próbnych w celu losowego rozmieszczenia punktów poboru próbek. Bezzałogowy system kamer lotniczych został zbudowany przy użyciu drona i kamery do pozyskiwania ciągłych obrazów RGB badanego obszaru za pomocą zautomatyzowanej nawigacji. Po zakończeniu strzelania zebrano biomasę nadziemną w ramce próbki, a cała korespondencja została oznaczona i zapakowana. Przykładowe dane zostały przetworzone, a zdjęcia lotnicze zostały podzielone na małe obrazy o wymiarach 280 x 280 pikseli w celu utworzenia zestawu danych obrazu. Do zmapowania rozmieszczenia Mikania micrantha na badanym obszarze wykorzystano głęboką konwolucyjną sieć neuronową i uzyskano jej wskaźnik wegetacji. Zebrane organizmy wysuszono, a suchą masę zapisano jako biomasę mieloną. Model regresji inwazyjnej biomasy roślinnej został skonstruowany przy użyciu regresji K-najbliższego sąsiada (KNNR) poprzez wyodrębnienie wskaźnika wegetacji z obrazów próbki jako zmiennej niezależnej i zintegrowanie go z biomasą prawdy gruntowej jako zmienną zależną. Wyniki pokazały, że możliwe jest dokładne przewidzenie biomasy roślin inwazyjnych. Za pomocą przechodzenia przez obraz wygenerowano dokładną mapę rozmieszczenia przestrzennego biomasy roślin inwazyjnych, co pozwoliło na precyzyjną identyfikację obszarów wysokiego ryzyka dotkniętych przez rośliny inwazyjne. Podsumowując, badanie to pokazuje potencjał połączenia teledetekcji bezzałogowych statków powietrznych z technikami uczenia maszynowego w celu oszacowania inwazyjnej biomasy roślinnej. Znacząco przyczynia się do badań nad nowymi technologiami i metodami monitorowania roślin inwazyjnych w czasie rzeczywistym oraz zapewnia wsparcie techniczne dla inteligentnego monitoringu i oceny zagrożeń w skali regionalnej.

Wprowadzenie

W tym protokole, proponowana metoda szacowania inwazyjnej biomasy oparta na teledetekcji UAV i wizji komputerowej może odzwierciedlać rozmieszczenie inwazyjnych organizmów i przewidywać stopień inwazyjnego zagrożenia biologicznego. Szacunki dotyczące rozmieszczenia i biomasy organizmów inwazyjnych mają kluczowe znaczenie dla zapobiegania i zwalczania tych organizmów. Gdy rośliny inwazyjne zaatakują, mogą uszkodzić ekosystem i spowodować ogromne straty ekonomiczne. Szybka i dokładna identyfikacja roślin inwazyjnych oraz oszacowanie kluczowej biomasy roślin inwazyjnych to główne wyzwania w monitorowaniu i kontroli roślin inwazyjnych. W tym protokole bierzemy Mikania micrantha jako przykład, aby zbadać metodę szacowania inwazyjnej biomasy roślinnej opartą na bezzałogowej teledetekcji powietrznej i widzeniu komputerowym, która zapewnia nowe podejście i metodę badań ekologicznych roślin inwazyjnych oraz promuje ekologiczne badania i zarządzanie roślinami inwazyjnymi.

Obecnie pomiar biomasy Mikania micrantha odbywa się głównie za pomocą ręcznego pobierania próbek¹. Tradycyjne metody pomiaru biomasy wymagają dużej siły roboczej i zasobów materialnych, które są nieefektywne i ograniczone przez ukształtowanie terenu; trudno jest sprostać potrzebom regionalnego szacowania biomasy Mikania micrantha. Główną zaletą stosowania tego protokołu jest to, że zapewnia on metodę ilościowego określania regionalnej biomasy roślin inwazyjnych i przestrzennego rozmieszczenia roślin inwazyjnych w sposób, który nie uwzględnia ograniczeń pobierania próbek na danym obszarze i eliminuje potrzebę ręcznych badań.

Technologia teledetekcji UAV osiągnęła pewne wyniki w szacowaniu biomasy roślin i jest szeroko stosowana w rolnictwie^2,3,4,5,6,7, leśnictwo^8,9^,10,11, oraz grassland^12,13,14. Technologia teledetekcji UAV ma zalety niskiego kosztu, wysokiej wydajności, wysokiej precyzji i elastycznego działania^15,16, który może skutecznie uzyskiwać dane obrazowe teledetekcyjne w badanym obszarze; Następnie wyodrębniana jest cecha tekstury i wskaźnik roślinności z obrazu teledetekcyjnego, aby zapewnić wsparcie danych do oszacowania biomasy roślinnej na dużym obszarze. Obecne metody szacowania biomasy roślin dzielą się głównie na modele parametryczne i nieparametryczne¹⁷. Wraz z rozwojem algorytmów uczenia maszynowego, nieparametryczne modele uczenia maszynowego o większej dokładności stały się szeroko stosowane w teledetekcyjnym szacowaniu biomasy roślinnej. Chen i in.¹⁸ wykorzystali mieszaną regresję logistyczną (MLR), KNNR i losową regresję lasów (RFR) do oszacowania nadziemnej biomasy lasów w prowincji Yunnan. Naukowcy doszli do wniosku, że modele uczenia maszynowego, w szczególności KNNR i RFR, przyniosły lepsze wyniki w porównaniu z MLR. Yan et al.¹⁹ wykorzystali modele regresji RFR i ekstremalnego zwiększania gradientu (XGBR), aby ocenić dokładność szacowania biomasy lasów subtropikalnych przy użyciu różnych zestawów zmiennych. Tian et al.^{20 wykorzystali jedenaście} modeli uczenia maszynowego do oszacowania nadziemnej biomasy różnych gatunków lasów namorzynowych w Zatoce Beibuwan. Naukowcy odkryli, że metoda XGBR była bardziej skuteczna w określaniu nadziemnej biomasy lasów namorzynowych. Szacowanie biomasy roślin za pomocą teledetekcji człowiek-maszyna jest dobrze ugruntowaną praktyką, jednak wykorzystanie UAV do szacowania biomasy inwazyjnej rośliny Mikania micrantha nie zostało jeszcze zgłoszone zarówno w kraju, jak i za granicą. Podejście to zasadniczo różni się od wszystkich dotychczasowych metod szacowania biomasy roślin inwazyjnych, zwłaszcza Mikania micrantha.

Podsumowując, teledetekcja UAV ma zalety wysokiej rozdzielczości, wysokiej wydajności i niskich kosztów. W ekstrakcji zmiennych cech obrazów teledetekcyjnych cechy tekstury w połączeniu z indeksami roślinności mogą uzyskać lepszą wydajność przewidywania regresji. Modele nieparametryczne mogą uzyskać dokładniejsze modele regresji niż modele parametryczne w szacowaniu biomasy roślinnej. Dlatego, aby dokładnie obliczyć rozkład zerowy roślin inwazyjnych i ich biomasy, sugerujemy następujące opisane procedury dla eksperymentu z inwazyjną biomasą roślin, który opiera się na teledetekcji przy użyciu UAV i wizji komputerowej.

Protokół

1. Przygotowanie zbiorów danych

1. Wybór obiektu badawczego
   1. Należy wybrać próbki testowe w zależności od celu badania eksperymentalnego, rozważając opcje takie jak Mikania micrantha lub inne inwazyjne rośliny.
2. Gromadzenie obrazów z UAV
   1. Przygotować kwadratowe ramki plastikowe o wymiarach 0,5 m × 0,5 m w liczbie od 25 do 50 sztuk, w zależności od wielkości badanego obszaru.
   2. Zastosuj metodę losowania próbek w celu wyznaczenia lokalizacji poboru próbek gleby na obszarze badań, wykorzystując odpowiednią liczbę próbek biomasy. Umieść ramkę próbkowania poziomo nad roślinnością, tak aby w pełni objęła rośliny, zachowując minimalną odległość 2 m pomiędzy poszczególnymi roślinami.
   3. Wykorzystaj drona i kamerę do utworzenia systemu filmowania metodą teledetekcji za pomocą UAV, jak pokazano na Rycina 1.
   4. Należy wykorzystać UAV do wyznaczenia trasy w określonym obszarze badań. Konfiguracja planowania trasy przedstawiona jest w Rysunek 2.
      1. Ustaw stopień pokrycia bocznego i czołowego na poziomie 70%, wykonuj zdjęcia w jednolitych odstępach czasu wynoszących 2 s, utrzymując kąt nachylenia kamery prostopadle do podłoża przy 90°i ustawiono wysokość kamery na 30 m. Pozwoliło to na uzyskanie ciągłych danych obrazowych obszaru badań z rozdzielczością pojedynczego obrazu wynoszącą 8256 x 5504 pikseli, co przedstawiono w Rysunek 3.
   5. Przechowuj zdjęcia lotnicze do późniejszego przetwarzania za pomocą oprogramowania Python w celu oszacowania biomasy.
3. Zbiór nadziemnej biomasy
   1. Zebrać biomasę nadziemną z Mikania micrantha ręcznie w obrębie każdej powierzchni próbnej po zakończeniu gromadzenia danych za pomocą drona. Należy umieścić je w workach i odpowiednio opisać każdy worek.
      1. Podczas pobierania Mikania micrantha, zapobiegając przemieszczaniu się działek próbnych. Najpierw odciąć Mikania micrantha wzdłuż wewnętrznej krawędzi pola badawczego.
      2. Następnie odciąć kłącze Mikania micrantha od dołu. Usuń wszelkie zanieczyszczenia, kamienie lub inne rośliny, które zmieszały się z próbką. Na koniec umieść próbki w woreczkach i opisz je.
   2. Przenieś zebrane w kroku 1.3.1 próbki roślin inwazyjnych do laboratorium. Wszystkie zebrane próbki wysusz na powietrzu, aby odparować większość wilgoci.
   3. Aby dodatkowo usunąć wilgoć z próbek suszonych na powietrzu, należy użyć suszarki laboratoryjnej. Ustaw temperaturę na 55 °CSuszyć próbki przez 72 h, następnie zważyć każdą z nich na wadze elektronicznej i zapisać dane dotyczące biomasy w gramach (g).
      1. Ustawić wagę elektroniczną w miejscu wolnym od zakłóceń, zważyć, skalibrować i kontynuować ważenie. Umieścić worki z Mikania micrantha odczekaj na stabilizację wskazań wagi elektronicznej, a następnie zapisz otrzymane wyniki.
      2. Odważić Mikania micrantha co godzinę, aż masa przestanie się zmieniać, i zapisz odczyt pomniejszony o wagę torebki jako zmierzoną masę tej próbki. Oblicz biomasę nadziemną rośliny inwazyjnej, korzystając z poniższego wzoru:
         
         gdzie B reprezentuje biomasę Mikania micrantha w gramach na metr kwadratowy (g/m²²), M to masa zmierzonej Mikania micrantha, mierzona w gramach (g), S odpowiada powierzchni powierzchni próbnej w metrach kwadratowych (m²).
4. Tworzenie zbioru danych
   1. Wyodrębnij obraz RGB odpowiadający obrazowi próbki z oryginalnego obrazu z UAV. Podziel go na siatkę o wymiarach 280 × 280 pikseli, korzystając z programowania w języku Python (Rycina uzupełniająca 1).
   2. Podziel surowe dane obrazowe na mniejsze obrazy o rozmiarze zgodnym z obrazami próbek, korzystając z języka programowania Python. Do segmentacji zastosuj metodę przesuwnego okna, ustawiając krok w poziomie i pionie na 280 pikseli.
   3. Z małych obrazów wysegmentowanych w kroku 1.4.2 należy losowo wybrać 880 obrazów roślin inwazyjnych oraz 1500 obrazów tła w celu utworzenia zbioru danych. Następnie należy podzielić ten zbiór na zbiory treningowy, walidacyjny i testowy w stosunku 6:2:2 (Rycina dodatkowa 2).

2. Identyfikacja Mikania micrantha

1. Przygotowanie oprogramowania
   1. Przejdź do oficjalnej strony internetowej Anaconda (https://www.anaconda.com/), a następnie pobierz i zainstaluj program Anaconda. Następnie odwiedź stronę PyCharm (https://www.jetbrains.com/pycharm/) i pobierz środowisko IDE PyCharm.
2. Tworzenie środowiska Conda.
   1. Po zainstalowaniu programu Anaconda otwórz wiersz poleceń Anaconda Prompt, a następnie wpisz conda create -n pytorch python==3.8 , aby utworzyć nowe środowisko Conda. Po utworzeniu środowiska wpisz conda info --envs , aby potwierdzić istnienie środowiska pytorch .
   2. Otwórz Anaconda Prompt i aktywuj środowisko pytorch , wpisując conda activate pytorch. Sprawdź aktualną wersję CUDA (Compute Unified Device Architecture), wpisując nvidia-smi. Następnie zainstaluj PyTorch w wersji 1.8.1, uruchamiając polecenie conda install pytorch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1 cudatoolkit=11.0 -c pytorch.
3. Uruchomienia dla rozpoznawania modelu
   UWAGA: Do zbudowania modelu rozpoznawania Mikania micrantha wykorzystanego w niniejszej pracy użyto PyTorch. Zastosowano model sieciowy ResNet101²¹, którego architektura jest zgodna z oryginalną publikacją. W sekcji wyjściowej sieci wprowadzono modyfikacje, aby spełnić wymagania dotyczące rozpoznawania rumianku.
   1. Przeprowadź wstępne przetwarzanie obrazów, aby przygotować je do wprowadzenia do modelu. Zmień rozmiar obrazów z 280 x 280 pikseli na 224 x 224 piksele i znormalizuj je, aby zapewnić zgodność z wymaganiami rozmiaru modelu, korzystając z następującego kodu:
      transform = transforms.Compose([
      transforms.Resize((224, 224)),
      transforms.ToTensor(),
      ​transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])
   2. Wykonaj ekstrakcję cech obrazu i redukcję wymiarowości przy użyciu splotowej sieci neuronowej.
      1. Najpierw zainicjuj warstwę splotową dla wstępnej ekstrakcji cech za pomocą self.conv1. Dzięki tej warstwie splotowej oryginalny obraz jest przekształcany w mapę cech z self.in_channel kanałami w celu ekstrakcji cech początkowych (Supplementary Figure 3A).
         UWAGA: Zaawansowane cechy są ekstrahowane w operacji splotu na przejściach rezydualnych. Warstwy te są tworzone poprzez wywołanie funkcji _make_layer, która składa się z sekwencji bloków rezydualnych. Każdy blok rezydualny składa się z splotu, normalizacji wsadowej oraz funkcji aktywacji, co pozwala na stopniową ekstrakcję złożonych cech (Supplementary Figure 3B).
      2. Użyj funkcji warstwy do zmiany liczby kanałów w celu redukcji wymiarowości poprzez splot 1x1. Operacja ta zmniejsza obciążenie obliczeniowe przy jednoczesnym zachowaniu istotnych cech (Supplementary Figure 3C).
         UWAGA: Ogólnie rzecz biorąc, ResNet101 wykonuje ekstrakcję cech przy użyciu różnych warstw splotowych, a redukcja wymiarowości jest osiągana poprzez warstwy splotowe 1x1 wewnątrz bloku rezydualnego. Podejście to pozwala sieci głębiej uczyć się cech i unika problemu zanikającego gradientu, co umożliwia bardziej efektywną naukę i reprezentację cech obrazu w złożonych zadaniach.
      3. Po operacjach splotu i próbkowania wprowadź wysokiej jakości cechy do warstwy w pełni połączonej.
         UWAGA: W architekturze ResNet ekstrakcja cech odbywa się w warstwie splotowej. Cechy te są następnie przesyłane do warstwy w pełni połączonej (FC) w celu klasyfikacji (Supplementary Figure 4). Operacja self.avgpool(x) wykonuje adaptacyjne uśrednianie próbkowania, aby zmienić kształt tensora na stały rozmiar. Operacja torch.flatten(x, 1) rozprostowuje tensor do wektora jednowymiarowego, a self.fc(x) stosuje warstwę w pełni połączoną do spłaszczonego wektora, co stanowi końcowy krok klasyfikacji. Proces ten skutecznie przekazuje wyekstrahowane cechy przez warstwę splotową, przekształcając je w format odpowiedni dla klasyfikacji za pomocą warstwy w pełni połączonej.
      4. Użyj funkcji Softmax , aby uzyskać końcowy wynik na podstawie trzech wymagań klasyfikacyjnych.
   3. Wytrenuj wieloklasowy model rozpoznawania, korzystając z zestawu danych z kroku 1.4. Ustaw liczbę iteracji na 200 oraz początkową szybkość uczenia na 0,0001. Zmniejszaj szybkość uczenia o jedną trzecią co 10 iteracji przy rozmiarze partii (batch size) równym 64. Automatycznie zapisuj optymalne parametry modelu po każdej iteracji (Supplementary Figure 5).
   4. Wykorzystaj starannie wytrenowany model rozpoznawania i systematycznie przeanalizuj oryginalny obraz z kroku 1.2.2 w celu identyfikacji.
      1. Skonfiguruj kroki poziome i pionowe dokładnie na 280 pikseli, co pozwoli na wygenerowanie kompleksowej mapy rozkładu wskazującej obecność flory inwazyjnej w granicach obszaru badań. Przedstaw wybrane wyniki wizualnie, jak pokazano na Figure 4.
         UWAGA: Obraz początkowy jest wstępnie przetwarzany poprzez podział na mniejsze fragmenty, klasyfikację każdego fragmentu za pomocą wytrenowanego modelu głębokiego uczenia i połączenie wyników w obraz wyjściowy. Jeśli fragment zostanie zaklasyfikowany jako roślina inwazyjna, odpowiadające mu miejsce na obrazie wyjściowym przyjmuje wartość 255. Powstały obraz wyjściowy jest zapisywany jako plik obrazu w skali szarości. Szczegółowy kod implementacyjny przedstawiono na Supplementary Figure 6.

3. Szacowanie biomasy roślin inwazyjnych

1. Przeprowadź prostą augmentację danych za pomocą funkcji RandomResizedCrop i RandomHorizontalFlip (Rysunek uzupełniający 7), aby rozszerzyć zestaw obrazów utworzony w kroku 1.2, a następnie wyekstrahuj sześć wskaźników roślinności powszechnie stosowanych do szacowania biomasy: RBRI, GBRI, GRRI, RGRI, NGBDI i NGRDI. Wzory obliczeniowe dla tych wskaźników znajdują się w Tabeli 1.
2. Stwórz model regresji K-najbliższych sąsiadów (KNNR)²², wykorzystując wyniki modelu, aby zapewnić precyzyjne szacowanie biomasy roślin inwazyjnych. Jako dane wejściowe dla modelu szacującego wykorzystaj wyekstrahowane wskaźniki roślinności.
3. Użyj współczynnika determinacji R² oraz pierwiastka błędu średniokwadratowego (RMSE)²³ do oceny dokładności modelu, obliczanych w następujący sposób:
   
   
   UWAGA: Algorytm regresji K-najbliższych sąsiadów (KNNR) to nieparametryczna technika uczenia maszynowego stosowana do rozwiązywania problemów regresyjnych. Jej podstawowa koncepcja polega na przewidywaniu wyników poprzez wyznaczanie K najbliższych sąsiadów w przestrzeni cech na podstawie odległości próbek wejściowych. Kluczowe zalety stosowania KNNR to prostota i łatwość zrozumienia, a także brak konieczności przeprowadzenia fazy treningowej. Ponadto KNNR nie przyjmuje nadmiernych założeń dotyczących rozkładu danych. KNNR można zastosować w problemach regresyjnych do przewidywania ciągłych zmiennych celu i precyzyjnej oceny biomasy roślin inwazyjnych.
4. Zastosuj wybrany w kroku 3.2 model szacowania biomasy nadziemnej i przeskanuj mapę rozmieszczenia roślin inwazyjnych z kroku 2.3.4 z poziomym i pionowym krokiem przesunięcia wynoszącym 280 pikseli.

Wyniki

Przedstawiamy reprezentatywne wyniki zastosowania metody opartej na komputerowym rozpoznawaniu obrazu do szacowania ilości roślin inwazyjnych, zaimplementowanej programowo na komputerze. W tym eksperymencie oceniliśmy rozkład przestrzenny i oszacowaliśmy biomasę roślin inwazyjnych w ich naturalnych siedliskach, przyjmując Mikania micrantha jako obiekt badań. Do pozyskania obrazów terenu badawczego wykorzystaliśmy system kamer drona, którego część przedstawiono na Rysunku 3. Do ident...

Dyskusja

Przedstawiamy szczegółowe etapy eksperymentu polegającego na szacowaniu biomasy roślin inwazyjnych z wykorzystaniem teledetekcji UAV i wizji komputerowej. Główny proces i etapy tej umowy przedstawiono na rysunku 7. Właściwa jakość próbki jest jednym z najważniejszych i najtrudniejszych aspektów programu. Znaczenie to odnosi się zarówno do wszystkich roślin inwazyjnych, jak i do wszelkich innych eksperymentów związanych z szacowaniem biomasy roślinnej²⁴.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Lustrzanka cyfrowa	Nikon	D850	Typ czujnika: CMOS; Maksymalna liczba pikseli: 46,89 mln; Efektywna liczba pikseli: 45,75 miliona; Maksymalna rozdzielczość 8256 x 5504.
GPU - Procesor graficzny	NVIDIA
Hexacopter	DJI	M600PRO	Lot poziomy: 65 km/h (bez wiatru); Maksymalne obciążenie w locie: 6000 g
PyCharm	Python IDE	2023.1
Python	Python	3.8.0
Pytorch	Pytorch	1.8.1

RTX3090