Method Article

Szacowanie biomasy w oparciu o wizję komputerową dla roślin inwazyjnych

DOI:

10.3791/66067

⸱

February 9th, 2024

 ,  ,  ,  ,  ,  ,  ,  ,  , 
1College of Mechanical Engineering, Guangxi University, 2Shenzhen Branch, Guangdong Laboratory of Lingnan Modern Agriculture, Genome Analysis Laboratory of the Ministry of Agriculture and Rural Affairs, Agricultural Genomics Institute at Shenzhen, Chinese Academy of Agricultural Sciences, 3China Lesso Group Holdings Limited, 4Shenzhen Agricultural Technology Promotion Center

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Raportujemy szczegółowe procedury dla metody szacowania biomasy roślin inwazyjnych, która wykorzystuje dane uzyskane z teledetekcji bezzałogowych statków powietrznych (UAV) do oceny biomasy i uchwycenia przestrzennego rozmieszczenia gatunków inwazyjnych. Takie podejście okazuje się bardzo korzystne w przeprowadzaniu oceny zagrożeń i wczesnym ostrzeganiu przed roślinami inwazyjnymi.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Informujemy o szczegółowych krokach metody szacowania biomasy roślin inwazyjnych na podstawie teledetekcji UAV i wizji komputerowej. W celu pobrania próbek z badanego obszaru przygotowaliśmy zestaw kwadratów próbnych w celu losowego rozmieszczenia punktów poboru próbek. Bezzałogowy system kamer lotniczych został zbudowany przy użyciu drona i kamery do pozyskiwania ciągłych obrazów RGB badanego obszaru za pomocą zautomatyzowanej nawigacji. Po zakończeniu strzelania zebrano biomasę nadziemną w ramce próbki, a cała korespondencja została oznaczona i zapakowana. Przykładowe dane zostały przetworzone, a zdjęcia lotnicze zostały podzielone na małe obrazy o wymiarach 280 x 280 pikseli w celu utworzenia zestawu danych obrazu. Do zmapowania rozmieszczenia Mikania micrantha na badanym obszarze wykorzystano głęboką konwolucyjną sieć neuronową i uzyskano jej wskaźnik wegetacji. Zebrane organizmy wysuszono, a suchą masę zapisano jako biomasę mieloną. Model regresji inwazyjnej biomasy roślinnej został skonstruowany przy użyciu regresji K-najbliższego sąsiada (KNNR) poprzez wyodrębnienie wskaźnika wegetacji z obrazów próbki jako zmiennej niezależnej i zintegrowanie go z biomasą prawdy gruntowej jako zmienną zależną. Wyniki pokazały, że możliwe jest dokładne przewidzenie biomasy roślin inwazyjnych. Za pomocą przechodzenia przez obraz wygenerowano dokładną mapę rozmieszczenia przestrzennego biomasy roślin inwazyjnych, co pozwoliło na precyzyjną identyfikację obszarów wysokiego ryzyka dotkniętych przez rośliny inwazyjne. Podsumowując, badanie to pokazuje potencjał połączenia teledetekcji bezzałogowych statków powietrznych z technikami uczenia maszynowego w celu oszacowania inwazyjnej biomasy roślinnej. Znacząco przyczynia się do badań nad nowymi technologiami i metodami monitorowania roślin inwazyjnych w czasie rzeczywistym oraz zapewnia wsparcie techniczne dla inteligentnego monitoringu i oceny zagrożeń w skali regionalnej.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W tym protokole, proponowana metoda szacowania inwazyjnej biomasy oparta na teledetekcji UAV i wizji komputerowej może odzwierciedlać rozmieszczenie inwazyjnych organizmów i przewidywać stopień inwazyjnego zagrożenia biologicznego. Szacunki dotyczące rozmieszczenia i biomasy organizmów inwazyjnych mają kluczowe znaczenie dla zapobiegania i zwalczania tych organizmów. Gdy rośliny inwazyjne zaatakują, mogą uszkodzić ekosystem i spowodować ogromne straty ekonomiczne. Szybka i dokładna identyfikacja roślin inwazyjnych oraz oszacowanie kluczowej biomasy roślin inwazyjnych to główne wyzwania w monitorowaniu i kontroli roślin inwazyjnych. W tym protokole bierzemy Mikania micrantha jako przykład, aby zbadać metodę szacowania inwazyjnej biomasy roślinnej opartą na bezzałogowej teledetekcji powietrznej i widzeniu komputerowym, która zapewnia nowe podejście i metodę badań ekologicznych roślin inwazyjnych oraz promuje ekologiczne badania i zarządzanie roślinami inwazyjnymi.

Obecnie pomiar biomasy Mikania micrantha odbywa się głównie za pomocą ręcznego pobierania próbek1. Tradycyjne metody pomiaru biomasy wymagają dużej siły roboczej i zasobów materialnych, które są nieefektywne i ograniczone przez ukształtowanie terenu; trudno jest sprostać potrzebom regionalnego szacowania biomasy Mikania micrantha. Główną zaletą stosowania tego protokołu jest to, że zapewnia on metodę ilościowego określania regionalnej biomasy roślin inwazyjnych i przestrzennego rozmieszczenia roślin inwazyjnych w sposób, który nie uwzględnia ograniczeń pobierania próbek na danym obszarze i eliminuje potrzebę ręcznych badań.

Technologia teledetekcji UAV osiągnęła pewne wyniki w szacowaniu biomasy roślin i jest szeroko stosowana w rolnictwie2,3,4,5,6,7, leśnictwo8,9,10,11, oraz grassland12,13,14. Technologia teledetekcji UAV ma zalety niskiego kosztu, wysokiej wydajności, wysokiej precyzji i elastycznego działania15,16, który może skutecznie uzyskiwać dane obrazowe teledetekcyjne w badanym obszarze; Następnie wyodrębniana jest cecha tekstury i wskaźnik roślinności z obrazu teledetekcyjnego, aby zapewnić wsparcie danych do oszacowania biomasy roślinnej na dużym obszarze. Obecne metody szacowania biomasy roślin dzielą się głównie na modele parametryczne i nieparametryczne17. Wraz z rozwojem algorytmów uczenia maszynowego, nieparametryczne modele uczenia maszynowego o większej dokładności stały się szeroko stosowane w teledetekcyjnym szacowaniu biomasy roślinnej. Chen i in.18 wykorzystali mieszaną regresję logistyczną (MLR), KNNR i losową regresję lasów (RFR) do oszacowania nadziemnej biomasy lasów w prowincji Yunnan. Naukowcy doszli do wniosku, że modele uczenia maszynowego, w szczególności KNNR i RFR, przyniosły lepsze wyniki w porównaniu z MLR. Yan et al.19 wykorzystali modele regresji RFR i ekstremalnego zwiększania gradientu (XGBR), aby ocenić dokładność szacowania biomasy lasów subtropikalnych przy użyciu różnych zestawów zmiennych. Tian et al.20 wykorzystali jedenaście modeli uczenia maszynowego do oszacowania nadziemnej biomasy różnych gatunków lasów namorzynowych w Zatoce Beibuwan. Naukowcy odkryli, że metoda XGBR była bardziej skuteczna w określaniu nadziemnej biomasy lasów namorzynowych. Szacowanie biomasy roślin za pomocą teledetekcji człowiek-maszyna jest dobrze ugruntowaną praktyką, jednak wykorzystanie UAV do szacowania biomasy inwazyjnej rośliny Mikania micrantha nie zostało jeszcze zgłoszone zarówno w kraju, jak i za granicą. Podejście to zasadniczo różni się od wszystkich dotychczasowych metod szacowania biomasy roślin inwazyjnych, zwłaszcza Mikania micrantha.

Podsumowując, teledetekcja UAV ma zalety wysokiej rozdzielczości, wysokiej wydajności i niskich kosztów. W ekstrakcji zmiennych cech obrazów teledetekcyjnych cechy tekstury w połączeniu z indeksami roślinności mogą uzyskać lepszą wydajność przewidywania regresji. Modele nieparametryczne mogą uzyskać dokładniejsze modele regresji niż modele parametryczne w szacowaniu biomasy roślinnej. Dlatego, aby dokładnie obliczyć rozkład zerowy roślin inwazyjnych i ich biomasy, sugerujemy następujące opisane procedury dla eksperymentu z inwazyjną biomasą roślin, który opiera się na teledetekcji przy użyciu UAV i wizji komputerowej.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Przygotowanie zbiorów danych

  1. Wybór obiektu badawczego
    1. Wybierz próbki testowe w oparciu o przedmiot badania eksperymentalnego, biorąc pod uwagę opcje takie jak Mikania micrantha lub inne rośliny inwazyjne.
  2. Zbieranie obrazów UAV
    1. Przygotuj kwadratowe ramki z tworzywa sztucznego o wymiarach 0,5 m * 0,5 m i ilości 25-50, w zależności od wielkości badanego obszaru.
    2. Zastosować podejście polegające na losowym pobieraniu próbek w celu określenia miejsc pobierania próbek gleby na badanym obszarze przy użyciu wystarczającej liczby próbek biomasy. Umieścić ramkę próbki poziomo nad roślinnością, całkowicie obejmując rośliny, przy minimalnej odległości 2 m między każdą rośliną.
    3. Użyj drona i kamery, aby stworzyć system teledetekcji filmowania UAV, jak pokazano na Rysunek 1.
    4. Użyj UAV, aby wyznaczyć trasę w określonym obszarze badania. Ustawienia planowania trasy są pokazane w Rysunek 2.
      1. Ustal współczynnik nakładania się kursu i boków na 70%, rób zdjęcia w jednolitych odstępach czasu 2 s, utrzymuj kąt kamery prostopadły do ziemi pod kątem 90° i ustaw kamerę na wysokości 30 m. W ten sposób uzyskano ciągłe widoczne dane obrazowe badanego obszaru o rozdzielczości pojedynczego obrazu o wymiarach 8256 x 5504 pikseli, jak pokazano na rysunku Rysunek 3.
    5. Przechowuj zdjęcia lotnicze w celu późniejszego przetwarzania za pomocą oprogramowania Python do szacowania biomasy.
  3. Zbieranie biomasy nadziemnej
    1. Zbierz nadziemną biomasę Mikania micrantha ręcznie na każdej poletku próbki po zakończeniu zbierania danych za pomocą drona. Zapakuj je i odpowiednio oznacz każdą torbę.
      1. Podczas zbierania Mikania micrantha należy zapobiegać przesuwaniu się poletek próbek. Najpierw przetnij Mikania micrantha wzdłuż wewnętrznej krawędzi przykładowej działki.
      2. Następnie odetnij kłącze Mikania micrantha od dołu. Usuń wszelkie zabrudzenia, kamienie lub inne rośliny, które są zmieszane. Na koniec zapakuj i oznacz próbki.
    2. Przynieś pobrane próbki roślin inwazyjnych z kroku 1.3.1 do laboratorium. Wysuszyć wszystkie pobrane próbki na powietrzu, aby odparować większość wilgoci.
    3. Aby dodatkowo usunąć wilgoć z próbek wysuszonych na powietrzu, użyj piekarnika. Ustawić temperaturę na 55 °C. Suszyć próbki przez 72 godziny, następnie zważyć każdą próbkę na wadze elektronicznej i zapisać dane dotyczące biomasy w gramach (g).
      1. Umieść wagę elektroniczną w niezakłóconym środowisku, zważ, skalibruj i kontynuuj ważenie. Umieść torebki Mikania micrantha na wadze elektronicznej, poczekaj, aż odczyty się ustabilizują i zapisz odczyty.
      2. Ważyć Mikania micrantha co godzinę, aż masa przestanie się zmieniać, i zapisywać odczyt pomniejszony o masę worka jako zmierzoną masę tej próbki. Oblicz biomasę nadziemną rośliny inwazyjnej, korzystając z poniższego wzoru:
        figure-protocol-1
        gdzie B oznacza biomasę Mikania micrantha w gramach na metr kwadratowy (g/m2), M oznacza masę zmierzonej Mikania micrantha, mierzoną w gramach (g), S odpowiada powierzchni powierzchni powierzchni próbki w metrach kwadratowych (m2).
  4. Tworzenie zestawu danych
    1. Wyodrębnij obraz RGB odpowiadający przykładowemu obrazowi z oryginalnego obrazu UAV. Podziel go na siatkę o długości 280 × 280 pikseli za pomocą programowania w Pythonie (Rysunek uzupełniający 1).
    2. Podziel nieprzetworzone dane obrazu na mniejsze obrazy o tym samym rozmiarze co przykładowe obrazy przy użyciu programowania w języku Python. Użyj metody okna przesuwnego do segmentacji, ustawiając kroki poziome i pionowe na 280 pikseli.
    3. Z małych obrazów podzielonych na segmenty w kroku 1.4.2 wybierz losowo 880 obrazów roślin inwazyjnych i 1500 obrazów tła, aby utworzyć zestaw danych. Następnie podziel ten zestaw danych na zestawy treningowe, walidacyjne i testowe w stosunku 6:2:2 (rysunek uzupełniający 2).

2. Identyfikacja Mikanii micrantha

  1. Przygotowanie oprogramowania
    1. Wejdź na oficjalną stronę Anacondy (https://www.anaconda.com/) i pobierz i zainstaluj Anaconda. Następnie udaj się na stronę PyCharm (https://www.jetbrains.com/pycharm/) i pobierz PyCharm IDE.
  2. Tworzenie środowiska Conda.
    1. Otwórz wiersz poleceń Anaconda Prompt po zainstalowaniu Anaconda, a następnie wpisz conda create -n pytorch python==3.8, aby utworzyć nowe środowisko Conda. Po utworzeniu środowiska wprowadź conda info --envs , aby potwierdzić, że środowisko pytorch istnieje.
    2. Otwórz wiersz polecenia Anaconda i aktywuj środowisko pytorch, wprowadzając conda activate pytorch. Sprawdź bieżącą wersję CUDA (Compute Unified Device Architecture), wpisując nvidia-smi. Następnie zainstaluj PyTorch w wersji 1.8.1, uruchamiając polecenie conda install pytorch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1 cudatoolkit=11.0 -c pytorch.
  3. Przebiegi rozpoznawania modelu
    UWAGA: Użyj narzędzia PyTorch, aby utworzyć model rozpoznawania Mikania micrantha używany w tym dokumencie. Zastosowany model sieci to ResNet10121, który pozostaje spójny z oryginalnym dokumentem w swojej architekturze. Modyfikacje zostały wprowadzone w sekcji wyjściowej sieci, aby spełnić wymagania dotyczące rozpoznawania rumianku.
    1. Wstępnie przetwórz obrazy, aby przygotować je do wprowadzenia modelu. Zmień rozmiar obrazów z 280 x 280 pikseli na 224 x 224 pikseli i znormalizuj je, aby upewnić się, że spełniają wymagania dotyczące rozmiaru modelu, używając następującego kodu:
      transform = przekształca. Compose([
      Przekształca. Zmień rozmiar((224, 224)),
      Przekształca. ToTensor(),
      Przekształca. Normalizuj([0,485, 0,456, 0,406], [0,229, 0,224, 0,225])
      2. ])
    2. Wykonaj ekstrakcję cech obrazu i zmniejsz wymiarowość za pomocą konwolucyjnej sieci neuronowej.
      1. Najpierw zainicjuj warstwę konwolucyjną dla początkowego wyodrębniania funkcji za pomocą self.conv1. Dzięki tej warstwie konwolucyjnej oryginalny obraz jest przekształcany w mapę cech z self.in_channel kanałami do wyodrębniania początkowych cech (rysunek uzupełniający 3A).
        UWAGA: Zaawansowane funkcje są wyodrębniane w operacji konwolucji na pozostałych przejściach. Warstwy te są wytwarzane przez wywołanie funkcji _make_layer, która składa się z sekwencji pozostałych bloków. Każdy blok reszt składa się z funkcji konwolucji, normalizacji wsadowej i aktywacji w celu stopniowego wyodrębniania zaawansowanych cech (rysunek uzupełniający 3B).
      2. Użyj funkcji warstwy, aby zmodyfikować numer kanału w celu zmniejszenia wymiarowości za pomocą splotu 1x1. Operacja ta zmniejsza obciążenie obliczeniowe przy jednoczesnym zachowaniu istotnych cech (rysunek uzupełniający 3C).
        UWAGA: Ogólnie rzecz biorąc, ResNet101 przeprowadza ekstrakcję cech przy użyciu różnych warstw konwolucyjnych, a redukcja wymiarowości jest osiągana dzięki warstwom konwolucyjnym 1x1 w bloku resztkowym. Takie podejście pozwala sieci na głębsze uczenie się cech i uniknięcie problemu zanikania gradientu, umożliwiając w ten sposób bardziej efektywne uczenie się i reprezentację cech obrazu w przypadku złożonych zadań.
      3. Po konwolucjach i operacjach łączenia wprowadź wysokiej jakości funkcje do w pełni połączonej warstwy.
        UWAGA: W architekturze ResNet wyodrębnianie cech odbywa się w warstwie konwolucyjnej. Cechy te są następnie przesyłane do w pełni połączonej warstwy (FC) w celu klasyfikacji (rysunek uzupełniający 4). Operacja self.avgpool(x) wykonuje adaptacyjne buforowanie średnich w celu zmiany kształtu tensora do ustalonego rozmiaru. Operacja torch.flatten(x, 1) rozkłada tensor na wektor jednowymiarowy, a self.fc(x) nakłada w pełni połączoną warstwę na spłaszczony wektor, ostatecznie służąc jako ostatni krok do klasyfikacji. Proces ten skutecznie przepuszcza wyodrębnione cechy przez warstwę konwolucyjną, przekształcając je w format odpowiedni do klasyfikacji za pomocą w pełni połączonej warstwy.
      4. Użyj funkcji Softmax, aby uzyskać ostateczny wynik w oparciu o trzy wymagania klasyfikacji.
    3. Trenowanie wieloklasowego modelu rozpoznawania przy użyciu zestawu danych z kroku 1.4. Ustaw liczbę iteracji na 200 i początkową szybkość uczenia się 0,0001. Zmniejsz szybkość uczenia się o jedną trzecią co 10 iteracji przy rozmiarze partii 64. Zapisuj optymalne parametry modelu automatycznie po każdej iteracji (rysunek uzupełniający 5).
    4. Zastosuj skrupulatnie wyszkolony model rozpoznawania i systematycznie przeglądaj oryginalny obraz z kroku 1.2.2 w celu identyfikacji.
      1. Konfiguracja stopni poziomych i pionowych z precyzją 280 pikseli w celu wygenerowania kompleksowej mapy rozmieszczenia podkreślającej obecność inwazyjnej flory w granicach badanego obszaru. Przedstaw wybrane wyniki wizualnie, jak pokazano w Rysunek 4.
        UWAGA: Początkowy obraz jest wstępnie przetwarzany przez podzielenie go na mniejsze fragmenty, sklasyfikowanie każdego fragmentu przy użyciu wytrenowanego modelu uczenia głębokiego i połączenie wyników w obraz wyjściowy. Jeśli fragment jest sklasyfikowany jako roślina inwazyjna, odpowiadająca mu lokalizacja na obrazie wyjściowym jest ustawiona na 255. Wynikowy obraz wyjściowy jest zapisywany jako plik obrazu w skali szarości. Konkretny kod implementacji przedstawiono na rysunku uzupełniającym 6.

3. Szacowanie inwazyjnej biomasy roślinnej

  1. Wykonaj proste rozszerzanie danych za pomocą funkcji RandomResizedCrop i RandomHorizontalFlip (rysunek uzupełniający 7), aby rozszerzyć zestaw obrazów utworzony w kroku 1.2 i wyodrębnić sześć wskaźników wegetacji powszechnie używanych do szacowania biomasy, którymi są RBRI, GBRI, GRRI, RGRI, NGBDI i NGRDI. Wzory obliczeniowe dla tych wskaźników znajdują się w tabeli 1.
  2. Utwórz model K-regresji najbliższego sąsiada (KNNR)22, korzystając z danych wyjściowych modelu, aby zapewnić precyzyjne oszacowanie biomasy roślin inwazyjnych. Wyodrębnionych wskaźników wegetacji należy użyć jako danych wejściowych dla modelu szacowania.
  3. Użyj współczynnika determinacji R2 i błędu średniokwadratowego (RMSE)23, aby ocenić dokładność modelu, która jest obliczana w następujący sposób:
    figure-protocol-2
    figure-protocol-3
    UWAGA: Algorytm K-regresji najbliższego sąsiada (KNNR) jest nieparametryczną techniką uczenia maszynowego używaną do rozwiązywania problemów regresji. Jego podstawową koncepcją jest przewidywanie wyników poprzez określanie najbliższych K sąsiadów w przestrzeni cech na podstawie odległości próbek wejściowych. Kluczowe korzyści płynące z korzystania z KNNR to jego prostota i łatwość zrozumienia, a także brak konieczności szkolenia. Dodatkowo KNNR nie przyjmuje wygórowanych założeń co do rozkładu danych. KNNR może być stosowany w zagadnieniach regresji do przewidywania ciągłych zmiennych obiektywnych i precyzyjnej oceny biomasy roślin inwazyjnych.
  4. Zastosuj model szacowania biomasy nadziemnej wybrany w kroku 3.2 i zeskanuj mapę rozmieszczenia roślin inwazyjnych z kroku 2.3.4 z poziomymi i pionowymi krokami o 280 pikseli.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Pokazujemy reprezentatywne wyniki metody opartej na widzeniu komputerowym do szacowania roślin inwazyjnych, która jest implementowana w sposób programowy na komputerze. W tym eksperymencie oceniliśmy rozmieszczenie przestrzenne i oszacowaliśmy biomasę roślin inwazyjnych w ich naturalnym środowisku, wykorzystując Mikania micrantha jako obiekt badań. Wykorzystaliśmy system kamer dronowych do pozyskania zdjęć terenu badawczego, z których część jest pokazana na Rysunek 3. Wykorzystaliśmy konwolucyjną sieć neuronową ResNet101 do identyfikacji roślin obecnych na badanym obszarze. Następnie zmapowaliśmy rozmieszczenie przestrzenne roślin inwazyjnych i zilustrowaliśmy niektóre z naszych ustaleń w Rysunek 4. W Rysunek 3, można zaobserwować Mikania micrantha wspinającą się na szczyt rośliny ozdobionej białymi kwiatami. Pozostałe rośliny, a także droga i elementy towarzyszące są jednolicie przedstawione w tle. W Rysunek 4, model rozpoznaje czerwoną część jako Mikania micrantha. Porównując te dwa zestawy obrazów, widać, że ResNet101 wykazuje solidne wykrywanie Mikania micrantha w złożonym tle. Ponadto z dużą precyzją odwzorowuje rozmieszczenie Mikania micrantha na badanym obszarze.

Biomasa roślin inwazyjnych na badanym obszarze została oszacowana poprzez skrócenie wszystkich obrazów wykresu próbki Mikania micrantha z ortofotomap na 280 × 280 pikseli i wyodrębnienie wskaźników wegetacji RBRI, GBRI, GRRI, RGRI, NGBDI i NGBDI. Analizę regresji przeprowadzono przy użyciu modelu regresji KNNR, przy czym sześć wskaźników stanowiło dane wejściowe do modelu estymacji, a biomasa była danymi wyjściowymi modelu. Rysunek 5 przedstawia wyniki: współrzędne poziome wykresu reprezentują wartości biomas mierzonych w terenie, współrzędne pionowe reprezentują wartości biomas przewidywanych przez model, a szare obszary reprezentują przedziały ufności. Wyniki wykazują wysoką skuteczność predykcyjną, z wartością R² wynoszącą 0,62 i RMSE wynoszącą 10,56 g/m2. Model zwiększa dokładność szacowania biomasy Mikania micrantha, a mapa rozmieszczenia przestrzennego w Rysunek 6 skutecznie oddaje rozkład biomasy Mikania micrantha.

figure-results-1
Rysunek 1: Systemy teledetekcji UAV. Kilka przykładów danych obrazu RGB przechwyconych przez UAV. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-2
Rysunek 2: Planowanie trasy. Badanie dotyczące planowania tras regionalnych Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-3
Rysunek 3: Wyniki identyfikacji roślin inwazyjnych na badanym obszarze. Rysunek przedstawia wyniki identyfikacji Mikania micrantha w badanej strefie za pomocą konwolucyjnej sieci neuronowej ResNet101. Czerwony obszar na rysunku oznacza obszar wykryty przez ResNet101 jako Mikania micrantha, podczas gdy drugie tło oznacza pozostałą część badanego obszaru. Wyniki te odpowiadają przykładowym obrazom przedstawionym w Rysunek 1. Reprezentują one wyniki rozpoznawania odpowiednio Rysunek 1. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-4
Rysunek 4: Przestrzenne rozmieszczenie roślin inwazyjnych. Model rozpoznaje czerwoną część jako Mikania micrantha. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-5
Rysunek 5: Wyniki regresji przewidywania biomasy. Oś pozioma przedstawia wartości biomasy zaobserwowane w terenie, natomiast oś pionowa przedstawia wartości biomasy oszacowane przez model. Obszary zacieniowane na szaro oznaczają przedziały ufności. Model KNNR osiągnął na zbiorze testowym R2 na poziomie 0,65, natomiast najniższy błąd średniokwadratowy wyniósł 30,59 g/m2. Na wykresie punktowym regresji modelu wiele oszacowań biomasy Mikania micrantha mieściło się w przedziale ufności, co wskazuje na trafność przewidywania biomasy. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-6
Rysunek 6: Przestrzenny rozkład biomasy Mikania micrantha. Rysunek ilustruje oszacowanie biomasy Mikania micrantha na całym obszarze badawczym przy użyciu KNNR jako modelu predykcyjnego, wraz z wyodrębnioną mapą rozmieszczenia biomasy Mikania micrantha. Ciemniejsze zacienione obszary reprezentują większe ilości biomasy Mikania micrantha. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-7
Rysunek 7: Schemat ideowy przedstawiający główny rozwój tego protokołu. Rysunek ilustruje główne etapy przedstawionego protokołu. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Nazwa indeksu wegetacjiFormuła obliczeniowa
Indeks proporcji koloru zielono-niebieskiegoGBRI = DNG/DNB
Indeks współczynnika koloru zielono-czerwonegoGRRI = DNG/DNR
Indeks proporcji koloru czerwono-niebieskiegoRBRI = DNR/DNB
Indeks proporcji czerwono-zielonegoRGRI = DNR/DNG
Znormalizowany wskaźnik różnicy koloru zielono-niebieskiegoNGBDI = (DNG - DNB)/(DNG + DNB)
Znormalizowany wskaźnik różnicy koloru zielono-czerwonegoNGRDI = (DNG - DNR)/(DNG + DNR)

Tabela 1: Wzór na obliczanie wskaźnika wegetacji. Wskaźniki wegetacji użyte w niniejszym protokole i odpowiadające im wzory obliczeniowe.

Rysunek uzupełniający 1: Przycinanie obrazu do 280 x 280 pikseli za pomocą skryptu Pythona przy użyciu biblioteki OpenCV. Kliknij tutaj, aby pobrać ten plik.

Uzupełniający Rysunek 2: Partycjonowanie zestawu danych na zestaw treningowy, zestaw walidacyjny i zestaw testowy. Kliknij tutaj, aby pobrać ten plik.

Rysunek uzupełniający 3: Wyodrębnianie cech i redukcja wymiarowości. (A) Początkowa ekstrakcja cech. (B) Operacja konwolucji. (C) Zmniejszenie wymiarowości. Kliknij tutaj, aby pobrać ten plik.

Uzupełniający Rysunek 4: Przenoszenie funkcji do warstwy FC w architekturze ResNet. Kliknij tutaj, aby pobrać ten plik.

Rysunek uzupełniający 5: Ustawianie parametrów. Kliknij tutaj, aby pobrać ten plik.

Uzupełnienie Rysunek 6: Konkretny kod implementacyjny do generowania kompleksowej mapy dystrybucji. Kliknij tutaj, aby pobrać ten plik.

Rysunek uzupełniający 7: Funkcje RandomResizedCrop i RandomHorizontalFlip. Kliknij tutaj, aby pobrać ten plik.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Przedstawiamy szczegółowe etapy eksperymentu polegającego na szacowaniu biomasy roślin inwazyjnych z wykorzystaniem teledetekcji UAV i wizji komputerowej. Główny proces i etapy tej umowy przedstawiono na rysunku 7. Właściwa jakość próbki jest jednym z najważniejszych i najtrudniejszych aspektów programu. Znaczenie to odnosi się zarówno do wszystkich roślin inwazyjnych, jak i do wszelkich innych eksperymentów związanych z szacowaniem biomasy roślinnej24.

Aby określić rozmieszczenie roślin inwazyjnych na badanym obszarze, musimy najpierw pozyskać widzialną i ciągłą fotogrametrię badanego obszaru z wykorzystaniem teledetekcji z UAV. Aby to osiągnąć, niezbędna jest odpowiednia wysokość fotograficzna UAV i rozdzielczość kamery. Dzięki temu ResNet101, konwolucyjna sieć neuronowa, będzie mogła uzyskać z obrazu takie cechy, jak wskaźnik wegetacji i tekstura. Cechy te pomagają zidentyfikować rośliny inwazyjne nawet w złożonym tle środowiskowym i ostatecznie odwzorować ich rozmieszczenie na badanym obszarze.

Aby oszacować biomasę roślin inwazyjnych na badanym obszarze, konieczne jest stworzenie kwadratowych ramekpróbek 25 z 25-50 losowymi punktami poboru próbek. Gdy bezzałogowy system powietrzny zakończy proces wykonywania zdjęć, konieczne jest zebranie roślin inwazyjnych z ramek próbnych. Należy zauważyć, że jak stwierdzono w początkowym rozdziale, zbieranie biomasy z ramek powinno odbywać się bez ich przesuwania i z precyzją poprzez przypisywanie unikalnych numerów. Dodatkowo biomasę należy delikatnie wysuszyć i zważyć w laboratorium, aby uzyskać dokładny pomiar. Model regresji KNNR18 został wykorzystany do uzyskania przestrzennego rozmieszczenia roślin inwazyjnych, wykorzystując sześć wskaźników wegetacji wyodrębnionych z obrazów uzyskanych przez system kamer UAV jako dane wejściowe do modelu estymacji oraz biomasę jako dane wyjściowe modelu.

Opisane w niniejszej pracy metody szacowania inwazyjnych populacji roślin nie są wyczerpujące. W celu uzyskania porównywalnych danych można wykorzystać dodatkowe narzędzia, a także zastosować liczne praktyczne lub innowacyjne modyfikacje. Możliwe jest wykorzystanie szeregu dronów, z których model wyznaczony w protokole służy tylko jako jedna opcja i może być zastąpiony dowolnym dronem posiadającym integrację z automatyczną nawigacją, możliwość dostosowania do gimbala, zdolność do lotu do 50 metrów, udźwig przekraczający wybraną kamerę oraz zasięg obejmujący cały badany obszar. Wybierając kamerę do UAV, należy wziąć pod uwagę takie czynniki, jak maksymalna rozdzielczość, efektywna liczba pikseli obrazu, maksymalna liczba pikseli i inne parametry obrazowania, a także ograniczenia dotyczące rozmiaru i wagi obciążenia UAV. Dodatkowo do pomyślnego zakończenia procesu filmowania niezbędny jest odpowiedni zasięg. Co więcej, model identyfikacji nie jest jedyną metodą i może być dostosowany do wielu inwazyjnych gatunków roślin, takich jak rośliny drzewiaste lub różne rodzaje roślin, w celu ulepszenia sugerowanej metody. Strategia ta może być również rozwinięta w algorytm regresji, który wykorzystuje mniej próbek, uzyskuje dodatkowe wskaźniki wegetacji i osiąga zwiększony stopień precyzji. Alternatywnie, w celu identyfikacji roślin inwazyjnych można wdrożyć zredukowaną sieć identyfikacji, co pozwoliłoby na praktyczne zastosowanie inteligentnych metod identyfikacji.

Podstawowym ograniczeniem prezentowanej metody jest zależność modelu od warunków oświetleniowych i tła. Poprawa w kierunku większej dokładności może nastąpić tylko dzięki dalszemu włączeniu danych multispektralnych26, LiDAR12 i meteorologicznych27. Pozyskiwanie tego rodzaju danych może być trudne i może wymagać drogiego sprzętu, ale możemy zwiększyć dokładność naszych danych, unikając bezpośredniego światła słonecznego i izolując tła roślin podczas pobierania próbek z obszaru za pomocą naszego systemu filmowania UAV.

Zaletą zastosowania tej metodologii, w przeciwieństwie do innych, jest jej zdolność do zapewnienia przestrzennego rozmieszczenia inwazyjnych gatunków roślin na wyznaczonym obszarze badań. Rozkład jest określany za pomocą analizy regresji, wykorzystującej sześć wskaźników wegetacji wyodrębnionych ze zdjęć zarejestrowanych za pomocą systemu kamer UAV jako danych wejściowych, z biomasą jako danymi wyjściowymi modelu. Podejście to wykorzystuje przenośną metodę szacowania biomasy w wielu obszarach badawczych jednocześnie, która zasadniczo różni się od wcześniejszych ręcznych metod zbierania biomasy. Metoda konwencjonalna polega na ręcznym przeprowadzaniu badań i zbieraniu znacznych ilości, co jest nieefektywne i subiektywne28, a tym samym nie zapewnia praktycznego oszacowania biomasy w złożonych warunkach.

Oszacowanie inwazyjnej biomasy roślinnej przy użyciu w/w metodyki pozwala na ilościowe określenie rozmieszczenia regionalnego. Ponadto oferuje pomoc techniczną w zakresie inteligentnego monitorowania i oceny zagrożeń na szczeblu regionalnym.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają nic do ujawnienia.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autor dziękuje Chińskiej Akademii Nauk Rolniczych i Uniwersytetowi Guangxi za wsparcie tej pracy. Prace były wspierane przez Narodowy Kluczowy Program Badawczo-Rozwojowy Chin (2022YFC2601500 i 2022YFC2601504), Chińską Narodową Fundację Nauk Przyrodniczych (32272633), Shenzhen Science and Technology Program (KCXFZ20230731093259009)

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Lustrzanka cyfrowaNikonD850Typ czujnika: CMOS; Maksymalna liczba pikseli: 46,89 mln; Efektywna liczba pikseli: 45,75 miliona; Maksymalna rozdzielczość 8256 x 5504.
GPU - Procesor graficznyNVIDIA 
HexacopterDJI M600PROLot poziomy: 65 km/h (bez wiatru); Maksymalne obciążenie w locie: 6000 g
PyCharmPython IDE2023.1
PythonPython3.8.0
PytorchPytorch1.8.1
RTX3090

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Lian, J. Y., et al. Influence of obligate parasite Cuscuta campestris on the community of its host Mikania micrantha. Weed Research. 46, 441-443 (2006).
  2. Yu, X., Bao, Q. Aboveground biomass estimation of potato from UAV multispectral imagery. Remote Sensing. 54 (4), 96-99 (2023).
  3. Guo, T. C., Wang, Y. H., Feng, W. Research on wheat yield estimation based on multimodal data fusion from unmanned aircraft platforms. Acta Agronomica Sinica. 48 (7), 15(2022).
  4. Shao, G. M., et al. Estimation of transpiration coefficient and aboveground biomass in maize using time-series UAV multispectral imagery. The Crop Journal. 10 (5), 1376-1385 (2022).
  5. Jiang, Q., et al. UAV-based biomass estimation for rice-combining spectral, TIN-based structural and meteorological features. Remote Sensing. 11 (7), 890(2019).
  6. Fei, S. P., et al. UAV-based multi-sensor data fusion and machine learning algorithm for yield prediction in wheat. Precision Agriculture. 24, 187-212 (2023).
  7. Shu, S., et al. Aboveground biomass estimation of rice based on unmanned aerial vehicle imagery. Fujian Journal of Agricultural Sciences. 37 (7), 9(2022).
  8. Wu, X., et al. UAV LiDAR-based biomass estimation of individual trees. Fujian Journal of Agricultural Sciences. 22 (34), 15028-15035 (2022).
  9. Yang, X., Zan, M., Munire, M. Estimation of above ground biomass of Populus euphratica forest using UAV and satellite remote sensing. Transactions of the Chinese Society of Agricultural Engineering. 37 (1), 7(2021).
  10. Li, B., Liu, K. Forest biomass estimation based on UAV optical remote sensing. Forest Engineering. 5, 38(2022).
  11. Li, Z., Zan, Q., Yang, Q., Zhu, D., Chen, Y., Yu, S. Remote estimation of mangrove aboveground carbon stock at the species level using a low-cost unmanned aerial vehicle system. Remote Sensing. 11 (9), 1018(2019).
  12. Luo, S., et al. Fusion of airborne LiDAR data and hyperspectral imagery for aboveground and belowground forest biomass estimation. Ecological Indicators. 73, 378-387 (2017).
  13. Li, S., et al. Research of grassland aboveground biomass inversion based on UAV and satellite remoting sensing. Remote Sensing Technology and Application. 1, 037(2022).
  14. Wengert, M., et al. Multisite and multitemporal grassland yield estimation using UAV-borne hyperspectral data. Remote Sensing. 14 (9), 2068(2022).
  15. Li, Y., et al. The effect of season on Spartina alterniflora identification and monitoring. Frontiers in Environmental Science. 10, 1044839(2022).
  16. Wang, F., et al. Estimation of above-ground biomass of winter wheat based on consumer-grade multi-spectral UAV. Remote Sensing. 14 (5), 1251(2022).
  17. Lu, N., et al. Improved estimation of aboveground biomass in wheat from RGB imagery and point cloud data acquired with a low-cost unmanned aerial vehicle system. Plant Methods. 15 (1), 17(2019).
  18. Chen, H., et al. Mapping forest aboveground biomass with MODIS and Fengyun-3C VIRR imageries in Yunnan Province, Southwest China using linear regression, K-nearest neighbor and random. Remote Sensing. 14 (21), 5456(2022).
  19. Yan, M., et al. Biomass estimation of subtropical arboreal forest at single tree scale based on feature fusion of airborne LiDAR data and aerial images. Sustainability. 15 (2), 1676(2023).
  20. Tian, Y. C., et al. Aboveground mangrove biomass estimation in Beibu Gulf using machine learning and UAV remote sensing. Science of the Total Environment. 781, 146816(2021).
  21. Shrivastava, A., et al. Beyond skip connections: Top-down modulation for object detection. arXiv. , (2016).
  22. Belkasim, S. O., Shridhar, M., Ahmadi, M. Pattern classification using an efficient KNNR. Pattern Recognition. 25 (10), 1269-1274 (1992).
  23. Joel, S., Jose Luis, A., Shawn, C. K. Farming and earth observation: Sentinel-2 data to estimate within-field wheat grain yield. International Journal of Applied Earth Observation and Geoinformation. 107, 102697(2022).
  24. Tian, L., et al. Review of remote sensing-based methods for forest aboveground biomass estimation: Progress, challenges, and prospects. Forests. 14 (6), 1086(2023).
  25. Wei, X. Biomass estimation: A remote sensing approach. Geography Compass. 4 (11), 1635-1647 (2010).
  26. Débora, B., et al. New methodology for intertidal seaweed biomass estimation using multispectral data obtained with unoccupied aerial vehicles. Remote Sensing. 15 (13), 3359(2023).
  27. Zhang, J. Y., et al. Unmanned aerial system-based wheat biomass estimation using multispectral, structural and meteorological data. Agriculture. 13 (8), 1621(2023).
  28. Shen, H., et al. Influence of the obligate parasite Cuscuta campestris on growth and biomass allocation of its host Mikania micrantha. Journal of Experimental Botany. 56 (415), 1277-1284 (2005).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Invasive Plant BiomassUAV Remote SensingComputer VisionBiomass EstimationDeep LearningVegetation IndexImage SegmentationK Nearest NeighborSpatial Distribution MapMikania Micrantha

Related Articles