Raportujemy szczegółowe procedury dla metody szacowania biomasy roślin inwazyjnych, która wykorzystuje dane uzyskane z teledetekcji bezzałogowych statków powietrznych (UAV) do oceny biomasy i uchwycenia przestrzennego rozmieszczenia gatunków inwazyjnych. Takie podejście okazuje się bardzo korzystne w przeprowadzaniu oceny zagrożeń i wczesnym ostrzeganiu przed roślinami inwazyjnymi.
Artykuł metodologiczny
Szacowanie biomasy w oparciu o wizję komputerową dla roślin inwazyjnych
W tym artykule
Podsumowanie
Streszczenie
Informujemy o szczegółowych krokach metody szacowania biomasy roślin inwazyjnych na podstawie teledetekcji UAV i wizji komputerowej. W celu pobrania próbek z badanego obszaru przygotowaliśmy zestaw kwadratów próbnych w celu losowego rozmieszczenia punktów poboru próbek. Bezzałogowy system kamer lotniczych został zbudowany przy użyciu drona i kamery do pozyskiwania ciągłych obrazów RGB badanego obszaru za pomocą zautomatyzowanej nawigacji. Po zakończeniu strzelania zebrano biomasę nadziemną w ramce próbki, a cała korespondencja została oznaczona i zapakowana. Przykładowe dane zostały przetworzone, a zdjęcia lotnicze zostały podzielone na małe obrazy o wymiarach 280 x 280 pikseli w celu utworzenia zestawu danych obrazu. Do zmapowania rozmieszczenia Mikania micrantha na badanym obszarze wykorzystano głęboką konwolucyjną sieć neuronową i uzyskano jej wskaźnik wegetacji. Zebrane organizmy wysuszono, a suchą masę zapisano jako biomasę mieloną. Model regresji inwazyjnej biomasy roślinnej został skonstruowany przy użyciu regresji K-najbliższego sąsiada (KNNR) poprzez wyodrębnienie wskaźnika wegetacji z obrazów próbki jako zmiennej niezależnej i zintegrowanie go z biomasą prawdy gruntowej jako zmienną zależną. Wyniki pokazały, że możliwe jest dokładne przewidzenie biomasy roślin inwazyjnych. Za pomocą przechodzenia przez obraz wygenerowano dokładną mapę rozmieszczenia przestrzennego biomasy roślin inwazyjnych, co pozwoliło na precyzyjną identyfikację obszarów wysokiego ryzyka dotkniętych przez rośliny inwazyjne. Podsumowując, badanie to pokazuje potencjał połączenia teledetekcji bezzałogowych statków powietrznych z technikami uczenia maszynowego w celu oszacowania inwazyjnej biomasy roślinnej. Znacząco przyczynia się do badań nad nowymi technologiami i metodami monitorowania roślin inwazyjnych w czasie rzeczywistym oraz zapewnia wsparcie techniczne dla inteligentnego monitoringu i oceny zagrożeń w skali regionalnej.
Wprowadzenie
W tym protokole, proponowana metoda szacowania inwazyjnej biomasy oparta na teledetekcji UAV i wizji komputerowej może odzwierciedlać rozmieszczenie inwazyjnych organizmów i przewidywać stopień inwazyjnego zagrożenia biologicznego. Szacunki dotyczące rozmieszczenia i biomasy organizmów inwazyjnych mają kluczowe znaczenie dla zapobiegania i zwalczania tych organizmów. Gdy rośliny inwazyjne zaatakują, mogą uszkodzić ekosystem i spowodować ogromne straty ekonomiczne. Szybka i dokładna identyfikacja roślin inwazyjnych oraz oszacowanie kluczowej biomasy roślin inwazyjnych to główne wyzwania w monitorowaniu i kontroli roślin inwazyjnych. W tym protokole bierzemy Mikania micrantha jako przykład, aby zbadać metodę szacowania inwazyjnej biomasy roślinnej opartą na bezzałogowej teledetekcji powietrznej i widzeniu komputerowym, która zapewnia nowe podejście i metodę badań ekologicznych roślin inwazyjnych oraz promuje ekologiczne badania i zarządzanie roślinami inwazyjnymi.
Obecnie pomiar biomasy Mikania micrantha odbywa się głównie za pomocą ręcznego pobierania próbek1. Tradycyjne metody pomiaru biomasy wymagają dużej siły roboczej i zasobów materialnych, które są nieefektywne i ograniczone przez ukształtowanie terenu; trudno jest sprostać potrzebom regionalnego szacowania biomasy Mikania micrantha. Główną zaletą stosowania tego protokołu jest to, że zapewnia on metodę ilościowego określania regionalnej biomasy roślin inwazyjnych i przestrzennego rozmieszczenia roślin inwazyjnych w sposób, który nie uwzględnia ograniczeń pobierania próbek na danym obszarze i eliminuje potrzebę ręcznych badań.
Technologia teledetekcji UAV osiągnęła pewne wyniki w szacowaniu biomasy roślin i jest szeroko stosowana w rolnictwie2,3,4,5,6,7, leśnictwo8,9,10,11, oraz grassland12,13,14. Technologia teledetekcji UAV ma zalety niskiego kosztu, wysokiej wydajności, wysokiej precyzji i elastycznego działania15,16, który może skutecznie uzyskiwać dane obrazowe teledetekcyjne w badanym obszarze; Następnie wyodrębniana jest cecha tekstury i wskaźnik roślinności z obrazu teledetekcyjnego, aby zapewnić wsparcie danych do oszacowania biomasy roślinnej na dużym obszarze. Obecne metody szacowania biomasy roślin dzielą się głównie na modele parametryczne i nieparametryczne17. Wraz z rozwojem algorytmów uczenia maszynowego, nieparametryczne modele uczenia maszynowego o większej dokładności stały się szeroko stosowane w teledetekcyjnym szacowaniu biomasy roślinnej. Chen i in.18 wykorzystali mieszaną regresję logistyczną (MLR), KNNR i losową regresję lasów (RFR) do oszacowania nadziemnej biomasy lasów w prowincji Yunnan. Naukowcy doszli do wniosku, że modele uczenia maszynowego, w szczególności KNNR i RFR, przyniosły lepsze wyniki w porównaniu z MLR. Yan et al.19 wykorzystali modele regresji RFR i ekstremalnego zwiększania gradientu (XGBR), aby ocenić dokładność szacowania biomasy lasów subtropikalnych przy użyciu różnych zestawów zmiennych. Tian et al.20 wykorzystali jedenaście modeli uczenia maszynowego do oszacowania nadziemnej biomasy różnych gatunków lasów namorzynowych w Zatoce Beibuwan. Naukowcy odkryli, że metoda XGBR była bardziej skuteczna w określaniu nadziemnej biomasy lasów namorzynowych. Szacowanie biomasy roślin za pomocą teledetekcji człowiek-maszyna jest dobrze ugruntowaną praktyką, jednak wykorzystanie UAV do szacowania biomasy inwazyjnej rośliny Mikania micrantha nie zostało jeszcze zgłoszone zarówno w kraju, jak i za granicą. Podejście to zasadniczo różni się od wszystkich dotychczasowych metod szacowania biomasy roślin inwazyjnych, zwłaszcza Mikania micrantha.
Podsumowując, teledetekcja UAV ma zalety wysokiej rozdzielczości, wysokiej wydajności i niskich kosztów. W ekstrakcji zmiennych cech obrazów teledetekcyjnych cechy tekstury w połączeniu z indeksami roślinności mogą uzyskać lepszą wydajność przewidywania regresji. Modele nieparametryczne mogą uzyskać dokładniejsze modele regresji niż modele parametryczne w szacowaniu biomasy roślinnej. Dlatego, aby dokładnie obliczyć rozkład zerowy roślin inwazyjnych i ich biomasy, sugerujemy następujące opisane procedury dla eksperymentu z inwazyjną biomasą roślin, który opiera się na teledetekcji przy użyciu UAV i wizji komputerowej.
Protokół
1. Przygotowanie zbiorów danych
- Wybór obiektu badawczego
- Należy wybrać próbki testowe w zależności od celu badania eksperymentalnego, rozważając opcje takie jak Mikania micrantha lub inne inwazyjne rośliny.
- Gromadzenie obrazów z UAV
- Przygotować kwadratowe ramki plastikowe o wymiarach 0,5 m × 0,5 m w liczbie od 25 do 50 sztuk, w zależności od wielkości badanego obszaru.
- Zastosuj metodę losowania próbek w celu wyznaczenia lokalizacji poboru próbek gleby na obszarze badań, wykorzystując odpowiednią liczbę próbek biomasy. Umieść ramkę próbkowania poziomo nad roślinnością, tak aby w pełni objęła rośliny, zachowując minimalną odległość 2 m pomiędzy poszczególnymi roślinami.
- Wykorzystaj drona i kamerę do utworzenia systemu filmowania metodą teledetekcji za pomocą UAV, jak pokazano na Rycina 1.
- Należy wykorzystać UAV do wyznaczenia trasy w określonym obszarze badań. Konfiguracja planowania trasy przedstawiona jest w Rysunek 2.
- Ustaw stopień pokrycia bocznego i czołowego na poziomie 70%, wykonuj zdjęcia w jednolitych odstępach czasu wynoszących 2 s, utrzymując kąt nachylenia kamery prostopadle do podłoża przy 90°i ustawiono wysokość kamery na 30 m. Pozwoliło to na uzyskanie ciągłych danych obrazowych obszaru badań z rozdzielczością pojedynczego obrazu wynoszącą 8256 x 5504 pikseli, co przedstawiono w Rysunek 3.
- Przechowuj zdjęcia lotnicze do późniejszego przetwarzania za pomocą oprogramowania Python w celu oszacowania biomasy.
- Zbiór nadziemnej biomasy
- Zebrać biomasę nadziemną z Mikania micrantha ręcznie w obrębie każdej powierzchni próbnej po zakończeniu gromadzenia danych za pomocą drona. Należy umieścić je w workach i odpowiednio opisać każdy worek.
- Podczas pobierania Mikania micrantha, zapobiegając przemieszczaniu się działek próbnych. Najpierw odciąć Mikania micrantha wzdłuż wewnętrznej krawędzi pola badawczego.
- Następnie odciąć kłącze Mikania micrantha od dołu. Usuń wszelkie zanieczyszczenia, kamienie lub inne rośliny, które zmieszały się z próbką. Na koniec umieść próbki w woreczkach i opisz je.
- Przenieś zebrane w kroku 1.3.1 próbki roślin inwazyjnych do laboratorium. Wszystkie zebrane próbki wysusz na powietrzu, aby odparować większość wilgoci.
- Aby dodatkowo usunąć wilgoć z próbek suszonych na powietrzu, należy użyć suszarki laboratoryjnej. Ustaw temperaturę na 55 °CSuszyć próbki przez 72 h, następnie zważyć każdą z nich na wadze elektronicznej i zapisać dane dotyczące biomasy w gramach (g).
- Ustawić wagę elektroniczną w miejscu wolnym od zakłóceń, zważyć, skalibrować i kontynuować ważenie. Umieścić worki z Mikania micrantha odczekaj na stabilizację wskazań wagi elektronicznej, a następnie zapisz otrzymane wyniki.
- Odważić Mikania micrantha co godzinę, aż masa przestanie się zmieniać, i zapisz odczyt pomniejszony o wagę torebki jako zmierzoną masę tej próbki. Oblicz biomasę nadziemną rośliny inwazyjnej, korzystając z poniższego wzoru:
gdzie B reprezentuje biomasę Mikania micrantha w gramach na metr kwadratowy (g/m²2), M to masa zmierzonej Mikania micrantha, mierzona w gramach (g), S odpowiada powierzchni powierzchni próbnej w metrach kwadratowych (m2).
- Zebrać biomasę nadziemną z Mikania micrantha ręcznie w obrębie każdej powierzchni próbnej po zakończeniu gromadzenia danych za pomocą drona. Należy umieścić je w workach i odpowiednio opisać każdy worek.
- Tworzenie zbioru danych
- Wyodrębnij obraz RGB odpowiadający obrazowi próbki z oryginalnego obrazu z UAV. Podziel go na siatkę o wymiarach 280 × 280 pikseli, korzystając z programowania w języku Python (Rycina uzupełniająca 1).
- Podziel surowe dane obrazowe na mniejsze obrazy o rozmiarze zgodnym z obrazami próbek, korzystając z języka programowania Python. Do segmentacji zastosuj metodę przesuwnego okna, ustawiając krok w poziomie i pionie na 280 pikseli.
- Z małych obrazów wysegmentowanych w kroku 1.4.2 należy losowo wybrać 880 obrazów roślin inwazyjnych oraz 1500 obrazów tła w celu utworzenia zbioru danych. Następnie należy podzielić ten zbiór na zbiory treningowy, walidacyjny i testowy w stosunku 6:2:2 (Rycina dodatkowa 2).
2. Identyfikacja Mikania micrantha
- Przygotowanie oprogramowania
- Przejdź do oficjalnej strony internetowej Anaconda (https://www.anaconda.com/), a następnie pobierz i zainstaluj program Anaconda. Następnie odwiedź stronę PyCharm (https://www.jetbrains.com/pycharm/) i pobierz środowisko IDE PyCharm.
- Tworzenie środowiska Conda.
- Po zainstalowaniu programu Anaconda otwórz wiersz poleceń Anaconda Prompt, a następnie wpisz conda create -n pytorch python==3.8 , aby utworzyć nowe środowisko Conda. Po utworzeniu środowiska wpisz conda info --envs , aby potwierdzić istnienie środowiska pytorch .
- Otwórz Anaconda Prompt i aktywuj środowisko pytorch , wpisując conda activate pytorch. Sprawdź aktualną wersję CUDA (Compute Unified Device Architecture), wpisując nvidia-smi. Następnie zainstaluj PyTorch w wersji 1.8.1, uruchamiając polecenie conda install pytorch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1 cudatoolkit=11.0 -c pytorch.
- Uruchomienia dla rozpoznawania modelu
UWAGA: Do zbudowania modelu rozpoznawania Mikania micrantha wykorzystanego w niniejszej pracy użyto PyTorch. Zastosowano model sieciowy ResNet10121, którego architektura jest zgodna z oryginalną publikacją. W sekcji wyjściowej sieci wprowadzono modyfikacje, aby spełnić wymagania dotyczące rozpoznawania rumianku.- Przeprowadź wstępne przetwarzanie obrazów, aby przygotować je do wprowadzenia do modelu. Zmień rozmiar obrazów z 280 x 280 pikseli na 224 x 224 piksele i znormalizuj je, aby zapewnić zgodność z wymaganiami rozmiaru modelu, korzystając z następującego kodu:
transform = transforms.Compose([
transforms.Resize((224, 224)),
transforms.ToTensor(),
transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])]) - Wykonaj ekstrakcję cech obrazu i redukcję wymiarowości przy użyciu splotowej sieci neuronowej.
- Najpierw zainicjuj warstwę splotową dla wstępnej ekstrakcji cech za pomocą self.conv1. Dzięki tej warstwie splotowej oryginalny obraz jest przekształcany w mapę cech z self.in_channel kanałami w celu ekstrakcji cech początkowych (Supplementary Figure 3A).
UWAGA: Zaawansowane cechy są ekstrahowane w operacji splotu na przejściach rezydualnych. Warstwy te są tworzone poprzez wywołanie funkcji _make_layer, która składa się z sekwencji bloków rezydualnych. Każdy blok rezydualny składa się z splotu, normalizacji wsadowej oraz funkcji aktywacji, co pozwala na stopniową ekstrakcję złożonych cech (Supplementary Figure 3B). - Użyj funkcji warstwy do zmiany liczby kanałów w celu redukcji wymiarowości poprzez splot 1x1. Operacja ta zmniejsza obciążenie obliczeniowe przy jednoczesnym zachowaniu istotnych cech (Supplementary Figure 3C).
UWAGA: Ogólnie rzecz biorąc, ResNet101 wykonuje ekstrakcję cech przy użyciu różnych warstw splotowych, a redukcja wymiarowości jest osiągana poprzez warstwy splotowe 1x1 wewnątrz bloku rezydualnego. Podejście to pozwala sieci głębiej uczyć się cech i unika problemu zanikającego gradientu, co umożliwia bardziej efektywną naukę i reprezentację cech obrazu w złożonych zadaniach. - Po operacjach splotu i próbkowania wprowadź wysokiej jakości cechy do warstwy w pełni połączonej.
UWAGA: W architekturze ResNet ekstrakcja cech odbywa się w warstwie splotowej. Cechy te są następnie przesyłane do warstwy w pełni połączonej (FC) w celu klasyfikacji (Supplementary Figure 4). Operacja self.avgpool(x) wykonuje adaptacyjne uśrednianie próbkowania, aby zmienić kształt tensora na stały rozmiar. Operacja torch.flatten(x, 1) rozprostowuje tensor do wektora jednowymiarowego, a self.fc(x) stosuje warstwę w pełni połączoną do spłaszczonego wektora, co stanowi końcowy krok klasyfikacji. Proces ten skutecznie przekazuje wyekstrahowane cechy przez warstwę splotową, przekształcając je w format odpowiedni dla klasyfikacji za pomocą warstwy w pełni połączonej. - Użyj funkcji Softmax , aby uzyskać końcowy wynik na podstawie trzech wymagań klasyfikacyjnych.
- Najpierw zainicjuj warstwę splotową dla wstępnej ekstrakcji cech za pomocą self.conv1. Dzięki tej warstwie splotowej oryginalny obraz jest przekształcany w mapę cech z self.in_channel kanałami w celu ekstrakcji cech początkowych (Supplementary Figure 3A).
- Wytrenuj wieloklasowy model rozpoznawania, korzystając z zestawu danych z kroku 1.4. Ustaw liczbę iteracji na 200 oraz początkową szybkość uczenia na 0,0001. Zmniejszaj szybkość uczenia o jedną trzecią co 10 iteracji przy rozmiarze partii (batch size) równym 64. Automatycznie zapisuj optymalne parametry modelu po każdej iteracji (Supplementary Figure 5).
- Wykorzystaj starannie wytrenowany model rozpoznawania i systematycznie przeanalizuj oryginalny obraz z kroku 1.2.2 w celu identyfikacji.
- Skonfiguruj kroki poziome i pionowe dokładnie na 280 pikseli, co pozwoli na wygenerowanie kompleksowej mapy rozkładu wskazującej obecność flory inwazyjnej w granicach obszaru badań. Przedstaw wybrane wyniki wizualnie, jak pokazano na Figure 4.
UWAGA: Obraz początkowy jest wstępnie przetwarzany poprzez podział na mniejsze fragmenty, klasyfikację każdego fragmentu za pomocą wytrenowanego modelu głębokiego uczenia i połączenie wyników w obraz wyjściowy. Jeśli fragment zostanie zaklasyfikowany jako roślina inwazyjna, odpowiadające mu miejsce na obrazie wyjściowym przyjmuje wartość 255. Powstały obraz wyjściowy jest zapisywany jako plik obrazu w skali szarości. Szczegółowy kod implementacyjny przedstawiono na Supplementary Figure 6.
- Skonfiguruj kroki poziome i pionowe dokładnie na 280 pikseli, co pozwoli na wygenerowanie kompleksowej mapy rozkładu wskazującej obecność flory inwazyjnej w granicach obszaru badań. Przedstaw wybrane wyniki wizualnie, jak pokazano na Figure 4.
- Przeprowadź wstępne przetwarzanie obrazów, aby przygotować je do wprowadzenia do modelu. Zmień rozmiar obrazów z 280 x 280 pikseli na 224 x 224 piksele i znormalizuj je, aby zapewnić zgodność z wymaganiami rozmiaru modelu, korzystając z następującego kodu:
3. Szacowanie biomasy roślin inwazyjnych
- Przeprowadź prostą augmentację danych za pomocą funkcji RandomResizedCrop i RandomHorizontalFlip (Rysunek uzupełniający 7), aby rozszerzyć zestaw obrazów utworzony w kroku 1.2, a następnie wyekstrahuj sześć wskaźników roślinności powszechnie stosowanych do szacowania biomasy: RBRI, GBRI, GRRI, RGRI, NGBDI i NGRDI. Wzory obliczeniowe dla tych wskaźników znajdują się w Tabeli 1.
- Stwórz model regresji K-najbliższych sąsiadów (KNNR)22, wykorzystując wyniki modelu, aby zapewnić precyzyjne szacowanie biomasy roślin inwazyjnych. Jako dane wejściowe dla modelu szacującego wykorzystaj wyekstrahowane wskaźniki roślinności.
- Użyj współczynnika determinacji R2 oraz pierwiastka błędu średniokwadratowego (RMSE)23 do oceny dokładności modelu, obliczanych w następujący sposób:
UWAGA: Algorytm regresji K-najbliższych sąsiadów (KNNR) to nieparametryczna technika uczenia maszynowego stosowana do rozwiązywania problemów regresyjnych. Jej podstawowa koncepcja polega na przewidywaniu wyników poprzez wyznaczanie K najbliższych sąsiadów w przestrzeni cech na podstawie odległości próbek wejściowych. Kluczowe zalety stosowania KNNR to prostota i łatwość zrozumienia, a także brak konieczności przeprowadzenia fazy treningowej. Ponadto KNNR nie przyjmuje nadmiernych założeń dotyczących rozkładu danych. KNNR można zastosować w problemach regresyjnych do przewidywania ciągłych zmiennych celu i precyzyjnej oceny biomasy roślin inwazyjnych. - Zastosuj wybrany w kroku 3.2 model szacowania biomasy nadziemnej i przeskanuj mapę rozmieszczenia roślin inwazyjnych z kroku 2.3.4 z poziomym i pionowym krokiem przesunięcia wynoszącym 280 pikseli.
Wyniki
Przedstawiamy reprezentatywne wyniki zastosowania metody opartej na komputerowym rozpoznawaniu obrazu do szacowania ilości roślin inwazyjnych, zaimplementowanej programowo na komputerze. W tym eksperymencie oceniliśmy rozkład przestrzenny i oszacowaliśmy biomasę roślin inwazyjnych w ich naturalnych siedliskach, przyjmując Mikania micrantha jako obiekt badań. Do pozyskania obrazów terenu badawczego wykorzystaliśmy system kamer drona, którego część przedstawiono na Rysunku 3. Do identyfikacji roślin obecnych na obszarze badań zastosowaliśmy splotową sieć neuronową ResNet101. Następnie zmapowaliśmy rozkład przestrzenny roślin inwazyjnych, a część naszych ustaleń zilustrowano na Rysunku 4. Na Rysunku 3 widać Mikania micrantha pnącą się po roślinie ozdobionej białymi kwiatami. Pozostałe rośliny, jak również droga i elementy towarzyszące, są jednolicie przedstawione w tle. Na Rysunku 4 model rozpoznaje część zaznaczoną na czerwono jako Mikania micrantha. Porównując oba zestawy obrazów, staje się jasne, że ResNet101 wykazuje wysoką skuteczność wykrywania Mikania micrantha na złożonym tle. Ponadto model ten z wysoką precyzją odwzorowuje rozkład Mikania micrantha na obszarze badań.
Biomasę inwazyjnych roślin na obszarze badań oszacowano poprzez przycięcie wszystkich obrazów działek próbnych Mikania micrantha z ortofotoplanów do rozmiaru 280 × 280 pikseli oraz wyekstrahowanie wskaźników roślinności RBRI, GBRI, GRRI, RGRI, NGBDI i NGBDI. Analizę regresji przeprowadzono z wykorzystaniem modelu regresji KNNR, przyjmując sześć wskaźników jako dane wejściowe modelu szacującego, a biomasę jako wynik modelu. Rysunek 5 przedstawia wyniki: współrzędne poziome wykresu reprezentują wartości biomasy zmierzone w terenie, współrzędne pionowe reprezentują wartości biomasy przewidziane przez model, a szare obszary przedstawiają przedziały ufności. Wyniki wykazują wysoką zdolność predykcyjną, przy wartości R² wynoszącej 0,62 i RMSE wynoszącym 10,56 g/m2. Model zwiększa dokładność szacowania biomasy Mikania micrantha, a mapa rozmieszczenia przestrzennego na Rysunku 6 skutecznie oddaje dystrybucję biomasy Mikania micrantha.
Rycina 1: Systemy teledetekcji UAV. Przykłady danych obrazowych RGB zarejestrowanych przez UAV. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Rycina 2: Planowanie trasy. Badanie nad regionalnym planowaniem tras Kliknij tutaj, aby zobaczyć powiększoną wersję tej ryciny.
Rysunek 3: Wyniki identyfikacji roślin inwazyjnych na obszarze badań. Rysunek przedstawia wyniki identyfikacji Mikania micrantha w strefie badań za pomocą splotowej sieci neuronowej ResNet101. Czerwony obszar na zdjęciu wskazuje teren wykryty przez ResNet101 jako Mikania micrantha, natomiast tło oznacza pozostałą część obszaru badań. Wyniki te odpowiadają obrazom próbek przedstawionym na Rysunku 1. Reprezentują one odpowiednio wyniki rozpoznawania z Rysunku 1. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Rycina 4: Rozkład przestrzenny roślin inwazyjnych. Model rozpoznaje czerwoną część jako Mikania micrantha. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.
Rysunek 5: Wyniki regresji dla przewidywania biomasy. Oś pozioma przedstawia wartości biomasy obserwowane w polu, natomiast oś pionowa obrazuje wartości biomasy oszacowane przez model. Obszary zacieniowane na szaro oznaczają przedziały ufności. Model KNNR osiągnął wartość R2 wynoszącą 0,65 w zbiorze testowym, natomiast najniższy błąd średniokwadratowy wyniósł 30,59 g/m2. Na wykresie rozrzutu regresji modelu wiele oszacowań biomasy Mikania micrantha mieściło się w przedziale ufności, co wskazuje na poprawność przewidywania biomasy. Kliknij tutaj, aby wyświetlić ten rysunek w większym rozmiarze.
Rysunek 6: Rozkład przestrzenny biomasy Mikania micrantha. Rysunek przedstawia szacunkową wartość biomasy Mikania micrantha na obszarze badawczym z wykorzystaniem modelu predykcyjnego KNNR, wraz z wygenerowaną mapą rozkładu biomasy Mikania micrantha. Ciemniejsze obszary reprezentują większe ilości biomasy Mikania micrantha. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Rycina 7: Schematyczny przebieg rozwoju niniejszego protokołu. Na rycinie przedstawiono główne etapy zaprezentowanego protokołu. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
| Nazwa indeksu roślinności | Wzór obliczeniowy |
| Indeks stosunku zieleni do błękitu | GBRI = DNG/DNB |
| Indeks stosunku zieleni do czerwieni | GRRI = DNG/DNR |
| Indeks stosunku czerwieni do błękitu | RBRI = DNR/DNB |
| Indeks stosunku czerwieni do zieleni | RGRI = DNR/DNG |
| Znormalizowany indeks różnicy zieleni i błękitu | NGBDI = (DNG - DNB)/(DNG + DNB) |
| Znormalizowany indeks różnicy zieleni i czerwieni | NGRDI = (DNG - DNR)/(DNG + DNR) |
Tabela 1: Wzory obliczeniowe indeksów roślinności.Indeksy roślinności użyte w niniejszym protokole oraz odpowiadające im wzory obliczeniowe.
Rycina uzupełniająca 1: Wycinanie obrazu do rozmiaru 280 x 280 pikseli za pomocą skryptu Python z wykorzystaniem biblioteki OpenCV. Kliknij tutaj, aby pobrać ten plik.
Rycina uzupełniająca 2: Podział zbioru danych na zbiór treningowy, walidacyjny i testowy. Kliknij tutaj, aby pobrać ten plik.
Rycina uzupełniająca 3: Ekstrakcja cech i redukcja wymiarowości. (A) Wstępna ekstrakcja cech. (B) Operacja splotu. (C) Redukcja wymiarowości. Kliknij tutaj, aby pobrać ten plik.
Rysunek uzupełniający 4: Przekazywanie cech do warstwy FC w architekturze ResNet. Kliknij tutaj, aby pobrać ten plik.
Rycina uzupełniająca 5: Ustawianie parametrów. Proszę kliknąć tutaj, aby pobrać ten plik.
Rysunek uzupełniający 6: Specyficzny kod implementacyjny do generowania szczegółowej mapy rozmieszczenia. Kliknij tutaj, aby pobrać ten plik.
Rysunek uzupełniający 7: Funkcje RandomResizedCrop oraz RandomHorizontalFlip. Aby pobrać ten plik, kliknij tutaj.
Dyskusja
Przedstawiamy szczegółowe etapy eksperymentu polegającego na szacowaniu biomasy roślin inwazyjnych z wykorzystaniem teledetekcji UAV i wizji komputerowej. Główny proces i etapy tej umowy przedstawiono na rysunku 7. Właściwa jakość próbki jest jednym z najważniejszych i najtrudniejszych aspektów programu. Znaczenie to odnosi się zarówno do wszystkich roślin inwazyjnych, jak i do wszelkich innych eksperymentów związanych z szacowaniem biomasy roślinnej24.
Aby określić rozmieszczenie roślin inwazyjnych na badanym obszarze, musimy najpierw pozyskać widzialną i ciągłą fotogrametrię badanego obszaru z wykorzystaniem teledetekcji z UAV. Aby to osiągnąć, niezbędna jest odpowiednia wysokość fotograficzna UAV i rozdzielczość kamery. Dzięki temu ResNet101, konwolucyjna sieć neuronowa, będzie mogła uzyskać z obrazu takie cechy, jak wskaźnik wegetacji i tekstura. Cechy te pomagają zidentyfikować rośliny inwazyjne nawet w złożonym tle środowiskowym i ostatecznie odwzorować ich rozmieszczenie na badanym obszarze.
Aby oszacować biomasę roślin inwazyjnych na badanym obszarze, konieczne jest stworzenie kwadratowych ramekpróbek 25 z 25-50 losowymi punktami poboru próbek. Gdy bezzałogowy system powietrzny zakończy proces wykonywania zdjęć, konieczne jest zebranie roślin inwazyjnych z ramek próbnych. Należy zauważyć, że jak stwierdzono w początkowym rozdziale, zbieranie biomasy z ramek powinno odbywać się bez ich przesuwania i z precyzją poprzez przypisywanie unikalnych numerów. Dodatkowo biomasę należy delikatnie wysuszyć i zważyć w laboratorium, aby uzyskać dokładny pomiar. Model regresji KNNR18 został wykorzystany do uzyskania przestrzennego rozmieszczenia roślin inwazyjnych, wykorzystując sześć wskaźników wegetacji wyodrębnionych z obrazów uzyskanych przez system kamer UAV jako dane wejściowe do modelu estymacji oraz biomasę jako dane wyjściowe modelu.
Opisane w niniejszej pracy metody szacowania inwazyjnych populacji roślin nie są wyczerpujące. W celu uzyskania porównywalnych danych można wykorzystać dodatkowe narzędzia, a także zastosować liczne praktyczne lub innowacyjne modyfikacje. Możliwe jest wykorzystanie szeregu dronów, z których model wyznaczony w protokole służy tylko jako jedna opcja i może być zastąpiony dowolnym dronem posiadającym integrację z automatyczną nawigacją, możliwość dostosowania do gimbala, zdolność do lotu do 50 metrów, udźwig przekraczający wybraną kamerę oraz zasięg obejmujący cały badany obszar. Wybierając kamerę do UAV, należy wziąć pod uwagę takie czynniki, jak maksymalna rozdzielczość, efektywna liczba pikseli obrazu, maksymalna liczba pikseli i inne parametry obrazowania, a także ograniczenia dotyczące rozmiaru i wagi obciążenia UAV. Dodatkowo do pomyślnego zakończenia procesu filmowania niezbędny jest odpowiedni zasięg. Co więcej, model identyfikacji nie jest jedyną metodą i może być dostosowany do wielu inwazyjnych gatunków roślin, takich jak rośliny drzewiaste lub różne rodzaje roślin, w celu ulepszenia sugerowanej metody. Strategia ta może być również rozwinięta w algorytm regresji, który wykorzystuje mniej próbek, uzyskuje dodatkowe wskaźniki wegetacji i osiąga zwiększony stopień precyzji. Alternatywnie, w celu identyfikacji roślin inwazyjnych można wdrożyć zredukowaną sieć identyfikacji, co pozwoliłoby na praktyczne zastosowanie inteligentnych metod identyfikacji.
Podstawowym ograniczeniem prezentowanej metody jest zależność modelu od warunków oświetleniowych i tła. Poprawa w kierunku większej dokładności może nastąpić tylko dzięki dalszemu włączeniu danych multispektralnych26, LiDAR12 i meteorologicznych27. Pozyskiwanie tego rodzaju danych może być trudne i może wymagać drogiego sprzętu, ale możemy zwiększyć dokładność naszych danych, unikając bezpośredniego światła słonecznego i izolując tła roślin podczas pobierania próbek z obszaru za pomocą naszego systemu filmowania UAV.
Zaletą zastosowania tej metodologii, w przeciwieństwie do innych, jest jej zdolność do zapewnienia przestrzennego rozmieszczenia inwazyjnych gatunków roślin na wyznaczonym obszarze badań. Rozkład jest określany za pomocą analizy regresji, wykorzystującej sześć wskaźników wegetacji wyodrębnionych ze zdjęć zarejestrowanych za pomocą systemu kamer UAV jako danych wejściowych, z biomasą jako danymi wyjściowymi modelu. Podejście to wykorzystuje przenośną metodę szacowania biomasy w wielu obszarach badawczych jednocześnie, która zasadniczo różni się od wcześniejszych ręcznych metod zbierania biomasy. Metoda konwencjonalna polega na ręcznym przeprowadzaniu badań i zbieraniu znacznych ilości, co jest nieefektywne i subiektywne28, a tym samym nie zapewnia praktycznego oszacowania biomasy w złożonych warunkach.
Oszacowanie inwazyjnej biomasy roślinnej przy użyciu w/w metodyki pozwala na ilościowe określenie rozmieszczenia regionalnego. Ponadto oferuje pomoc techniczną w zakresie inteligentnego monitorowania i oceny zagrożeń na szczeblu regionalnym.
Oświadczenia
Autorzy nie mają nic do ujawnienia.
Podziękowania
Autor dziękuje Chińskiej Akademii Nauk Rolniczych i Uniwersytetowi Guangxi za wsparcie tej pracy. Prace były wspierane przez Narodowy Kluczowy Program Badawczo-Rozwojowy Chin (2022YFC2601500 i 2022YFC2601504), Chińską Narodową Fundację Nauk Przyrodniczych (32272633), Shenzhen Science and Technology Program (KCXFZ20230731093259009)
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Lustrzanka cyfrowa | Nikon | D850 | Typ czujnika: CMOS; Maksymalna liczba pikseli: 46,89 mln; Efektywna liczba pikseli: 45,75 miliona; Maksymalna rozdzielczość 8256 x 5504. |
| GPU - Procesor graficzny | NVIDIA | ||
| Hexacopter | DJI | M600PRO | Lot poziomy: 65 km/h (bez wiatru); Maksymalne obciążenie w locie: 6000 g |
| PyCharm | Python IDE | 2023.1 | |
| Python | Python | 3.8.0 | |
| Pytorch | Pytorch | 1.8.1 |
Bibliografia
- Lian, J. Y., et al. Influence of obligate parasite Cuscuta campestris on the community of its host Mikania micrantha. Weed Research. 46, 441-443 (2006).
- Yu, X., Bao, Q. Aboveground biomass estimation of potato from UAV multispectral imagery. Remote Sensing. 54 (4), 96-99 (2023).
- Guo, T. C., Wang, Y. H., Feng, W. Research on wheat yield estimation based on multimodal data fusion from unmanned aircraft platforms. Acta Agronomica Sinica. 48 (7), 15(2022).
- Shao, G. M., et al. Estimation of transpiration coefficient and aboveground biomass in maize using time-series UAV multispectral imagery. The Crop Journal. 10 (5), 1376-1385 (2022).
- Jiang, Q., et al. UAV-based biomass estimation for rice-combining spectral, TIN-based structural and meteorological features. Remote Sensing. 11 (7), 890(2019).
- Fei, S. P., et al. UAV-based multi-sensor data fusion and machine learning algorithm for yield prediction in wheat. Precision Agriculture. 24, 187-212 (2023).
- Shu, S., et al. Aboveground biomass estimation of rice based on unmanned aerial vehicle imagery. Fujian Journal of Agricultural Sciences. 37 (7), 9(2022).
- Wu, X., et al. UAV LiDAR-based biomass estimation of individual trees. Fujian Journal of Agricultural Sciences. 22 (34), 15028-15035 (2022).
- Yang, X., Zan, M., Munire, M. Estimation of above ground biomass of Populus euphratica forest using UAV and satellite remote sensing. Transactions of the Chinese Society of Agricultural Engineering. 37 (1), 7(2021).
- Li, B., Liu, K. Forest biomass estimation based on UAV optical remote sensing. Forest Engineering. 5, 38(2022).
- Li, Z., Zan, Q., Yang, Q., Zhu, D., Chen, Y., Yu, S. Remote estimation of mangrove aboveground carbon stock at the species level using a low-cost unmanned aerial vehicle system. Remote Sensing. 11 (9), 1018(2019).
- Luo, S., et al. Fusion of airborne LiDAR data and hyperspectral imagery for aboveground and belowground forest biomass estimation. Ecological Indicators. 73, 378-387 (2017).
- Li, S., et al. Research of grassland aboveground biomass inversion based on UAV and satellite remoting sensing. Remote Sensing Technology and Application. 1, 037(2022).
- Wengert, M., et al. Multisite and multitemporal grassland yield estimation using UAV-borne hyperspectral data. Remote Sensing. 14 (9), 2068(2022).
- Li, Y., et al. The effect of season on Spartina alterniflora identification and monitoring. Frontiers in Environmental Science. 10, 1044839(2022).
- Wang, F., et al. Estimation of above-ground biomass of winter wheat based on consumer-grade multi-spectral UAV. Remote Sensing. 14 (5), 1251(2022).
- Lu, N., et al. Improved estimation of aboveground biomass in wheat from RGB imagery and point cloud data acquired with a low-cost unmanned aerial vehicle system. Plant Methods. 15 (1), 17(2019).
- Chen, H., et al. Mapping forest aboveground biomass with MODIS and Fengyun-3C VIRR imageries in Yunnan Province, Southwest China using linear regression, K-nearest neighbor and random. Remote Sensing. 14 (21), 5456(2022).
- Yan, M., et al. Biomass estimation of subtropical arboreal forest at single tree scale based on feature fusion of airborne LiDAR data and aerial images. Sustainability. 15 (2), 1676(2023).
- Tian, Y. C., et al. Aboveground mangrove biomass estimation in Beibu Gulf using machine learning and UAV remote sensing. Science of the Total Environment. 781, 146816(2021).
- Shrivastava, A., et al. Beyond skip connections: Top-down modulation for object detection. arXiv. , (2016).
- Belkasim, S. O., Shridhar, M., Ahmadi, M. Pattern classification using an efficient KNNR. Pattern Recognition. 25 (10), 1269-1274 (1992).
- Joel, S., Jose Luis, A., Shawn, C. K. Farming and earth observation: Sentinel-2 data to estimate within-field wheat grain yield. International Journal of Applied Earth Observation and Geoinformation. 107, 102697(2022).
- Tian, L., et al. Review of remote sensing-based methods for forest aboveground biomass estimation: Progress, challenges, and prospects. Forests. 14 (6), 1086(2023).
- Wei, X. Biomass estimation: A remote sensing approach. Geography Compass. 4 (11), 1635-1647 (2010).
- Débora, B., et al. New methodology for intertidal seaweed biomass estimation using multispectral data obtained with unoccupied aerial vehicles. Remote Sensing. 15 (13), 3359(2023).
- Zhang, J. Y., et al. Unmanned aerial system-based wheat biomass estimation using multispectral, structural and meteorological data. Agriculture. 13 (8), 1621(2023).
- Shen, H., et al. Influence of the obligate parasite Cuscuta campestris on growth and biomass allocation of its host Mikania micrantha. Journal of Experimental Botany. 56 (415), 1277-1284 (2005).
Przedruki i uprawnienia
