Method Article

Op computervisie gebaseerde biomassaschatting voor invasieve planten

DOI:

10.3791/66067

⸱

February 9th, 2024

 ,  ,  ,  ,  ,  ,  ,  ,  , 
1College of Mechanical Engineering, Guangxi University, 2Shenzhen Branch, Guangdong Laboratory of Lingnan Modern Agriculture, Genome Analysis Laboratory of the Ministry of Agriculture and Rural Affairs, Agricultural Genomics Institute at Shenzhen, Chinese Academy of Agricultural Sciences, 3China Lesso Group Holdings Limited, 4Shenzhen Agricultural Technology Promotion Center

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

We rapporteren gedetailleerde procedures voor een schattingsmethode voor invasieve plantenbiomassa die gebruikmaakt van gegevens die zijn verkregen van teledetectie door onbemande luchtvaartuigen (UAV) om biomassa te beoordelen en de ruimtelijke verspreiding van invasieve soorten vast te leggen. Deze aanpak blijkt zeer nuttig te zijn voor het uitvoeren van gevarenbeoordeling en vroegtijdige waarschuwing van invasieve planten.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

We rapporteren over de gedetailleerde stappen van een methode om de biomassa van invasieve planten te schatten op basis van UAV-teledetectie en computervisie. Om monsters uit het studiegebied te verzamelen, hebben we een vierkante steekproef gemaakt om de bemonsteringspunten willekeurig te maken. Een onbemand luchtcamerasysteem werd gebouwd met behulp van een drone en camera om continue RGB-beelden van het studiegebied te verkrijgen door middel van geautomatiseerde navigatie. Na voltooiing van de opname werd de bovengrondse biomassa in het monsterframe verzameld en werden alle overeenkomsten gelabeld en verpakt. De voorbeeldgegevens werden verwerkt en de luchtfoto's werden gesegmenteerd in kleine afbeeldingen van 280 x 280 pixels om een afbeeldingsdataset te creëren. Een diep convolutioneel neuraal netwerk werd gebruikt om de verspreiding van Mikania micrantha in het studiegebied in kaart te brengen en de vegetatie-index werd verkregen. De verzamelde organismen werden gedroogd en het droge gewicht werd geregistreerd als de grondwaarheidsbiomassa. Het regressiemodel voor invasieve plantenbiomassa is geconstrueerd met behulp van de K-nearest neighbor regressie (KNNR) door de vegetatie-index uit de voorbeeldbeelden te extraheren als een onafhankelijke variabele en deze te integreren met de grondwaarheidsbiomassa als een afhankelijke variabele. De resultaten toonden aan dat het mogelijk was om de biomassa van invasieve planten nauwkeurig te voorspellen. Een nauwkeurige ruimtelijke verspreidingskaart van invasieve plantenbiomassa werd gegenereerd door beeldverplaatsing, waardoor nauwkeurige identificatie mogelijk is van gebieden met een hoog risico die zijn aangetast door invasieve planten. Samenvattend toont deze studie het potentieel aan van het combineren van remote sensing van onbemande luchtvaartuigen met machine learning-technieken om invasieve plantenbiomassa te schatten. Het levert een belangrijke bijdrage aan het onderzoek naar nieuwe technologieën en methoden voor real-time monitoring van invasieve planten en biedt technische ondersteuning voor intelligente monitoring en gevarenbeoordeling op regionale schaal.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In dit protocol kan de voorgestelde methode voor het schatten van invasieve biomassa op basis van UAV-teledetectie en computervisie de verspreiding van invasieve organismen weerspiegelen en de mate van invasief biologisch gevaar voorspellen. Schattingen van de verspreiding en biomassa van invasieve organismen zijn van cruciaal belang voor de preventie en bestrijding van deze organismen. Zodra invasieve planten binnendringen, kunnen ze het ecosysteem beschadigen en enorme economische verliezen veroorzaken. Het snel en nauwkeurig identificeren van invasieve planten en het schatten van de belangrijkste invasieve plantenbiomassa zijn grote uitdagingen bij de monitoring en bestrijding van invasieve planten. In dit protocol nemen we Mikania micrantha als voorbeeld om een methode voor het schatten van de biomassa van invasieve planten te onderzoeken op basis van onbemande teledetectie vanuit de lucht en computervisie, die een nieuwe benadering en methode biedt voor het ecologisch onderzoek van invasieve planten en het ecologisch onderzoek en beheer van invasieve planten bevordert.

Op dit moment wordt de biomassameting van Mikania micrantha voornamelijk gedaan door middel van handmatige bemonstering1. De traditionele methoden voor het meten van biomassa vereisen veel arbeidskrachten en materiële middelen, die inefficiënt zijn en beperkt door het terrein; het is moeilijk om te voldoen aan de behoeften van regionale biomassaschatting van Mikania micrantha. Het grote voordeel van het gebruik van dit protocol is dat het een methode biedt voor het kwantificeren van regionale invasieve plantenbiomassa en ruimtelijke verspreiding van invasieve planten op een manier die geen rekening houdt met de bemonsteringsbeperkingen van het gebied en de noodzaak van handmatige onderzoeken elimineert.

UAV-teledetectietechnologie heeft bepaalde resultaten opgeleverd bij het schatten van de biomassa van planten en wordt veel gebruikt in de landbouw 2,3,4,5,6,7, bosbouw 8,9,10,11 en grasland 12,13,14 . UAV-teledetectietechnologie heeft de voordelen van lage kosten, hoge efficiëntie, hoge precisie en flexibele werking15,16, die op efficiënte wijze teledetectiebeeldgegevens in het studiegebied kan verkrijgen; Vervolgens worden het textuurkenmerk en de vegetatie-index van het teledetectiebeeld geëxtraheerd om gegevensondersteuning te bieden voor de schatting van de plantenbiomassa in een groot gebied. De huidige methoden voor het schatten van de biomassa van planten zijn voornamelijk onderverdeeld in parametrische en niet-parametrische modellen17. Met de ontwikkeling van machine learning-algoritmen zijn niet-parametrische machine learning-modellen met een hogere nauwkeurigheid op grote schaal gebruikt bij het schatten van biomassa van planten met teledetectie. Chen et al.18 gebruikten gemengde logistische regressie (MLR), KNNR en willekeurige bosregressie (RFR) om de bovengrondse biomassa van bossen in de provincie Yunnan te schatten. Ze concludeerden dat de machine learning-modellen, met name KNNR en RFR, resulteerden in superieure resultaten in vergelijking met MLR. Yan et al.19 gebruikten RFR- en extreme gradiëntverhogende (XGBR) regressiemodellen om de nauwkeurigheid van het schatten van subtropische bosbiomassa te beoordelen met behulp van verschillende sets variabelen. Tian et al.20 gebruikten elf machine-learningmodellen om de bovengrondse biomassa van verschillende mangrovebossoorten in Beibuwan Bay te schatten. De onderzoekers ontdekten dat de XGBR-methode effectiever was in het bepalen van de bovengrondse biomassa van mangrovebossen. Het schatten van de biomassa van planten met behulp van mens-machine teledetectie is een gevestigde praktijk, maar het gebruik van UAV voor biomassaschatting van de invasieve plant Mikania micrantha moet zowel in eigen land als internationaal nog worden gerapporteerd. Deze aanpak verschilt fundamenteel van alle eerdere methoden voor het schatten van de biomassa van invasieve planten, met name Mikania micrantha.

Kortom, UAV-teledetectie heeft de voordelen van een hoge resolutie, hoge efficiëntie en lage kosten. Bij de extractie van functievariabelen van teledetectiebeelden kunnen textuurkenmerken in combinatie met vegetatie-indexen betere regressievoorspellingsprestaties verkrijgen. Niet-parametrische modellen kunnen nauwkeurigere regressiemodellen opleveren dan parametrische modellen bij het schatten van de biomassa van planten. Daarom, om de nulverdeling van invasieve planten en hun biomassa nauwkeurig te berekenen, stellen we de volgende geschetste procedures voor voor het experiment met invasieve plantenbiomassa dat gebaseerd is op teledetectie met behulp van UAV's en computervisie.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Voorbereiding van datasets

  1. Het onderzoeksobject selecteren
    1. Selecteer testmonsters op basis van de focus van het experimentele onderzoek, waarbij opties zoals Mikania micrantha of andere invasieve planten worden overwogen.
  2. UAV-beelden verzamelen
    1. Bereid vierkante kunststof frames voor van 0,5 m * 0,5 m en een hoeveelheid 25-50, afhankelijk van de grootte van het bestudeerde gebied.
    2. Gebruik een willekeurige bemonsteringsmethode om de locaties van de grondbemonstering in het studiegebied te bepalen met behulp van een voldoende aantal biomassamonsters. Plaats het monsterframe horizontaal over de vegetatie en omsluit de planten volledig met een minimale scheidingsafstand van 2 m tussen elke plant.
    3. Gebruik een drone en een camera om een UAV-filmsysteem met afstandsdetectie te vormen, zoals weergegeven in afbeelding 1.
    4. Gebruik de UAV om de route binnen het opgegeven studiegebied uit te zetten. De opzet van de routeplanning wordt weergegeven in afbeelding 2.
      1. Stel een overlappingspercentage van 70% in voor de koers en de zijkant, maak foto's met uniforme tijdsintervallen van 2 s, houd de camerahoek loodrecht op de grond op 90° en plaats de camerahoogte op 30 m. Dit resulteerde in continue zichtbare beeldgegevens van het onderzoeksgebied met een enkele beeldresolutie van 8256 x 5504 pixels, zoals weergegeven in figuur 3.
    5. Sla luchtfoto's op voor latere verwerking met Python-software voor het schatten van biomassa.
  3. Verzamelen van de bovengrondse biomassa
    1. Verzamel de bovengrondse biomassa van Mikania micrantha handmatig binnen elk monsterperceel na voltooiing van de drone-gegevensverzameling. Zak ze in een zak en label elke zak dienovereenkomstig.
      1. Voorkom bij het verzamelen van Mikania micrantha dat de monsterpercelen verschuiven. Snijd eerst de Mikania micrantha langs de binnenrand van het monsterperceel.
      2. Snijd vervolgens de wortelstok van de Mikania micrantha van de bodem. Verwijder al het vuil, stenen of andere planten die erin zijn gemengd. Verpak en label ten slotte de monsters.
    2. Breng de verzamelde monsters van invasieve planten uit stap 1.3.1 naar het laboratorium. Laat alle verzamelde monsters aan de lucht drogen om het meeste vocht te verdampen.
    3. Gebruik een oven om vocht uit aan de lucht gedroogde monsters verder te verwijderen. Stel de temperatuur in op 55 °C. Droog de monsters gedurende 72 uur, weeg vervolgens elk monster op een elektronische balans en noteer de biomassagegevens in gram (g).
      1. Plaats de elektronische balans in een ongestoorde omgeving, weeg, kalibreer en ga door met wegen. Plaats zakjes Mikania micrantha op de elektronische balans, wacht tot de meetwaarden zijn gestabiliseerd en noteer de meetwaarden.
      2. Weeg de Mikania micrantha elk uur totdat de massa niet meer verandert en noteer de meting minus het gewicht van de zak als de gemeten massa van dat monster. Bereken de bovengrondse biomassa van de invasieve plant met behulp van de onderstaande formule:
        figure-protocol-1
        waarbij B staat voor de biomassa van Mikania micrantha in gram per vierkante meter (g/m2), M voor het gewicht van de gemeten Mikania micrantha, gemeten in gram (g), S voor de oppervlakte van het monsterperceel in vierkante meter (m2).
  4. Een gegevensset maken
    1. Extraheer de RGB-afbeelding die overeenkomt met de voorbeeldafbeelding van de originele UAV-afbeelding. Verdeel het in een raster van 280 × 280 pixels met behulp van Python-programmering (aanvullende figuur 1).
    2. Segmenteer de onbewerkte afbeeldingsgegevens in kleinere afbeeldingen van dezelfde grootte als de voorbeeldafbeeldingen met behulp van Python-programmering. Gebruik de schuifvenstermethode voor segmentatie en stel de horizontale en verticale stappen in op 280 pixels.
    3. Selecteer uit de kleine afbeeldingen die in stap 1.4.2 zijn gesegmenteerd willekeurig 880 afbeeldingen van invasieve planten en 1500 achtergrondafbeeldingen om een dataset te maken. Splits deze dataset vervolgens op in trainings-, validatie- en testsets in een verhouding van 6:2:2 (aanvullende afbeelding 2).

2. Identificatie van Mikania micrantha

  1. Voorbereiding van de software
    1. Ga naar de officiële website van Anaconda (https://www.anaconda.com/) en download en installeer Anaconda. Ga dan naar de website van PyCharm (https://www.jetbrains.com/pycharm/) en download de PyCharm IDE.
  2. Het creëren van een Conda-omgeving.
    1. Open de Anaconda Prompt-opdrachtregel na het installeren van Anaconda en typ vervolgens conda create -n pytorch python==3.8 om een nieuwe Conda-omgeving te maken. Nadat de omgeving is gemaakt, voert u conda info --envs in om te bevestigen dat de pytorch-omgeving bestaat.
    2. Open de Anaconda-prompt en activeer de pytorch-omgeving door conda activeer pytorch in te voeren. Controleer de huidige (Compute Unified Device Architecture) CUDA-versie door nvidia-smi te typen. Installeer vervolgens PyTorch versie 1.8.1 door het commando conda install pytorch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1 cudatoolkit=11.0 -c pytorch.
  3. Uitvoeringen voor modelherkenning
    OPMERKING: Gebruik PyTorch om de Mikania micrantha herkenningsmodel dat in dit document wordt gebruikt. Het gebruikte netwerkmodel is ResNet10121, die in zijn architectuur consistent blijft met het originele papier. Er worden wijzigingen aangebracht in het uitgangsgedeelte van het netwerk om te voldoen aan de vereisten voor kamilleherkenning.
    1. Verwerk de afbeeldingen voor om ze voor te bereiden op modelinvoer. Wijzig het formaat van de afbeeldingen van 280 x 280 pixels naar 224 x 224 pixels en normaliseer ze met behulp van de volgende code om ervoor te zorgen dat ze voldoen aan de formaatvereisten van het model:
      transformeren = transformeert. Opstellen([
      Transformeert. Formaat wijzigen ((224, 224)),
      Transformeert. ToTensor(),
      Transformeert. Normaliseren ([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])])
    2. Voer extractie van beeldkenmerken uit en verminder de dimensionaliteit met behulp van een convolutioneel neuraal netwerk.
      1. Initialiseer eerst de convolutionele laag voor de eerste functie-extractie via self.conv1. Met deze convolutionele laag wordt de originele afbeelding samengevoegd tot een functiekaart met self.in_channel kanalen voor het extraheren van de eerste kenmerken (aanvullende figuur 3A).
        OPMERKING: Geavanceerde functies worden geëxtraheerd in een convolutiebewerking op de resterende gangen. Deze lagen worden geproduceerd door de functie _make_layer aan te roepen, die bestaat uit een opeenvolging van restblokken. Elk restblok bestaat uit convolutie-, batchnormalisatie- en activeringsfuncties om geleidelijk geavanceerde functies te extraheren (aanvullende figuur 3B).
      2. Gebruik de functie van de laag om het kanaalnummer te wijzigen voor dimensionaliteitsreductie via 1x1 convolutie. Deze bewerking verlaagt de rekenbelasting met behoud van belangrijke kenmerken (aanvullende figuur 3C).
        OPMERKING: Over het algemeen voert ResNet101 functie-extractie uit door gebruik te maken van verschillende convolutionele lagen, en dimensionaliteitsreductie wordt bereikt door 1x1 convolutionele lagen binnen het resterende blok. Deze aanpak stelt het netwerk in staat om objecten dieper te leren en het probleem van het verdwijnen van gradiënten te vermijden, waardoor het efficiënter leren en representeren van beeldkenmerken voor complexe taken mogelijk wordt.
      3. Na convoluties en poolingbewerkingen voert u de hoogwaardige functies in een volledig verbonden laag in.
        OPMERKING: In de ResNet-architectuur vindt functie-extractie plaats in de convolutionele laag. Deze kenmerken worden vervolgens naar de volledig verbonden (FC) laag gestuurd voor classificatie (aanvullende figuur 4). De bewerking self.avgpool(x) voert adaptieve gemiddelde pooling uit om de tensor opnieuw vorm te geven naar een vaste grootte. De bewerking torch.flatten(x, 1) verspreidt de tensor in een eendimensionale vector, en self.fc(x) past de volledig verbonden laag toe op de afgeplatte vector, wat uiteindelijk dient als de laatste stap voor classificatie. Dit proces leidt de geëxtraheerde objecten effectief door de convolutionele laag en transformeert ze in een formaat dat geschikt is voor classificatie via de volledig verbonden laag.
      4. Gebruik de Softmax-functie om de uiteindelijke output te verkrijgen op basis van de drie classificatievereisten.
    3. Train een herkenningsmodel met meerdere klassen met de gegevensset uit stap 1.4. Stel het aantal iteraties in op 200 en een initiële leersnelheid van 0,0001. Verlaag het leerpercentage met een derde elke 10 iteraties met een batchgrootte van 64. Sla de optimale modelparameters automatisch op na elke iteratie (aanvullende afbeelding 5).
    4. Maak gebruik van een zorgvuldig getraind herkenningsmodel en doorloop systematisch de originele afbeelding uit stap 1.2.2 voor identificatiedoeleinden.
      1. Configureer horizontale en verticale stappen nauwkeurig op 280 pixels, wat resulteert in het genereren van een uitgebreide verspreidingskaart die de aanwezigheid van invasieve flora binnen de grenzen van het studiegebied benadrukt. Presenteer de geselecteerde resultaten visueel zoals weergegeven in afbeelding 4.
        OPMERKING: De eerste afbeelding wordt voorbewerkt door deze in kleinere segmenten te segmenteren, elk deel te classificeren met behulp van een getraind deep learning-model en de resultaten te combineren tot een uitvoerafbeelding. Als een stuk is geclassificeerd als een invasieve plant, wordt de overeenkomstige locatie op het uitvoerbeeld ingesteld op 255. De resulterende uitvoerafbeelding wordt opgeslagen als een afbeeldingsbestand in grijstinten. De specifieke implementatiecode is weergegeven in aanvullende figuur 6.

3. Schatting van invasieve plantenbiomassa

  1. Voer eenvoudige gegevensuitbreiding uit met de functies RandomResizedCrop en RandomHorizontalFlip (aanvullende afbeelding 7) om de beeldset die in stap 1.2 is gemaakt uit te breiden en de zes vegetatie-indices te extraheren die gewoonlijk worden gebruikt voor het schatten van biomassa, namelijk RBRI, GBRI, GRRI, RGRI, NGBDI en NGRDI. Zie Tabel 1 voor de berekeningsformules voor deze indices.
  2. Maak een K-nearest neighbor regression (KNNR)22-model met behulp van de output van het model om een nauwkeurige schatting van de biomassa van invasieve planten te garanderen. Gebruik de geëxtraheerde vegetatie-indices als input voor het schattingsmodel.
  3. Gebruik de bepalingscoëfficiënt R2 en Root Mean Square Error (RMSE)23 om de nauwkeurigheid van het model te beoordelen, die als volgt wordt berekend:
    figure-protocol-2
    figure-protocol-3
    OPMERKING: Het K-Nearest Neighbor Regression (KNNR)-algoritme is een niet-parametrische machine learning-techniek die wordt gebruikt om regressieproblemen op te lossen. Het fundamentele concept is om resultaten te voorspellen door de dichtstbijzijnde K-buren in de functieruimte te bepalen op basis van invoermonsterafstanden. De belangrijkste voordelen van het gebruik van KNNR zijn de eenvoud en het gemak van begrip, en het vereist geen trainingsfase. Daarnaast doet de KNNR geen buitensporige aannames over de verspreiding van de data. KNNR kan worden toegepast in regressievraagstukken om te anticiperen op continue objectieve variabelen en om de biomassa van invasieve planten nauwkeurig te evalueren.
  4. Gebruik het bovengrondse biomassaschattingsmodel dat in stap 3.2 is gekozen en scan de invasieve plantverspreidingskaart uit stap 2.3.4 met horizontale en verticale passen van 280 pixels.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

We tonen representatieve resultaten van een op computervisie gebaseerde methode voor de schatting van invasieve planten, die op een programmatische manier op een computer wordt geïmplementeerd. In dit experiment evalueerden we de ruimtelijke verdeling en schatten we de biomassa van invasieve planten in hun natuurlijke habitat, met Mikania micrantha als proefpersoon. We gebruikten een drone-camerasysteem om beelden van de onderzoekslocatie te verkrijgen, waarvan een deel wordt tentoongesteld in figuur 3. We gebruikten het convolutionele neurale netwerk van ResNet101 om de planten in het studiegebied te identificeren. Vervolgens hebben we de ruimtelijke verspreiding van invasieve planten in kaart gebracht en een aantal van onze bevindingen geïllustreerd in figuur 4. In figuur 3 is Mikania micrantha te zien die bovenop de met witte bloemen versierde plant klimt. De andere planten, evenals de weg en bijbehorende elementen, zijn uniform weergegeven op de achtergrond. In figuur 4 herkent het model het rode deel als Mikania micrantha. Als we de twee sets afbeeldingen vergelijken, is het duidelijk dat ResNet101 een robuuste detectie van Mikania micrantha in complexe achtergronden laat zien. Bovendien brengt het de verspreiding van Mikania micrantha in het studiegebied nauwkeurig en met hoge precisie in kaart.

De biomassa van invasieve planten in het studiegebied werd geschat door alle Mikania micrantha-voorbeeldplotafbeeldingen van orthofoto's af te kappen op 280 × 280 pixels en de vegetatie-indices RBRI, GBRI, GRRI, RGRI, NGBDI en NGBDI te extraheren. De regressieanalyse is uitgevoerd met behulp van het KNNR-regressiemodel, met de zes indexen als input voor het schattingsmodel en biomassa als output van het model. Figuur 5 geeft de resultaten weer: de horizontale coördinaten van de grafiek vertegenwoordigen de waarden van de in het veld gemeten biomassa's, de verticale coördinaten vertegenwoordigen de waarden van de door het model voorspelde biomassa's en de grijze gebieden vertegenwoordigen de betrouwbaarheidsintervallen. De resultaten laten sterke voorspellende prestaties zien, met een R²-waarde van 0,62 en een RMSE van 10,56 g/m2. Het model verbetert de nauwkeurigheid van de schatting van de biomassa van Mikania micrantha, en de ruimtelijke verdelingskaart in figuur 6 legt de verdeling van de biomassa van Mikania micrantha effectief vast.

figure-results-1
Figuur 1: UAV-teledetectiesystemen. Enkele voorbeelden van RGB-beeldgegevens die zijn vastgelegd door UAV. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-2
Figuur 2: Routeplanning. Studie over regionale routeplanning Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-3
Figuur 3: Resultaten van de identificatie van invasieve planten binnen het onderzoeksgebied. De figuur toont de bevindingen van het identificeren van Mikania micrantha in de onderzoekszone via het convolutionele neurale netwerk ResNet101. Het rode gebied in de afbeelding geeft het gebied aan dat door ResNet101 is gedetecteerd als Mikania micrantha, terwijl de andere achtergrond de rest van het onderzoeksgebied aangeeft. Deze uitkomsten komen overeen met de voorbeeldafbeeldingen die in figuur 1 zijn weergegeven. Ze vertegenwoordigen respectievelijk de herkenningsresultaten van figuur 1. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-4
Figuur 4: Ruimtelijke verspreiding van invasieve planten. Het model herkent het rode deel als Mikania micrantha. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-5
Figuur 5: Regressieresultaten van de biomassavoorspelling. De horizontale as geeft de biomassawaarden weer die in het veld zijn waargenomen, terwijl de verticale as de door het model geschatte biomassawaarden weergeeft. De grijs gearceerde gebieden geven betrouwbaarheidsintervallen aan. Het KNNR-model behaalde een R2 van 0,65 op de testset, terwijl de laagste gemiddelde kwadratische fout 30,59 g/m2 bedroeg. In het regressiespreidingsdiagram van het model vielen veel schattingen van de biomassa van Mikania micrantha binnen het betrouwbaarheidsinterval, wat de geldigheid van de biomassavoorspelling aangeeft. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-6
Figuur 6: Ruimtelijke verdeling van de biomassa van Mikania micrantha . De figuur illustreert de schatting van de biomassa van Mikania micrantha in het hele onderzoeksgebied, waarbij de KNNR als voorspellend model wordt gebruikt, samen met de geëxtraheerde Mikania micrantha biomassadistributiekaart. Donkerder gearceerde gebieden vertegenwoordigen grotere hoeveelheden Mikania micrantha-biomassa . Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-7
Figuur 7: Schematisch diagram van de belangrijkste ontwikkeling van dit protocol. De figuur illustreert de belangrijkste stappen van het gepresenteerde protocol. Klik hier om een grotere versie van deze figuur te bekijken.

Naam van de vegetatie-indexBerekeningsformule
Groen Blauw Ratio IndexGBRI = DNG/DNB
Groen Rood Ratio IndexGRRI = DNG/DNR
Rood Blauw Ratio IndexRBRI = DNR/DNB
Rood Groen Ratio IndexRGRI = DNR/DNG
Genormaliseerde Groen Blauwe VerschilindexNGBDI = (DNG - DNB)/(DNG + DNB)
Genormaliseerde Groen Rode VerschilindexNGRDI = (DNG - DNR)/(DNG + DNR)

Tabel 1: Berekeningsformule voor de vegetatie-index. De vegetatie-indices die in dit protocol worden gebruikt en de bijbehorende berekeningsformules.

Aanvullende afbeelding 1: Een afbeelding bijsnijden tot 280 x 280 pixels via een Python-script met behulp van de OpenCV-bibliotheek. Klik hier om dit bestand te downloaden.

Aanvullende afbeelding 2: Partitioneren van de dataset in een trainingsset, validatieset en testset. Klik hier om dit bestand te downloaden.

Aanvullende figuur 3: Functie-extractie en reductie van dimensionaliteit. (A) Extractie van de eerste functie. (B) Convolutie operatie. (C) Vermindering van dimensionaliteit. Klik hier om dit bestand te downloaden.

Aanvullende afbeelding 4: Het overbrengen van de kenmerken naar de FC-laag in de ResNet-architectuur. Klik hier om dit bestand te downloaden.

Aanvullende afbeelding 5: Instellen van de parameters. Klik hier om dit bestand te downloaden.

Aanvullende figuur 6: De specifieke implementatiecode voor het genereren van een uitgebreide verspreidingskaart. Klik hier om dit bestand te downloaden.

Aanvullende afbeelding 7: RandomResizedCrop en RandomHorizontalFlip functies. Klik hier om dit bestand te downloaden.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

We presenteren de gedetailleerde stappen van een experiment voor het schatten van de biomassa van invasieve planten met behulp van UAV-teledetectie en computervisie. Het belangrijkste proces en de stappen van deze overeenkomst zijn weergegeven in figuur 7. De juiste monsterkwaliteit is een van de meest cruciale en uitdagende aspecten van het programma. Dit belang geldt voor alle invasieve planten en voor alle andere experimenten voor het schatten van de plantenbiomassa24.

Om de verspreiding van invasieve planten in het studiegebied te identificeren, moeten we eerst zichtbare en continue fotogrammetrie van het studiegebied verkrijgen met behulp van remote sensing van UAV. Om dit te bereiken, zijn de juiste UAV-fotografische hoogte en cameraresolutie nodig. Dit zorgt ervoor dat ResNet101, een convolutioneel neuraal netwerk, functies zoals vegetatie-index en textuur uit het beeld kan halen. Deze kenmerken helpen om invasieve planten te identificeren, zelfs in complexe milieuachtergronden, en uiteindelijk hun verspreiding in het studiegebied in kaart te brengen.

Om de biomassa van invasieve planten in het studiegebied te schatten, is het noodzakelijk om vierkante steekproefframes25 te maken met 25-50 willekeurige bemonsteringspunten. Zodra het onbemande luchtvaartuig het proces van het maken van foto's heeft voltooid, is het noodzakelijk om de invasieve planten uit de monsterframes te verzamelen. Het is van cruciaal belang op te merken, zoals vermeld in het eerste hoofdstuk, dat het verzamelen van de biomassa uit de frames moet worden gedaan zonder ze te verplaatsen en met precisie door unieke nummers toe te kennen. Bovendien moet de biomassa voorzichtig worden gedroogd en in het laboratorium worden gewogen om een nauwkeurige meting te verkrijgen. Het KNNR-regressiemodel18 werd gebruikt om de ruimtelijke verdeling van invasieve planten te verkrijgen, met behulp van zes vegetatie-indices geëxtraheerd uit beelden die door het UAV-camerasysteem waren verkregen als input voor het schattingsmodel en biomassa als output van het model.

De methoden die in dit artikel worden beschreven voor het schatten van invasieve plantenpopulaties zijn niet uitputtend. Aanvullende hulpmiddelen kunnen worden gebruikt om vergelijkbare gegevens te verkrijgen, en tal van praktische of innovatieve aanpassingen kunnen worden toegepast. Er kan een reeks drones worden gebruikt, waarvan het aangewezen model in het protocol als slechts één optie dient en kan worden vervangen door elke drone met autonavigatie-integratie, de mogelijkheid om zich aan te passen aan een gimbal, de mogelijkheid om tot 50 meter te vliegen, een laadvermogen dat groter is dan dat van de geselecteerde camera, en een bereik dat het hele studiegebied bestrijkt. Bij het kiezen van een camera voor UAV is het belangrijk om rekening te houden met factoren zoals maximale resolutie, effectieve beeldpixels, maximale pixels en andere beeldparameters, evenals de grootte- en gewichtsbeperkingen van de UAV-belasting. Bovendien is voldoende bereik nodig voor de succesvolle afronding van het filmproces. Bovendien is het model voor identificatie niet de enige methode en kan het worden aangepast voor meerdere invasieve plantensoorten, zoals houtachtige of diverse soorten planten, om de voorgestelde methode te verbeteren. Deze strategie kan ook worden omgezet in een regressie-algoritme dat minder steekproeven gebruikt, extra vegetatie-indices verwerft en een verhoogde mate van precisie bereikt. Als alternatief zou een beperkt identificatienetwerk kunnen worden geïmplementeerd om invasieve planten te identificeren, waardoor intelligente identificatiemethoden in de praktijk kunnen worden ingezet.

De belangrijkste beperking van de gepresenteerde methode is de afhankelijkheid van het model van de lichtomstandigheden en de achtergrond. Verbeteringen in de richting van een hogere nauwkeurigheid kunnen alleen komen met verdere integratie van multispectrale26, LiDAR12 en meteorologische gegevens27. Het verkrijgen van dit soort gegevens kan een uitdaging zijn en kan dure apparatuur vereisen, maar we kunnen de nauwkeurigheid van onze gegevens vergroten door direct zonlicht te vermijden en de achtergronden van planten te isoleren terwijl we het gebied bemonsteren via ons UAV-filmsysteem.

Het voordeel van het gebruik van deze methodologie, in tegenstelling tot andere, ligt in het vermogen om de ruimtelijke verspreiding van invasieve plantensoorten in het aangewezen studiegebied te leveren. De verdeling wordt bepaald door middel van regressieanalyse, waarbij gebruik wordt gemaakt van zes vegetatie-indices die zijn geëxtraheerd uit beelden die zijn vastgelegd via het UAV-camerasysteem als input, met biomassa als output van het model. Deze benadering maakt gebruik van een draagbare methode voor het schatten van biomassa in meerdere studiegebieden tegelijk, die fundamenteel verschilt van eerdere handmatige methoden voor het verzamelen van biomassa. De conventionele methode omvat het handmatig uitvoeren van onderzoeken en het verzamelen van aanzienlijke hoeveelheden, wat inefficiënt en subjectief is28, waardoor er geen praktische schatting van biomassa kan worden gegeven onder complexe omstandigheden.

Schatting van de biomassa van invasieve planten met behulp van de bovengenoemde methodologie maakt kwantificering van de regionale verspreiding mogelijk. Bovendien biedt het technische ondersteuning voor intelligente monitoring en gevarenbeoordeling op regionaal niveau.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs hebben niets te onthullen.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteur bedankt de Chinese Academie voor Landbouwwetenschappen en de Universiteit van Guangxi voor hun steun aan dit werk. Het werk werd ondersteund door het National Key R&D-programma van China (2022YFC2601500 & 2022YFC2601504), de National Natural Science Foundation of China (32272633), Shenzhen Science and Technology Program (KCXFZ20230731093259009)

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
DSLR cameraNikonD850Sensor type: CMOS; Maximum number of pixels: 46,89 miljoen; Effectief aantal pixels: 45,75 miljoen; Maximale resolutie 8256 x 5504.
GPU - Graphics Processing UnitNVIDIA RTX3090
HexacopterDJI M600PROHorizontale vlucht: 65 km/h (geen wind omgeving); Maximale vluchtleding: 6000 g
PyCharmPython IDE2023.1
PythonPython3.8.0
PytorchPytorch1.8.1

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Lian, J. Y., et al. Influence of obligate parasite Cuscuta campestris on the community of its host Mikania micrantha. Weed Research. 46, 441-443 (2006).
  2. Yu, X., Bao, Q. Aboveground biomass estimation of potato from UAV multispectral imagery. Remote Sensing. 54 (4), 96-99 (2023).
  3. Guo, T. C., Wang, Y. H., Feng, W. Research on wheat yield estimation based on multimodal data fusion from unmanned aircraft platforms. Acta Agronomica Sinica. 48 (7), 15(2022).
  4. Shao, G. M., et al. Estimation of transpiration coefficient and aboveground biomass in maize using time-series UAV multispectral imagery. The Crop Journal. 10 (5), 1376-1385 (2022).
  5. Jiang, Q., et al. UAV-based biomass estimation for rice-combining spectral, TIN-based structural and meteorological features. Remote Sensing. 11 (7), 890(2019).
  6. Fei, S. P., et al. UAV-based multi-sensor data fusion and machine learning algorithm for yield prediction in wheat. Precision Agriculture. 24, 187-212 (2023).
  7. Shu, S., et al. Aboveground biomass estimation of rice based on unmanned aerial vehicle imagery. Fujian Journal of Agricultural Sciences. 37 (7), 9(2022).
  8. Wu, X., et al. UAV LiDAR-based biomass estimation of individual trees. Fujian Journal of Agricultural Sciences. 22 (34), 15028-15035 (2022).
  9. Yang, X., Zan, M., Munire, M. Estimation of above ground biomass of Populus euphratica forest using UAV and satellite remote sensing. Transactions of the Chinese Society of Agricultural Engineering. 37 (1), 7(2021).
  10. Li, B., Liu, K. Forest biomass estimation based on UAV optical remote sensing. Forest Engineering. 5, 38(2022).
  11. Li, Z., Zan, Q., Yang, Q., Zhu, D., Chen, Y., Yu, S. Remote estimation of mangrove aboveground carbon stock at the species level using a low-cost unmanned aerial vehicle system. Remote Sensing. 11 (9), 1018(2019).
  12. Luo, S., et al. Fusion of airborne LiDAR data and hyperspectral imagery for aboveground and belowground forest biomass estimation. Ecological Indicators. 73, 378-387 (2017).
  13. Li, S., et al. Research of grassland aboveground biomass inversion based on UAV and satellite remoting sensing. Remote Sensing Technology and Application. 1, 037(2022).
  14. Wengert, M., et al. Multisite and multitemporal grassland yield estimation using UAV-borne hyperspectral data. Remote Sensing. 14 (9), 2068(2022).
  15. Li, Y., et al. The effect of season on Spartina alterniflora identification and monitoring. Frontiers in Environmental Science. 10, 1044839(2022).
  16. Wang, F., et al. Estimation of above-ground biomass of winter wheat based on consumer-grade multi-spectral UAV. Remote Sensing. 14 (5), 1251(2022).
  17. Lu, N., et al. Improved estimation of aboveground biomass in wheat from RGB imagery and point cloud data acquired with a low-cost unmanned aerial vehicle system. Plant Methods. 15 (1), 17(2019).
  18. Chen, H., et al. Mapping forest aboveground biomass with MODIS and Fengyun-3C VIRR imageries in Yunnan Province, Southwest China using linear regression, K-nearest neighbor and random. Remote Sensing. 14 (21), 5456(2022).
  19. Yan, M., et al. Biomass estimation of subtropical arboreal forest at single tree scale based on feature fusion of airborne LiDAR data and aerial images. Sustainability. 15 (2), 1676(2023).
  20. Tian, Y. C., et al. Aboveground mangrove biomass estimation in Beibu Gulf using machine learning and UAV remote sensing. Science of the Total Environment. 781, 146816(2021).
  21. Shrivastava, A., et al. Beyond skip connections: Top-down modulation for object detection. arXiv. , (2016).
  22. Belkasim, S. O., Shridhar, M., Ahmadi, M. Pattern classification using an efficient KNNR. Pattern Recognition. 25 (10), 1269-1274 (1992).
  23. Joel, S., Jose Luis, A., Shawn, C. K. Farming and earth observation: Sentinel-2 data to estimate within-field wheat grain yield. International Journal of Applied Earth Observation and Geoinformation. 107, 102697(2022).
  24. Tian, L., et al. Review of remote sensing-based methods for forest aboveground biomass estimation: Progress, challenges, and prospects. Forests. 14 (6), 1086(2023).
  25. Wei, X. Biomass estimation: A remote sensing approach. Geography Compass. 4 (11), 1635-1647 (2010).
  26. Débora, B., et al. New methodology for intertidal seaweed biomass estimation using multispectral data obtained with unoccupied aerial vehicles. Remote Sensing. 15 (13), 3359(2023).
  27. Zhang, J. Y., et al. Unmanned aerial system-based wheat biomass estimation using multispectral, structural and meteorological data. Agriculture. 13 (8), 1621(2023).
  28. Shen, H., et al. Influence of the obligate parasite Cuscuta campestris on growth and biomass allocation of its host Mikania micrantha. Journal of Experimental Botany. 56 (415), 1277-1284 (2005).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Invasive Plant BiomassUAV Remote SensingComputer VisionBiomass EstimationDeep LearningVegetation IndexImage SegmentationK Nearest NeighborSpatial Distribution MapMikania Micrantha

Related Articles