Method Article

Computer Vision-basierte Biomasseschätzung für invasive Pflanzen

DOI:

10.3791/66067

⸱

February 9th, 2024

 ,  ,  ,  ,  ,  ,  ,  ,  , 
1College of Mechanical Engineering, Guangxi University, 2Shenzhen Branch, Guangdong Laboratory of Lingnan Modern Agriculture, Genome Analysis Laboratory of the Ministry of Agriculture and Rural Affairs, Agricultural Genomics Institute at Shenzhen, Chinese Academy of Agricultural Sciences, 3China Lesso Group Holdings Limited, 4Shenzhen Agricultural Technology Promotion Center

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wir berichten über detaillierte Verfahren für eine Methode zur Schätzung der invasiven Pflanzenbiomasse, die Daten aus der Fernerkundung von unbemannten Luftfahrzeugen (UAV) verwendet, um die Biomasse zu bewerten und die räumliche Verteilung invasiver Arten zu erfassen. Dieser Ansatz erweist sich als äußerst nützlich für die Durchführung von Gefahrenbewertungen und die Frühwarnung vor invasiven Pflanzen.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wir berichten über die detaillierten Schritte einer Methode zur Abschätzung der Biomasse invasiver Pflanzen auf Basis von UAV-Fernerkundung und Computer Vision. Um Proben aus dem Untersuchungsgebiet zu sammeln, haben wir eine quadratische Stichprobenanordnung vorbereitet, um die Probenahmepunkte zu randomisieren. Es wurde ein unbemanntes Luftbildkamerasystem mit einer Drohne und einer Kamera konstruiert, um durch automatisierte Navigation kontinuierliche RGB-Bilder des Untersuchungsgebiets zu erfassen. Nach Abschluss der Dreharbeiten wurde die oberirdische Biomasse im Probenrahmen gesammelt, und alle Korrespondenzen wurden beschriftet und verpackt. Die Beispieldaten wurden verarbeitet und die Luftbilder wurden in kleine Bilder von 280 x 280 Pixeln segmentiert, um einen Bilddatensatz zu erstellen. Ein tiefes neuronales Faltungsnetz wurde verwendet, um die Verbreitung von Mikania micrantha im Untersuchungsgebiet zu kartieren, und es wurde ihr Vegetationsindex erhalten. Die gesammelten Organismen wurden getrocknet und das Trockengewicht als Ground-Truth-Biomasse erfasst. Das Regressionsmodell für invasive pflanzliche Biomasse wurde unter Verwendung der K-Nearest-Neighbor-Regression (KNNR) konstruiert, indem der Vegetationsindex aus den Beispielbildern als unabhängige Variable extrahiert und mit der Ground-Truth-Biomasse als abhängige Variable integriert wurde. Die Ergebnisse zeigten, dass es möglich war, die Biomasse invasiver Pflanzen genau vorherzusagen. Durch Bildtraversierung wurde eine genaue räumliche Verteilungskarte der invasiven Pflanzenbiomasse erstellt, die eine genaue Identifizierung von Hochrisikogebieten ermöglicht, die von invasiven Pflanzen betroffen sind. Zusammenfassend zeigt diese Studie das Potenzial der Kombination von unbemannter Fernerkundung von Luftfahrzeugen mit Techniken des maschinellen Lernens zur Abschätzung invasiver pflanzlicher Biomasse. Es leistet einen wichtigen Beitrag zur Erforschung neuer Technologien und Methoden für das Echtzeit-Monitoring invasiver Pflanzen und bietet technische Unterstützung für ein intelligentes Monitoring und eine Gefährdungsbeurteilung auf regionaler Ebene.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In diesem Protokoll kann die vorgeschlagene Methode zur Schätzung der invasiven Biomasse auf der Grundlage von UAV-Fernerkundung und Computer Vision die Verteilung invasiver Organismen widerspiegeln und den Grad der invasiven Biogefährdung vorhersagen. Schätzungen der Verbreitung und Biomasse invasiver Organismen sind entscheidend für die Prävention und Bekämpfung dieser Organismen. Sobald invasive Pflanzen eindringen, können sie das Ökosystem schädigen und enorme wirtschaftliche Verluste verursachen. Die schnelle und genaue Identifizierung invasiver Pflanzen und die Schätzung der wichtigsten invasiven Pflanzenbiomasse sind große Herausforderungen bei der Überwachung und Bekämpfung invasiver Pflanzen. In diesem Protokoll nehmen wir Mikania micrantha als Beispiel, um eine Methode zur Schätzung der Biomasse invasiver Pflanzen zu erforschen, die auf unbemannter Luftfernerkundung und Computer Vision basiert und einen neuen Ansatz und eine neue Methode für die ökologische Erforschung invasiver Pflanzen bietet und die ökologische Forschung und das Management invasiver Pflanzen fördert.

Derzeit erfolgt die Biomassemessung von Mikania micrantha hauptsächlich durch manuelle Probenahme1. Die traditionellen Methoden der Biomassemessung erfordern viel Personal und materielle Ressourcen, die ineffizient und durch das Gelände begrenzt sind. Es ist schwierig, die Anforderungen der regionalen Biomasseschätzung von Mikania micrantha zu erfüllen.Der große Vorteil der Verwendung dieses Protokolls besteht darin, dass es eine Methode zur Quantifizierung der regionalen invasiven Pflanzenbiomasse und der räumlichen Verteilung invasiver Pflanzen bietet, ohne die Einschränkungen der Probenahme des Gebiets zu berücksichtigen und manuelle Erhebungen überflüssig zu machen.

Die UAV-Fernerkundungstechnologie hat bestimmte Ergebnisse bei der Schätzung der pflanzlichen Biomasse erzielt und ist in der Landwirtschaftweit verbreitet 2,3,4,5,6,7, Forstwirtschaft 8,9,10,11 und Grünland 12,13,14 . Die UAV-Fernerkundungstechnologie hat die Vorteile niedriger Kosten, hoher Effizienz, hoher Präzision und flexibler Betrieb15,16, wodurch Fernerkundungsbilddaten im Untersuchungsgebiet effizient erhalten werden können; Anschließend werden das Texturmerkmal und der Vegetationsindex des Fernerkundungsbildes extrahiert, um die Schätzung der pflanzlichen Biomasse in großen Gebieten zu unterstützen. Die derzeitigen Methoden zur Schätzung der pflanzlichen Biomasse werden hauptsächlich in parametrische und nichtparametrische Modelle eingeteilt17. Mit der Entwicklung von Algorithmen für maschinelles Lernen wurden nichtparametrische Modelle des maschinellen Lernens mit höherer Genauigkeit in großem Umfang bei der Fernerkundung der Schätzung von pflanzlicher Biomasse eingesetzt. Chen et al.18 nutzten gemischte logistische Regression (MLR), KNNR und Random Forest Regression (RFR), um die oberirdische Biomasse von Wäldern in der Provinz Yunnan zu schätzen. Sie kamen zu dem Schluss, dass die Modelle des maschinellen Lernens, insbesondere KNNR und RFR, im Vergleich zu MLR zu besseren Ergebnissen führten. Yan et al.19 verwendeten RFR- und Extremgradienten-Boosting-Regressionsmodelle (XGBR), um die Genauigkeit der Schätzung der subtropischen Waldbiomasse anhand verschiedener Variablensätze zu bewerten. Tian et al.20 verwendeten elf Modelle des maschinellen Lernens, um die oberirdische Biomasse verschiedener Mangrovenwaldarten in der Beibuwan Bay abzuschätzen. Die Forscher fanden heraus, dass die XGBR-Methode bei der Bestimmung der oberirdischen Biomasse von Mangrovenwäldern effektiver ist. Die Schätzung der pflanzlichen Biomasse mittels Mensch-Maschine-Fernerkundung ist eine etablierte Praxis, jedoch wurde der Einsatz von UAV zur Biomasseschätzung der invasiven Pflanze Mikania micrantha sowohl im In- als auch im Ausland noch nicht berichtet. Dieser Ansatz unterscheidet sich grundlegend von allen bisherigen Methoden der Biomasseschätzung für invasive Pflanzen, insbesondere Mikania micrantha.

Zusammenfassend lässt sich sagen, dass die UAV-Fernerkundung die Vorteile einer hohen Auflösung, eines hohen Wirkungsgrads und niedriger Kosten bietet. Bei der Extraktion von Merkmalsvariablen aus Fernerkundungsbildern können Textur-Features in Kombination mit Vegetationsindizes eine bessere Leistung bei der Regressionsvorhersage erzielen. Nichtparametrische Modelle können bei der Schätzung der Pflanzenbiomasse genauere Regressionsmodelle erhalten als parametrische. Um die Nullverteilung invasiver Pflanzen und ihrer Biomasse genau zu berechnen, schlagen wir daher die folgenden skizzierten Verfahren für das Experiment zur invasiven Pflanzenbiomasse vor, das auf Fernerkundung mit UAVs und Computer Vision basiert.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Aufbereitung der Datensätze

  1. Auswahl des Forschungsgegenstandes
    1. Wählen Sie Testproben basierend auf dem Schwerpunkt der experimentellen Studie aus und berücksichtigen Sie Optionen wie Mikania micrantha oder andere invasive Pflanzen.
  2. Sammeln von UAV-Bildern
    1. Bereiten Sie quadratische Kunststoffrahmen mit einer Größe von 0,5 m * 0,5 m und einer Menge von 25-50 vor, abhängig von der Größe der untersuchten Fläche.
    2. Anwendung eines Zufallsstichprobenansatzes zur Bestimmung der Bodenprobenahmeorte im Untersuchungsgebiet unter Verwendung einer ausreichenden Anzahl von Biomasseproben. Positionieren Sie den Probenrahmen horizontal über der Vegetation und umfassen Sie die Pflanzen vollständig mit einem Mindestabstand von 2 m zwischen den einzelnen Pflanzen.
    3. Verwenden Sie eine Drohne und eine Kamera, um ein UAV-Fernerkundungsfilmsystem zu bilden, wie in Abbildung 1 gezeigt.
    4. Verwenden Sie das UAV, um die Route innerhalb des angegebenen Untersuchungsgebiets darzustellen. Die Einrichtung der Routenplanung ist in Abbildung 2 dargestellt.
      1. Legen Sie eine Überlappungsrate von 70 % für Kurs und Seite fest, nehmen Sie Fotos in einheitlichen Zeitintervallen von 2 s auf, halten Sie den Kamerawinkel senkrecht zum Boden bei 90° und positionieren Sie die Kamerahöhe auf 30 m. Dies führte zu kontinuierlichen sichtbaren Bilddaten des Untersuchungsgebiets mit einer Einzelbildauflösung von 8256 x 5504 Pixeln, wie in Abbildung 3 dargestellt.
    5. Speichern Sie Luftbilder für die spätere Verarbeitung mit der Python-Software zur Schätzung der Biomasse.
  3. Sammeln der oberirdischen Biomasse
    1. Erfassen Sie die oberirdische Biomasse von Mikania micrantha manuell innerhalb jeder Probefläche, nachdem Sie die Drohnendatenerfassung abgeschlossen haben. Verpacken Sie sie und beschriften Sie jeden Beutel entsprechend.
      1. Verhindern Sie beim Sammeln von Mikania micrantha, dass sich die Probeflächen bewegen. Schneiden Sie zuerst die Mikania micrantha entlang der Innenkante der Beispielparzelle ein.
      2. Schneide dann das Rhizom der Mikania micrantha von unten ab. Entfernen Sie Schmutz, Steine oder andere Pflanzen, die sich vermischt haben. Zum Schluss verpacken und beschriften Sie die Proben.
    2. Bringen Sie die gesammelten Proben invasiver Pflanzen aus Schritt 1.3.1 ins Labor. Trocknen Sie alle gesammelten Proben an der Luft, um den größten Teil der Feuchtigkeit zu verdunsten.
    3. Um die Feuchtigkeit aus luftgetrockneten Proben weiter zu entfernen, verwenden Sie einen Ofen. Stellen Sie die Temperatur auf 55 °C ein. Die Proben werden 72 Stunden lang getrocknet, dann jede Probe auf einer elektronischen Waage gewogen und die Biomassedaten in Gramm (g) aufgezeichnet.
      1. Stellen Sie die elektronische Waage in eine ungestörte Umgebung, wiegen, kalibrieren und wiegen Sie weiter. Legen Sie Beutel mit Mikania micrantha auf die elektronische Waage, warten Sie, bis sich die Messwerte stabilisiert haben, und zeichnen Sie die Messwerte auf.
      2. Wiegen Sie das Mikania micrantha stündlich, bis sich die Masse nicht mehr ändert, und notieren Sie den Messwert abzüglich des Gewichts des Beutels als gemessene Masse dieser Probe. Berechnen Sie die oberirdische Biomasse der invasiven Pflanze mit der folgenden Formel:
        figure-protocol-1
        wobei B die Biomasse von Mikania micrantha in Gramm pro Quadratmeter (g/m2) darstellt, M das Gewicht der gemessenen Mikania micrantha, gemessen in Gramm (g), S der Fläche der Probefläche in Quadratmetern (m2) entspricht.
  4. Erstellen eines Datensatzes
    1. Extrahieren Sie das RGB-Bild, das dem Beispielbild entspricht, aus dem ursprünglichen UAV-Bild. Teilen Sie es mit Python-Programmierung in ein Raster von 280 × 280 Pixeln auf (Supplementray Abbildung 1).
    2. Segmentieren Sie die Rohbilddaten mithilfe der Python-Programmierung in kleinere Bilder mit der gleichen Größe wie die Beispielbilder. Verwenden Sie die Methode des gleitenden Fensters für die Segmentierung, indem Sie die horizontalen und vertikalen Schritte auf 280 Pixel festlegen.
    3. Wählen Sie aus den kleinen Bildern, die in Schritt 1.4.2 segmentiert wurden, nach dem Zufallsprinzip 880 invasive Pflanzenbilder und 1500 Hintergrundbilder aus, um einen Datensatz zu erstellen. Teilen Sie dann dieses Dataset in Trainings-, Validierungs- und Testsätze im Verhältnis 6:2:2 auf (Supplementray Abbildung 2).

2. Identifizierung von Mikania micrantha

  1. Vorbereiten der Software
    1. Gehen Sie auf die offizielle Website von Anaconda (https://www.anaconda.com/), laden Sie Anaconda herunter und installieren Sie es. Gehen Sie dann auf die Website von PyCharm (https://www.jetbrains.com/pycharm/) und laden Sie die PyCharm IDE herunter.
  2. Erstellen einer Conda-Umgebung.
    1. Öffnen Sie nach der Installation von Anaconda die Befehlszeile der Anaconda-Eingabeaufforderung und geben Sie dann conda create -n pytorch python==3.8 ein, um eine neue Conda-Umgebung zu erstellen. Nachdem die Umgebung erstellt wurde, geben Sie conda info --envs ein, um zu bestätigen, dass die pytorch-Umgebung vorhanden ist.
    2. Öffnen Sie die Anaconda-Eingabeaufforderung und aktivieren Sie die pytorch-Umgebung , indem Sie conda activate pytorch eingeben. Überprüfen Sie die aktuelle (Compute Unified Device Architecture)CUDA-Version, indem Sie nvidia-smi eingeben. Installieren Sie dann die PyTorch-Version 1.8.1, indem Sie den Befehl ausführen conda install pytorch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1 cudatoolkit=11.0 -c pytorch.
  3. Läufe für die Modellerkennung
    HINWEIS: Verwenden Sie PyTorch, um die Mikania micrantha Erkennungsmodell, das in diesem Artikel verwendet wird. Das verwendete Netzwerkmodell ist ResNet10121, die in ihrer Architektur mit dem Originalpapier konsistent bleibt. Es werden Änderungen an der Ausgabesektion des Netzwerks vorgenommen, um die Anforderungen für die Kamillenerkennung zu erfüllen.
    1. Verarbeiten Sie die Bilder vor, um sie für die Modelleingabe vorzubereiten. Ändern Sie die Größe der Bilder von 280 x 280 Pixel auf 224 x 224 Pixel, und normalisieren Sie sie, um sicherzustellen, dass sie die Größenanforderungen des Modells erfüllen, indem Sie den folgenden Code verwenden:
      transformieren = transformiert. Komponieren([
      Verwandelt. Größe ändern((224, 224)),
      Verwandelt. ToTensor(),
      Verwandelt. Normalize([0.485, 0.456; 0.406], [0.229, 0.224, 0.225])])
    2. Führen Sie die Extraktion von Bildmerkmalen durch und reduzieren Sie die Dimensionalität mit einem Convolutional Neural Network.
      1. Initialisieren Sie zunächst die Faltungsschicht für die anfängliche Merkmalsextraktion über self.conv1. Mit dieser Faltungsschicht wird das Originalbild zu einer Feature-Map mit self.in_channel Kanälen für die Extraktion der ersten Features gefaltet (Ergänzende Abbildung 3A).
        HINWEIS: Erweiterte Funktionen werden in einer Faltungsoperation auf den Restbahnen extrahiert. Diese Schichten werden durch Aufrufen der Funktion _make_layer erzeugt, die eine Folge von Restblöcken umfasst. Jeder Restblock besteht aus Faltungs-, Batch-Normalisierungs- und Aktivierungsfunktionen, um nach und nach ausgefeilte Merkmale zu extrahieren (Ergänzende Abbildung 3B).
      2. Verwenden Sie die Funktion der Schicht, um die Kanalnummer für die Dimensionalitätsreduzierung über die 1x1-Faltung zu ändern. Dieser Vorgang verringert die Rechenlast bei gleichzeitiger Beibehaltung wichtiger Merkmale (Ergänzende Abbildung 3C).
        HINWEIS: Insgesamt führt ResNet101 die Merkmalsextraktion unter Verwendung verschiedener Faltungsschichten durch, und die Dimensionalitätsreduktion wird durch 1x1-Faltungsschichten innerhalb des Restblocks erreicht. Dieser Ansatz ermöglicht es dem Netzwerk, Merkmale tiefer zu lernen und das Problem des Verschwindens von Gradienten zu vermeiden, wodurch ein effizienteres Lernen und Repräsentieren von Bildmerkmalen für komplexe Aufgaben ermöglicht wird.
      3. Geben Sie nach Faltungs- und Pooling-Vorgängen die hochwertigen Features in einen vollständig verbundenen Layer ein.
        HINWEIS: In der ResNet-Architektur findet die Merkmalsextraktion in der Faltungsschicht statt. Diese Features werden anschließend zur Klassifizierung an die vollständig verbundene Schicht (FC) gesendet (Ergänzende Abbildung 4). Die Operation self.avgpool(x) führt adaptives durchschnittliches Pooling durch, um den Tensor auf eine feste Größe umzuformen. Die Operation torch.flatten(x, 1) spreizt den Tensor in einen eindimensionalen Vektor, und self.fc(x) wendet die vollständig verbundene Schicht auf den abgeflachten Vektor an, was letztendlich als letzter Schritt für die Klassifizierung dient. Dieser Prozess leitet die extrahierten Merkmale effektiv durch die Faltungsschicht und wandelt sie in ein Format um, das für die Klassifizierung über die vollständig verbundene Schicht geeignet ist.
      4. Verwenden Sie die Softmax-Funktion , um die endgültige Ausgabe basierend auf den drei Klassifizierungsanforderungen zu erhalten.
    3. Trainieren Sie ein Mehrklassen-Erkennungsmodell mit dem Datensatz aus Schritt 1.4. Legen Sie die Anzahl der Iterationen auf 200 und eine anfängliche Lernrate von 0,0001 fest. Reduzieren Sie die Lernrate alle 10 Iterationen um ein Drittel mit einer Batchgröße von 64. Speichern Sie die optimalen Modellparameter automatisch nach jeder Iteration (Ergänzende Abbildung 5).
    4. Verwenden Sie ein akribisch trainiertes Erkennungsmodell und durchlaufen Sie systematisch das Originalbild aus Schritt 1.2.2 zu Identifikationszwecken.
      1. Konfigurieren Sie horizontale und vertikale Schritte präzise bei 280 Pixeln, was zur Erstellung einer umfassenden Verbreitungskarte führt, die das Vorhandensein invasiver Flora innerhalb der Grenzen des Untersuchungsgebiets hervorhebt. Präsentieren Sie die ausgewählten Ergebnisse visuell, wie in Abbildung 4 dargestellt.
        HINWEIS: Das ursprüngliche Bild wird vorverarbeitet, indem es in kleinere Blöcke segmentiert, jeder Block mithilfe eines trainierten Deep-Learning-Modells klassifiziert und die Ergebnisse in einem Ausgabebild kombiniert werden. Wenn ein Block als invasive Pflanze klassifiziert wird, wird die entsprechende Position auf dem Ausgabebild auf 255 festgelegt. Das resultierende Ausgabebild wird als Graustufen-Bilddatei gespeichert. Der spezifische Implementierungscode ist in der ergänzenden Abbildung 6 dargestellt.

3. Schätzung der invasiven pflanzlichen Biomasse

  1. Führen Sie eine einfache Datenerweiterung mit den Funktionen RandomResizedCrop und RandomHorizontalFlip durch (Ergänzende Abbildung 7), um den in Schritt 1.2 erstellten Bildsatz zu erweitern und die sechs Vegetationsindizes zu extrahieren, die üblicherweise für die Schätzung der Biomasse verwendet werden, nämlich RBRI, GBRI, GRRI, RGRI, NGBDI und NGRDI. In Tabelle 1 finden Sie die Berechnungsformeln für diese Indizes.
  2. Erstellen Sie ein K-Nearest-Neighbor-Regression (KNNR)22-Modell unter Verwendung der Ausgabe des Modells, um eine genaue Schätzung der Biomasse invasiver Pflanzen zu gewährleisten. Verwenden Sie die extrahierten Vegetationsindizes als Eingaben für das Schätzmodell.
  3. Verwenden Sie den Bestimmtheitskoeffizienten R2 und den Root Mean Square Error (RMSE)23 , um die Genauigkeit des Modells zu bewerten, die wie folgt berechnet wird:
    figure-protocol-2
    figure-protocol-3
    HINWEIS: Der K-Nearest-Neighbor-Regression (KNNR)-Algorithmus ist eine nichtparametrische Technik des maschinellen Lernens, die zur Lösung von Regressionsproblemen verwendet wird. Sein grundlegendes Konzept besteht darin, Ergebnisse vorherzusagen, indem die nächsten K Nachbarn im Merkmalsraum auf der Grundlage von Eingabeabtastabständen bestimmt werden. Zu den Hauptvorteilen der Verwendung von KNNR gehören die Einfachheit und Leichtigkeit des Verständnisses sowie die Tatsache, dass keine Schulungsphase erforderlich ist. Darüber hinaus macht KNNR keine übermäßigen Annahmen über die Verteilung der Daten. KNNR kann in Regressionsfragen eingesetzt werden, um kontinuierliche objektive Variablen zu antizipieren und die Biomasse invasiver Pflanzen genau zu bewerten.
  4. Verwenden Sie das in Schritt 3.2 gewählte Modell zur Schätzung der oberirdischen Biomasse und scannen Sie die Verbreitungskarte invasiver Pflanzen aus Schritt 2.3.4 mit horizontalen und vertikalen Schritten von 280 Pixeln.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wir zeigen repräsentative Ergebnisse einer Computer Vision basierten Methode zur Schätzung invasiver Pflanzen, die programmatisch am Computer implementiert wird. In diesem Experiment haben wir die räumliche Verteilung ausgewertet und die Biomasse invasiver Pflanzen in ihren natürlichen Lebensräumen abgeschätzt, wobei Mikania micrantha als Forschungsobjekt verwendet wurde. Wir haben ein Drohnenkamerasystem verwendet, um Bilder des Forschungsstandorts aufzunehmen, von denen ein Teil in Abbildung 3 zu sehen ist. Wir nutzten das ResNet101 Convolutional Neural Network, um die im Untersuchungsgebiet vorhandenen Pflanzen zu identifizieren. Anschließend haben wir die räumliche Verteilung invasiver Pflanzen kartiert und einige unserer Ergebnisse in Abbildung 4 veranschaulicht. In Abbildung 3 ist Mikania micrantha zu sehen, wie sie auf die mit weißen Blüten geschmückte Pflanze klettert. Die anderen Pflanzen sowie die Straße und die begleitenden Elemente sind einheitlich im Hintergrund abgebildet. In Abbildung 4 erkennt das Modell den roten Teil als Mikania micrantha. Beim Vergleich der beiden Bildsätze wird deutlich, dass ResNet101 eine robuste Detektion von Mikania micrantha in komplexen Hintergründen zeigt. Darüber hinaus wird die Verteilung von Mikania micrantha im Untersuchungsgebiet mit hoher Präzision genau kartiert.

Die Biomasse invasiver Pflanzen im Untersuchungsgebiet wurde geschätzt, indem alle Mikania micrantha Stichprobenbilder von Orthofotos auf 280 × 280 Pixel gekürzt und die Vegetationsindizes RBRI, GBRI, GRRI, RGRI, NGBDI und NGBDI extrahiert wurden. Die Regressionsanalyse wurde unter Verwendung des KNNR-Regressionsmodells durchgeführt, wobei die sechs Indizes als Eingaben für das Schätzmodell und die Biomasse als Ausgabe des Modells verwendet wurden. Abbildung 5 zeigt die Ergebnisse: Die horizontalen Koordinaten des Diagramms stellen die Werte der vor Ort gemessenen Biomassen dar, die vertikalen Koordinaten stellen die Werte der vom Modell vorhergesagten Biomassen dar und die grauen Bereiche stellen die Konfidenzintervalle dar. Die Ergebnisse zeigen eine starke Vorhersageleistung mit einem R²-Wert von 0,62 und einem RMSE von 10,56 g/m2. Das Modell verbessert die Genauigkeit der Schätzung der Mikania micrantha Biomasse, und die räumliche Verteilungskarte in Abbildung 6 erfasst effektiv die Verteilung der Mikania micrantha Biomasse.

figure-results-1
Abbildung 1: UAV-Fernerkundungssysteme. Einige Beispiele für RGB-Bilddaten, die von einem UAV erfasst wurden. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-2
Abbildung 2: Routenplanung. Studie zur regionalen Routenplanung Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-3
Abbildung 3: Ergebnisse zur Identifizierung invasiver Pflanzen innerhalb des Untersuchungsgebiets. Die Abbildung zeigt die Ergebnisse der Identifizierung von Mikania micrantha in der Untersuchungszone über das ResNet101 Convolutional Neural Network. Der rote Bereich im Bild zeigt das Gebiet, das von ResNet101 als Mikania micrantha erkannt wurde, während der andere Hintergrund den Rest des Untersuchungsgebiets darstellt. Diese Ergebnisse entsprechen den in Abbildung 1 dargestellten Beispielbildern. Sie stellen die Erkennungsergebnisse in Abbildung 1 dar. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-4
Abbildung 4: Räumliche Verteilung invasiver Pflanzen. Das Model erkennt den roten Teil als Mikania micrantha. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-5
Abbildung 5: Ergebnisse der Regression der Biomassevorhersage. Die horizontale Achse zeigt die im Feld beobachteten Biomassewerte, während die vertikale Achse die vom Modell geschätzten Biomassewerte darstellt. Die grau hinterlegten Bereiche bezeichnen Konfidenzintervalle. Das KNNR-Modell erreichte im Testsatz einen R2 von 0,65, während der niedrigste mittlere quadratische Fehler 30,59 g/m2 betrug. Im Regressionsstreudiagramm des Modells lagen viele Schätzungen der Biomasse von Mikania micrantha innerhalb des Konfidenzintervalls, was auf die Gültigkeit der Biomassevorhersage hinweist. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-6
Abbildung 6: Räumliche Verteilung der Biomasse von Mikania micrantha . Die Abbildung veranschaulicht die Schätzung der Biomasse von Mikania micrantha im gesamten Forschungsgebiet unter Verwendung von KNNR als Vorhersagemodell zusammen mit der extrahierten Verteilungskarte der Mikania micrantha Biomasse. Dunkler schattierte Regionen stellen höhere Mengen an Mikania micrantha Biomasse dar. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-7
Abbildung 7: Schematische Darstellung der Hauptentwicklung dieses Protokolls. Die Abbildung veranschaulicht die wichtigsten Schritte des vorgestellten Protokolls. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Name des VegetationsindexBerechnungsformel
Grün-Blau-Verhältnis-IndexGBRI = DNG/DNB
Grün-Rot-Verhältnis-IndexGRRI = DNG/DNR
Rot-Blau-Verhältnis-IndexRBRI = DNR/DNB
Rot-Grün-Verhältnis-IndexRGRI = DNR/DNG
Normalisierter Grün-Blau-DifferenzindexNGBDI = (DNG - DNB)/(DNG + DNB)
Normalisierter Grün-Rot-DifferenzindexNGRDI = (DNG - DNR)/(DNG + DNR)

Tabelle 1: Formel zur Berechnung des Vegetationsindex. Die in diesem Protokoll verwendeten Vegetationsindizes und ihre jeweiligen Berechnungsformeln.

Ergänzende Abbildung 1: Zuschneiden eines Bildes auf 280 x 280 Pixel per Python-Skript unter Verwendung der OpenCV-Bibliothek. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Abbildung 2: Partitionieren des Datasets in einen Trainingssatz, einen Validierungssatz und einen Testsatz. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Abbildung 3: Merkmalsextraktion und Reduzierung der Dimensionalität. (A) Erste Merkmalsextraktion. (B) Faltungsoperation. (C) Verringerung der Dimensionalität. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Abbildung 4: Übertragen der Features auf die FC-Schicht in der ResNet-Architektur. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Abbildung 5: Einstellen der Parameter. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzend Abbildung 6: Der spezifische Implementierungscode zum Generieren einer umfassenden Distributionskarte. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Abbildung 7: Funktionen RandomResizedCrop und RandomHorizontalFlip. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wir stellen die detaillierten Schritte eines Experiments zur Schätzung der Biomasse invasiver Pflanzen mit Hilfe von UAV-Fernerkundung und Computer Vision vor. Der Hauptprozess und die Schritte dieser Vereinbarung sind in Abbildung 7 dargestellt. Die richtige Probenqualität ist einer der wichtigsten und herausforderndsten Aspekte des Programms. Diese Bedeutung gilt sowohl für alle invasiven Pflanzen als auch für alle anderen Experimente zur Schätzung der Pflanzenbiomasse24.

Um die Verbreitung invasiver Pflanzen im Untersuchungsgebiet zu identifizieren, müssen wir zunächst eine sichtbare und kontinuierliche Photogrammetrie des Untersuchungsgebiets mit Hilfe der Fernerkundung von UAV erfassen. Um dies zu erreichen, sind eine entsprechende UAV-Fotohöhe und Kameraauflösung erforderlich. Dadurch wird sichergestellt, dass ResNet101, ein neuronales Faltungsnetz, Merkmale wie Vegetationsindex und Textur aus dem Bild abrufen kann. Diese Merkmale helfen dabei, invasive Pflanzen auch in komplexen Umweltumgebungen zu identifizieren und letztendlich ihre Verbreitung im Untersuchungsgebiet zu kartieren.

Um die Biomasse invasiver Pflanzen im Untersuchungsgebiet abzuschätzen, ist es notwendig, quadratische Probenrahmen25 mit 25-50 zufälligen Probenahmestellen zu erstellen. Sobald das unbemannte Flugsystem den Prozess der Aufnahme von Fotos abgeschlossen hat, ist es notwendig, die invasiven Pflanzen aus den Probenrahmen zu sammeln. Es ist wichtig zu beachten, wie im ersten Abschnitt erwähnt, dass das Sammeln der Biomasse aus den Rahmen erfolgen sollte, ohne sie zu bewegen, und mit Präzision durch die Zuweisung eindeutiger Nummern. Zusätzlich sollte die Biomasse schonend getrocknet und im Labor gewogen werden, um eine genaue Messung zu erhalten. Das KNNR-Regressionsmodell18 wurde verwendet, um die räumliche Verteilung invasiver Pflanzen zu erhalten, wobei sechs Vegetationsindizes verwendet wurden, die aus Bildern extrahiert wurden, die vom UAV-Kamerasystem als Eingabe für das Schätzmodell aufgenommen wurden, und Biomasse als Ausgabe des Modells.

Die in dieser Arbeit beschriebenen Methoden zur Schätzung invasiver Pflanzenpopulationen sind nicht erschöpfend. Zusätzliche Instrumente können verwendet werden, um vergleichbare Daten zu erhalten, und es können zahlreiche praktische oder innovative Modifikationen vorgenommen werden. Es kann eine Reihe von Drohnen verwendet werden, von denen das in dem Protokoll bezeichnete Modell nur als eine Option dient und durch jede Drohne ersetzt werden kann, die eine Integration der automatischen Navigation, die Fähigkeit zur Anpassung an einen Gimbal, die Fähigkeit, bis zu 50 Meter weit zu fliegen, eine Nutzlastkapazität, die die der ausgewählten Kamera übersteigt, und eine Reichweite, die das gesamte Untersuchungsgebiet abdeckt, besitzt. Bei der Auswahl einer Kamera für UAV ist es wichtig, Faktoren wie maximale Auflösung, effektive Bildpixel, maximale Pixel und andere Bildgebungsparameter sowie die Größen- und Gewichtsbeschränkungen der UAV-Last zu berücksichtigen. Darüber hinaus ist eine ausreichende Reichweite für den erfolgreichen Abschluss des Drehvorgangs erforderlich. Darüber hinaus ist das Modell zur Identifizierung nicht die einzige Methode und kann für mehrere invasive Pflanzenarten, wie z. B. Gehölze oder verschiedene Pflanzenarten, angepasst werden, um die vorgeschlagene Methode zu verbessern. Diese Strategie kann auch zu einem Regressionsalgorithmus weiterentwickelt werden, der weniger Stichproben verwendet, zusätzliche Vegetationsindizes erfasst und ein höheres Maß an Präzision erreicht. Alternativ könnte ein reduziertes Identifizierungsnetzwerk implementiert werden, um invasive Pflanzen zu identifizieren, was den praktischen Einsatz intelligenter Identifizierungsmethoden ermöglicht.

Die Haupteinschränkung der vorgestellten Methode ist die Abhängigkeit des Modells von den Lichtverhältnissen und dem Hintergrund. Verbesserungen in Richtung höherer Genauigkeit können nur durch die weitere Einbeziehung von multispektralen26, LiDAR12 und meteorologischen Daten27 erreicht werden. Die Erfassung dieser Art von Daten kann eine Herausforderung sein und teure Ausrüstung erfordern, aber wir können die Genauigkeit unserer Daten erhöhen, indem wir direktes Sonnenlicht vermeiden und den Hintergrund der Pflanzen isolieren, während wir das Gebiet über unser UAV-Filmsystem beproben.

Der Vorteil der Anwendung dieser Methode im Gegensatz zu anderen liegt in ihrer Fähigkeit, die räumliche Verteilung invasiver Pflanzenarten im ausgewiesenen Untersuchungsgebiet zu ermitteln. Die Verteilung wird durch Regressionsanalyse bestimmt, wobei sechs Vegetationsindizes verwendet werden, die aus Bildern extrahiert wurden, die mit dem UAV-Kamerasystem aufgenommen wurden, wobei die Biomasse das Ergebnis des Modells ist. Dieser Ansatz verwendet eine portable Methode zur gleichzeitigen Schätzung der Biomasse in mehreren Untersuchungsgebieten, die sich grundlegend von früheren manuellen Methoden zur Sammlung von Biomasse unterscheidet. Die herkömmliche Methode beinhaltet die manuelle Durchführung von Erhebungen und die Erhebung erheblicher Mengen, was ineffizient und subjektiv ist28, so dass eine praktische Schätzung der Biomasse unter komplexen Bedingungen nicht möglich ist.

Die Schätzung der invasiven Pflanzenbiomasse mit der oben genannten Methodik ermöglicht die Quantifizierung der regionalen Verteilung. Darüber hinaus bietet es technische Unterstützung für ein intelligentes Monitoring und eine Gefährdungsbeurteilung auf regionaler Ebene.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren haben nichts offenzulegen.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Der Autor dankt der Chinesischen Akademie der Agrarwissenschaften und der Universität Guangxi für die Unterstützung dieser Arbeit. Die Arbeit wurde unterstützt durch das National Key R&D Program of China (2022YFC2601500 & 2022YFC2601504), die National Natural Science Foundation of China (32272633) und das Shenzhen Science and Technology Program (KCXFZ20230731093259009)

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
DSLR-KameraNikonD850Sensortyp: CMOS; Maximale Anzahl von Pixeln: 46,89 Millionen; Effektive Anzahl der Pixel: 45,75 Millionen; Maximale Auflösung 8256 x 5504.
GPU - GrafikprozessorNVIDIA 
HexacopterDJI M600PROHorizontalflug: 65 km/h (ohne Wind); Maximale Fluglast: 6000 g
PyCharmPython IDE2023.1
PythonPython3.8.0
PytorchPytorch1.8.1
RTX3090

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Lian, J. Y., et al. Influence of obligate parasite Cuscuta campestris on the community of its host Mikania micrantha. Weed Research. 46, 441-443 (2006).
  2. Yu, X., Bao, Q. Aboveground biomass estimation of potato from UAV multispectral imagery. Remote Sensing. 54 (4), 96-99 (2023).
  3. Guo, T. C., Wang, Y. H., Feng, W. Research on wheat yield estimation based on multimodal data fusion from unmanned aircraft platforms. Acta Agronomica Sinica. 48 (7), 15(2022).
  4. Shao, G. M., et al. Estimation of transpiration coefficient and aboveground biomass in maize using time-series UAV multispectral imagery. The Crop Journal. 10 (5), 1376-1385 (2022).
  5. Jiang, Q., et al. UAV-based biomass estimation for rice-combining spectral, TIN-based structural and meteorological features. Remote Sensing. 11 (7), 890(2019).
  6. Fei, S. P., et al. UAV-based multi-sensor data fusion and machine learning algorithm for yield prediction in wheat. Precision Agriculture. 24, 187-212 (2023).
  7. Shu, S., et al. Aboveground biomass estimation of rice based on unmanned aerial vehicle imagery. Fujian Journal of Agricultural Sciences. 37 (7), 9(2022).
  8. Wu, X., et al. UAV LiDAR-based biomass estimation of individual trees. Fujian Journal of Agricultural Sciences. 22 (34), 15028-15035 (2022).
  9. Yang, X., Zan, M., Munire, M. Estimation of above ground biomass of Populus euphratica forest using UAV and satellite remote sensing. Transactions of the Chinese Society of Agricultural Engineering. 37 (1), 7(2021).
  10. Li, B., Liu, K. Forest biomass estimation based on UAV optical remote sensing. Forest Engineering. 5, 38(2022).
  11. Li, Z., Zan, Q., Yang, Q., Zhu, D., Chen, Y., Yu, S. Remote estimation of mangrove aboveground carbon stock at the species level using a low-cost unmanned aerial vehicle system. Remote Sensing. 11 (9), 1018(2019).
  12. Luo, S., et al. Fusion of airborne LiDAR data and hyperspectral imagery for aboveground and belowground forest biomass estimation. Ecological Indicators. 73, 378-387 (2017).
  13. Li, S., et al. Research of grassland aboveground biomass inversion based on UAV and satellite remoting sensing. Remote Sensing Technology and Application. 1, 037(2022).
  14. Wengert, M., et al. Multisite and multitemporal grassland yield estimation using UAV-borne hyperspectral data. Remote Sensing. 14 (9), 2068(2022).
  15. Li, Y., et al. The effect of season on Spartina alterniflora identification and monitoring. Frontiers in Environmental Science. 10, 1044839(2022).
  16. Wang, F., et al. Estimation of above-ground biomass of winter wheat based on consumer-grade multi-spectral UAV. Remote Sensing. 14 (5), 1251(2022).
  17. Lu, N., et al. Improved estimation of aboveground biomass in wheat from RGB imagery and point cloud data acquired with a low-cost unmanned aerial vehicle system. Plant Methods. 15 (1), 17(2019).
  18. Chen, H., et al. Mapping forest aboveground biomass with MODIS and Fengyun-3C VIRR imageries in Yunnan Province, Southwest China using linear regression, K-nearest neighbor and random. Remote Sensing. 14 (21), 5456(2022).
  19. Yan, M., et al. Biomass estimation of subtropical arboreal forest at single tree scale based on feature fusion of airborne LiDAR data and aerial images. Sustainability. 15 (2), 1676(2023).
  20. Tian, Y. C., et al. Aboveground mangrove biomass estimation in Beibu Gulf using machine learning and UAV remote sensing. Science of the Total Environment. 781, 146816(2021).
  21. Shrivastava, A., et al. Beyond skip connections: Top-down modulation for object detection. arXiv. , (2016).
  22. Belkasim, S. O., Shridhar, M., Ahmadi, M. Pattern classification using an efficient KNNR. Pattern Recognition. 25 (10), 1269-1274 (1992).
  23. Joel, S., Jose Luis, A., Shawn, C. K. Farming and earth observation: Sentinel-2 data to estimate within-field wheat grain yield. International Journal of Applied Earth Observation and Geoinformation. 107, 102697(2022).
  24. Tian, L., et al. Review of remote sensing-based methods for forest aboveground biomass estimation: Progress, challenges, and prospects. Forests. 14 (6), 1086(2023).
  25. Wei, X. Biomass estimation: A remote sensing approach. Geography Compass. 4 (11), 1635-1647 (2010).
  26. Débora, B., et al. New methodology for intertidal seaweed biomass estimation using multispectral data obtained with unoccupied aerial vehicles. Remote Sensing. 15 (13), 3359(2023).
  27. Zhang, J. Y., et al. Unmanned aerial system-based wheat biomass estimation using multispectral, structural and meteorological data. Agriculture. 13 (8), 1621(2023).
  28. Shen, H., et al. Influence of the obligate parasite Cuscuta campestris on growth and biomass allocation of its host Mikania micrantha. Journal of Experimental Botany. 56 (415), 1277-1284 (2005).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Invasive Plant BiomassUAV Remote SensingComputer VisionBiomass EstimationDeep LearningVegetation IndexImage SegmentationK Nearest NeighborSpatial Distribution MapMikania Micrantha

Related Articles