We bieden een gedetailleerd protocol voor het uitvoeren van fotogrammetrie-onderzoeken van de onderwaterstructuur uit beweging om 3D-modellen en orthomosaics te genereren.
Methodenartikel
We bieden een gedetailleerd protocol voor het uitvoeren van fotogrammetrie-onderzoeken van de onderwaterstructuur uit beweging om 3D-modellen en orthomosaics te genereren.
Structure-from-motion (SfM) fotogrammetrie is een techniek die wordt gebruikt om driedimensionale (3D) reconstructies te genereren uit een reeks tweedimensionale (2D) beelden. SfM-methoden worden steeds populairder als een niet-invasieve manier om veel systemen te monitoren, waaronder antropogene en natuurlijke landschappen, geologische structuren en zowel terrestrische als aquatische ecosystemen. Hier wordt een gedetailleerd protocol geboden voor het verzamelen van SfM-beelden om 3D-modellen van benthische habitats te genereren. Bovendien zijn de kosten, tijdsefficiëntie en uitvoerkwaliteit van het gebruik van een DSLR-camera (Digital Single Lens Reflex) vergeleken met een goedkopere actiecamera. Er werd een afweging waargenomen tussen rekentijd en resolutie, waarbij de DSLR-camera modellen produceerde met meer dan twee keer de resolutie, maar ongeveer 1,4 keer langer duurde om te produceren dan de actiecamera. Deze inleiding is bedoeld om een grondige beschrijving te geven van de stappen die nodig zijn om SfM-gegevens te verzamelen in benthische habitats voor degenen die niet bekend zijn met de techniek en voor degenen die al vergelijkbare methoden gebruiken.
Ecosysteemprocessen zijn van nature dynamisch en kunnen moeilijk te kwantificeren zijn. Het afgelopen decennium is er een golf van nieuwe technologieën geweest voor het vastleggen van ecosystemen en hun dynamiek op verschillende schalen, van 3D-laserscanning van individuele ecosysteemkenmerken tot satelliet-teledetectie van grote gebieden 1,2,3. In benthische habitats is structuur nauw verbonden met ecosysteemfunctie8, waardoor hulpmiddelen die tegelijkertijd geometrie en gemeenschapsstructuur mogelijk maken, bijzonder waardevol zijn voor het begrijpen van ecologische dynamiek. Veel moderne benaderingen kunnen echter niet worden gebruikt in aquatische systemen vanwege de fysieke eigenschappen van water (bijv. Breking, vervorming, troebelheid). Technieken, zoals LiDAR (Light Detection and Ranging) en sommige methoden voor luchtonderzoek, kunnen geschikt zijn op grote ruimtelijke schalen, maar kunnen niet de resolutie verkrijgen die nodig is om fijne schaalveranderingen in benthische habitats te beoordelen. Structure-from-Motion (SfM) fotogrammetriemethoden zijn onlangs aangepast om grootschalige orthomosaics met hoge resolutie en 3D-oppervlaktemodellen van onderwaterhabitats 4,5,6,7 te produceren.
SfM-fotogrammetrie is een relatief goedkope, eenvoudige, niet-invasieve en herhaalbare methode die het mogelijk maakt om grootschalige, hoge-resolutierecords van het benthische milieu in aquatische ecosystemen te genereren9. SfM gebruikt een reeks 2D-afbeeldingen om 3D-modelreconstructies te genereren. De modellen die uit SfM worden gegenereerd, kunnen worden gebruikt om gegevens te verzamelen over de structurele complexiteit (bijv. Rugosity, dimensionaliteit)4,5,10,11,12 en gemeenschapsstructuur (bijv. Soortensamenstelling, populatiedemografie)13,14,15 van benthische ecosystemen. Bovendien, omdat deze methode relatief goedkoop, snel en herhaalbaar is, kan deze door zowel wetenschappers als niet-wetenschappers worden gebruikt om waardevolle, objectieve informatie over deze ecosystemen te verzamelen. Daarom is deze methode een haalbare techniek voor gebruik in citizen science-projecten waar standaardisatie van steekproefinspanning, minimalisering van vooringenomenheid, betrokkenheid van deelnemers en trainingsgemak van vitaal belang zijn voor de kwaliteit van gegevens en het algehele succes16,17.
Dit artikel bevat een gedetailleerd protocol voor het uitvoeren van SfM-onderzoeken onder water. Tegelijkertijd is het gebruik van een DSLR-camera vergeleken met dat van een meer kosteneffectieve 'actiecamera', en de relatieve voor- en nadelen van elk worden geschetst. Het algemene doel is om wetenschappers en niet-wetenschappers zo snel mogelijk vertrouwd te maken met benthische SfM-onderzoeksmethoden door een eenvoudig, algemeen gebruikt protocol te bieden, waardoor het gebruik van deze methode op grotere schaal wordt bevorderd. Voor voorbeelden van studies die variaties van deze methode hebben toegepast om ecologische gemeenschappen onder water te bestuderen, zie Burns et al. (2015)4, Storlazzi et al. (2016)18, Ventura et al (2016 en 2018)19,20, Edwards et al. (2017)14, George et al. (2018)21, Anelli et al. (2019)22 en Torres-Pulliza et al. (2020)10.
De hier beschreven methode vereist een snorkel- of SCUBA-team voor twee personen. Nadat de onderzoekslocatie is geselecteerd, wordt een spoel lijn (figuur 1A) in het midden van de site geplaatst en worden kalibratietegels (figuur 1B) op ~2 m van het midden verdeeld. Eén persoon (de zwemmer) zwemt met de camera en legt beelden van de site vast, terwijl de tweede persoon (de assistent) de spoel in het midden van het perceel verzorgt (figuur 1C). Eerst verbindt de zwemmer de camera via de lijn met de spoel en begint dan continu foto's te maken van de benthos terwijl hij met zijn gezicht naar beneden en naar voren zwemt om de lijn van de spoel af te wikkelen. De zwemmer moet te allen tijde een verticale afstand van ~ 1 m boven het substraat aanhouden en zijn positie aanpassen aan die van de topografie tijdens het zwemmen. Belangrijk is dat de lijn die de spoel en de camera verbindt te allen tijde strak moet blijven om een gelijkmatige afstand in de spiraal te creëren terwijl de zwemmer het perceel onderzoekt. De assistent houdt de spoel in een stabiele, rechtopstaande positie en zorgt ervoor dat de spoel niet roteert en dat de lijn niet in de knoop raakt.
Zodra de lijn volledig is afgewikkeld, stopt de zwemmer, draait en zwemt in de tegenovergestelde richting om de lijn rond de spoel terug te deinzen. Terwijl de zwemmer van richting verandert, draait de assistent de spoel om de lijn in te winden, precies 180 ° om exacte overlapping van het uitgaande pad te voorkomen. Zodra de zwemmer zo dicht mogelijk bij het midden is, wordt de camera losgemaakt van de lijn en neemt de assistent de spoel en lijn en zwemt weg van het centrale deel van de site. De zwemmer voltooit vervolgens het beeld van het midden van het plot door de camera in een kleine spiraal over het midden te bewegen. Hoewel er verschillende manieren zijn om een gebied effectief in beeld te brengen, is de hier beschreven spoel-en-lijnmethode robuust in zelfs niet-ideale omgevingsomstandigheden waar schokkerig oppervlaktewater, deining of slecht zicht anders de gegevensverzameling zou kunnen belemmeren. In deze scenario's houdt deze methode snorkelaars / duikers vast en zorgt voor een hoge overlap van beelden door de zwemmer op een gecontroleerd pad te houden.
1. Materialen
2. Gedetailleerde methoden
3. Ruim de site op.
In dit voorbeeld werd Reef Site 2_7 op Patch Reef 13 in Kāneʻohe Bay, Oʻahu, Hawaiʻi, afgebeeld en werden 3.125 JPEG-foto's van de DSLR en 3.125 JPEG-frame-opnamen van de actiecameravideo (tabel 1) gebruikt als invoer om de orthomosaics en 3D-modellen te maken. De algemene workflow bestond uit 5 fasen: 1) uitlijning van foto's om de schaarse puntenwolk te genereren, 2) het schalen van de schaarse puntenwolk en het optimaliseren van camera's, 3) het bouwen van de dichte puntenwolk (dieptekaarten werden ook gegenereerd tijdens deze fase), 4) het bouwen van het digitale hoogtemodel (DEM) en orthomosaic, en 5) het genereren van het 3D-model en de textuur. Merk op dat fase 4 en 5 niet noodzakelijkerwijs in die volgorde hoeven te worden uitgevoerd, maar ze moeten worden uitgevoerd na het verwerken van de dichte puntenwolk en dieptekaarten. Georeferencing van de modellen moet plaatsvinden voordat het orthomosaic en DEM worden gegenereerd. De instellingen die voor deze fasen worden gebruikt en de verwerkingsdetails worden beschreven in respectievelijk tabel 2 en materiaaltabel.
Voor meer gedetailleerde methoden voor het genereren van 3D-modellen en orthomosaics, zie het Aanvullend materiaal en Suka et al.23. De verwerkingstijd was korter voor het van de actiecamera afgeleide model voor elke stap, inclusief het genereren van schaarse puntenwolken, het genereren van dichte puntenwolken, het renderen van mesh-modellen en het renderen van gestructureerde modellen. Dit leidde tot een aanzienlijk snellere totale verwerkingstijd voor het actiecameramodel (6 uur 39 min) dan het DSLR-model (9 uur 14 min). De exacte tijd voor modelverwerking is afhankelijk van de rekenkracht en specifieke hardwareconfiguraties.
Het model dat werd gegenereerd met behulp van beelden van de DSLR-camera bevatte 2.848.358 schaarse wolkenpunten en 787.450.347 dichte wolkenpunten, terwijl het model dat werd gegenereerd uit de actiecamerabeelden slechts 2.630.543 schaarse wolkenpunten en 225.835.648 dichte wolkenpunten bevatte. Dit leidde ertoe dat de DSLR-modellen meer dan 2x de resolutie hadden dan de actiecameramodellen met orthomosaicsresoluties van respectievelijk 0,442 en 0,208 mm / pixel voor de DSLR- en actiecamera-afgeleide modellen (tabel 1). Ondanks de betere resolutie van het DSLR-model ten opzichte van het actiecameramodel, waren beide methoden in staat om modellen van hoge kwaliteit te produceren met weinig verschil in visuele weergave wanneer het rifgebied van ~ 113 m2 werd weergegeven als een digitaal hoogtemodel van 20 cm 2 (figuur 2 bovenpanelen) of 2D-orthomozaïsche projectie (figuur 2 middenpanelen).

Figuur 1: Structure-from-Motion fotogrammetrie. (A) Voorbeeld van een spoelinstallatie voor het regelen van de zwemmerafstand met een bevestigd handvat en een paal voor nauwkeurige positionering en hantering. (B) Kalibratietegels. (C) Een schema van het zwempad met relatieve posities van de zwemmer (groen) en de assistent (oranje). Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Visuele vergelijking van digitale hoogtemodellen en orthomosaics. Digitale hoogtemodellen (boven) en orthomosaics (midden) opgebouwd uit DSLR (links) en actiecamera (rechts) beelden. Het onderste paneel is een zoom van de gebieden in de witte vakken in de orthomosaics. De heatmapschalen in het bovenste paneel geven de afstand tot het wateroppervlak in meters (m) weer. Klik hier om een grotere versie van deze figuur te bekijken.
| Canon EOS Rebel SL3 | GoPro Hero 7 | |
| Kosten | ||
| Fototoestel | ~600,00 dollar | ~$220.00 |
| Onderwaterhuis | ~$1,700.00 | Nv |
| Totale kosten | ~$2,300.00 | ~$220.00 |
| Foto 's | ||
| Fotobestandsindeling | .jpeg | .jpeg |
| Foto resolutie | 24 megapixels | 12 Megapixels (van 4K video) |
| Uitgelijnde foto's / totaal aantal foto's | 3125 / 3125 | 3125 / 3125 |
| Fotogrammetrie statistieken | ||
| Schaarse wolkenpunten | 2,848,358 | 2,630,543 |
| Dichte wolkenpunten | 787,450,347 | 225,835,648 |
| Gezichten (3D-model) | 11,919,451 | 3,834,651 |
| Dem-resolutie (Digital Elevation Model) | 0,831 mm/pixel | 1,77 mm/pixel |
| Orthomosaic resolutie | 0,208 mm/pixel | 0,442 mm/pixel |
| Verwerkingstijden | ||
| Schaarse cloudgeneratie | 1 u 23 min | 1 u 27 min |
| Dichte cloudgeneratie | 4 uur | 3 u 11 min |
| Mesh model rendering | 3 u 32 min | 1 u 49 min |
| Textuurweergave | 19 min | 12 min |
| Totale verwerkingstijd van de computer | 9 u 14 min | 6 u 39 min |
Tabel 1: Gedetailleerde informatie over instelkosten, foto's die zijn gebruikt om de modellen samen te stellen, fotogrammetriestatistieken en verwerkingstijd. De verwerking gebeurde met dezelfde instellingen voor beide modellen. Houd er rekening mee dat de verwerkingstijd geen tijd omvat voor verschillende stappen, zoals fotobewerking, het extraheren van afbeeldingen uit video, het opnieuw uitlijnen van foto's en het bewerken en schalen van de modellen.
| Canon EOS Rebel SL3 | GoPro Hero 7 | |
| Beelden | ||
| Gemiddelde bestandsgrootte | ~ 8,3 MB | ~ 4,7 MB |
| Foto-acquisitie | Continue modus | Geëxtraheerd uit 4K-video |
| Kleurcorrectie | Handmatig | Handmatig |
| Lenscorrectie | Nee | Ja |
| Instellingen voor fotogrammetrieprocessen | ||
| Schaarse cloudgeneratie | Nauwkeurigheid: Hoog | Nauwkeurigheid: Hoog |
| Kernpunt: 40.000 | Kernpunt: 40.000 | |
| Gelijkspelpunt: 4.000 | Gelijkspelpunt: 4.000 | |
| Generieke preselectie: Ja | Generieke preselectie: Ja | |
| Dichte cloudgeneratie | Gemiddelde kwaliteit | Gemiddelde kwaliteit |
| 3D mesh model generatie | ||
| Brongegevens: | Dieptekaarten | Dieptekaarten |
| Kwaliteit: | Gemiddeld | Gemiddeld |
| Aantal gezichten: | Laag | Laag |
| Interpolatie: | Ingeschakeld | Ingeschakeld |
| Bereken vertexkleuren: | Ja | Ja |
| 3D-textuur genereren | ||
| Type textuur: | Diffuse Kaart | Diffuse Kaart |
| Brongegevens: | Beelden | Beelden |
| Toewijzingsmodus: | Generiek | Generiek |
| Overvloeimodus: | Mozaïek | Mozaïek |
| Textuur grootte/aantal: | 4096 / 1 | 4096 / 1 |
| Digitaal hoogtemodel (DEM) | Uit dichte bewolking | Komt uit Dense Cloud |
| Orthomozaïek | Van DEM | Van DEM |
Tabel 2: Gedetailleerde informatie over verzamelde beelden en fotogrammetrische verwerking. De verwerking gebeurde met dezelfde instellingen voor beide modellen.
Aanvullend materiaal. Klik hier om dit bestand te downloaden.
Deze studie toont aan dat zowel de DSLR-camera als de actiecamera modellen produceren met een resolutie van meer dan 0,5 mm / pixel in minder dan 10 uur verwerkingstijd op een standaard desktopcomputer. De belangrijkste afweging tussen de DSLR en de actiecamera, afgezien van de kosten, is respectievelijk een fijnere resolutie versus een snellere verwerkingstijd. De gerapporteerde verwerkingstijden omvatten echter alleen de computationele verwerking. Dus, hoewel de rekentijd minder is voor de actiecamera, is er een aanzienlijke hoeveelheid tijd (10-20 min) geïnvesteerd in beeldextractie uit de video's die niet vereist is met de DSLR. Een alternatief is om de actiecamera in de continu-opnamemodus te gebruiken om beeldextractie te voorkomen. De continue opnamemodus werd in dit voorbeeld niet gebruikt, omdat de actiecamera alleen met 2 fps kan fotograferen, wat een aanzienlijk langzamere zwemsnelheid vereist om voldoende beelden te verzamelen om een compleet model te bouwen. In dit opzicht is er een afweging tussen langere tijd in het veld met behulp van de continue opnamemodus versus langere tijd op de computer, het extraheren van afbeeldingen, bij gebruik van de videomodus.
Voordelen van de actiecamera zijn onder andere betaalbaarheid en gemak van transport en bediening onder water. Het grote voordeel van de DSLR is dat het beelden met een hogere resolutie produceert; daarom worden DSLR-camera's aanbevolen boven actiecamera's wanneer de eerste niet onbetaalbaar is. Het soort vragen dat een studie probeert te beantwoorden, zal ook belangrijk zijn bij het bepalen van de gebruikte methode. Een actiecamera kan bijvoorbeeld de voorkeur hebben in omgevingen die relatief homogeen zijn (bijvoorbeeld zeegrasvelden, dode koraal/ puinhabitats), of waar alleen brede gemeenschapsstatistieken (zoals overvloed, diversiteit) worden beoordeeld op grote ruimtelijke schalen. Een DSLR-camera kan echter worden ingezet in gevallen waarin het volgen van fijnmazige veranderingen in individuele organismen of substraten van belang is.
Omdat dit een veldmethode is, zijn de modeloutputs afhankelijk van verschillende omgevingsfactoren, zoals verlichting, waterhelderheid, oppervlakteomstandigheden, hoeveelheid piek en beweging van vissen of niet-stationaire benthische structuren (bijv. Zeegras). Hoewel er geen absolute drempels zijn van wanneer het gepast is om deze methode te gebruiken, produceren licht bewolkte dagen met een hoge waterhelderheid, kalme oppervlakteomstandigheden en weinig piek meestal de beste modellen. Bovendien is er een limiet aan de minimale diepte die vereist is voor deze methoden. Deze methoden werken niet goed onder omstandigheden waarin er minder dan 0,5 m water is vanwege de lage overlap tussen foto's en minder onderscheidende kenmerken per foto. Dit benadrukt echter een ander voordeel van de actiecamera, namelijk dat ze kleiner zijn en dus gemakkelijker te gebruiken zijn op ondiepere diepten. Bovendien kunnen een spoel met een kleinere diameter en een hogere framesnelheid (of een groothoeklens) de beeldoverlapping in zeer ondiepe omstandigheden verbeteren9.
Veel andere gegevenstypen kunnen met deze aanpak worden geïntegreerd. Orthomosaics zijn bijvoorbeeld gebruikt om de ruimtelijke dichtheid van moleculaire gegevens (bijv. Genen en metabolieten) op koralen 24 en mensen 25 te tonen met behulp van de open source-software 'ili'26. Hetzelfde platform kan ook worden gebruikt om de ruimtelijke dichtheden van dieren, micro-organismen, virussen en / of chemicaliën in het milieu in kaart te brengen. Andere voorbeelden hebben SfM gebruikt voor het ruimtelijk annoteren van benthische soorten op orthomosaics met behulp van geografische informatiesysteemsoftware10. Bovendien kunnen de door SfM gegenereerde 3D-modellen worden gebruikt om habitatkenmerken zoals rugositeit en fractaldimensie te schatten. Inderdaad, de hier beschreven methoden zijn onlangs gebruikt om een nieuwe meetkundige theorie voor habitatoppervlakken af te leiden10. Ten slotte worden orthomosaics gebruikt als invoeroppervlakken voor ruimtelijk expliciete computationele modellen, waardoor dynamische simulaties over het 3D-oppervlak van het model kunnen worden gelegd. Door gemakkelijk grote afbeeldingen en 3D-representaties van benthische habitats te genereren, konden mariene wetenschappers tot nu toe onvoorstelbare vragen beantwoorden3.
Over het algemeen is hier een gedetailleerd protocol voor het uitvoeren van onderwater SfM-fotogrammetrie met DSLR-camera's of meer kosteneffectieve actiecamera's. Deze methoden kunnen door wetenschappers worden gebruikt voor een breed scala aan doeleinden, van het extraheren van gegevens over benthische ecosystemen tot het ontwikkelen van 3D-invoeroppervlakken voor in silico-simulaties . Deze protocollen kunnen echter ook door niet-wetenschappers worden gebruikt als onderdeel van citizen science-inspanningen om waardevolle informatie te verzamelen over patronen van biodiversiteit, habitatcomplexiteit, gemeenschapsstructuur en andere ecologische statistieken.
De auteurs hebben geen concurrerende financiële belangen of andere belangenconflicten.
We danken de Paul G. Allen Family Foundation voor het financieren van dit onderzoek en zijn Ruth Gates dankbaar voor de inspiratie om technologie te gebruiken om riffen te helpen behouden. We bedanken ook NOAA en andere medewerkers voor de doordachte discussie over deze methoden. Tot slot bedanken we Catie Foley en Patrick Nichols voor het leveren van de drone- en onderwatervideo van deze methoden.
We erkennen de National Fish and Wildlife Foundation als financieringspartner in dit werk.
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| Actiecamera (GoPro Hero7 Black) | GoPro | Kon een willekeurige waterdichte actiecamera zijn | |
| Adobe Lightroom | Adobe | Kleurcorrectie | |
| Calibratietegels (platte PVC-plaat op maat gesneden voor Agisoft-doelen. Bevestig een duikgewicht eronder als je golven verwacht) | Elk negatief drijvend object van bekende grootte en kleur. We raden aan om de schaalmarkeringssjablonen te gebruiken die beschikbaar zijn vanuit Agisoft Metashape-software (v.1.6.0). | ||
| DSLR-camera (Canon EOS Rebel SL3 ) | Canon | 3453C002AA | Kon een willekedige DSLR-camera zijn in een onderwaterbehuizing |
| Lijn (kunststof waslijnfilament) | Elke negatief drijvende lijn die sterk genoeg is om veldgebruik te weerstaan | ||
| Micro SDXC-geheugenkaart (voor GoPro) | |||
| Oceanic Veo 2.0 | Oceanic | Digitale dieptemeter | |
| SDXC-geheugenkaart (voor DSLR) | Elke SDXC-geheugenkaart zou moeten werken, zolang er genoeg ruimte is om alle foto's te bewaren die nodig zijn om het model te bouwen | ||
| Spoel (2 inch lange sectie van 8 inch diameter PVC-buis die was bevestigd aan een 3 voet sectie van 1 inch PVC-buis om de stengel te vormen | Elk negatief drijvend, rond object van de gewenste diameter | ||
| Onderwatercamerahuis voor DSLR (Ikelite 200DLM/C Underwater TTL Housing) | Ikelite | 6970.09 | Moet de specifieke waterbehuizing zijn voor het DSLR-merk en -model |
| Windows 10 desktopcomputer met een Intel i9-9900K 8-core CPU, twee Nvidia GeForceRTX 2070 SUPER GPU's en 128 GB RAM. | Verwerking |