Reefshape: een systeem voor het efficiënt verzamelen en geautomatiseerd verwerken van tijdreeksen onderwaterfotogrammetriegegevens voor het monitoren van benthische habitats

ReefShape is een protocol voor het verzamelen en geautomatiseerd verwerken van geo-gerefereerde tijdreeksen, onderwaterfotogrammetrie, datasets, benthische habitatmonitoring. Fotogrammetrie, of beeldvorming van grote gebieden, is een hulpmiddel dat erg populair is geworden onder koraalrifonderzoekers voor het maken van digitale 3D-modellen en 2D-orthogerectificeerde fotomozaïeken met hoge resolutie van delen van het benthos die later op een computer kunnen worden geanalyseerd om zaken als gemeenschapssamenstelling of structurele complexiteit te meten. Het verzamelen van dit soort gegevens en tijdreeksen voor het monitoren van koraalriffen is ongelooflijk nuttig in de context van de snelle wereldwijde achteruitgang van koraalecosystemen. Onderwaterfotogrammetrie als concept is vrij eenvoudig. Het gaat om het nemen van honderden tot duizenden sterk overlappende beelden van een gebied die in de structuur worden ingevoerd door bewegingsfotogrammetriesoftware om de oriëntaties van de foto's in het riflandschap in 3D na te bootsen. Vervolgens kunnen een mesh-model, een digitaal hoogtemodel en 2D top-down orthomosaic worden gegenereerd. Hoewel er veel protocollen bestaan voor het verzamelen van fotogrammetriegegevens voor rifmonitoring, richten ze zich vaak op het verzamelen van afbeeldingen en laten ze de verwerkingsopties over aan individuele onderzoekers, wat erg tijdrovend kan zijn en een steile leercurve heeft. Automatisering van dit proces is een uitdaging omdat de modellen op de juiste manier moeten worden geschaald, gelokaliseerd en precies uitgelijnd met andere tijdstippen om bijzonder nuttig te zijn voor ecologische gegevensanalyse. We hebben ReefShape ontwikkeld als een manier om deze problemen aan te pakken. Onze methode biedt een oplossing voor het opzetten van permanente monitoringplots met georeferentiegegevens uit de echte wereld, het efficiënt verzamelen van tijdreeksbeelden en het verwerken van gegevens met behulp van een set aangepaste Python-scripts die de verwerkingspijplijn volledig automatiseren en drastisch vereenvoudigen. Met een Agisoft Metashape Pro, de industriestandaard fotogrammetriesoftware. Onze scripts leveren geschaalde en geo-gerefereerde tijdreeksgegevens op die worden geëxporteerd in de juiste formaten voor algemene analyseworkflows en GIS-software en tag lab, een speciaal gebouwde applicatie voor snelle annotatie van orthomozaïeken van koraalriffen. We vertrouwen op het gebruik van vier permanente, automatisch detecteerbare grondcontrolemarkeringen die op het substraat worden bevestigd wanneer een perceel voor het eerst wordt vastgesteld. De dieptes en GPS-locaties van deze markeringen worden op het eerste tijdstip verzameld met een Bluetooth, GPS en smartphone, met een aangepaste enquête die vrij beschikbaar is en vooraf geformatteerde locatiegegevens naar de gebruiker e-mailt. Voor het verzamelen van gegevens worden tijdelijke schaalbalken in het perceel geplaatst en wordt de beeldvorming gedaan door een duiker of snorkelaar met een enkele camera en groothoeklens. Voor volgende tijdstippen hoeven alleen de permanente hoekmarkeringen te worden verplaatst en schoongemaakt, schaalbalken te worden geplaatst en afbeeldingen te worden verzameld. Op de computer vergemakkelijken onze aangepaste ReefShape-scripts de automatische verwerking en uitlijning van tijdreeksen van de beeldgegevens, waardoor de onderzoeker veel tijd en moeite bespaart die in plaats daarvan kan worden geïnvesteerd in ecologische gegevensanalyse. Het proces begint met het voorbereiden van de apparatuur, het samenstellen van een GPS-kickboardkit, het maken van schaalbalken en het maken van een tekstbestand met hun precieze lengtes, het aanschaffen van hoekmarkeringen, het samenstellen van een camerasysteem en het configureren van de juiste instellingen, en het instellen van de Metashape-software en het installeren van de ReefShape-scripts op de verwerkingscomputer. In het veld moet eerst een geschikt perceel worden gekozen. Zoals bij elk onderwateronderzoeksprotocol, moet veiligheid tijdens dit proces prioriteit krijgen. Dit protocol kan worden uitgevoerd door een enkele onderzoeker of buddy-paar en kan worden aangepast voor elke perceelgrootte tussen ongeveer 25 vierkante meter en meer dan duizend vierkante meter. Maar we raden een basiskavelgrootte van 10 bij 10 meter aan. Zodra een perceel is gekozen, installeert de onderzoeker de vier hoekmarkeringen tijdens het duiken met behulp van een voorhamer en metselwerkspijkers, waarbij hij ervoor zorgt dat het substraat niet breekt of levende koralen beschadigt. Ideale locaties zijn gebieden met relatief vlak niet-levend substraat die gemakkelijk zichtbaar zijn van direct bovenaf en die waarschijnlijk niet worden beschadigd of snel biologisch worden geërodeerd, zoals zeer poreuze koraalskeletten. Installeer markering één in de noordoostelijke hoek, markering twee, in het zuidoosten, drie, in het zuidwesten en vier in het noordwesten, voor consistentie en gemak van verplaatsing, gebruik indien nodig een kompas en meetlint. Noteer met behulp van een dieptemeter de diepten van elke markering op een duikleisteen. Als toestemming of noodzaak het gebruik van permanente markeringen verhindert, kunnen tijdelijke markeringen worden geplaatst en opgehaald na het verzamelen van foto- en GPS-gegevens. Nadat de hoekmarkeringen zijn neergelegd, plaatst u drie tot vijf schaalbalken door het hele perceel en gebruikt u een duikgewicht of kleine steen om ze allemaal vast te zetten en beweging te voorkomen. Zoals elk fotogrammetrieprotocol is beeldacquisitie de belangrijkste stap. Dit protocol kan werken met bijna elke onderwatercamera met een groothoeklens die foto's kan maken met een snelheid van één foto per seconde, maar we raden specifiek een camerasysteem aan met een spiegelloze camera en een rechtlijnige groothoeklens met een gezichtsveld van ongeveer 90 tot honderd graden of een full-frame equivalente brandpuntsafstand van 18 tot 22 millimeter, gecombineerd met een onderwaterhuis en een koepelpoort die goed is afgestemd op de lens. Het belangrijkste doel is het behouden van scherpe beelden. En daarom raden we aan om de handmatige modus te gebruiken met een diafragma van F8.0, een sluitertijd van 1/500ste van een seconde en automatische ISO, om voor elk frame de juiste belichting te krijgen. In donkere en diepere omstandigheden kunnen een diafragma van F5.6 en een sluitertijd van 1/320e van een seconde worden gebruikt om de hoeveelheid licht te vergroten en beeldruis te verminderen. De witbalans moet worden ingesteld op aangepast. Er moet een intervaltimer van één seconde worden gebruikt en er moet een autofocusmodus worden gebruikt die aan het begin van de beeldverzameling scherpstelt en constant blijft tijdens het fotografieproces. De camera moet zijn ingesteld om tegelijkertijd JPEG- en RAW-afbeeldingen op te nemen. Navigeer naar de mediane diepte van de plot en stel een aangepaste witbalans in op de camera met behulp van een grijskaart of een van de uiteinden van de schaalbalk. Begin bij een hoek en plaats de camera 1,5 tot twee meter boven het substraat naar beneden. Stel de camera automatisch scherp op het rif en begin met het verzamelen van foto's met één frame per seconde, terwijl je naar een aangrenzende hoek zwemt. In de afbeelding geven de blauwe rechthoeken de fotoposities voor deze grafiek weer en de rood gemarkeerde rechthoek toont het zwempatroon. Verzamel foto's die het hele perceel bedekken in een buffer van ten minste een halve meter rond de omtrek in een reeks anti-parallelle passen, op ongeveer een meter afstand van elkaar, consequent, anderhalf tot twee meter boven het rif. Wanneer je deze eerste reeks passen hebt voltooid, draai je 90 graden en verzamel je een vergelijkbare reeks passen, waarmee je een rasterpatroon voltooit. Foto's moeten naar beneden gericht zijn, behalve in gebieden met een hoog reliëf waar de camera iets schuin moet worden gekanteld om loodrecht op het substraatoppervlak te wijzen. Ruim na het fotograferen het perceel op en laat alleen de geïnstalleerde hoekmarkeringen over. Terug aan de oppervlakte, haal je de GPS-kit op en zwem je over het perceel met behulp van de ReefShape-survey in de ArcGIS Survey123 om GPS-locaties boven elk van de vier hoekmarkeringen te verzamelen. Terug op de boot voert u de diepte-informatie in die overeenkomt met elke markering en verzendt u. Voor volgende tijdstippen verplaats je eerst de grafiek en zoek je de hoekmarkeringen met behulp van de originele GPS-gegevens of een afdruk van het originele fotomozaïek van het tijdpunt, indien nodig als referentie. Schraap met een plastic kaart eventuele biotische groei van de markeringsoppervlakken. Vervang verloren of beschadigde markeringen door het juiste doelnummer en noteer dit. Plaats schaalbalken, stel de witbalans in en verzamel afbeeldingen zoals voorheen. Voor het verwerken van het eerste tijdstip van een plot, kiest u de volledige ReefShape-workflow in de aangepaste menubalk van ReefShape. Geef het project een naam als de plotnaam. Geef het segment een naam met de datum van het verzamelen van afbeeldingen. Importeer uw foto's en sla het project op. Stel vervolgens in het algemene paneel het coördinatensysteem in op WGS 84 plus EGM 96. Selecteer projectinstellingen die in dit dialoogvenster worden weergegeven zodat de gebruiker deze indien nodig kan wijzigen. De standaardinstellingen zouden geschikt moeten zijn voor de meeste situaties. Selecteer de map voor gegevensexport en vink de vakjes aan voor de gewenste uitvoer, voor standaard GIS-software of voor taglab. Selecteer in het deelvenster voor geoverwijzing ja voor het gebruik van markeringen en zoek uw schaalbalkbestand en het georeferentiebestand dat naar u is gemaild. Klik ten slotte op OK om het fotogrammetrieproces te starten. De aangepaste pijplijn wordt na elke stap automatisch opgeslagen, zodat de gebruiker deze vanaf elk punt in het proces opnieuw kan uitvoeren zonder de voortgang te verliezen. Na voltooiing exporteert het script alle gevraagde gegevensproducten, een verwerkingsrapport en een vormbestand van het automatisch gegenereerde interessegebied dat wordt begrensd door de hoekmarkeringen. Individuele functies die voor dit proces nuttig zijn, zijn opgenomen als zelfstandige tools. in het ReefShape-menu is met name een functie opgenomen om automatisch de verhouding tussen 3D-oppervlak en vlak gebied te berekenen, een veelgebruikte metriek om de structurele complexiteit van riffen te bestuderen. Elk tijdstip van een plot wordt opgeslagen als een nieuw stuk in hetzelfde Metashape-project. Open voor volgende tijdstippen het Metashape-project van de plot en voer het script voor uitgelijnde tijdpunten uit vanuit het ReefShape-menu. Klik op create chunk en geef het een naam met de datum van het verzamelen van de afbeeldingen. Importeer de foto's en selecteer vervolgens het oorspronkelijke tijdstip als het referentieblok en het nieuwe als het actieve segment. Als er hoekmarkeringen onder water zijn vervangen, noteer dit dan in de vervolgkeuzelijst. Klik op OK. Hiermee worden markeringen gedetecteerd en wordt de georeferentie voor de hoekmarkeringen van het oorspronkelijke tijdstip geïmporteerd. Inspecteer de markeringen en georefereren in het referentiepaneel. Als er geen markeringen zijn gedetecteerd, plaatst u deze handmatig op ten minste drie afbeeldingen en voert u vervolgens het uitgelijnde timepointscript opnieuw uit om de referentiegegevens correct opnieuw te importeren. Voer vervolgens het volledige ReefShape-werkstroomscript uit. Alleen de instellingen in het algemene paneel hoeven te worden aangepast, met name welke gegevensproducten moeten worden geëxporteerd en waar ze moeten worden opgeslagen. De deelvensters voor georeferentie en projectinstellingen kunnen leeg worden gelaten. Als u op OK klikt, wordt het fotogrammetrieproces voltooid en worden op tijdreeksen uitgelijnde gegevensproducten geëxporteerd. Voor elk tijdstip is het belangrijk om de uitlijnings- en gegevensproducten te inspecteren op nauwkeurigheid. Als er zich problemen voordoen, kan handmatig ingrijpen nodig zijn. Specifieke gegevens, zoals het orthomosaic DEM 3D-model of bindpunten, kunnen worden verwijderd in het volledige ReefShape-workflowscript dat opnieuw wordt uitgevoerd om ze correct opnieuw te genereren. Zodra de gebruiker tevreden is, kunnen ze de geëxporteerde gegevensproducten naar GIS-software of taglab brengen voor verschillende analysepijplijnen. Deze visuals tonen representatieve resultaten. Tijd .1 bevatte 1.299 foto's en tijd .2 omvatte 1.974. Alle foto's waren correct uitgelijnd voor elk tijdstip en de resulterende gegevens bevatten gaten of duidelijke problemen met de beeldkwaliteit. De gegevens verschijnen op de juiste locatie in de echte wereld en de georeferentiefout voor het begintijdstip is ongeveer 30 centimeter. De dieptefout is 2,3 centimeter. De schaalfout is 0,14 millimeter en de herprojectiefout is 1,12 pixels. De fout tussen tijdstippen is ongeveer een millimeter. Het perceel beslaat 208 vierkante meter met een resolutie van 0,5 millimeter. Het hele proces voor elk tijdstip werd voltooid in ongeveer acht uur op een low-end computer en in minder dan twee uur op een high-end spelcomputer. Dit protocol is ontworpen om enkele van de belangrijkste uitdagingen op het gebied van onderwaterfotogrammetrie aan te pakken. Met name door het gebruik van detecteerbare permanente hoekmarkeringen en schaalbalken. In combinatie met georeferentie-informatie uit de echte wereld, wordt het hele fotogrammetrieproces binnen Metashape geautomatiseerd, wat veel tijd en moeite bespaart. Onze ReefShape-scripts bevatten verbeteringen aan de standaardprocedure voor het uitlijnen van foto's die het aantal uitgelijnde foto's in moeilijke omstandigheden vergroten en helpen bij het nauwkeurig uitlijnen van tijdreeksen tussen gegevenssets. Ze zijn ook ontworpen om de efficiëntie in de verwerkingspijplijn voor fotogrammetrie te verhogen, zodat er geen zeer dure computers nodig zijn voor de verwerking. Ons overkoepelende doel is om barrières weg te nemen om onderwaterfotogrammetrie toegankelijker en functioneler te maken voor onderzoekers die belangrijke ecologische gegevens willen extraheren om de inspanningen voor het behoud van koraalriffen te informeren.