Reefshape: een systeem voor het efficiënt verzamelen en geautomatiseerd verwerken van tijdreeksen onderwaterfotogrammetriegegevens voor het monitoren van benthische habitats

Summary

Hier wordt een protocol gepresenteerd voor het verzamelen en verwerken van onderwaterfotogrammetriegegevens, inclusief een aanzienlijk vereenvoudigde en volledig geautomatiseerde beeldverwerkingspijplijn die resulteert in gegeorefereerde en op tijdreeksen afgestemde outputs die klaar zijn voor ecologische gegevensextractie, analyse en toepassing.

Abstract

Beeldvorming van grote gebieden (LAI) door middel van structuur-van-beweging fotogrammetrie heeft aanzienlijk aan populariteit gewonnen als monitoringinstrument voor ecosystemen van koraalriffen, waardoor een digitaal model van een deel van het rif kan worden gemaakt dat ex situ kan worden geanalyseerd om gegevens te verzamelen over een benthische samenstelling, structurele complexiteit en andere statistieken. Hoewel er verschillende benaderingen zijn gebruikt, blijft een systematische aanpak van gegevensverzameling en computerverwerking voor veel onderzoekers een noodzaak. Om dit aan te pakken, hebben we ReefShape ontwikkeld, een eenvoudige en uitgebreide workflow voor het verzamelen van onderwaterbeelden, georefereren, gegevensverwerking en uitlijning van tijdreeksen. Op basis van onze ervaring worden specifieke aanbevelingen voor camerasystemen en instructies voor het verkrijgen van afbeeldingen gegeven. Er wordt een proces beschreven om real-world georeferencing op te nemen met behulp van permanente grondcontrolemarkeringen die op het substraat zijn bevestigd en dat de automatische uitlijning van tijdreeksdatasets vergemakkelijkt. Er is een reeks verwerkingsscripts ontwikkeld om de gegevensverwerkingsworkflow te automatiseren, waardoor het normaal gesproken tijdrovende en complexe proces wordt gestroomlijnd en drastisch wordt vereenvoudigd. Onze gescripte aanpak is gericht op het verminderen van de last van gegevensverwerking voor onderzoekers van koraalriffen, het verhogen van de efficiëntie van de fotogrammetriepijplijn en het exporteren van gegevens in analyseklare formaten voor gebruik in veelgebruikte segmentatieprogramma's voor GIS- en koraalrifbeelden. De hier beschreven methoden bieden een uitgebreide oplossing om fotogrammetrie te integreren als een instrument voor rifmonitoring, terwijl ze flexibel blijven en de specifieke analyses aan de onderzoeker overlaten.

Introduction

Koraalriffen zijn een van de meest biodiverse en economisch belangrijke ecosystemen ter wereld en worden geconfronteerd met ongekende uitdagingen door klimaatverandering, ziekte, overbevissing en andere stressfactoren ^1,2,3. Het monitoren van ecosystemen van koraalriffen is bijzonder moeilijk vanwege hun vaak afgelegen locaties en inherente moeilijkheden met onderwateronderzoek; Daarom zijn riffen van oudsher onderbelicht⁴. Het effectief monitoren van koraalriffen op meerdere ruimtelijke schalen, variërend van microbieel⁵ tot archipel⁶ en wereldwijd⁷, is essentieel om hun achteruitgang te begrijpen, evenals het plannen, volgen en evalueren van interventie-inspanningen⁸. Een hulpmiddel dat populair is geworden voor het monitoren van de toestand van het koraalrifbenthos op een schaal van tientallen tot honderden vierkante meters is fotomozaïekbeeldvorming, een term die verwijst naar kaarten met een hoge resolutie die bestaan uit aan elkaar genaaide overlappende onderwaterfoto's⁹. Met deze mozaïeken kunnen onderzoekers een rifgebied in beeld brengen dat groter is dan op een enkele foto kan worden vastgelegd, vandaar de term large-area imaging (LAI)¹⁰. De mozaïeken kunnen later worden geanalyseerd om relevante ecologische informatie te extraheren, zoals het percentage koraalbedekking, de grootte van de kolonie, de verspreiding van soorten en de benthische samenstelling¹¹. Vooruitgang in computers en de beschikbaarheid van kant-en-klare software maken het nu mogelijk om dit proces te voltooien met behulp van SfM-fotogrammetrie (Structure-from-Motion). SfM omvat het analyseren van foto's op overeenkomende punten die worden gebruikt om de driedimensionale oriëntatie van de foto's en verbindingspunten te reconstrueren, waardoor een nauwkeurige virtuele rifreplica kan worden gemaakt 12,13,14. SfM/LAI-onderzoeken zijn gemeengoed geworden binnen het onderzoek naar koraalriffen, waardoor nieuwe inzichten mogelijk zijn in de ecologie van de koraalgemeenschap¹⁰, de complexiteit van de habitat^15,16, de reacties van de koraalgemeenschap op bleekgebeurtenissen^17,18, orkanen¹⁹ en koraalherstel²⁰.

Er zijn verschillende benaderingen ontwikkeld voor het gebruik van LAI voor het monitoren van koraalriffen 21,22,23,24, wat resulteert in een breed scala aan keuzes die beschikbaar zijn voor beoefenaars die gebruik willen maken van de technologie. Het effectieve gebruik van LAI in koraalrifonderzoek is echter complex en vereist een aanzienlijke leerinspanning. Vaardigheid in duiken, onderwaternavigatie, onderwaterfotografie, softwaregebruik, gegevenscuratie en -beheer zijn essentieel. Bovendien is expertise in ecologie van fundamenteel belang voor het effectief analyseren en interpreteren van dataproducten. Bestaande workflows zijn meestal voornamelijk gericht op het verzamelen van afbeeldingen zonder voldoende begeleiding te bieden voor tijdreeksprotocollen, het verzamelen van metagegevens (bijv. schaling, diepte en locatie) of gegevensverwerking na de excursie: allemaal stappen die essentieel zijn voor nauwkeurige en herhaalbare gegevensverzameling. De kosten in verband met LAI-workflows zijn ook vaak hoog, waarbij gebruik wordt gemaakt van dure camerasystemen en computeropstellingen. Er blijft een sterke behoefte onder onderzoekers aan een uitgebreide, eenvoudige en efficiënte methodologie, die resulteert in gegevens van voldoende kwaliteit om een breed scala aan huidige en toekomstige onderzoeksvragen te beantwoorden. We pakken dit aan door een robuuste en efficiënte aanpak te ontwikkelen voor onderwater LAI die de verwerkingsinspanning en complexiteit vermindert en de kosten minimaliseert en tegelijkertijd de kwaliteit van de gegevens verbetert. Onze nieuwe aanpak maakt snelle acquisitie, geautomatiseerde verwerking en tijdreeksafstemming van beelden mogelijk om hoogwaardige gegevensproducten te bieden voor ecologische studie en analyse van koraalriffen. De totale opstartkosten van het implementeren van deze aanpak bedragen ongeveer $ 5.000 - $ 8.000 USD (inclusief camerasysteem, materialen, speciale computer en software), afhankelijk van of de gebruiker toegang heeft tot educatieve prijzen voor fotogrammetriesoftware. Door de toepassing van onze methoden willen we koraalrifonderzoekers helpen bij het optimaliseren van hun inspanningen op het gebied van gegevensverzameling en -verwerking, waardoor efficiëntere workflows mogelijk worden die snelle extractie en analyse van uiterst belangrijke ecologische gegevens van koraalriffen mogelijk maken.

De hier beschreven methode, die we "ReefShape" noemen, heeft drie belangrijke nieuwe bijdragen: (1) het gebruik van semi-permanente grondcontrolemarkeringen die op het substraat zijn bevestigd om automatische georeferentie en tijdreeksuitlijning van datasets mogelijk te maken, (2) het gebruik van een aangepaste app-gebaseerde enquête om het verzamelen en formatteren van locatiegegevens te vergemakkelijken, en (3) de implementatie van een uitgebreid gescript proces dat is gebouwd om de fotogrammetriepijplijn volledig te automatiseren, het drastisch verminderen van de menselijke arbeid tijdens de verwerkingsfase waarop wordt vertrouwd in andere LAI-protocollen 20,21,22,23. Net als deze andere LAI-protocollen vertrouwt ReefShape op het gebruik van Agisoft Metashape²⁵ (hierna "het fotogrammetrieprogramma" genoemd) voor fotogrammetrische verwerking en maakt het bovendien gebruik van de gratis ESRI Survey123²⁶smartphone-applicatie (hierna "de enquête-app" genoemd) voor het verzamelen van locatiegegevens. Dit protocol is ontworpen om eenvoudig maar robuust te zijn, waarvoor geen systemen met meerdere camera's²⁴ of complexe geodetische onderzoeken¹³ nodig zijn, terwijl het toch voldoet aan het doel om gegevens van hoge kwaliteit te leveren, gedefinieerd als voltooide 3D-modellen, fotomozaïeken en digitale hoogtemodellen met nauwkeurige geometrie, schaal en positie; voldoende resolutie en scherpte om benthische organismen visueel te identificeren op soort- of geslachtniveau; geen grote hiaten of gaten in de gegevens; nauwkeurige kleur; en in het geval van tijdreeksgegevens, de juiste uitlijning tussen tijdstippen. De specifieke aanpak die hier wordt beschreven, biedt een kader voor het verzamelen en verwerken van gegevens om deze doelen te bereiken.

Gedreven door de vooruitgang in machine learning, verwachten we dat er nieuwe analysetools zullen worden ontwikkeld voor snellere, nauwkeurigere extractie van ecologische gegevens uit fotomozaïeken. Daarom richten we onze inspanningen op het verzamelen van hoogwaardige onderwaterbeelden en de automatisering van de fotogrammetriepijplijn, waarbij we specifieke analyses grotendeels overlaten aan de gebruikers van dit protocol op basis van hun eigen uiteenlopende behoeften. Dit gescripte proces, bedoeld om breed toepasbaar te zijn op de onderzoeksgemeenschap van koraalriffen, omvat opties om gegevensproducten te exporteren die zijn geformatteerd als GeoTIFF's met verschillende specificaties die zijn afgestemd op gemeenschappelijke GIS-software en TagLab, een speciaal gebouwde applicatie voor snelle annotatie van koraalriforthomosaics²⁷.

Overzicht protocol
De ReefShape-methode is onderverdeeld in twee hoofdfasen: in situ gegevensverzameling en gegevensverwerking op een computer. De methode is functioneel voor perceelgroottes van ~25^m2 tot >1000 m², variërend in diepte van ~1 m tot 30 m. Het is aangetoond dat percelen van 300-400^m2 ideaal zijn om de koraaldiversiteit op Caribische riffen effectief vast te leggen²⁸. Het bleek echter dat percelen groter dan ~100^m2 moeilijk kunnen zijn voor beginnende landmeters om te navigeren. Daarom wordt in het protocol een perceelgrootte van 10 m x 10 m beschreven als uitgangspunt, maar het is niet onze bedoeling om gebruikers met deze suggestie te beperken. In plaats daarvan wordt gesuggereerd dat gebruikers hun perceelgrootte kiezen op basis van hun eigen ervaring en onderzoeksbehoeften. Het proces voor het verzamelen van gegevens blijft in feite hetzelfde voor elke gekozen perceelgrootte.

Wanneer een perceel voor het eerst wordt gemaakt, begint de landmeter met het permanent bevestigen van vier unieke markeringstags met gecodeerde fotogrammetriedoelen (Figuur 1D) op het substraat op elke hoek (Figuur 2), met behulp van een duikcomputer om de diepte van elke marker te meten. Gecodeerde schaalbalken (Figuur 1E) worden tijdelijk op het perceel geplaatst en naar het substraat gerichte foto's worden door de duiker verzameld met een enkele spiegelloze camera en een rechtlijnige groothoeklens die 1,5 m - 2 m boven het rif is geplaatst, zwemmend in een dubbel gekruist "grasmaaier"-patroon, vergelijkbaar met andere gevestigde protocollen 11,21,24^,. Het hele proces (inclusief de eerste installatie en fotografie) kan meestal in een enkele duik worden voltooid, hoewel er meerdere duiken nodig kunnen zijn voor diepere of grotere percelen. Na het fotograferen gebruikt de landmeter een Bluetooth GPS-eenheid die is gemonteerd op een drijfmiddel (Figuur 1C) en een smartphone om GPS-punten te verzamelen op het oppervlak boven elke hoekmarkering met behulp van een aangepast formulier in de enquête-app, die vervolgens de referentiegegevens naar de gebruiker e-mailt in een vooraf opgemaakte spreadsheet. Bij volgende perceelonderzoeken verzamelt de landmeter geen referentiegegevens of installeert hij markeringen en hoeft hij alleen de bestaande hoekmarkeringen te lokaliseren en schoon te maken en foto's te verzamelen, waardoor het proces voor het verzamelen van tijdreeksgegevens wordt gestroomlijnd.

Voor gegevensverwerking werd een set aangepaste Python-scripts ontwikkeld die communiceren met het fotogrammetrieprogramma om de pijplijn te automatiseren (Figuur 3), normaal gesproken een proces dat op verschillende punten menselijke tussenkomst vereist. De belangrijkste verwerkingsstappen van de geautomatiseerde pijplijn zijn het maken van een tie-point cloud en het schatten van cameraposities, het bouwen van een 3D-maasmodel van het rif, het bouwen van een 2,5D digitaal hoogtemodel (DEM), het bouwen van een 2D orthogerectificeerd fotomozaïek en het definiëren van een interessegebied (ROI) begrensd door de vier hoekmarkeringen (Figuur 4). In deze workflow voert de gebruiker de foto's en referentiegegevens in een grafische interface in (aanvullende afbeelding 1) aan het begin van de verwerking, in plaats van talloze stappen te moeten doorlopen voordat handmatig referentiegegevens worden toegevoegd en gegevensproducten worden gegenereerd, zoals gebruikelijk is in andere workflows 21,22,23,24 . Voor de verwerking van tijdreeksen vergemakkelijken permanente hoekmarkeringen de automatische uitlijning van tijdpunten, waardoor handmatige uitlijning niet meer nodig is. Het gebruik van een gestandaardiseerde, gescripte workflow helpt de consistentie van de gegevens te waarborgen en bespaart aanzienlijke menselijke inspanning tijdens de verwerking, vooral bij projecten met veel tijdstippen. Er is ook een reeks zelfstandige scripts inbegrepen om verschillende verwerkingstaken te automatiseren, waaronder het berekenen van een 3D-verhouding tussen oppervlak en vlak gebied, een belangrijke maatstaf voor het beoordelen van de structurele complexiteit van het rif^19,29.

Afbeelding 1: Belangrijke materialen die nodig zijn voor het gegevensverzamelingsgedeelte van dit protocol. (A) spiegelloze camera met rechtlijnige groothoeklens, (B) onderwaterbehuizing met koepelpoort voor camera/lens, (C) Bluetooth GPS-kickboardapparaat, (D) automatisch detecteerbare gecodeerde hoekmarkeringen voor permanente grondcontrole en georeferentie van het plot, en (E) gecodeerde schaalbalken die worden gebruikt voor het instellen van de modelgrootte. Klik hier om een grotere versie van deze figuur te bekijken.

Protocol

OPMERKING: Zie aanvullend dossier 1, secties 1 en 2 voor de voorbereidingsstappen van de apparatuur.

1. Opzet van het perceel

1. Installeren van hoekmarkeringen (alleen voor het eerste tijdstip)
   1. Selecteer een geschikt perceel in een veld. Zorg ervoor dat veiligheid tijdens het hele proces voorop staat. Voor dit protocol wordt een perceel van 10 m x 10 m beschreven.
      OPMERKING: Het protocol kan worden uitgevoerd door een enkele onderzoeker of buddy-paar en kan worden aangepast voor de meeste plotgroottes, afhankelijk van de onderzoeksbehoeften.
   2. Zodra het perceel is gekozen, installeert u de vier hoekmarkeringen terwijl u op SCUBA bent. Bevestig hoekmarkeringen 1-4 (Figuur 1D) op de ondergrond in sequentiële volgorde op de hoeken van het perceel met behulp van een hamer en 4 spijkers, en wees voorzichtig om de ondergrond niet te breken of gevoelige levende koralen te beschadigen. Zoek geschikte locaties om de markeringen te installeren (bijv. relatief vlakke delen van niet-levend substraat die gemakkelijk zichtbaar zijn van direct bovenaf en die waarschijnlijk niet beschadigd of snel biologisch geërodeerd zullen worden).
   3. Voor consistentie en om te helpen bij het navigeren en verplaatsen van het plot, installeert u plotmarkeringen met de klok mee. Installeer markering 1 in de NO-hoek, markering 2 in de SE-hoek, markering 3 in de ZW-hoek en markering 4 in de NW-hoek, indien nodig met behulp van een meetlint en kompas.
      OPMERKING: Figuur 2A toont een correct geïnstalleerde markering en Figuur 2D toont een overzicht van de plotlay-out, waarbij alle markeringen ~10 m uit elkaar liggen in een vierkant patroon.
   4. Registreer de diepte van de markering. Noteer met behulp van een duikcomputer of een andere dieptemeter de diepte van elk van de vier hoekmarkeringen tot op 10 cm nauwkeurig op een duikleisteen.
   5. In gevallen waarin permanente markering niet is toegestaan of haalbaar is, kunnen optioneel tijdelijke hoekmarkeringen (zie aanvullend bestand 1, sectie 3) op de ondergrond in de hoeken van het perceel worden geplaatst. Deze markeringen kunnen later worden opgehaald.
2. Plaatsing van de schaalbalk (alle tijdstippen)
   1. Nadat de hoekmarkeringen zijn neergelegd, plaatst u 3-5 schaalbalken (zie aanvullend bestand 1, sectie 1) op stabiele locaties binnen de plot, waarbij u een duikgewicht of een kleine steen gebruikt om elke schaalbalk te verzwaren om te voorkomen dat ze tijdens het fotograferen bewegen. Tenzij u een grijskaart gebruikt voor de witbalans van de camera (zie stap 2.1.2), moet u ervoor zorgen dat ten minste één schaalbalk zich in de buurt van de mediaandiepte van de grafiek bevindt.
      OPMERKING: Schaalbalken moeten van bovenaf zichtbaar zijn, mogen geen belangrijke objecten zoals koralen bedekken en mogen niet worden gebogen/gebogen zodat de gemeten lengte tussen markeringen wordt ingekort.

2. Beeldacquisitie

OPMERKING: Er moet speciale aandacht worden besteed aan het correct configureren van camera-instellingen, aangezien dit van cruciaal belang is om gegevens van hoge kwaliteit te garanderen. Voor dit protocol wordt een spiegelloze camera met een groothoeklens aanbevolen. Zie Tabel 1 en Aanvullend Bestand 1, Sectie 4 voor de belangrijkste camera-instellingen en systeemaanbevelingen. Combineer met een onderwaterhuis en een koepelpoort die bij de lens past. Het doel is om scherpe beelden te behouden.

Camera-instelling	Aanbeveling
Beeldvorming modus	Handmatig
Opening	F8, F5.6 als het perceel >15 m diep is of bij weinig licht
Sluitertijd	1/500s, 1/320s bij weinig licht of zero surge
ISO	Auto
Witbalans	Aangepast (ingesteld op witpunt op mediaandiepte)
Beeldstabilisatie	Aan (indien beschikbaar)
Afbeelding formaat	JPEG + RAW
Interval	1s
Autofocus	AF-S (stelt scherp op het eerste frame van de reeks)
Type sluiter	Mechanisch of EFCS (niet stil of elektronisch)
Gevoeligheid belichting afvlakken/AE-tracking	Uit / Hoog

Tabel 1: Belangrijke camera-instellingen die nodig zijn voor het maximaliseren van de gegevenskwaliteit bij het verzamelen van afbeeldingen voor onderwaterfotogrammetrie. Deze instellingen zijn van toepassing op de meeste spiegelloze of DSLR-camera's, maar zijn afgestemd op de specifieke opstelling die wordt aanbevolen in de materiaaltabel.

1. Beeldvorming van het rif (alle tijdstippen)
   1. Monteer het camerasysteem en de behuizing volgens de aanbevelingen van de fabrikant en de standaard onderwaterfotografiepraktijken om een goede onderwaterfunctie en waterdichtheid te garanderen. Zorg ervoor dat de camera in de handmatige belichtingsmodus (M) staat, het diafragma is ingesteld op f/8, de sluitertijd 1/500ste^{van een} seconde is en de ISO is ingesteld op de automatische modus om voor elk frame de juiste belichting te bereiken. Zie Tabel 1 voor gedetailleerde instellingen.
      OPMERKING: In donkere en diepere omstandigheden kunnen een diafragma van 5.6 en een sluitertijd van 1/320 s worden gebruikt om de hoeveelheid licht te vergroten en beeldruis te verminderen.
   2. Gebruik een grijskaart of schaalbalk op de mediane diepte van de grafiek om een aangepaste witbalans in te stellen met de camera naar beneden gericht op de grijskaart of het witte deel van de schaalbalk, waarbij u ervoor zorgt dat het witte referentiepunt niet wordt overschaduwd. Voltooi dit direct voordat u begint met het verzamelen van afbeeldingen.
   3. Navigeer naar een hoek van het perceel en plaats de camera op 1,5-2 m boven de ondergrond, naar beneden gericht (Figuur 2C). Stel de camera automatisch scherp op het rif en begin het interval om foto's te verzamelen met 1 frame/s.
   4. Begin met een comfortabele snelheid naar een aangrenzende plothoek te zwemmen en verzamel de eerste reeks foto's. Draai 180° en verzamel een tweede fotogang op ongeveer 1 m afstand van de eerste gang, constant 1,5-2 m boven de ondergrond. Herhaal dit om antiparallelle passages te voltooien in een grasmaaierachtig patroon boven het hele perceel, inclusief een buffer van ten minste 0,5 m rond de omtrek (Figuur 2D, set 1). Vermijd hiaten in de fotodekking en zorg ervoor dat alle schaalbalken en hoekmarkeringen in de foto's zijn opgenomen.
      OPMERKING: Navigatie wordt uitgevoerd door de landmeter, meestal op SCUBA (of snorkel voor percelen op < 2 m diepte), met behulp van het onthouden van de belangrijkste rifkenmerken om de dekking te behouden. Een tweede surveyor en/of duikbuddy kan assisteren bij het navigeren. Het doel is om overlappende foto's te verzamelen (~80% overlap aan de voorkant, ~60% overlap aan de zijkant) die alle oppervlakken van het rif volledig bedekken binnen het gebied dat wordt omsloten door de markeringen en een buffergebied van 0,5 m.
   5. Voer set 2 uit voor het verzamelen van afbeeldingen. Wanneer de eerste set passen is voltooid, draai je 90° en verzamel je een tweede reeks passen boven het rif, waarmee je een rasterpatroon voltooit (Figuur 2D, set 2). Foto's moeten voornamelijk naar beneden gericht worden gemaakt, behalve in gebieden met een hoog reliëf waar de camera schuin moet worden gekanteld om loodrecht op het substraatoppervlak te blijven wijzen.
      OPMERKING: Deze tweede set passen is bedoeld om volledige overlapping en dekking van het perceel te garanderen. Extra fotoverzameling in belangrijke en/of hoogreliëfgebieden van het perceel is acceptabel en wordt aanbevolen voor complexe percelen om een volledige beelddekking te garanderen.
   6. Ruim het perceel op. Nadat het verzamelen van afbeeldingen is voltooid, pakt u schaalbalken en eventuele achtergebleven materialen op. Permanente hoekmarkeringen zijn de enige materialen die bedoeld zijn om op het rif te blijven liggen.
      OPMERKING: Als u tijdelijke hoekmarkeringen gebruikt, moeten referentiegegevens (sectie 3) worden verzameld voordat de markeringen worden verwijderd. Het wordt aanbevolen om een tweede landmeter de referentiegegevens te laten verzamelen terwijl de eerste het perceel fotografeert.

Figuur 2: Plotopzet en fotografie. (A) toont een nieuw geïnstalleerde hoekmarkering, terwijl (B) een markering toont die 13 maanden na installatie op zijn plaats is. (C) toont een duiker die een onderzoek uitvoert op de juiste afstand boven het rif, en (D) toont een diagram van het plotfotografieproces met twee loodrechte reeksen antiparallelle passages (rode en blauwe lijnen) die het gebied omvatten dat wordt ingesloten door de hoekmarkeringen (zwart stippelgebied), zonder grote openingen. Klik hier om een grotere versie van deze figuur te bekijken.

3. Verzameling van referentiegegevens

OPMERKING: Voor de GPS-kit en de opstelling van het ReefShape-onderzoek, zie aanvullend bestand 1, sectie 2. Als het verzamelen van GPS-punten niet haalbaar is, kan de geautomatiseerde verwerkingsaanpak van ReefShape (sectie 5) nog steeds worden gebruikt. Een afzonderlijke enquête die het formatteren van een referentiebestand met lokale coördinaten vergemakkelijkt, is te vinden op de GitHub-pagina (https://github.com/Perry-Institute/ReefShape), samen met gebruiksinstructies.

1. ReefShape-onderzoek (alleen voor het eerste tijdstip)
   1. Open de ReefShape-enquête in de enquête-app (aanvullende afbeelding 1) op een smartphone en voer belangrijke metadata in (initialen van de landmeter, e-mail, perceelnaam en notities). Plaats de smartphone in een waterdicht etui. Zwem met de GPS-kickboardkit (Figuur 2C) en smartphone over het perceel.
   2. Zoek doel 1, plaats het GPS-kickboard op het oppervlak direct boven het doel en tik in de ReefShape-enquête op de telefoon op het dradenkruispictogram om een GPS-punt te verzamelen. Ga verder met het volgende doel. Noteer de locatie van doel 2 in de tweede herhaling, doel 3 in de 3e en doel 4 in de 4e. Keer terug naar de boot of de kust.
   3. Voer in het ReefShape-onderzoek de diepte-informatie in die overeenkomt met elke markering. Controleer of de gegevens correct zijn (d.w.z. redelijke nauwkeurigheidsschattingen, geen lege locaties of diepten) en dien ze vervolgens in.
      OPMERKING: Het verzamelen van GPS-gegevens kan worden voltooid door een tweede onderzoeker, terwijl de eerste foto's verzamelt om tijd te besparen. Voor het indienen is internettoegang vereist, maar enquêtes kunnen worden opgeslagen in het Postvak UIT om later indien nodig in te dienen. Eenmaal verzonden, ontvangt de gebruiker een e-mail met de vooraf opgemaakte locatiegegevens.

4. Herhaal tijdstippen

1. Inspectie en onderhoud van het perceel (alleen voor volgende tijdstippen)
   1. Wanneer u terugkeert naar een perceel voor herhaalde beelden, verplaatst u eerst de grafiek en zoekt u de hoekmarkeringen (Figuur 2B), met behulp van de originele GPS-gegevens of een afdruk van de originele fotomozaïek van het tijdstip als referentie indien nodig. Als er biofouling op het oppervlak van de marker zit, gebruik dan een plastic schraper of iets dergelijks om het oppervlak schoon te maken, zodat het doelontwerp goed zichtbaar is.
   2. Als een markering verloren is gegaan of zodanig is beschadigd dat het ronde doelontwerp niet meer duidelijk is, vervang deze dan door hetzelfde installatieproces als stap 1.1.2. Vervang indien mogelijk de marker op de vorige plaats (+/- ~5 cm). Het is van cruciaal belang dat de vervangende markering hetzelfde doelnummer heeft als het origineel. Noteer de markering(en) die worden vervangen.
2. Plotfotografie (hetzelfde proces voor alle tijdstippen)
   1. Plaats schaalbalken. Zie protocol stap 1.2.
   2. Stel een aangepaste witbalans in en verzamel afbeeldingen. Zie protocol sectie 2.

Afbeelding 3: Stroomdiagram met de stappen van de fotogrammetrieworkflow die geautomatiseerd zijn via het hoofdscript van ReefShape. De afbeeldingen, een bestand met de lengte van de schaalbalk en het georeferentiebestand (oranje vakken) worden ingevoerd in het script, dat vervolgens alle essentiële verwerkingsstappen (blauwe vakken) automatiseert, wat resulteert in gegevensproducten (groene vakken) die klaar zijn voor analyse. Klik hier om een grotere versie van deze figuur te bekijken.

5. Gegevensverwerking

OPMERKING: Zie aanvullend bestand 1, sectie 5 voor de stappen voor het instellen van de software.

1. Afbeeldingen importeren
   1. Importeer alle foto's van plotbeeldvorming naar de verwerkingscomputer en scheid JPEG- en RAW-foto's in afzonderlijke submappen.
   2. Referentiegegevens downloaden. Zorg ervoor dat het tekstbestand met de lengte van de schaalbalk (zie Aanvullend bestand 1, Sectie 1) is opgeslagen op een gemakkelijk toegankelijke plaats op uw computer. Download en bewaar op dezelfde manier het CSV-bestand met georefereren dat automatisch is gemaild na het indienen van georeferentiegegevens binnen de ReefShape-survey (protocol sectie 3).
2. Belangrijkste ReefShape-workflow (eerste tijdstip)
   1. Open een nieuw project in het fotogrammetrieprogramma en selecteer Full ReefShape Workflow in de aangepaste menubalk van ReefShape . Er verschijnt een grafisch interfacepaneel (zie aanvullende afbeelding 2).
   2. Klik in het eerste gedeelte (Projectinstellingen) op Nieuw maken om het project een naam te geven (plotnaam) en selecteer de opslaglocatie. Klik in het tweede vak op Naam van segment wijzigen om het actieve segment een naam te geven met de datum voor het verzamelen van afbeeldingen in de JJJJMMDD-indeling. Klik in het derde vak op Foto's selecteren om de map met JPEG-foto's voor de plot te selecteren en te importeren. Klik op Project opslaan om het initialiseren van het project te voltooien.
   3. Begin in het tweede deelvenster (Algemeen) van de Full ReefShape Workflow-interface met het instellen van het coördinatensysteem. Selecteer de hoogte van WGS84 + EGM96 (EPSG: 9707), omdat dit het WGS84-coördinatensysteem combineert dat door de GPS-eenheid wordt gebruikt met een ingebouwd geoïdemodel (EGM96) dat zeeniveau benadert.
      OPMERKING: Als de gebruiker geen locatiegegevens in de echte wereld heeft verzameld, moet het coördinatensysteem in plaats daarvan worden ingesteld op Lokale coördinaten (m). De standaardinstellingen in het deelvenster Algemeen (Algemene voorkeuze: Aan, Maaskwaliteit: Gemiddeld, Standaardresolutie: Uit, Aangepaste resolutie: 0,5 mm) zijn ontworpen om van toepassing te zijn op het specifieke protocol dat hier wordt beschreven. Het script is flexibel om tegemoet te komen aan de behoeften van onderzoekers en instellingen kunnen dienovereenkomstig worden aangepast.
   4. Klik onder aan het deelvenster Algemeen op de knop Map selecteren om een uitvoerpad voor gegevensproducten in te stellen. Vink de vakjes aan voor de gewenste output data producten als dat nodig is voor analyse.
   5. Stel het deelvenster Georefereren in . Selecteer Ja voor het gebruik van automatisch detecteerbare markeringen. Klik op Bestand selecteren naast het schaalbalkvak om het schaaltekstbestand te zoeken (zie Aanvullend bestand 1, Sectie 1). Klik op Bestand selecteren naast het vak voor het georeferencing-bestand om het verwijzende CSV-bestand uit de ReefShape-enquête voor het perceel te zoeken.
      OPMERKING: Als tijdens het instellen van het plot de markeringen niet in de juiste volgorde zijn geïnstalleerd (d.w.z. doel 1, doel 3, doel 2, doel 4 in plaats van 1, 2, 3, 4 die rond het perceel gaan), kan de werkelijke volgorde worden gespecificeerd door op de knop Hoekmarkeringen aanpassen te klikken en de markeringen opnieuw te ordenen in het pop-upvenster. Hierdoor kan het script op de juiste manier een ROI genereren die het gebied tussen de markeringen omvat.
   6. Voer het script uit. Zodra alle gegevens zijn ingevoerd, klikt u op OK onder aan het paneel om het proces uit te voeren. Het toont voortgangsbalken voor elke stap. Het proces dat het script automatiseert, wordt weergegeven in Figuur 3.
      OPMERKING: Als er een fout optreedt in het script of als de software of computer crasht, slaat het script de voortgang op tot en met de meest recent voltooide stap. Het project kan opnieuw worden geopend, de fout kan indien nodig worden gecorrigeerd en het script kan opnieuw worden uitgevoerd om het proces weer op te pakken en te voltooien. Zolang het proces is voltooid met uitlijning en de intregratie van schaal- en georeferentiegegevens, hoeft de gebruiker niets opnieuw in te voeren in het georeferencing-paneel.
   7. Inspecteer gegevens om uitvoer van hoge kwaliteit te garanderen. Zie paragraaf 5.4 voor de workflow voor gegevensvalidatie.
   8. Bereken eventueel de oppervlakteverhouding. Als de gebruiker de verhouding van 3D naar 2D van het oppervlak voor de plot wil berekenen om de ruwheid te meten, selecteert u de knop Oppervlakteverhouding berekenen in het submenu Extra van het vervolgkeuzemenu ReefShape . De resulterende verhouding wordt afgedrukt in de console, evenals een pop-upvenster.
3. Tijdpunten uitlijnen (volgende tijdstippen)
   OPMERKING: Elk tijdstip van een plot wordt opgeslagen als een nieuw "stuk" binnen hetzelfde project.
   1. Net als bij het eerste tijdstip kunt u foto's importeren en ordenen in afzonderlijke JPEG- en RAW-mappen. Open het project voor de plot in de fotogrammetriesoftware, open vervolgens het vervolgkeuzemenu ReefShape en selecteer Timepoints uitlijnen (aanvullende afbeelding 3).
   2. Klik in het deelvenster Projectinstellingen op Segment maken om een nieuw segment (dat een nieuw tijdstip vertegenwoordigt) aan het project toe te voegen. Voer de datum in waarop de nieuwe afbeeldingen zijn verzameld in de JJJJMMDD-indeling als de chunknaam. Kies Map selecteren om de nieuwe afbeeldingen aan dit gedeelte toe te voegen.
   3. Selecteer in het deelvenster Algemeen het begintijdstip voor Referentieblok selecteren. Selecteer in de vervolgkeuzelijst voor Actief segment selecteren het nieuwe tijdstip. Klik op OK als u klaar bent om markeringen in de actieve segmentafbeeldingen te detecteren en importeer de exacte coördinaten van elk uit het referentiesegment.
      OPMERKING: Als er hoekmarkeringen onder water zijn vervangen, moet dit worden vermeld in de vervolgkeuzelijst Beschadigde markering(en) toevoegen om de software te informeren dat de markering zich mogelijk niet op dezelfde exacte geografische locatie bevindt als voorheen.
   4. Inspecteer markeringen en georeferencing. Zorg er in het referentiepaneel (aanvullende afbeelding 4) voor dat alle markeringen zijn gedetecteerd en dat doelen 1-4 de locatie-informatie van het referentieblok hebben geërfd.
      OPMERKING: Als markeringen niet worden gedetecteerd (meestal als gevolg van schade aan de markering als ze niet zijn vervangen), moeten markeringen handmatig worden toegevoegd, ten minste drie bronafbeeldingen en een naam krijgen die overeenkomt met de markeringslabels uit de referentiechunk. Het script Timepoints uitlijnen kan vervolgens opnieuw worden uitgevoerd om locatiegegevens toe te voegen voor de handmatig geplaatste markeringen.
   5. Voer het volledige ReefShape-workflowscript uit door het te kiezen in het ReefShape-menu . Laat de deelvensters Projectinstellingen en Georeferentie leeg en bewerk het deelvenster Algemeen alleen als dat nodig is, selecteer de verwerkingsinstellingen, waar gegevensproducten moeten worden geëxporteerd en welke producten moeten worden gegenereerd, zoals in stap 5.2.3. Klik op OK om het fotogrammetrieproces te voltooien en de uitgelijnde gegevensproducten voor het nieuwe tijdstip te exporteren.
   6. Inspecteer gegevens om uitvoer van hoge kwaliteit te garanderen. Zie paragraaf 5.4 voor de validatieworkflow.
   7. Bereken de oppervlakteverhouding (optioneel). Zie stap 5.2.8.
4. Gegevensvalidatie (elk tijdstip)
   OPMERKING: Voor elk tijdstip is het belangrijk om de uitlijnings- en gegevensproducten op nauwkeurigheid te inspecteren. Als er zich problemen voordoen, kan handmatig ingrijpen nodig zijn. Gegevensstukken (d.w.z. Orthomozaïek, DEM, 3D-model, bindpunten) stroomafwaarts van elke fout moeten worden verwijderd. Het probleem kan vervolgens worden gecorrigeerd (indien mogelijk) en het volledige ReefShape Workflow-script kan opnieuw worden uitgevoerd om de verwerking te voltooien. Zodra de gebruiker tevreden is met de gegevensproducten, kan hij beginnen met analyseren.
   1. Controleer de uitlijning van de foto. Controleer in het deelvenster Werkruimte in het fotogrammetrieprogramma eerst hoeveel foto's van het totaal zijn uitgelijnd. Als <10 foto's niet zijn uitgelijnd, heeft de afwezigheid ervan waarschijnlijk geen nadelige gevolgen voor de uiteindelijke gegevensproducten.
      OPMERKING: Als een aanzienlijk deel van de foto's niet is uitgelijnd, stelt u de uitlijning opnieuw in en voert u de volledige ReefShape-workflow opnieuw uit zonder dat Algemene voorselectie is ingeschakeld. Als veel foto's nog steeds niet op één lijn liggen, is er waarschijnlijk onvoldoende overlap in de dataset en is opnieuw fotograferen noodzakelijk.
   2. Inspecteer de bindpuntwolk en cameraposities (Figuur 4A) in het modelviewervenster om te beoordelen of er duidelijke problemen zijn met de uitlijning. Secties van verbindingspunten of cameraposities die duidelijk misplaatst zijn ten opzichte van de algehele puntenwolk zijn duidelijke tekenen van uitlijningsproblemen.
      OPMERKING: Verkeerd uitgelijnde foto's moeten worden geselecteerd en hun uitlijning moet worden gereset door met de rechtermuisknop te klikken en Camera-uitlijning resetten te kiezen. Selecteer vervolgens Foto's uitlijnen in de vervolgkeuzelijst van de werkstroommenubalk . Als ze niet correct zijn uitgelijnd, is er waarschijnlijk onvoldoende overlap in de dataset en is opnieuw fotograferen noodzakelijk.
   3. Controleer georefereren. Inspecteer het model en de DEM in de model - en orthokijkvensters (Figuur 4B en C) om er zeker van te zijn dat de nivellering en positionering correct zijn. In het referentiepaneel (aanvullende afbeelding 4) moet de markeringsfout kleiner zijn dan 1 of 2 m en de interne schaalfout minder dan 1 of 2 mm.
      OPMERKING: Grote schaalfout, markeringsfout of een omgekeerd model geven verwijzingsfouten aan die te wijten kunnen zijn aan een onjuist ingesteld coördinatensysteem, onjuist gedetecteerde markeringen of zeer slechte GPS-locatiegegevens (zodat de markeringslocaties niet in geografische volgorde zijn geplaatst). Handmatige bewerking van de referentiegegevens kan nodig zijn om het probleem op te lossen.
   4. Controleer orthomozaïek. Inspecteer het orthomozaïek in het Ortho-viewervenster en controleer of de beeldkwaliteit voldoende is door het visueel te onderzoeken op substantiële vervaging, vervorming, beeldgaten of extreem veel ruis (Afbeelding 6).
      OPMERKING: Als deze problemen worden gedetecteerd, is het waarschijnlijk dat de camera-instellingen niet correct zijn ingesteld, dat de foto's op ongepaste afstand van het rif zijn gemaakt of dat er in sommige gebieden onvoldoende beeldoverlap is, en dat het opnieuw fotograferen van de locatie nodig kan zijn om acceptabele resultaten te bereiken.
   5. Controleer de grensveelhoek. Controleer in het venster Ortho-viewer of de automatisch gegenereerde grensveelhoek die het interessegebied binnen de vier hoekmarkeringen definieert, correct is, zoals wordt weergegeven in afbeelding 4.
      OPMERKING: Als de grens wordt overschreden of de verkeerde markeringen verbindt, klikt u met de rechtermuisknop op de veelhoek in het weergavevenster en verwijdert u deze. Selecteer Grens maken in het submenu Extra van de vervolgkeuzelijst ReefShape om de juiste volgorde van hoekmarkeringen te definiëren of definieer een nieuwe aangepaste grens met de polygoontool en stel deze in op het type Outer Boundary polygoon. Voer het volledige ReefShape Workflow-script opnieuw uit om gegevensproducten opnieuw te exporteren.

Figuur 4: Afbeelding van een rifperceel opgesplitst in de vier hoofdstappen in het ReefShape-proces. (A) tie-point cloud en cameraposities, (B) driedimensionaal mesh-model, (C) digitaal hoogtemodel (DEM) en (D) ortho-gerectificeerd fotomozaïek. Labels tonen locaties van gedetecteerde hoekmarkeringen (doelen 1-4), drie schaalbalken en een automatisch gegenereerde interessegebiedpolygoon voor structurele en ecologische analyse. Klik hier om een grotere versie van deze figuur te bekijken.

Results

Een tijdreeks LAI-dataset werd verzameld met behulp van deze methodologie op Simms Point Reef, aan de zuidwestkant van New Providence, de Bahama's. Figuur 4, Figuur 5, Figuur 6 en Aanvullende Figuur 4 geven allemaal de resultaten van dit experiment weer. Het referentienetwerk werd opgericht en de eerste beelden werden in januari 2023 verzameld. Het werd in augustus 2023, tijdens een ernstige hittegolf op zee, opnieuw gefotografeerd om de ernst van koraalverbleking te beoordelen. Beide tijdstippen werden verwerkt met behulp van het volledige ReefShape-workflowscript, zonder tussenkomst van de gebruiker in de tussenstappen. Tijdstip één omvatte 1.299 afbeeldingen, die allemaal met succes waren uitgelijnd, met een gemiddelde zwemhoogte van 1,8 m boven het substraat, een native grondresolutie van 0,567 mm/px (gestandaardiseerd op 0,5 mm/px), een totaal dekkingsgebied van 208^m2 (gemeten door het gebied binnen de hoekmarkeringen), een 3D/2D-oppervlakteverhouding van 2,887, een herprojectiefout van 1,12 px, een totale interne geolocatienauwkeurigheid van 30,6 cm en een schaalfout van 1,4 mm. Het hele proces, met de standaardinstellingen in het volledige ReefShape-script, duurde 8 uur en 23 minuten, met behulp van een desktopcomputer uit circa 2018 met een 6-core CPU, 32 GB RAM en een 8 GB discrete GPU (totale kosten ~ $ 1,500 USD). Een desktop uit 2024 met 14-core CPU, 64 GB RAM en een 24 GB discrete GPU (totale kosten ~ $ 4,000 USD) verwerkte hetzelfde plot in totaal 1 uur en 58 minuten. Het tweede tijdstip, inclusief 1.974 / 1.974 uitgelijnde afbeeldingen, duurde 7 uur en 45 minuten op de oudere desktop uit 2018.

Een ingezoomd gedeelte van de twee tijdstippen en de basisanalyse van koraalverbleking voltooid in TagLab²⁷ wordt gedemonstreerd in figuur 5, die het nut van dit proces laat zien voor het analyseren van de verandering van benthische habitats in de loop van de tijd. Resultaten van de analyse gaven aan dat meer dan 90% van de individuen in veel van de koraalsoorten volledige verbleking ervoer, wat de ernst van de gebeurtenis bevestigt, terwijl andere soorten minimale tot geen verbleking ervoeren, wat inzicht geeft in de patronen van veerkracht binnen de koraalgemeenschap. Beide tijdstippen (Figuur 5) tonen beelden van hoge kwaliteit, met voldoende scherpte en resolutie voor deskundige identificatie van benthische organismen tot op soort- of geslachtniveau. De witbalans is correct ingesteld en er zijn geen significante gebieden met vervaging, datalekken of andere artefacten, wat aangeeft dat het protocol erin is geslaagd om efficiënt de gegevens te leveren die nodig zijn om de dynamiek van de benthische ecologie van koraalriffen te bestuderen. Figuur 6 (boven) toont een inzoomen van deze grafiek als een voorbeeld van beelden van hoge kwaliteit in vergelijking met een dataset van slechte kwaliteit (onder) die niet voldoet aan de kwaliteitseisen voor gegevens, waarbij beeldartefacten de extractie van ecologische gegevens belemmeren. De dataset van slechte kwaliteit werd verzameld met onjuiste camera-instellingen (onjuiste witbalans die leidde tot een rode algemene tint en een te open diafragma dat leidde tot vervaging) en onvoldoende overlapping van foto's als gevolg van slechte duikernavigatie, wat het belang van beeldacquisitie benadrukt (protocol sectie 2).

Figuur 5: Representatieve resultaten met tijdreeksbeelden en schetsen van koraalkolonies van een perceel dat voor en tijdens een bleekgebeurtenis is gefotografeerd, die de nauwkeurigheid van automatische uitlijning tonen die met ons protocol is bereikt en het nut van deze gegevens om benthische veranderingen in de loop van de tijd te volgen. (A) toont de afbeelding van januari 2023 voor de Simms Point-site in New Providence, de Bahama's, (B) de afbeelding van augustus 2023, (C) levende koraalkolonies in januari 2023 geclassificeerd als gezond (blauw), bleek (oranje) of gebleekt (rood), en (D) levende koraalkolonies in augustus 2023 geschetst met hetzelfde classificatieschema. De schets van de koraalkolonie werd voltooid met behulp van AI-ondersteunde segmentatie in TagLab. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 6: Voorbeeld van een orthomozaïek van hoge kwaliteit en een orthomozaïek van lage kwaliteit, met annotaties die de belangrijkste kenmerken aantonen die de twee onderscheiden. Visuele inspectie van het orthomozaïek en andere dataproducten tijdens protocolstap 5.4 is nodig om te evalueren of het protocol correct is uitgevoerd of dat een herhaling van plotfotografie nodig is om aan de datakwaliteitsdoelstellingen te voldoen. Klik hier om een grotere versie van deze figuur te bekijken.

Toegang tot de software:
De ReefShape python-scripts, installatie- en gebruiksinstructies en meer gedetailleerde instructies over gegevensverzameling en softwaregebruik in de vorm van een whitepaper zijn beschikbaar op https://github.com/Perry-Institute/ReefShape. We zijn van plan de scripts bij te werken om problemen aan te pakken zodra ze zich voordoen en verbeteringen aan te brengen. Daarom raden we aan om de nieuwste versie te gebruiken.

Aanvullende figuur 1. Screenshot ter illustratie van het ReefShape-onderzoek voor het verzamelen van georeferentiegegevens binnen de Survey123-app op een smartphone. Gebruikers hebben toegang tot de enquête zonder een betaald account en ontvangen per e-mail hun gegevens die vooraf zijn geformatteerd voor gebruik in de verwerking van ReefShape bij indiening. Klik hier om dit bestand te downloaden.

Aanvullende figuur 2. Screenshot van de volledige GUI van het ReefShape Workflow-script. Gebruikers kunnen in deze interface alle benodigde informatie voor verwerking invoeren, waardoor de fotogrammetrieworkflow volledig kan worden geautomatiseerd. Klik hier om dit bestand te downloaden.

Aanvullende figuur 3. Schermafbeelding van de GUI van het script Timepoints uitlijnen. Gebruikers kunnen dit script gebruiken om de automatische uitlijning van volgende onderzoeken op het oorspronkelijke tijdstip te vergemakkelijken, waardoor tijdreekswijzigingen kunnen worden geanalyseerd. Klik hier om dit bestand te downloaden.

Aanvullende figuur 4. Screenshot van een 3D-model, met representatieve resultaten en het referentiepaneel. Alle informatie in het referentiepaneel wordt automatisch ingesteld op basis van de schaalbalk en geogerefereerde bestanden die zijn ingevoerd in het Full ReefShape Workflow-script. De variërende nauwkeurigheidsmetingen voor verschillende referentiegegevens (0,25 mm voor schaling, 10 cm voor diepte en ~70 cm voor XY-geolocatie) worden automatisch ingevoerd en vergemakkelijken een voorkeursbehandeling van schaal, vervolgens diepte en vervolgens XY-coördinaten in de uiteindelijke locatieoplossing die door Metashape wordt berekend. Klik hier om dit bestand te downloaden.

Aanvullend bestand 1: Instructies voor de voorbereiding van apparatuur, vereisten en instellingen voor het camerasysteem, en computervereisten en stappen voor het instellen van software die buiten het bereik van het protocol zelf vallen, zijn opgenomen in het aanvullende bestand. Klik hier om dit bestand te downloaden.

Discussion

Dit protocol is ontworpen om enkele van de belangrijkste uitdagingen op het gebied van onderwaterfotogrammetrie voor koraalrifhabitats aan te pakken, waaronder beeldkwaliteit en overlap tijdens acquisitie, metadataverzameling voor het schalen, nivelleren, geolocatie en uitlijning van tijdreeksen van modellen en kaarten, menselijke besluitvorming tijdens de fotogrammetrieverwerkingspijplijn, en voorbereiding, en export van gegevens voor analyse. We pakken de eerste uitdaging aan met een zorgvuldige selectie, testen en aanbeveling van een camerasysteem en belangrijke instellingen. Hoewel veel systemen kunnen werken voor beeldacquisitie, vinden we dat opstellingen met actiecamera's (bijv. GoPro of iets dergelijks) onvoldoende zijn vanwege rollende sluitervervorming, gebrek aan handmatige witbalans en het onvermogen om RAW-foto's te verzamelen bij 1 Hz, die allemaal de kwaliteit van de uiteindelijke beelden beperken en de mogelijkheid om tijdreeksgegevens nauwkeurig uit te lijnen. DLSR-opstellingen met meerdere camera's kunnen een betere beelddekking van het studieperceel²⁴ mogelijk maken, maar deze opstellingen zijn duur en omslachtiger onder water. In plaats daarvan kiezen we voor een enkel, relatief goedkoop (~ $ 2,800 USD totale kosten) spiegelloos camerasysteem met een mechanische sluiter, aangepaste witte balans, de mogelijkheid om RAW- en JPEG-foto's te verzamelen, een moderne APS-C-beeldsensor met lage ruisniveaus en een groothoeklens (~100° gezichtsveld) en dome-poortcombinatie die scherpe beelden oplevert. Er is gekozen voor een brede lens om de beelddekking en overlap te vergroten, waardoor de 3D-weergave van verticale en overhangende oppervlakken wordt verbeterd en mogelijke modelgaten worden verkleind. Het gebruik van een interval van 1 s en een enkele camera vermindert het totale aantal afbeeldingen ten opzichte van andere methoden zonder verlies van detail of modelkwaliteit, waardoor de verwerking wordt versneld. Ten slotte, hoewel RAW-beelden niet onmiddellijk cruciaal zijn voor de functie van de huidige beeldverwerkingspijplijn die afhankelijk is van JPEG-afbeeldingen, beschouwen we RAW-beelden als essentieel voor archiveringsdoeleinden omdat ze kleurinformatie van hogere kwaliteit bevatten. De witbalans kan na verzameling in beeldverwerkingssoftware worden aangepast en de kleurinformatie van hogere kwaliteit kan in de toekomst worden ingevoerd in een kleurcorrectie-algoritme zoals SeaThru³⁰ of DeepSeeColor³¹ en worden geïntegreerd in de fotogrammetriepijplijn voor meer consistente kleuren en gedetailleerde studie van fenomenen zoals koraalpigmentatie en bleken.

De tweede belangrijke uitdaging is 3D-geolocatie, schaling en uitlijning van tijdreeksen. Hoewel coördinaten uit de echte wereld voor veel analyses niet nodig zijn, moeten modellen nauwkeurig worden geschaald en genivelleerd voor het orthorectificatieproces en nauwkeurige metingen^32,33. Dit proces is moeilijk te automatiseren binnen fotogrammetriesoftware zonder het gebruik van detecteerbare gecodeerde doelen of zonder dieptemetingen en een XY-coördinatensysteem. De meeste protocollen vereisen de handmatige opname van referentie-informatie in Metashape of later in andere software, wat complexiteit en inefficiëntie aan de workflow toevoegt. Door gecodeerde doelen op te nemen in schaalbalken met een nauwkeurig bekende lengte en permanent vaste hoekmarkeringen, in combinatie met een gebruiksvriendelijk geolocatie- en diepteverzamelingssysteem, voorzien we de software van de nodige informatie om automatisch een coördinatensysteem te definiëren, het model te lokaliseren, te schalen en waterpas te zetten. Door de nauwkeurigheid van elke meting te specificeren, weegt de software de uiteindelijke locatieoplossing correct, zodat prioriteit wordt gegeven aan de schaal, vervolgens de diepte en ten slotte XY-coördinaten, waardoor zeer nauwkeurige schaling en nivellering mogelijk is, zelfs met relatief weinig nauwkeurige GNSS-gegevens. Co-registratie van fotomozaïeken met tijdreeksen vereist doorgaans menselijke tussenkomst om consistente punten op het rif te lokaliseren, te markeren en te matchen; Dit proces is zeer tijdrovend en uitdagend als er geen duidelijk statische kenmerken zijn tussen tijdstippen. Het gebruik van duurzame grondcontrolepuntmarkeringen verlicht dit probleem door een set van 4 automatisch detecteerbare statische doelen te bieden. Met ons gescripte proces erven volgende tijdstippen de precieze georeferentie van een vorig tijdstip, waardoor het uitlijningsproces aanzienlijk wordt vereenvoudigd en de menselijke input wordt verminderd, terwijl tegelijkertijd zeer nauwkeurige co-registratie van tijdstippen wordt vergemakkelijkt die het mogelijk maken om kleinschalige ecologische en structurele veranderingen op het rif te volgen.

De derde uitdaging die door dit protocol wordt aangepakt, zijn inefficiënties binnen de fotogrammetrieworkflow, zowel in termen van menselijke tussenkomst als eisen aan computerhardware. We hebben de ReefShape-scripts zo ontworpen dat de gebruiker alle vereiste informatie voor het hele proces in een enkel GUI-vak kan invoeren, waardoor alle interventies worden verwijderd die doorgaans nodig zijn bij belangrijke stappen in het proces (d.w.z. de opname van schaal-, nivellerings- en georeferencing-informatie). Hierdoor kan de gebruiker het proces starten en de rest aan de computer overlaten, wat tijd en moeite bespaart. De fotogrammetriepijplijn die wordt gebruikt in het Full ReefShape Workflow-script (Afbeelding 3 en Afbeelding 4) is geoptimaliseerd om een efficiënte verwerking te bieden. We hanteren een gespecialiseerd uitlijningsproces dat bestaat uit twee fasen. Een eerste uitlijningspas wordt uitgevoerd met algemene voorselectie ingeschakeld, een optie die de uitlijningstijd van afbeeldingen met vele uren kan verkorten zonder dat dit leidt tot verlies van nauwkeurigheid³⁴. Een tweede fase probeert vervolgens alle resterende niet-uitgelijnde foto's toe te voegen aan de reeds bestaande uitlijning zonder het gebruik van generieke voorselectie, die uitlijningsproblemen kan verminderen die worden veroorzaakt door suboptimale overlapping of bijtende banden van golflenzen in ondiep water. Samen vormen deze stappen een efficiënt en krachtig uitlijningsproces dat vaak leidt tot een veel groter aandeel correct uitgelijnde foto's dan standaard Metashape-verwerkingsprocedures. We genereren een 3D-mesh rechtstreeks uit dieptekaarten, waardoor het tijd- en resource-intensieve proces van de constructie van dichte puntenwolken wordt omzeild. Mazen die op deze manier worden gegenereerd, hebben doorgaans minder ruis en een betere reconstructie van gebieden met een lage dekking, waardoor het niet nodig is om puntenwolken op te schonen voordat ze in elkaar grijpen, zoals bij andere methoden wordt gebruikt²³. Onze ervaring is dat dit proces voor het genereren van mesh meestal stabieler is, wat leidt tot minder computercrashes dan dichte puntenwolkconstructie en meshing. Ten slotte genereren we een DEM met hoge resolutie die wordt gebruikt als orthorectificatieoppervlak in plaats van het gaas, omdat dit de bouwtijd van orthomozaïek drastisch verkort zonder merkbaar kwaliteitsverlies.

Een laatste uitdaging is het voorbereiden, standaardiseren en exporteren van data voor ecologische analyse. Door de resolutie van beeldproducten te standaardiseren op 0,5 mm/pixel, zorgen we voor consistente en vergelijkbare producten op verschillende percelen en tijdstippen, waardoor toekomstige inspanningen om AI en machine learning te gebruiken voor analyse worden verbeterd. Het volledige ReefShape-workflowscript biedt opties om een verwerkingsrapport en gegevensproducten te exporteren in het juiste formaat voor GIS-software en TagLab²⁷, waardoor de opmaak wordt gestandaardiseerd en tijd en moeite wordt bespaard ten opzichte van workflows waarbij deze stap handmatig wordt uitgevoerd. Een POI-polygoon, die nodig is voor veel analyses, wordt automatisch gegenereerd met behulp van de bekende hoekmarkeringsposities en geëxporteerd als een standaard shapefile voor opname in GIS-workflows, zoals het genereren en identificeren van willekeurige punten in de grafiek om de benthische samenstelling te analyseren. Deze ROI maakt ook bijgesneden en op pixels uitgelijnde uitvoer voor TagLab mogelijk, die nodig is voor tijdreeksanalyse, zoals weergegeven in afbeelding 5. De ROI maakt het ook mogelijk om voor elk tijdstip automatisch een 3D-verhouding tussen oppervlakte en vlak gebied te berekenen (protocolstap 5.2.8), wat belangrijk is voor het meten van de structurele complexiteit van het rif en de verandering ervan in de loop van de tijd.

Hoewel dit protocol een vooruitgang betekent in efficiëntie en bruikbaarheid voor onderwaterfotogrammetrie, zijn er beperkingen. Het meest opvallende is dat als het fotogrammetrieproces mislukt in een van de belangrijkste stappen, tussenkomst van de gebruiker vereist is om problemen op te lossen en op te lossen voordat verder wordt gegaan. Hoewel ons gescripte proces is ontworpen om bruikbaar te zijn voor onderzoekers zonder diepgaande kennis van fotogrammetrie, is een basiskennis belangrijk om problemen op te lossen wanneer ze zich voordoen. Een paar belangrijke onderdelen van het proces zijn het meest vatbaar voor problemen. Ten eerste kunnen afbeeldingen niet worden uitgelijnd vanwege een slechte overlapping van het beeld of vanwege ernstige bijtende banden op het substraat in ondiep water en zonnige omstandigheden. Een mislukte uitlijning kan worden gedetecteerd door de tiepoint-wolk en cameraposities te inspecteren. Als de uitlijning mislukt als gevolg van bijtende banden, kan het probleem doorgaans worden opgelost door de volledige ReefShape-workflow opnieuw uit te voeren met Generic Preselection niet aangevinkt, ten koste van een aanzienlijk langere verwerkingstijd. Als de overlap van de afbeelding onvoldoende is voor de software om foto's uit te lijnen, is het opnieuw fotograferen van de site waarschijnlijk de beste oplossing. Mislukte markeringsdetectie kan ook leiden tot een fout in de toewijzing. Dit is meestal het geval als een marker beschadigd is of niet voldoende is schoongemaakt. In dit geval kunnen markeringen op individuele foto's in Metashape worden geplaatst en handmatig worden benoemd, en kunnen de ReefShape-script(s) opnieuw worden uitgevoerd om de verwerking te voltooien. In sommige gevallen kan georefereren mislukken als de GPS-punten zo onnauwkeurig zijn dat ze geografisch niet in orde zijn of als de GPS-punten aan de verkeerde doelen zijn toegewezen. Dit kan worden opgelost door het gegeorefereerde CSV handmatig te bewerken zodat het op de juiste manier overeenkomt met de gegevens en vervolgens het script opnieuw uit te voeren. Ten slotte zijn softwarecrashes mogelijk, vooral bij gebruik van een minder krachtige computer met een grote plot of met instellingen van hogere kwaliteit. Vooruitlopend hierop wordt ons gescripte proces automatisch opgeslagen na elke voltooide stap, zodat de gebruiker opnieuw kan opstarten en instellingen kan aanpassen zonder de voortgang te verliezen. Verdere aanbevelingen voor het oplossen van problemen vindt u op onze GitHub-pagina.

Het primaire doel van ReefShape is om het verzamelen en verwerken van componenten van onderwaterfotogrammetrie te vereenvoudigen en de kosten zoveel mogelijk te verlagen, zodat gebruikers meer tijd en moeite kunnen besteden aan ecologische gegevensextractie. We bieden een compleet proces dat is ontworpen om hoogwaardige gegevensoutput te realiseren die is afgestemd op de behoeften van gangbare ecologische analyse-opties. Hoewel het beschreven protocol zeer specifiek is, is de gescripte benadering van de verwerking flexibel en kan deze zonder problemen wijzigingen aan aspecten van de methode aan, zoals de grootte van het plot, het patroon voor het zwemmen/verzamelen van foto's, de resolutie van de doeluitvoer en het specifieke camerasysteem dat wordt gebruikt. De methode kan ook zonder noemenswaardige wijzigingen worden toegepast op de meeste onderwater- of kleinschalige terrestrische fotogrammetrieprojecten, zoals de documentatie van scheepswrakken of archeologische vindplaatsen.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
0.3m length 1/2" PVC pipe	generic	N/A	for GPS kit
1" PVC table cap	generic	N/A	for GPS kit
1/2" to 1" PVC reducer bushing	generic	N/A	for GPS kit
12mm f/2.0 AF E-mount lens	Samyang	SYIO12AF-E	also sold under brand name Rokinon
2" fluted shank round masonry nails	generic	N/A	for corner marker installation
256GB UHS-1 V30 SD Card	SanDisk	SDSDXXD-256G-ANCIN	fastest possible UHS-1 SD card recommended
30m tape measure (optional)	N/A	N/A	for plot setup
Acrylic sheet, 3mm thick, cut to 80mm x 580mm (3x)	N/A	N/A	scale bar material
Aluminum camera tray	KitDive	N/A	fits camera housing and aids with holding camera
Underwater corner marker set with printed photogrammetry targets	N/A	N/A	custom made, contact author for details
Duracopy waterproof laser printer paper	Rite in the Rain	6511	can be replaced with waterproof sticker paper
E6000 epoxy	generic	N/A	for GPS kit
GLO2 Bluetooth GPS	Garmin	010-02184-01	other options exist, GLO2 is the most economical
ILCE a6700 mirrorless camera	Sony	ILCE6700/B	a6700 camera preferred, a6600 or a6400 are low-cost options
Laser Printer	N/A	N/A	any laser printer (not inkjet)
Metashape Professional Edition	Agisoft	N/A	required software
Plastic card (roughly 1mm x 5mm x 5mm)	N/A	N/A	for GPS kit, can also use discarded credit card or similar, cut in half.
Smartphone	N/A	N/A	any reasonably modern smartphone, for GPS data collection
Sony A6700 Sea Frogs 40M/130FT Waterproof housing with acrylic 6" Dome Port V.1	SeaFrogs	N/A	if using a6600 or a6400 cameras, replace with appropriate SeaFrogs housing
Super glue	N/A	N/A	for GPS kit and scale bar creation
Swim fitness-style kickboard	Speedo	877530050021SZ	for GPS kit, brand unimportant
Watch-style dive computer	N/A	N/A	for collecting corner marker depths
Waterproof pouch	Xuniea	W-1188	brand unimportant, to fit GPS device
Waterproof phone pouch	Pelican	PP048884	brand unimportant, to fit smartphone