Method Article

Reefshape: Um sistema para a coleta eficiente e processamento automatizado de dados de fotogrametria subaquática de séries temporais para monitoramento de habitat bentônico

DOI:

10.3791/67343

⸱

June 13th, 2025

 ,  ,  , 
1Perry Institute for Marine Science, 2School of Life Sciences, Arizona State University, 3Center for Global Discovery and Conservation Science, Arizona State University, 4School of Ocean Futures, Arizona State University, 5School of Earth and Space Exploration, Arizona State University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Aqui é apresentado um protocolo para coleta e processamento de dados de fotogrametria subaquática, incluindo um pipeline de processamento de imagem significativamente simplificado e totalmente automatizado, resultando em saídas georreferenciadas e alinhadas a séries temporais prontas para extração, análise e aplicação de dados ecológicos.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

A imagem de grande área (LAI) por meio da fotogrametria de estrutura a partir do movimento ganhou força significativa como uma ferramenta de monitoramento para ecossistemas de recifes de coral, permitindo a criação de um modelo digital de uma seção de recife que pode ser analisado ex situ para coletar dados sobre uma composição bentônica, complexidade estrutural e outras métricas. Embora uma variedade de abordagens tenha sido usada, uma abordagem sistemática para coleta de dados e processamento de computador continua sendo uma necessidade para muitos pesquisadores. Para resolver isso, desenvolvemos o ReefShape, um fluxo de trabalho direto e abrangente para coleta de imagens subaquáticas, georreferenciamento, processamento de dados e alinhamento de séries temporais. Recomendações específicas do sistema de câmera e instruções de aquisição de imagem são fornecidas com base em nossa experiência. Um processo para incorporar georreferenciamento do mundo real usando marcadores permanentes de controle de solo fixados ao substrato que facilita o alinhamento automático de conjuntos de dados de séries temporais é descrito. Um conjunto de scripts de processamento foi desenvolvido para automatizar o fluxo de trabalho de processamento de dados, agilizando e simplificando drasticamente o processo normalmente demorado e complexo. Nossa abordagem roteirizada visa reduzir a carga de processamento de dados sobre os pesquisadores de recifes de coral, aumentar a eficiência do pipeline de fotogrametria e exportar dados em formatos prontos para análise para uso em programas comuns de segmentação de imagens GIS e recifes de coral. Os métodos descritos aqui fornecem uma solução abrangente para integrar a fotogrametria como uma ferramenta de monitoramento de recifes, mantendo-se flexíveis e deixando as análises específicas a serem conduzidas para o pesquisador.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os recifes de coral são um dos ecossistemas mais biodiversos e economicamente importantes do mundo e enfrentam desafios sem precedentes de mudanças climáticas, doenças, pesca excessiva e outros estressores 1,2,3. O monitoramento dos ecossistemas dos recifes de coral é excepcionalmente difícil devido às suas localizações muitas vezes remotas e às dificuldades inerentes à pesquisa subaquática; portanto, os recifes têm sido historicamente pouco estudados4. O monitoramento eficaz dos recifes de coral em várias escalas espaciais, variando do microbiano5 ao arquipélago6 e global7, é essencial para entender seu declínio, bem como planejar, rastrear e avaliar os esforços de intervenção8. Uma ferramenta que se tornou popular para monitorar a condição dos bentos de recifes de coral na escala de dezenas a centenas de metros quadrados é a imagem fotomosaico, um termo que se refere a mapas de alta resolução que consistem em fotografias subaquáticas sobrepostas costuradas9. Esses mosaicos permitem que os pesquisadores visualizem uma área de recife maior do que pode ser capturada em uma única fotografia, daí o termo imagem de grande área (LAI) 10 . Os mosaicos podem ser posteriormente analisados para extrair informações ecológicas relevantes, como porcentagem de cobertura de corais, tamanho da colônia, distribuição de espécies e composição bentônica11. Os avanços na computação e a disponibilidade de software pronto para uso agora permitem que esse processo seja concluído usando a fotogrametria de estrutura a partir do movimento (SfM). O SfM envolve a análise de fotos para pontos de correspondência que são usados para reconstruir a orientação tridimensional das fotos e pontos de amarração, permitindo a criação de uma réplica precisa do recife virtual 12,13,14. As pesquisas SfM / LAI tornaram-se comuns na pesquisa de recifes de coral, permitindo novos insights sobre a ecologia da comunidade de corais10, complexidade do habitat15,16, respostas da comunidade de corais a eventos de branqueamento17,18, furacões19 e restauração de corais20.

Várias abordagens para o uso do LAI para monitoramento de recifes de coral foram desenvolvidas 21,22,23,24, resultando em uma gama diversificada de opções disponíveis para os profissionais que buscam alavancar a tecnologia. No entanto, o uso efetivo do LAI na pesquisa de recifes de coral é complexo e exige um esforço substancial de aprendizado. Proficiência em mergulho, navegação subaquática, fotografia subaquática, utilização de software, curadoria de dados e gerenciamento são essenciais. Além disso, a experiência em ecologia é fundamental para analisar e interpretar efetivamente os produtos de dados. Os fluxos de trabalho existentes tendem a se concentrar principalmente na aquisição de imagens sem fornecer orientação suficiente para protocolos de séries temporais, coleta de metadados (por exemplo, dimensionamento, profundidade e localização) ou processamento de dados pós-viagem de campo: todas as etapas essenciais para a coleta de dados precisa e repetível. Os custos associados aos fluxos de trabalho do LAI também tendem a ser altos, utilizando sistemas de câmera caros e configurações de computador. Continua a haver uma forte necessidade entre os pesquisadores de uma metodologia abrangente, direta e eficiente, resultando em dados de qualidade suficiente para responder a uma ampla gama de questões de pesquisa atuais e futuras. Abordamos isso desenvolvendo uma abordagem robusta e eficiente para LAI subaquática que reduz o esforço e a complexidade do processamento e minimiza os custos, melhorando a qualidade dos dados. Nossa nova abordagem permite aquisição rápida, processamento automatizado e alinhamento de séries temporais de imagens para fornecer produtos de dados de alta qualidade para estudo e análise ecológica de recifes de coral. O custo inicial total da implementação dessa abordagem é de cerca de US$ 5.000 a US$ 8.000 (incluindo sistema de câmera, materiais, computador dedicado e software), dependendo se o usuário pode acessar preços educacionais para software de fotogrametria. Por meio da aplicação de nossos métodos, pretendemos ajudar os pesquisadores de recifes de coral a otimizar seus esforços de coleta e processamento de dados, permitindo fluxos de trabalho mais eficientes que facilitam a extração e análise rápidas de dados ecológicos de recifes de coral criticamente importantes.

O método descrito aqui, que chamamos de "ReefShape", tem três novas contribuições principais: (1) o uso de marcadores de controle de solo semipermanentes fixados ao substrato para permitir georreferenciamento automático e alinhamento de séries temporais de conjuntos de dados, (2) o uso de um levantamento personalizado baseado em aplicativo para facilitar a coleta e formatação de dados de localização e (3) a implementação de um processo de script abrangente construído para automatizar totalmente o pipeline de fotogrametria, reduzindo drasticamente o trabalho humano durante a fase de processamento que é invocado em outros protocolos LAI 20,21,22,23. Como esses outros protocolos LAI, o ReefShape conta com o uso do Agisoft Metashape25 (doravante denominado "o programa de fotogrametria") para processamento fotogramétrico e, adicionalmente, utiliza o aplicativo gratuito para smartphone ESRI Survey12326(doravante denominado "o aplicativo de pesquisa") para coleta de dados de localização. Este protocolo foi projetado para ser simples, mas robusto, não exigindo sistemas de várias câmeras24 ou levantamentos geodésicos complexos13, ao mesmo tempo em que atende ao objetivo de fornecer dados de alta qualidade, definidos como modelos 3D completos, fotomosaicos e modelos digitais de elevação com geometria, escala e posição precisas; resolução e nitidez suficientes para identificar visualmente organismos bentônicos no nível da espécie ou gênero; sem grandes lacunas ou buracos de dados; cor precisa; e no caso de dados de séries temporais, alinhamento adequado entre os pontos de tempo. A abordagem específica descrita aqui fornece uma estrutura para coletar e processar dados para atingir esses objetivos.

Impulsionados pelos avanços no aprendizado de máquina, prevemos que novas ferramentas de análise serão desenvolvidas para extração mais rápida e precisa de dados ecológicos de fotomosaicos. Portanto, concentramos nossos esforços na coleta de imagens subaquáticas de alta qualidade e na automação do pipeline de fotogrametria, deixando análises específicas em grande parte para os usuários deste protocolo com base em seus próprios conjuntos de necessidades. Este processo roteirizado, destinado a ser amplamente aplicável à comunidade de pesquisa de recifes de coral, inclui opções para exportar produtos de dados formatados como GeoTIFFs de especificações variadas adaptadas para software GIS comum e TagLab, um aplicativo desenvolvido especificamente para anotação rápida de ortomosaicos de recifes de coral27.

Visão geral do protocolo
O método ReefShape é dividido em duas fases principais: coleta de dados in situ e processamento de dados em um computador. O método é funcional para tamanhos de parcela de ~25 m2 até >1000 m2, variando em profundidade de ~ 1 m a 30 m. Foi demonstrado que parcelas de 300-400 m2 são ideais para capturar efetivamente a diversidade de corais nos recifes do Caribe28. No entanto, verificou-se que parcelas maiores que ~ 100 m2 podem ser difíceis de navegar para os agrimensores iniciantes. Portanto, um tamanho de parcela de 10 m x 10 m é descrito no protocolo como ponto de partida, mas não pretendemos restringir os usuários com essa sugestão. Em vez disso, sugere-se que os usuários escolham o tamanho do lote com base em sua própria experiência e necessidades de pesquisa. O processo de coleta de dados permanece efetivamente o mesmo para qualquer tamanho de parcela escolhido.

Quando um gráfico é estabelecido pela primeira vez, o agrimensor começa fixando permanentemente quatro marcadores exclusivos com alvos de fotogrametria codificados (Figura 1D) no substrato em cada canto (Figura 2), usando um computador de mergulho para medir a profundidade de cada marcador. Barras de escala codificadas (Figura 1E) são colocadas temporariamente dentro do gráfico, e fotos voltadas para o substrato são coletadas pelo mergulhador com uma única câmera mirrorless e lente retilínea grande angular posicionada 1,5 m - 2 m acima do recife, nadando em um padrão de "cortador de grama" cruzado, semelhante a outros protocolos estabelecidos 11,21,24,. Todo o processo (incluindo configuração e fotografia pela primeira vez) normalmente pode ser concluído em um único mergulho, embora vários mergulhos possam ser necessários para parcelas mais profundas ou maiores. Após a fotografia, o topógrafo usa uma unidade GPS Bluetooth montada em um dispositivo de flutuação (Figura 1C) e um smartphone para coletar pontos de GPS na superfície acima de cada marcador de canto usando um formulário personalizado no aplicativo de pesquisa, que envia os dados de referência por e-mail para o usuário em uma planilha pré-formatada. Em levantamentos de parcelas subsequentes, o topógrafo não coleta dados de referência ou instala marcadores e precisa apenas localizar e limpar os marcadores de canto existentes e coletar fotos, simplificando o processo de coleta de dados de séries temporais.

Para o processamento de dados, foi desenvolvido um conjunto de scripts Python personalizados que fazem interface com o programa de fotogrametria para automatizar o pipeline (Figura 3), normalmente um processo que requer intervenção humana em vários pontos. As principais etapas de processamento do pipeline automatizado incluem a criação de uma nuvem de pontos de ligação e a estimativa das posições das câmeras, a construção de um modelo de malha 3D do recife, a construção de um modelo digital de elevação (DEM) 2,5D, a construção de um fotomosaico ortorretificado 2D e a definição de uma região de interesse (ROI) delimitada pelos quatro marcadores de canto (Figura 4). Nesse fluxo de trabalho, o usuário insere as fotos e os dados de referência em uma interface gráfica (Figura Suplementar 1) no início do processamento, em vez de precisar passar por várias etapas antes de adicionar manualmente os dados de referência e gerar produtos de dados, como é comum em outros fluxos de trabalho 21,22,23,24. Para o processamento de séries temporais, os marcadores de canto permanentes facilitam o alinhamento automático de pontos de tempo, eliminando a necessidade de alinhamento manual. O uso de um fluxo de trabalho padronizado e com script ajuda a garantir a consistência dos dados e economiza um esforço humano significativo durante o processamento, especialmente em projetos com muitos pontos de tempo. Um conjunto de scripts autônomos também está incluído para automatizar várias tarefas de processamento, incluindo o cálculo de uma proporção de área de superfície 3D para área plana, uma métrica importante para avaliar a complexidade estrutural do recife19,29.

figure-introduction-1
Figura 1: Principais materiais necessários para a parte de coleta de dados deste protocolo. (A) câmera mirrorless com lente retilínea grande angular, (B) caixa subaquática com porta dome para encaixar câmera/lente, (C) dispositivo de kickboard Bluetooth GPS, (D) marcadores de canto codificados detectáveis automaticamente para controle permanente do terreno e georreferenciamento e (E) barras de escala codificadas usadas para definir o tamanho do modelo. Clique aqui para ver uma versão maior desta figura.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

NOTA: Consulte o Arquivo Suplementar 1, Seções 1 e 2 para obter as etapas de preparação do equipamento.

1. Configuração do enredo

  1. Instalação de marcadores de canto (apenas para o ponto de tempo inicial)
    1. Selecione um gráfico adequado em um campo. Certifique-se de que a segurança seja priorizada em todo o processo. Para este protocolo, é descrita uma parcela de 10 m x 10 m.
      NOTA: O protocolo pode ser executado por um único pesquisador ou par de amigos e pode ser adaptado para a maioria dos tamanhos de parcela, dependendo das necessidades de pesquisa.
    2. Uma vez escolhido o terreno, instale os quatro marcadores de canto enquanto estiver no SCUBA. Fixe os marcadores de canto 1-4 (Figura 1D) ao substrato em ordem sequencial nos cantos da parcela usando um martelo e 4 pregos, tomando cuidado para não fraturar o substrato ou danificar corais vivos sensíveis. Encontre locais adequados para instalar os marcadores (por exemplo, áreas relativamente planas de substrato não vivo que sejam facilmente visíveis diretamente de cima e não possam ser danificadas ou rapidamente bioerodidas).
    3. Para consistência e para ajudar na navegação e realocação do gráfico, instale marcadores de gráfico no sentido horário. Instale o marcador 1 no canto NE, o marcador 2 no canto SE, o marcador 3 no canto SW e o marcador 4 no canto NW, usando uma fita métrica e uma bússola, se necessário.
      NOTA: A Figura 2A mostra um marcador instalado corretamente e a Figura 2D mostra uma visão geral do layout do gráfico, com todos os marcadores dispostos a ~ 10 m de distância em um padrão quadrado.
    4. Registre as profundidades do marcador. Usando um computador de mergulho ou outro medidor de profundidade, registre a profundidade de cada um dos quatro marcadores de canto com precisão de 10 cm em uma lousa de mergulho.
    5. Opcionalmente, nos casos em que a instalação de marcadores permanentes não é permitida ou viável, marcadores de canto temporários (consulte o Arquivo Suplementar 1, Seção 3) podem ser colocados no substrato nos cantos da parcela. Esses marcadores podem ser recuperados posteriormente.
  2. Posicionamento da barra de escala (todos os pontos de tempo)
    1. Depois que os marcadores de canto forem dispostos, coloque de 3 a 5 barras de escala (consulte o Arquivo Suplementar 1, Seção 1) em locais estáveis dentro do gráfico, usando um peso de mergulho ou uma pequena pedra para pesar cada barra de escala para evitar que se movam durante a fotografia. A menos que esteja usando um cartão cinza para balanceamento de branco da câmera (consulte a etapa 2.1.2), certifique-se de que pelo menos uma barra de escala esteja próxima à profundidade média do gráfico.
      NOTA: As barras de escala devem ser visíveis de cima, não podem cobrir objetos importantes, como corais, e não podem ser flexionadas/dobradas para que o comprimento medido entre os marcadores seja encurtado.

2. Aquisição de imagem

NOTA: Atenção especial deve ser dada à configuração correta das configurações da câmera, pois isso é fundamental para garantir dados de alta qualidade. Uma câmera mirrorless com lente grande angular é recomendada para este protocolo. Consulte a Tabela 1 e o Arquivo Suplementar 1, Seção 4 para obter as principais configurações da câmera e recomendações do sistema. Emparelhe com uma caixa subaquática e uma porta de cúpula que combine com a lente. O objetivo é manter imagens nítidas.

Configuração da câmeraRecomendação
Modo de imagemManual
AberturaF8, F5.6 se o terreno estiver a >15 m de profundidade ou com pouca luz
Velocidade do obturador1/500s, 1/320s com pouca luz ou surto zero
ISOAutomático
Equilíbrio de brancoPersonalizado (definido como ponto branco na profundidade média)
Estabilização de imagemLigado (se disponível)
Formato de imagemJPEG + RAW
Intervalo1s
Foco automáticoAF-S (foca no primeiro quadro da sequência)
Tipo de obturadorMecânico ou EFCS (não silencioso ou eletrônico)
Suavização da exposição/sensibilidade de rastreamento AEDesligado / Alto

Tabela 1: Configurações importantes da câmera necessárias para maximizar a qualidade dos dados ao coletar imagens para fotogrametria subaquática. Essas configurações se aplicam à maioria das câmeras mirrorless ou DSLR, mas são adaptadas à configuração específica recomendada na tabela de materiais.

  1. Imagem do recife (todos os pontos de tempo)
    1. Monte o sistema e a caixa da câmera de acordo com as recomendações do fabricante e as práticas padrão de fotografia subaquática para garantir a função subaquática adequada e a impermeabilização. Certifique-se de que a câmera esteja no modo de exposição manual (M), a abertura esteja definida para f/8, a velocidade do obturador seja de 1/500de segundo e o ISO esteja definido para o modo automático para obter a exposição correta para cada quadro. Para configurações detalhadas, consulte a Tabela 1.
      NOTA: Em condições mais escuras e profundas, uma abertura de 5,6 e uma velocidade do obturador de 1/320 s podem ser usadas para aumentar a quantidade de luz e reduzir o ruído da imagem.
    2. Usando um cartão cinza ou barra de escala na profundidade média do gráfico, defina um balanço de branco personalizado com a câmera apontada para baixo no cartão cinza ou na parte branca da barra de escala, tomando cuidado para evitar sombrear o ponto de referência branco. Conclua isso imediatamente antes de iniciar a coleta de imagens.
    3. Navegue até um canto do gráfico e posicione a câmera a 1.5-2 m acima do substrato, apontada para baixo (Figura 2C). Foco automático da câmera no recife e inicie o intervalo para coletar fotos em 1 quadro / s.
    4. Comece a nadar a uma velocidade confortável em direção a um canto adjacente da trama, coletando a primeira passagem de fotos. Gire 180° e colete uma segunda passagem de foto a cerca de 1 m de espaçamento da primeira passagem, consistentemente 1.5-2 m acima do substrato. Repita para completar passagens antiparalelas em um padrão semelhante a um cortador de grama acima de toda a parcela, incluindo pelo menos um buffer de 0,5 m ao redor do perímetro (Figura 2D, conjunto 1). Evite lacunas na cobertura fotográfica e certifique-se de que todas as barras de escala e marcadores de canto estejam incluídos nas fotos.
      NOTA: A navegação é realizada pelo agrimensor, normalmente em mergulho (ou snorkel para parcelas a < de 2m de profundidade), usando a memorização das principais características do recife para manter a cobertura. Um segundo agrimensor e/ou companheiro de mergulho pode ajudar na navegação. O objetivo é coletar fotos sobrepostas (~ 80% de sobreposição frontal, ~ 60% de sobreposição lateral) que cubram totalmente todas as superfícies do recife dentro da área contida pelos marcadores e uma área tampão de 0,5 m.
    5. Execute o conjunto de passes de coleta de imagens 2. Quando o primeiro conjunto de passagens estiver completo, gire 90° e colete um segundo conjunto de passagens acima do recife, completando um padrão de grade (Figura 2D, conjunto 2). As fotos devem ser tiradas principalmente voltadas para baixo, exceto em áreas de alto relevo onde a câmera deve ser inclinada obliquamente para permanecer apontada perpendicularmente à superfície do substrato.
      NOTA: Este segundo conjunto de passes destina-se a garantir a sobreposição e cobertura completas do enredo. A coleção adicional de fotos em áreas-chave e/ou de alto relevo do terreno é aceitável e recomendada para gráficos complexos para garantir a cobertura completa das imagens.
    6. Limpe o enredo. Após a conclusão da coleta de imagens, pegue as barras de escala e todos os materiais deixados para trás. Marcadores de canto permanentes são os únicos materiais que devem ser deixados no recife.
      NOTA: Se estiver usando marcadores de canto temporários, os dados de referência (seção 3) devem ser coletados antes de remover os marcadores. Recomenda-se que um segundo agrimensor colete os dados de referência enquanto o primeiro fotografa o terreno.

figure-protocol-1
Figura 2: Configuração do enredo e fotografia. (A) mostra um marcador de canto recém-instalado, enquanto (B) mostra um marcador no lugar 13 meses após a instalação. (C) mostra um mergulhador conduzindo uma pesquisa na distância apropriada acima do recife, e (D) mostra um diagrama do processo de fotografia com dois conjuntos perpendiculares de passagens antiparalelas (linhas vermelhas e azuis) abrangendo a área contida pelos marcadores de canto (caixa tracejada preta), sem lacunas consideráveis. Clique aqui para ver uma versão maior desta figura.

3. Recolha de dados de referência

NOTA: Para a configuração do kit GPS e da pesquisa ReefShape, consulte o Arquivo Suplementar 1, Seção 2. Se a coleta de pontos de GPS for inviável, a abordagem de processamento automatizado ReefShape (seção 5) ainda pode ser usada. Uma pesquisa separada que facilita a formatação de um arquivo de referência com coordenadas locais pode ser encontrada na página do GitHub (https://github.com/Perry-Institute/ReefShape) junto com as instruções de uso.

  1. Pesquisa ReefShape (apenas para o ponto de tempo inicial)
    1. Abra a pesquisa ReefShape no aplicativo de pesquisa (Figura Suplementar 1) em um smartphone e insira metadados importantes (iniciais do agrimensor, e-mail, nome do lote e notas). Coloque o smartphone em uma bolsa à prova d'água. Com o kit de kickboard GPS (Figura 2C) e smartphone, nade sobre o enredo.
    2. Localize o alvo 1, posicione a prancha GPS na superfície diretamente acima do alvo e, dentro da pesquisa ReefShape no telefone, toque no ícone de mira para coletar um ponto GPS. Passe para o próximo alvo. Registre a localização do alvo 2 na segunda repetição, o alvo 3 na 3ª e o alvo 4 na 4ª. Retorno ao barco ou costa.
    3. No levantamento ReefShape, insira as informações de profundidade correspondentes a cada marcador. Verifique se os dados estão corretos (ou seja, estimativas de precisão razoáveis, sem locais ou profundidades vazias) e, em seguida, envie.
      NOTA: O processo de coleta de dados do GPS pode ser concluído por um segundo pesquisador enquanto o primeiro coleta fotos para economizar tempo. O envio requer acesso à Internet, mas as pesquisas podem ser armazenadas na caixa de saída para envio posterior, se necessário. Uma vez enviado, o usuário receberá um e-mail com os dados de localização pré-formatados.

4. Repita os pontos de tempo

  1. Inspeção e manutenção de parcelas (apenas para pontos de tempo subsequentes)
    1. Ao retornar a um gráfico para imagens repetidas, primeiro reposicione o gráfico e encontre os marcadores de canto (Figura 2B), usando os dados originais do GPS ou uma impressão do fotomosaico original do ponto de tempo como referência, se necessário. Se houver alguma bioincrustação na superfície do marcador, use um raspador de plástico ou dispositivo semelhante para limpar a superfície, garantindo que o design alvo seja facilmente visível.
    2. Se um marcador for perdido ou danificado de tal forma que o design do alvo circular não esteja mais claro, substitua-o pelo mesmo processo de instalação da etapa 1.1.2. Se possível, recoloque o marcador no local anterior (+/- ~5 cm). É fundamental que o marcador de substituição tenha o mesmo número de destino que o original. Anote o(s) marcador(es) que são(são) substituído(s).
  2. Fotografia de plotagem (mesmo processo para todos os pontos de tempo)
    1. Coloque barras de escala. Consulte a etapa 1.2 do protocolo.
    2. Defina o balanço de branco personalizado e colete imagens. Consulte a seção 2 do protocolo.

figure-protocol-2
Figura 3: Fluxograma mostrando as etapas do fluxo de trabalho de fotogrametria automatizadas por meio do script principal do ReefShape. As imagens, um arquivo de comprimento de barra de escala e o arquivo de georreferenciamento (caixas laranja) são inseridos no script, que automatiza todas as etapas essenciais de processamento (caixas azuis), resultando em produtos de dados (caixas verdes) prontos para análise. Clique aqui para ver uma versão maior desta figura.

5. Processamento de dados

NOTA: Consulte o Arquivo Suplementar 1, Seção 5 para obter as etapas de configuração do software.

  1. Importação de imagens
    1. Importe todas as fotos da imagem de plotagem para o computador de processamento, separando as fotos JPEG e RAW em subpastas separadas.
    2. Baixe dados de referência. Certifique-se de que o arquivo de texto do comprimento da barra de escala (consulte Arquivo Suplementar 1, Seção 1) esteja armazenado em um local de fácil acesso em seu computador. Baixe e armazene da mesma forma o arquivo CSV de georreferenciamento que foi enviado automaticamente por e-mail após o envio de dados de georreferenciamento dentro da pesquisa ReefShape (seção 3 do protocolo).
  2. Fluxo de trabalho principal do ReefShape (primeiro ponto de tempo)
    1. Abra um novo projeto dentro do programa de fotogrametria e selecione Fluxo de trabalho completo do ReefShape na barra de menus personalizada do ReefShape . Isso abrirá um painel de interface gráfica (consulte a Figura Suplementar 2).
    2. Na primeira seção (Configuração do projeto), clique em Criar novo para nomear o projeto (nome da plotagem) e selecione seu local de armazenamento. Na segunda caixa, clique em Renomear parte para nomear a parte ativa com a data de coleta de imagens no formato AAAAMMDD. Na terceira caixa, clique em Selecionar fotos para selecionar e importar a pasta que contém fotos JPEG para o gráfico. Clique em Salvar projeto para concluir a inicialização do projeto.
    3. No segundo painel (Geral) da interface Full ReefShape Workflow , comece definindo o sistema de coordenadas. Selecione a altura WGS84 + EGM96 (EPSG: 9707), pois isso combina o sistema de coordenadas WGS84 usado pela unidade GPS com um modelo geóide integrado (EGM96) que se aproxima do nível do mar.
      NOTA: Se o usuário não coletou dados de localização do mundo real, o sistema de coordenadas deve ser definido como Coordenadas locais (m). As configurações padrão no painel geral (Pré-seleção genérica: Ativada, Qualidade da malha: Média, Resolução padrão: Desligada, Resolução personalizada: 0,5 mm) são projetadas para serem aplicadas ao protocolo específico descrito aqui. O script é flexível para acomodar as necessidades dos pesquisadores e as configurações podem ser ajustadas de acordo.
    4. Próximo à parte inferior do painel Geral , clique no botão Selecionar pasta para definir um caminho de saída para produtos de dados. Marque as caixas para produtos de dados de saída desejados conforme necessário para análise.
    5. Configure o painel Georreferenciamento . Selecione Sim para usar marcadores detectáveis automaticamente. Clique em Selecionar arquivo ao lado da caixa da barra de escala para localizar o arquivo de texto de dimensionamento (consulte Arquivo suplementar 1, Seção 1). Clique em Selecionar arquivo ao lado da caixa do arquivo de georreferenciamento para localizar o CSV de referência do levantamento ReefShape para o gráfico.
      NOTA: Se durante a configuração do gráfico, os marcadores foram instalados fora de ordem (ou seja, alvo 1, alvo 3, alvo 2, alvo 4 em vez de 1, 2, 3, 4 contornando o gráfico), a ordem real pode ser especificada clicando no botão Ajustar marcadores de canto e reordenando os marcadores na janela pop-up. Isso permite que o script gere corretamente um ROI abrangendo a área entre os marcadores.
    6. Execute o script. Depois que todos os dados forem inseridos, clique em OK na parte inferior do painel para executar o processo. Ele exibirá barras de progresso para cada etapa. O processo que o script automatiza é mostrado na Figura 3.
      NOTA: Se o script encontrar um erro ou o software ou computador travar, o script salvará o progresso até a etapa concluída mais recentemente. O projeto pode ser reaberto, o erro corrigido, se necessário, e o script executado novamente para retomar e concluir o processo. Desde que o processo seja finalizado com o alinhamento e a integração dos dados de escala e georreferenciamento, o usuário não precisa inserir novamente nada no painel de georreferenciamento.
    7. Inspecione os dados para garantir resultados de alta qualidade. Consulte a seção 5.4 para obter o fluxo de trabalho de validação de dados.
    8. Opcionalmente, calcule a proporção da área de superfície. Se o usuário desejar calcular a proporção da área de superfície 3D para 2D para o gráfico para medir a rugosidade, selecione o botão Calcular proporção da área de superfície no submenu Ferramentas do menu suspenso ReefShape . A proporção resultante será impressa no console, bem como em uma caixa pop-up.
  3. Alinhar pontos de tempo (pontos de tempo subsequentes)
    NOTA: Cada ponto de tempo de um gráfico será armazenado como um novo "pedaço" dentro do mesmo projeto.
    1. Assim como no primeiro ponto de tempo, importe e organize as fotos em pastas JPEG e RAW separadas. Abra o projeto para o gráfico no software de fotogrametria, abra o menu suspenso ReefShape e selecione Alinhar pontos de tempo (Figura 3 suplementar).
    2. No painel Configuração do projeto , clique em Criar parte para adicionar uma nova parte (representando um novo ponto de tempo) ao projeto. Insira a data em que as novas imagens foram coletadas no formato AAAAMMDD como o nome do bloco. Escolha Selecionar pasta para adicionar as novas imagens a esse bloco.
    3. No painel Geral , selecione o ponto de tempo inicial para Selecionar parte de referência. No menu suspenso para Selecionar parte ativa, selecione o novo ponto de tempo. Clique em OK quando terminar para detectar marcadores nas imagens de partes ativas e importar as coordenadas precisas de cada uma delas da parte de referência.
      NOTA: Se algum marcador de canto foi substituído debaixo d'água, isso deve ser anotado no menu suspenso Adicionar marcador(es) danificado(s) para informar ao software que o marcador pode não estar na mesma localização geográfica precisa de antes.
    4. Inspecione marcadores e georreferenciamento. No painel Referência (Figura Suplementar 4), certifique-se de que todos os marcadores foram detectados e os alvos 1-4 herdaram as informações de localização do bloco de referência.
      NOTA: Se algum marcador não for detectado (geralmente devido a danos no marcador se não forem substituídos), os marcadores devem ser adicionados manualmente, pelo menos três imagens de origem, e nomeados para corresponder aos rótulos do marcador do Bloco de referência. O script Alinhar Pontos de Tempo pode ser executado novamente para adicionar informações de localização para os marcadores colocados manualmente.
    5. Execute o script Full ReefShape Workflow escolhendo-o no menu ReefShape . Deixe os painéis de configuração do projeto e georreferenciamento em branco e edite o painel Geral somente conforme necessário, selecionando as configurações de processamento, para onde exportar produtos de dados e quais produtos gerar como na etapa 5.2.3. Clique em OK para concluir o processo de fotogrametria e exportar os produtos de dados alinhados para o novo ponto de tempo.
    6. Inspecione os dados para garantir resultados de alta qualidade. Consulte a seção 5.4 para obter o fluxo de trabalho de validação.
    7. Calcule a proporção da área de superfície (opcional). Consulte a etapa 5.2.8.
  4. Validação de dados (cada ponto de tempo)
    NOTA: Para cada ponto de tempo, é importante inspecionar o alinhamento e os produtos de dados quanto à precisão. Se surgirem problemas, pode ser necessária uma intervenção manual. As partes de dados (ou seja, Orthomosaic, DEM, Modelo 3D, Tie-Points) a jusante de qualquer erro devem ser excluídas. O problema pode ser corrigido (se possível) e o script Full ReefShape Workflow é executado novamente para concluir o processamento. Quando o usuário estiver satisfeito com os produtos de dados, ele poderá iniciar a análise.
    1. Verifique o alinhamento da foto. No painel Área de trabalho do programa de fotogrametria, primeiro verifique quantas fotos do total foram alinhadas com êxito. Se as fotos <10 não estiverem alinhadas, é provável que sua ausência não tenha efeitos prejudiciais nos produtos finais de dados.
      NOTA: Se uma parte significativa das fotos não estiver alinhada, redefina o alinhamento e execute novamente o fluxo de trabalho completo do ReefShape com a pré-seleção genérica desmarcada. Se muitas fotos ainda não estiverem alinhadas, é provável que não haja sobreposição suficiente no conjunto de dados e seja necessário refotografar.
    2. Inspecione a nuvem de pontos de ligação e as posições da câmera (Figura 4A) na janela do visualizador de modelos para avaliar se há problemas óbvios no alinhamento. Seções de pontos de ligação ou posições de câmera que estão claramente deslocadas em relação à nuvem de pontos geral são sinais óbvios de problemas de alinhamento.
      NOTA: Fotos desalinhadas devem ser selecionadas e seus alinhamentos redefinidos clicando com o botão direito do mouse e escolhendo Redefinir alinhamento da câmera. Em seguida, selecione Alinhar fotos no menu suspenso da barra de menus Fluxo de trabalho . Se eles não se alinharem corretamente, é provável que não haja sobreposição suficiente no conjunto de dados e seja necessário refotografar.
    3. Verifique o georreferenciamento. Inspecione o modelo e o DEM nas janelas do visualizador de Modelo e Ortogonal (Figura 4B e C) para garantir o nivelamento e o posicionamento corretos. No painel Referência (Figura Suplementar 4), o erro do marcador deve ser menor que 1 ou 2 m, e o erro de escala interna deve ser menor que 1 ou 2 mm.
      NOTA: Erro de escala grande, erro de marcador ou um modelo de cabeça para baixo indicam erros de referência que podem ser devidos a um sistema de coordenadas definido incorretamente, marcadores detectados incorretamente ou dados de localização GPS muito ruins (de modo que os locais dos marcadores sejam posicionados fora da ordem geográfica). A edição manual dos dados de referência pode ser necessária para resolver o problema.
    4. Verifique o ortomosaico. Inspecione o ortomosaico na janela do visualizador de ortogonais e verifique se a qualidade da imagem é suficiente, examinando-o visualmente quanto a desfoque substancial, distorção, buracos de imagem ou ruído extremamente alto (Figura 6).
      NOTA: Se esses problemas forem detectados, é provável que as configurações da câmera não tenham sido definidas corretamente, as fotos tenham sido tiradas a uma distância inadequada do recife ou não haja sobreposição de imagem suficiente em algumas áreas, e pode ser necessário refotografar o local para obter resultados aceitáveis.
    5. Verifique o polígono de limite. Na janela do visualizador Ortho , verifique se o polígono de limite gerado automaticamente que define a região de interesse dentro dos quatro marcadores de canto está correto, como mostra a Figura 4.
      NOTA: Se o limite for cruzado ou conectar os marcadores errados, clique com o botão direito do mouse no polígono no visualizador e exclua-o. Selecione Criar Limite no submenu Ferramentas do menu suspenso ReefShape para definir a ordem correta dos marcadores de canto ou definir um novo limite personalizado com a ferramenta polígono e defini-lo como o tipo de polígono Limite Externo . Execute novamente o script Full ReefShape Workflow para reexportar produtos de dados.

figure-protocol-3
Figura 4: Visual de um gráfico de recife dividido nas quatro etapas principais do processo ReefShape. (A) nuvem de pontos de amarração e posições de câmera, (B) modelo de malha tridimensional, (C) modelo digital de elevação (DEM) e (D) fotomosaico ortorretificado. Os rótulos mostram os locais dos marcadores de canto detectados (alvos 1-4), três barras de escala e um polígono de região de interesse gerado automaticamente para análise estrutural e ecológica. Clique aqui para ver uma versão maior desta figura.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Um conjunto de dados LAI de série temporal foi coletado usando essa metodologia em Simms Point Reef, no extremo sudoeste de New Providence, Bahamas. A Figura 4, a Figura 5, a Figura 6 e a Figura Suplementar 4 retratam os resultados deste experimento. A rede de referência foi estabelecida e as primeiras imagens foram coletadas em janeiro de 2023. Foi refotografado em agosto de 2023, durante uma severa onda de calor marinho, para avaliar a gravidade do branqueamento de corais. Ambos os pontos de tempo foram processados usando o script de fluxo de trabalho completo do ReefShape, sem necessidade de intervenção do usuário nas etapas intermediárias. O primeiro ponto envolveu 1.299 imagens, todas alinhadas com sucesso, com uma altitude média de natação de 1,8 m acima do substrato, resolução nativa do solo de 0,567 mm/px (padronizada para 0,5 mm/px), uma área de cobertura total de 208 m2 (medida pela área dentro dos marcadores de canto), uma proporção de área de superfície 3D/2D de 2,887, um erro de reprojeção de 1,12 px, uma precisão total de geolocalização interna de 30,6 cm e erro de escala de 1,4 mm. Todo o processo, nas configurações padrão do script Full ReefShape, levou 8 h 23 min, usando um computador desktop de cerca de 2018 com uma CPU de 6 núcleos, 32 GB de RAM e uma GPU discreta de 8 GB (custo total ~ $ 1.500 USD). Um desktop de 2024 com CPU de 14 núcleos, 64 GB de RAM e uma GPU discreta de 24 GB (custo total de ~ US$ 4.000) processou o mesmo gráfico em 1 h 58 min no total. O segundo ponto de tempo, incluindo 1.974 / 1.974 imagens alinhadas, levou 7 h 45 min na área de trabalho mais antiga de 2018.

Uma seção ampliada dos dois pontos de tempo e análise básica de branqueamento de corais concluída no TagLab27 é demonstrada na Figura 5, mostrando a utilidade desse processo para analisar a mudança de habitat bentônico ao longo do tempo. Os resultados da análise indicaram que mais de 90% dos indivíduos em muitas das espécies de corais experimentaram branqueamento completo, confirmando a gravidade do evento, enquanto outras espécies experimentaram mínimo ou nenhum branqueamento, dando uma visão sobre os padrões de resiliência dentro da comunidade de corais. Ambos os pontos de tempo (Figura 5) demonstram imagens de alta qualidade, com nitidez e resolução suficientes para a identificação especializada de organismos bentônicos no nível de espécie ou gênero. O balanço de branco está definido corretamente e não há áreas significativas de desfoque, lacunas de dados ou outros artefatos, indicando que o protocolo foi bem-sucedido em fornecer com eficiência os dados necessários para estudar a dinâmica da ecologia bentônica dos recifes de coral. A Figura 6 (superior) mostra um zoom deste gráfico como um exemplo de imagens de alta qualidade em comparação com um conjunto de dados de baixa qualidade (inferior) que não atende aos requisitos de qualidade de dados, onde os artefatos de imagem dificultam a extração de dados ecológicos. O conjunto de dados de baixa qualidade foi coletado com configurações inadequadas da câmera (balanço de branco incorreto levando à tonalidade geral vermelha e abertura excessiva levando ao desfoque) e sobreposição insuficiente de fotos devido à má navegação do mergulhador, destacando a importância da aquisição de imagens (seção 2 do protocolo).

figure-results-1
Figura 5: Resultados representativos mostrando imagens de séries temporais e contornos de colônias de corais de um gráfico fotografado antes e durante um evento de branqueamento, mostrando a precisão do alinhamento automático alcançado com nosso protocolo e a utilidade desses dados para monitorar a mudança bentônica ao longo do tempo. (A) mostra a imagem de janeiro de 2023 para o local de Simms Point em New Providence, Bahamas, (B) a imagem de agosto de 2023, (C) colônias de corais vivos em janeiro de 2023 classificadas como saudáveis (azul), pálidas (laranja) ou branqueadas (vermelho) e (D) colônias de corais vivas em agosto de 2023 delineadas com o mesmo esquema de classificação. O contorno da colônia de corais foi concluído usando segmentação assistida por IA no TagLab. Clique aqui para ver uma versão maior desta figura.

figure-results-2
Figura 6: Exemplo de um ortomosaico de alta qualidade e um ortomosaico de baixa qualidade, com anotações demonstrando os principais atributos que distinguem os dois. A inspeção visual do ortomosaico e de outros produtos de dados durante a etapa 5.4 do protocolo é necessária para avaliar se o protocolo foi executado corretamente ou se é necessário refazer a fotografia do gráfico para atender às metas de qualidade dos dados. Clique aqui para ver uma versão maior desta figura.

Acesso ao software:
Os scripts python do ReefShape, instruções de instalação e uso e instruções mais detalhadas sobre coleta de dados e uso de software na forma de um white paper estão disponíveis em https://github.com/Perry-Institute/ReefShape. Pretendemos atualizar os scripts para resolver os problemas à medida que eles surgem e fazer melhorias. Portanto, recomendamos usar a versão mais recente.

Figura suplementar 1. Captura de tela ilustrando a pesquisa de coleta de dados de georreferência do ReefShape no aplicativo Survey123 em um smartphone. Os usuários podem acessar a pesquisa sem uma conta paga e recebem seus dados pré-formatados por e-mail para uso no processamento do ReefShape após o envio. Clique aqui para baixar este arquivo.

Figura suplementar 2. Captura de tela da GUI completa do script de fluxo de trabalho do ReefShape. Os usuários podem inserir todas as informações necessárias para processamento nesta interface, permitindo a automação total do fluxo de trabalho de fotogrametria. Clique aqui para baixar este arquivo.

Figura Suplementar 3. Captura de tela da GUI do script Align Timepoints. Os usuários podem utilizar esse script para facilitar o alinhamento automático de pesquisas subsequentes ao ponto de tempo original, permitindo a análise de alterações de séries temporais. Clique aqui para baixar este arquivo.

Figura suplementar 4. Captura de tela de um modelo 3D, destacando resultados representativos e o painel de referência. Todas as informações no painel de referência são configuradas automaticamente de acordo com a barra de escala e os arquivos georreferenciados inseridos no script Full ReefShape Workflow. As medidas de precisão variável para diferentes dados de referência (0,25 mm para escala, 10 cm para profundidade e ~ 70 cm para geolocalização XY) são inseridas automaticamente e facilitam o tratamento preferencial de escala, profundidade e coordenadas XY na solução de localização final calculada pelo Metashape. Clique aqui para baixar este arquivo.

Arquivo suplementar 1: As instruções de preparação do equipamento, os requisitos e configurações do sistema da câmera e os requisitos do computador e as etapas de configuração do software que estão fora do escopo do próprio protocolo estão contidos no Arquivo Suplementar. Clique aqui para baixar este arquivo.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este protocolo foi projetado para abordar alguns dos principais desafios na fotogrametria subaquática para habitats de recifes de coral, incluindo qualidade de imagem e sobreposição durante a aquisição, coleta de metadados para escala, nivelamento, geolocalização e alinhamento de séries temporais de modelos e mapas, tomada de decisão humana durante o pipeline de processamento de fotogrametria e preparação e exportação de dados para análise. Abordamos o primeiro desafio com seleção, teste e recomendação cuidadosos de um sistema de câmera e configurações importantes. Embora muitos sistemas possam funcionar para aquisição de imagens, descobrimos que as configurações que envolvem câmeras de ação (por exemplo, GoPro ou similar) são insuficientes devido à distorção do obturador, falta de balanço de branco manual e incapacidade de coletar fotos RAW a 1 Hz, o que limita a qualidade das imagens finais e a capacidade de alinhar com precisão os dados da série temporal. As configurações DLSR de várias câmeras podem facilitar a cobertura de imagem aprimorada da parcelade estudo 24, mas essas configurações são caras e mais complicadas debaixo d'água. Em vez disso, escolhemos um único sistema de câmera sem espelho relativamente barato (~ $ 2.800 USD de custo total) com obturador mecânico, balanceamento de branco personalizado, capacidade de coletar fotos RAW e JPEG, um sensor de imagem APS-C moderno com baixos níveis de ruído e uma lente grande angular (campo de visão de ~ 100 °) e combinação de porta de cúpula que produz imagens nítidas. Uma lente grande angular é escolhida para aumentar a cobertura e a sobreposição da imagem, o que melhora a renderização 3D de superfícies verticais e salientes e reduz possíveis furos no modelo. O uso de um intervalo de 1 s e uma única câmera reduz o número total de imagens em relação a outros métodos sem perder detalhes ou qualidade do modelo, acelerando o processamento. Por fim, embora as imagens RAW não sejam imediatamente críticas para a função do pipeline de processamento de imagem atual que depende de imagens JPEG, consideramos as imagens RAW essenciais para fins de arquivamento porque contêm informações de cores de alta qualidade. O balanço de branco pode ser ajustado após a coleta no software de processamento de imagem, e as informações de cores de alta qualidade poderão, no futuro, ser alimentadas em um algoritmo de correção de cores, como SeaThru30 ou DeepSeeColor31 , e integradas ao pipeline de fotogrametria para cores mais consistentes e estudo detalhado de fenômenos como pigmentação e branqueamento de corais.

O segundo desafio principal é a geolocalização 3D, o dimensionamento e o alinhamento de séries temporais. Embora as coordenadas do mundo real não sejam necessárias para muitas análises, os modelos devem ser dimensionados e nivelados com precisão para o processo de ortorretificação e medições precisas32,33. Esse processo é difícil de automatizar no software de fotogrametria sem o uso de alvos codificados detectáveis ou sem medições de profundidade e um sistema de coordenadas XY. A maioria dos protocolos requer a incorporação manual de informações de referência no Metashape ou posteriormente em outro software, adicionando complexidade e ineficiência ao fluxo de trabalho. Ao incorporar alvos codificados em barras de escala de comprimento conhecido com precisão e marcadores de canto permanentemente fixos, juntamente com um sistema de geolocalização e coleta de profundidade fácil de usar, fornecemos ao software as informações necessárias para definir automaticamente um sistema de coordenadas, localizar, dimensionar e nivelar o modelo. Ao especificar a precisão de cada medição, o software pondera corretamente a solução de localização final de modo que priorize a escala, depois a profundidade e, finalmente, as coordenadas XY, permitindo dimensionamento e nivelamento altamente precisos, mesmo com dados GNSS de precisão relativamente baixa. O co-registro de fotomosaicos de séries temporais normalmente requer intervenção humana para localizar, marcar e combinar pontos consistentes no recife; Esse processo é muito demorado e desafiador se não houver recursos claramente estáticos entre os pontos de tempo. O uso de marcadores de ponto de controle de solo duráveis alivia esse problema, fornecendo um conjunto de 4 alvos estáticos detectáveis automaticamente. Com nosso processo roteirizado, os pontos de tempo subsequentes herdam o georreferenciamento preciso de um ponto de tempo anterior, simplificando significativamente o processo de alinhamento e reduzindo a entrada humana, facilitando o co-registro altamente preciso de pontos de tempo que permitem rastrear mudanças ecológicas e estruturais em escala fina no recife.

O terceiro desafio abordado por este protocolo são as ineficiências no fluxo de trabalho da fotogrametria, tanto em termos de intervenção humana quanto de demandas de hardware de computador. Projetamos os scripts ReefShape para permitir que o usuário insira todas as informações necessárias para todo o processo em uma única caixa GUI, removendo qualquer intervenção normalmente necessária em etapas-chave do processo (ou seja, a incorporação de informações de escala, nivelamento e georreferenciamento). Isso permite que o usuário inicie o processo e deixe o resto para o computador, economizando tempo e esforço. O pipeline de fotogrametria usado no script Full ReefShape Workflow (Figura 3 e Figura 4) é otimizado para fornecer processamento eficiente. Empregamos um processo de alinhamento especializado que consiste em duas fases. Uma primeira passagem de alinhamento é executada com a pré-seleção genérica habilitada, uma opção que pode diminuir o tempo de alinhamento da imagem em muitas horas sem levar à perda de precisão34. Uma segunda fase tenta adicionar quaisquer fotos desalinhadas restantes ao alinhamento pré-existente sem o uso de pré-seleção genérica, o que pode mitigar problemas de alinhamento causados por sobreposição abaixo do ideal ou bandas cáusticas de lentes de onda em águas rasas. Juntas, essas etapas representam um processo de alinhamento eficiente e poderoso que frequentemente leva a uma proporção muito maior de fotos alinhadas corretamente do que os procedimentos de processamento padrão do Metashape. Geramos uma malha 3D diretamente de mapas de profundidade, ignorando o processo intensivo de tempo e recursos de construção de nuvens de pontos densas. As malhas geradas dessa forma tendem a ter menos ruído e melhor reconstrução de áreas de baixa cobertura, evitando a necessidade de limpeza da nuvem de pontos antes da malha como usado em outros métodos23. Em nossa experiência, esse processo de geração de malha tende a ser mais estável, levando a menos travamentos do computador do que a construção e a geração de malhas densas de nuvens de pontos. Finalmente, geramos um DEM de alta resolução que é usado como superfície de ortorretificação em vez da malha, pois isso reduz drasticamente o tempo de construção do ortomosaico sem qualquer perda perceptível de qualidade.

Um desafio final é a preparação, padronização e exportação de dados para análise ecológica. Ao padronizar a resolução do produto de imagem em 0,5 mm/pixel, garantimos produtos consistentes e comparáveis em parcelas e pontos de tempo, aprimorando os esforços futuros para utilizar IA e aprendizado de máquina para análise. O script de fluxo de trabalho completo do ReefShape fornece opções para exportar um relatório de processamento e produtos de dados no formato adequado para software GIS e TagLab27, padronizando a formatação e economizando tempo e esforço em fluxos de trabalho em que essa etapa é feita manualmente. Um polígono de região de interesse (ROI), necessário para muitas análises, é gerado automaticamente usando as posições conhecidas do marcador de canto e exportado como um shapefile padrão para incorporação em fluxos de trabalho GIS, como gerar e identificar pontos aleatórios em todo o gráfico para analisar a composição bentônica. Esse ROI também permite saídas cortadas e alinhadas a pixels para o TagLab, necessárias para a análise de séries temporais, conforme mostrado na Figura 5. O ROI também permite o cálculo automático de uma proporção de área de superfície 3D para área plana para cada ponto de tempo (etapa do protocolo 5.2.8), importante para medir a complexidade estrutural do recife e sua mudança ao longo do tempo.

Embora este protocolo represente um avanço na eficiência e usabilidade da fotogrametria subaquática, existem limitações. Mais notavelmente, se o processo de fotogrametria falhar em uma das etapas principais, a intervenção do usuário será necessária para solucionar e corrigir problemas antes de continuar. Embora nosso processo roteirizado seja projetado para ser usado por pesquisadores sem conhecimento profundo de fotogrametria, um entendimento básico é importante para resolver problemas quando eles surgirem. Algumas partes importantes do processo são mais propensas a problemas. Primeiro, as imagens podem não se alinhar devido à má sobreposição da imagem ou devido a bandas cáusticas severas no substrato em águas rasas e condições ensolaradas. A falha de alinhamento pode ser detectada inspecionando a nuvem de pontos de ligação e as posições da câmera. Se o alinhamento falhar devido a bandas cáusticas, executar novamente o fluxo de trabalho completo do ReefShape com a pré-seleção genérica desmarcada normalmente pode resolver o problema ao custo de um tempo de processamento drasticamente maior. Se a sobreposição de imagens for insuficiente para o software alinhar as fotos, fotografar novamente o local provavelmente será a melhor solução. A detecção de marcador com falha também pode levar a um erro no mapeamento. Este é o caso mais frequente se um marcador estiver danificado ou não estiver suficientemente limpo. Nesse caso, os marcadores podem ser colocados em fotos individuais dentro do Metashape e nomeados manualmente, e o(s) script(s) do ReefShape pode(m) ser executado(s) novamente para concluir o processamento. Em alguns casos, o georreferenciamento pode falhar se os pontos de GPS forem tão imprecisos que estejam geograficamente fora de ordem ou se os pontos de GPS foram atribuídos aos alvos incorretos. Isso pode ser resolvido editando manualmente o CSV de georreferenciamento para corresponder adequadamente aos dados e, posteriormente, executando novamente o script. Finalmente, falhas de software são possíveis, especialmente ao usar um computador menos potente com um gráfico grande ou com configurações de qualidade superior. Em antecipação a isso, nosso processo com script será salvo automaticamente após cada etapa concluída, permitindo que o usuário reinicie e ajuste as configurações sem perder o progresso. Mais recomendações de solução de problemas são fornecidas em nossa página do GitHub.

O objetivo principal do ReefShape é simplificar os componentes de coleta e processamento da fotogrametria subaquática e reduzir os custos o máximo possível para que os usuários possam concentrar tempo e esforço mais plenamente na extração de dados ecológicos. Fornecemos um processo completo projetado para realizar saídas de dados de alta qualidade que são adaptadas para atender às necessidades de opções comuns de análise ecológica. Embora o protocolo descrito seja altamente específico, a abordagem de script para processamento é flexível e pode lidar com modificações em aspectos do método, como tamanho do gráfico, padrão de coleta de natação/foto, resolução de saída do alvo e sistema de câmera específico usado sem problemas. O método também pode ser aplicado sem modificações significativas à maioria dos projetos de fotogrametria terrestre subaquática ou em escala fina, como a documentação de naufrágios ou sítios arqueológicos.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores não têm interesses financeiros concorrentes ou outros conflitos de interesse.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

ReefShape é um termo sem direitos autorais que usamos como nome para esse método. Projeto concebido por CD e WG, desenvolvimento de métodos por WG, codificação por WG e SM, escrita por WG, edição e revisão por JL e CD. Agradecimentos especiais a toda a equipe do Perry Institute for Marine Science por seu feedback e apoio durante todo o desenvolvimento deste método. O financiamento foi fornecido pelo Disney Conservation Fund. Este material é baseado no trabalho apoiado pela National Science Foundation Graduate Research Fellowship sob a concessão nº 2233001. Dados coletados sob as licenças do Departamento de Planejamento e Proteção Ambiental das Bahamas nº. SRBS-0013-2021-CD, BS-2021-930119, BS-2022-281752, BS-2022-315006, BS-2023-661916, BS-2023-610959 e BS-2023-211510.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
0,3 m de comprimento 1/2 "tubo de PVCgenéricoN / Apara kit GPS
1 "tampa de mesa de PVCgenéricoN / Apara kit GPS
1/2 "a 1" bucha redutora de PVCgenéricoN / Apara kit GPS
12 mm f / 2.0 AF lente E-mountSamyangSYIO12AF-Etambém vendido sob a marca Rokinon
2 "haste canelada redonda pregosde alvenariagenéricoN/Apara instalação de marcador de canto
Cartão SD UHS-1 V30 de 256GBSanDiskSDSDXXD-256G-ANCINo mais rápido possível Recomenda-se cartão SD UHS-1
fita métrica de 30m (opcional)N/AN/Apara configuração de plotagem
Folha de acrílico, 3mm de espessura, cortada em 80mm x 580mm (3x)N/AN/Amaterial da barra de escala
Kit de bandeja de câmera de alumínioKitDiveN/Ase encaixa na caixa da câmera e ajuda com a câmera de retenção
Conjunto de marcadores de canto subaquáticos com alvos de fotogrametria impressosN/AN/Afeito sob medida, entre em contato com o autor para detalhes
Papel à prova d'água para impressora a laserDuracopy Rite in the Rain6511pode ser substituído por papel adesivo à prova d'água
E6000 epóxigenéricoN/Apara kit GPS
GLO2 Bluetooth GPSGarmin010-02184-01existem outras opções, GLO2 é a
câmera mirrorless ILCE a6700Câmera SonyILCE6700/Ba6700 preferida, a6600 ou a6400 são opções de baixo custo
Impressora a laserN/AN/Aqualquer impressora a laser (não jato de tinta)
Metashape Professional EditionAgisoftN/Asoftware necessário
Cartão de plástico (aproximadamente 1 mm x 5 mm x 5 mm)N/AN / Apara kit GPS, também pode usar cartão de crédito descartado ou similar, cortado ao meio.
SmartphoneN/AN/Aqualquer smartphone razoavelmente moderno, para coleta de dados GPS
Sony A6700 Sea Frogs 40M/130FT Caixa à prova d'água com porta de cúpula de acrílico de 6" V.1SeaFrogsN/Ase estiver usando câmeras a6600 ou a6400, substitua por uma caixa SeaFrogs apropriada
Super colaN/AN/Apara criação de kit GPS e barra de escala
Prancha de natação estilo fitness Speedo877530050021SZpara kit GPS, marca sem importância
Computador de mergulho estilo relógioN/AN/Apara coletar profundidades de marcadores de canto
Bolsa à prova d'águaXunieaW-1188marca sem importância, para caber no dispositivo GPS
Bolsa de telefone à prova d'águaPelicanPP048884marca sem importância, para caber no smartphone
mais econômica

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Coral reefs in the Anthropocene. Nature. 546 (7656), 82-90 (2017).">Hughes, T. P., et al. Coral reefs in the Anthropocene. Nature. 546 (7656), 82-90 (2017).
  2. Species richness on coral reefs and the pursuit of convergent global estimates. Current Biology. 25 (4), 500-505 (2015).">Fisher, R., et al. Species richness on coral reefs and the pursuit of convergent global estimates. Current Biology. 25 (4), 500-505 (2015).
  3. Changes in the global value of ecosystem services. Glob Environ Change. 26 (1), 152-158 (2014).">Costanza, R., et al. Changes in the global value of ecosystem services. Glob Environ Change. 26 (1), 152-158 (2014).
  4. Reefs since Columbus. Coral Reefs. 16 (1), S23-S32 (1997).">Jackson, J. B. C. Reefs since Columbus. Coral Reefs. 16 (1), S23-S32 (1997).
  5. Changes in coral-associated microbial communities during a bleaching event. ISME Journal. 2 (4), 350-363 (2008).">Bourne, D., Iida, Y., Uthicke, S., Smith-Keune, C. Changes in coral-associated microbial communities during a bleaching event. ISME Journal. 2 (4), 350-363 (2008).
  6. Mapped coral mortality and refugia in an archipelago-scale marine heat wave. Proc Natl Acad Sci U S A. 119 (19), e2123331119(2022).">Asner, G. P., et al. Mapped coral mortality and refugia in an archipelago-scale marine heat wave. Proc Natl Acad Sci U S A. 119 (19), e2123331119(2022).
  7. A global coral reef probability map generated using convolutional neural networks. Coral Reefs. 39 (6), 1805-1815 (2020).">Li, J., et al. A global coral reef probability map generated using convolutional neural networks. Coral Reefs. 39 (6), 1805-1815 (2020).
  8. Remote sensing of coral reefs for monitoring and management: A review. Remote Sens. 8 (2), (2016).">Hedley, J. D., et al. Remote sensing of coral reefs for monitoring and management: A review. Remote Sens. 8 (2), (2016).
  9. Development and application of a video-mosaic survey technology to document the status of coral reef communities. Environ Monit Assess. 125 (1), 59-73 (2007).">Lirman, D., et al. Development and application of a video-mosaic survey technology to document the status of coral reef communities. Environ Monit Assess. 125 (1), 59-73 (2007).
  10. Large-area imaging reveals biologically driven non-random spatial patterns of corals at a remote reef. Coral Reefs. 36 (4), 1291-1305 (2017).">Edwards, C. B., et al. Large-area imaging reveals biologically driven non-random spatial patterns of corals at a remote reef. Coral Reefs. 36 (4), 1291-1305 (2017).
  11. Utilizing underwater three-dimensional modeling to enhance ecological and biological studies of coral reefs. Int Arch Photogramm Remote Sens Spat Inf Sci. 40 (5W5), 61-66 (2015).">Burns, J. H. R., Delparte, D., Gates, R. D., Takabayashi, M. Utilizing underwater three-dimensional modeling to enhance ecological and biological studies of coral reefs. Int Arch Photogramm Remote Sens Spat Inf Sci. 40 (5W5), 61-66 (2015).
  12. Integrating structure-from-motion photogrammetry with geospatial software as a novel technique for quantifying 3D ecological characteristics of coral reefs. PeerJ. 7, (2015).">Burns, J. H. R., Delparte, D., Gates, R. D., Takabayashi, M. Integrating structure-from-motion photogrammetry with geospatial software as a novel technique for quantifying 3D ecological characteristics of coral reefs. PeerJ. 7, (2015).
  13. Coral reef monitoring by scuba divers using underwater photogrammetry and geodetic surveying. Remote Sens. 12 (18), (2020).">Nocerino, E., et al. Coral reef monitoring by scuba divers using underwater photogrammetry and geodetic surveying. Remote Sens. 12 (18), (2020).
  14. 34;Structure-from-Motion" photogrammetry: A low-cost, effective tool for geoscience applications. Geomorphology. 179, 300-314 (2012).">Westoby, M. J., Brasington, J., Glasser, N. F., Hambrey, M. J., Reynolds, J. M. 34;Structure-from-Motion" photogrammetry: A low-cost, effective tool for geoscience applications. Geomorphology. 179, 300-314 (2012).
  15. 3D habitat complexity of coral reefs in the Northwestern Hawaiian Islands is driven by coral assemblage structure. Int Arch Photogramm Remote Sens Spat Inf Sci. 42 (2/W10), 61-67 (2019).">Burns, J. H. R., et al. 3D habitat complexity of coral reefs in the Northwestern Hawaiian Islands is driven by coral assemblage structure. Int Arch Photogramm Remote Sens Spat Inf Sci. 42 (2/W10), 61-67 (2019).
  16. End of the chain? Rugosity and fine-scale bathymetry from existing underwater digital imagery using structure-from-motion (SfM) technology. Coral Reefs. 35 (3), 889-894 (2016).">Storlazzi, C. D., Dartnell, P., Hatcher, G. A., Gibbs, A. E. End of the chain? Rugosity and fine-scale bathymetry from existing underwater digital imagery using structure-from-motion (SfM) technology. Coral Reefs. 35 (3), 889-894 (2016).
  17. Limited coral mortality following acute thermal stress and widespread bleaching on Palmyra Atoll, central Pacific. Coral Reefs. 38 (4), 701-712 (2019).">Fox, M. D., et al. Limited coral mortality following acute thermal stress and widespread bleaching on Palmyra Atoll, central Pacific. Coral Reefs. 38 (4), 701-712 (2019).
  18. Quantifying the loss of coral from a bleaching event using underwater photogrammetry and AI-assisted image segmentation. Remote Sens. 15 (16), (2023).">Kopecky, K. L., et al. Quantifying the loss of coral from a bleaching event using underwater photogrammetry and AI-assisted image segmentation. Remote Sens. 15 (16), (2023).
  19. 3D assessment of a coral reef at Lalo Atoll reveals varying responses of habitat metrics following a catastrophic hurricane. Sci Rep. 11 (12050), (2021).">Pascoe, K. H., Fukunaga, A., Kosaki, R. K., Burns, J. H. R. 3D assessment of a coral reef at Lalo Atoll reveals varying responses of habitat metrics following a catastrophic hurricane. Sci Rep. 11 (12050), (2021).
  20. The use of unoccupied aerial systems (UASS) for quantifying shallow coral reef restoration success in Belize. Drones. 7 (4), 221(2023).">Peterson, E. A., Carne, L., Balderamos, J., Faux, V., Gleason, A., Schill, S. R. The use of unoccupied aerial systems (UASS) for quantifying shallow coral reef restoration success in Belize. Drones. 7 (4), 221(2023).
  21. Coral Restoration Foundation TM Photomosaic Manual Second Edition-November 2020. , www.coralrestoration.org (2020).">Neufeld, A. M., Fundakowski, G. Coral Restoration Foundation TM Photomosaic Manual Second Edition-November 2020. , www.coralrestoration.org (2020).
  22. A field primer for monitoring benthic ecosystems using structure-from-motion photogrammetry. J Vis Exp. , e61815(2021).">Roach, T. N. F., et al. A field primer for monitoring benthic ecosystems using structure-from-motion photogrammetry. J Vis Exp. , e61815(2021).
  23. Processing photomosaic imagery of coral reefs using structure-from-motion standard operating procedures. NOAA Technical Memorandum. (NOAA-TM-NMFS-PIFSC-93. , (2019).">Suka, R., et al. Processing photomosaic imagery of coral reefs using structure-from-motion standard operating procedures. NOAA Technical Memorandum. (NOAA-TM-NMFS-PIFSC-93. , (2019).
  24. Standard Operating Procedure Documents for Coral Reef Ecological Monitoring Collection. UC San Diego Library Digital Collections. , (2023).">Sandin, S. A., et al. Large area imagery collection & processing standard operating procedures - Version 3.0 (2021). Standard Operating Procedure Documents for Coral Reef Ecological Monitoring Collection. UC San Diego Library Digital Collections. , (2023).
  25. Agisoft Metashape Professional Edition. , (2024).">Agisoft Metashape Professional Edition. , (2024).
  26. ESRI Survey123. , (2023).">ESRI Survey123. , (2023).
  27. TagLab: AI-assisted annotation for the fast and accurate semantic segmentation of coral reef orthoimages. J Field Robot. 39 (3), 246-262 (2022).">Pavoni, G., et al. TagLab: AI-assisted annotation for the fast and accurate semantic segmentation of coral reef orthoimages. J Field Robot. 39 (3), 246-262 (2022).
  28. Size-frequency distribution of coral assemblages in insular shallow reefs of the Mexican Caribbean using underwater photogrammetry. PeerJ. 8, e8957(2020).">Hernández-Landa, R. C., Barrera-Falcon, E., Rioja-Nieto, R. Size-frequency distribution of coral assemblages in insular shallow reefs of the Mexican Caribbean using underwater photogrammetry. PeerJ. 8, e8957(2020).
  29. Metrics of coral reef structural complexity extracted from 3D mesh models and digital elevation models. Remote Sens. 12 (17), RS12172676(2020).">Fukunaga, A., Burns, J. H. R. Metrics of coral reef structural complexity extracted from 3D mesh models and digital elevation models. Remote Sens. 12 (17), RS12172676(2020).
  30. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit. , 1682-1691 (2019).">Akkaynak, D., Treibitz, T. Sea-Thru: a method for removing water from underwater images. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit. , 1682-1691 (2019).
  31. DeepSeeColor: realtime adaptive color correction for autonomous underwater vehicles via deep learning methods. In. Jamieson, S., How, J. P., Girdhar, Y. 2023 IEEE Int Conf Robot Autom, , 3095-3101 (2023).
  32. Accurate scaling and levelling in underwater photogrammetry with a pressure sensor. Int Arch Photogramm Remote Sens Spat Inf Sci. 43 (B2-2021), 667-672 (2021).">Menna, F., Nocerino, E., Chemisky, B., Remondino, F., Drap, P. Accurate scaling and levelling in underwater photogrammetry with a pressure sensor. Int Arch Photogramm Remote Sens Spat Inf Sci. 43 (B2-2021), 667-672 (2021).
  33. Large-area imaging in tropical shallow water coral reef monitoring, research and restoration: a practical guide to survey planning, execution, and data extraction. NOAA Technical Memorandum NOS NCCOS 313. , (2023).">Edwards, C. B., et al. Large-area imaging in tropical shallow water coral reef monitoring, research and restoration: a practical guide to survey planning, execution, and data extraction. NOAA Technical Memorandum NOS NCCOS 313. , (2023).
  34. Agisoft Agisoft Metashape User Manual Professional Edition, Version 2.1. , https://www.agisoft.com/pdf/metashape-pro_2_1_en.pdf (2024).">Agisoft Agisoft Metashape User Manual Professional Edition, Version 2.1. , https://www.agisoft.com/pdf/metashape-pro_2_1_en.pdf (2024).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Underwater PhotogrammetryCoral Reef MonitoringStructure From MotionTime Series ImagingBenthic HabitatGeo ReferencingDigital Elevation ModelOrthomosaic GenerationGround Control MarkersPhotogrammetry Automation

Related Articles