Method Article

Reefshape: система эффективного сбора и автоматизированной обработки временных рядов данных подводной фотограмметрии для мониторинга бентических местообитаний

DOI:

10.3791/67343

⸱

June 13th, 2025

 ,  ,  , 
1Perry Institute for Marine Science, 2School of Life Sciences, Arizona State University, 3Center for Global Discovery and Conservation Science, Arizona State University, 4School of Ocean Futures, Arizona State University, 5School of Earth and Space Exploration, Arizona State University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Здесь представлен протокол сбора и обработки данных подводной фотограмметрии, включая значительно упрощенный и полностью автоматизированный конвейер обработки изображений, в результате которого выводятся выходные данные с географической привязкой и временными рядами, готовые к извлечению, анализу и применению экологических данных.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Визуализация больших площадей (LAI) с помощью фотограмметрии структуры из движения получила значительное распространение в качестве инструмента мониторинга экосистем коралловых рифов, позволяя создавать цифровую модель участка рифа, которую можно анализировать ex situ для сбора данных о составе бентоса, структурной сложности и других показателях. Несмотря на то, что используются различные подходы, систематический подход к сбору данных и компьютерной обработке остается потребностью для многих исследователей. Чтобы решить эту проблему, мы разработали ReefShape — простой и комплексный рабочий процесс для сбора подводных изображений, пространственной привязки, обработки данных и выравнивания временных рядов. Рекомендации по конкретным системам камер и инструкции по получению изображений основаны на нашем опыте. Описан процесс включения реальной пространственной привязки с использованием постоянных наземных маркеров, закрепленных на подложке, что облегчает автоматическое выравнивание наборов данных временных рядов. Для автоматизации рабочего процесса обработки данных был разработан набор скриптов обработки, что значительно упростило и обычно трудоемкий и сложный процесс. Наш скриптовый подход направлен на снижение нагрузки на исследователей коралловых рифов при обработке данных, повышение эффективности фотограмметрии и экспорт данных в готовых к анализу форматах для использования в общих программах ГИС и сегментации изображений коралловых рифов. Описанные здесь методы представляют собой комплексное решение для интеграции фотограмметрии в качестве инструмента мониторинга рифов, оставаясь при этом гибкими и оставляя проведение конкретных анализов на усмотрение исследователя.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Коралловые рифы являются одной из самых биоразнообразных и экономически важных экосистем в мире и сталкиваются с беспрецедентными проблемами, связанными с изменением климата, болезнями, чрезмерным выловом рыбы и другими стрессовыми факторами 1,2,3. Мониторинг экосистем коралловых рифов уникально сложен из-за их часто удаленного местоположения и присущих ему трудностей с подводными исследованиями; Таким образом, рифы исторически были недостаточно изучены4. Эффективный мониторинг коралловых рифов в различных пространственных масштабах –от микробного 5 до архипелага6 и глобального7 имеет важное значение для понимания их упадка, а также планирования, отслеживания и оценки усилий по вмешательству8. Популярным инструментом для мониторинга состояния бентоса коралловых рифов в масштабе от десятков до сотен квадратных метров является фотомозаичная визуализация – термин, относящийся к картам с высоким разрешением, состоящим из сшитых друг против друга подводных фотографий9. Эти мозаики позволяют исследователям визуализировать область рифа, которая больше, чем может быть запечатлена на одной фотографии, отсюда и термин «визуализация большой площади» (LAI)10. Мозаики впоследствии могут быть проанализированы для извлечения соответствующей экологической информации, такой как процент кораллового покрова, размер колонии, распределение видов и бентический состав11. Достижения в области вычислительной техники и доступность готового программного обеспечения теперь позволяют завершить этот процесс с помощью фотограмметрии структуры из движения (SfM). SfM включает в себя анализ фотографий на предмет совпадающих точек, которые используются для реконструкции трехмерной ориентации фотографий и связующих точек, что позволяет создать точную виртуальную копию рифа 12,13,14. Исследования SfM/LAI стали обычным явлением в исследованиях коралловых рифов, позволяя по-новому взглянуть на экологию кораллового сообщества10, сложность среды обитания15,16, реакцию кораллового сообщества на обесцвечивание17,18, ураганы19 и восстановление кораллов20.

Было разработано несколько подходов к использованию LAI для мониторинга коралловых рифов 21,22,23,24, что привело к широкому выбору вариантов, доступных практикам, стремящимся использовать эту технологию. Тем не менее, эффективное использование LAI в исследованиях коралловых рифов является сложным и требует значительных усилий по обучению. Навыки подводного плавания с аквалангом, подводной навигации, подводной фотографии, использования программного обеспечения, курирования и управления данными имеют важное значение. Кроме того, знания в области экологии имеют основополагающее значение для эффективного анализа и интерпретации информационных продуктов. Существующие рабочие процессы, как правило, сосредоточены в основном на получении изображений без предоставления достаточных рекомендаций по протоколам временных рядов, сбору метаданных (например, масштабированию, глубине и местоположению) или обработке данных после полевых поездок: все эти шаги необходимы для точного и воспроизводимого сбора данных. Затраты, связанные с рабочими процессами LAI, также, как правило, высоки из-за использования дорогостоящих систем камер и компьютерных настроек. Среди исследователей по-прежнему существует острая потребность во всеобъемлющей, простой и эффективной методологии, позволяющей получать данные достаточного качества, чтобы ответить на широкий круг текущих и будущих исследовательских вопросов. Мы решаем эту проблему, разрабатывая надежный и эффективный подход к подводному LAI, который снижает затраты и сложность обработки и минимизирует затраты при одновременном повышении качества данных. Наш новый подход позволяет быстро получать изображения, автоматизировать их обработку и выравнивать временные ряды, чтобы получать высококачественные данные для экологического изучения и анализа коралловых рифов. Общая начальная стоимость реализации этого подхода составляет около 5000 - 8000 долларов США (включая систему камеры, материалы, выделенный компьютер и программное обеспечение), в зависимости от того, может ли пользователь получить доступ к образовательным ценам на программное обеспечение для фотограмметрии. Применяя наши методы, мы стремимся помочь исследователям коралловых рифов оптимизировать свои усилия по сбору и обработке данных, обеспечивая более эффективные рабочие процессы, способствующие быстрому извлечению и анализу критически важных экологических данных коралловых рифов.

Описанный здесь метод, который мы называем «ReefShape», имеет три основных новых вклада: (1) использование полупостоянных наземных маркеров управления, закрепленных на подложке, для обеспечения автоматической пространственной привязки и выравнивания временных рядов наборов данных, (2) использование пользовательской съемки на основе приложения для облегчения сбора и форматирования данных о местоположении, и (3) реализация комплексного скриптового процесса, созданного для полной автоматизации фотограмметрического конвейера. значительное сокращение человеческого труда на этапе обработки, на который полагаются другие протоколы LAI 20,21,22,23. Как и другие протоколы LAI, ReefShape использует Agisoft Metashape25 (далее именуемый «программа фотограмметрии») для фотограмметрической обработки и дополнительно использует бесплатное приложение для смартфонов ESRI Survey12326(далее именуемое «приложение для опросов») для сбора данных о местоположении. Этот протокол разработан таким образом, чтобы быть простым, но надежным, не требующим многокамерных систем24 или сложных геодезических исследований13, и в то же время удовлетворяющим цели предоставления высококачественных данных, определяемых как завершенные 3D-модели, фотомозаики и цифровые модели рельефа с точной геометрией, масштабом и положением; достаточное разрешение и резкость для визуальной идентификации бентосных организмов на уровне вида или рода; отсутствие серьезных пробелов в данных; точный цвет; а в случае данных временных рядов — правильное выравнивание между временными точками. Описанный здесь конкретный подход обеспечивает основу для сбора и обработки данных для достижения этих целей.

Благодаря достижениям в области машинного обучения мы ожидаем, что будут разработаны новые инструменты анализа для более быстрого и точного извлечения экологических данных из фотомозаики. Поэтому мы концентрируем наши усилия на сборе высококачественных подводных изображений и автоматизации фотограмметрического конвейера, оставляя конкретные анализы в значительной степени на усмотрение пользователей этого протокола, основанных на их собственных разнообразных потребностях. Этот скриптовый процесс, нацеленный на широкое применение в сообществе исследователей коралловых рифов, включает в себя опции экспорта продуктов данных, отформатированных в виде GeoTIFF различных спецификаций, адаптированных для общего программного обеспечения ГИС, и TagLab, специально разработанного приложения для быстрого аннотирования ортофотопланов коралловых рифов.

Обзор протокола
Метод ReefShape разбит на два основных этапа: сбор данных на месте и обработка данных на компьютере. Метод подходит для участков размером от ~25м2 до >1000м2, глубиной от ~1 м до 30 м. Было продемонстрировано, что участки площадью 300-400м2 идеально подходят для эффективного учета кораллового разнообразия на рифах Карибского бассейна28. Однако было обнаружено, что участки размером более ~100м2 могут быть сложными для начинающих геодезистов. Таким образом, размер участка 10 м x 10 м описан в протоколе в качестве отправной точки, но мы не намерены ограничивать пользователей этим предложением. Скорее, предлагается, чтобы пользователи выбирали размер участка на основе собственного опыта и исследовательских потребностей. Процесс сбора данных остается практически одинаковым для любого выбранного размера графика.

Когда участок впервые построен, геодезист начинает с постоянного крепления четырех уникальных маркерных меток с закодированными фотограмметрическими целями (рисунок 1D) к субстрату в каждом углу (рисунок 2), используя подводный компьютер для измерения глубины каждого маркера. Кодированные масштабные линейки (рисунок 1E) временно размещаются в пределах участка, а фотографии, обращенные к субстрату, дайвер собирает с помощью одной беззеркальной камеры и широкоугольного прямолинейного объектива, расположенного на высоте 1,5 м - 2 м над рифом, плавая по схеме «газонокосилка» с двойным крестом, аналогично другим установленным протоколам 11,21,24.. Весь процесс (включая первую настройку и фотосъемку) обычно может быть завершен за одно погружение, хотя для более глубоких или больших участков может потребоваться несколько погружений. После фотосъемки геодезист использует GPS-модуль Bluetooth, установленный на плавательном устройстве (рис. 1C), и смартфон для сбора GPS-точек на поверхности над каждым угловым маркером с помощью настраиваемой формы в приложении для съемки, которая затем отправляет пользователю справочные данные по электронной почте в предварительно отформатированной электронной таблице. При последующих съемках участка геодезист не собирает справочные данные и не устанавливает маркеры, ему нужно только найти и очистить существующие угловые маркеры и собрать фотографии, оптимизируя процесс сбора данных временных рядов.

Для обработки данных был разработан набор пользовательских скриптов Python, которые взаимодействуют с программой фотограмметрии для автоматизации конвейера (рис. 3), что обычно является процессом, требующим вмешательства человека в нескольких точках. Основные этапы обработки автоматизированного конвейера включают создание облака связующих точек и оценку положения камер, построение 3D-модели рифа, построение 2,5D-цифровой модели рельефа (ЦМР), построение 2D-ортотрансформированной фотомозаики и определение области интереса (ROI), ограниченной четырьмя угловыми маркерами (рис. 4). В этом рабочем процессе пользователь вводит фотографии и справочные данные в графический интерфейс (дополнительный рисунок 1) в начале обработки, вместо того чтобы выполнять многочисленные шаги перед ручным добавлением справочных данных и генерированием продуктов данных, как это принято в других рабочих процессах 21,22,23,24. Для обработки временных рядов постоянные угловые маркеры упрощают автоматическое выравнивание временных точек, устраняя необходимость ручного выравнивания. Использование стандартизированного рабочего процесса с помощью сценариев помогает обеспечить согласованность данных и значительно экономит человеческие усилия во время обработки, особенно в проектах с большим количеством временных точек. Набор автономных скриптов также включен для автоматизации различных задач обработки, включая расчет 3D-отношения площади поверхности к плоской площади, что является важным показателем для оценки структурной сложности рифа19,29.

figure-introduction-1
Рисунок 1: Основные материалы, необходимые для сбора данных в рамках этого протокола. (A) беззеркальная камера с широкоугольным прямолинейным объективом, (B) подводный кожух с купольным портом для установки камеры/объектива, (C) устройство Bluetooth GPS kickboard, (D) автоматически обнаруживаемые кодированные угловые маркеры для постоянного контроля участка земли и привязки местности, и (E) кодированные масштабные линейки, используемые для настройки размера модели. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

ПРИМЕЧАНИЕ: Шаги по подготовке оборудования см. в Дополнительном файле 1, разделах 1 и 2 .

1. Настройка сюжета

  1. Установка угловых маркеров (только для начальной временной точки)
    1. Выберите подходящий участок в поле. Убедитесь, что безопасность является приоритетом на протяжении всего процесса. Для этого протокола описан участок размером 10 м х 10 м.
      ПРИМЕЧАНИЕ: Протокол может быть выполнен одним исследователем или парой напарников и может быть адаптирован для большинства размеров участков в зависимости от исследовательских потребностей.
    2. После того, как участок выбран, установите четыре угловых маркера, находясь на SCUBA. Закрепите угловые маркеры 1-4 (рисунок 1D) на субстрате в последовательном порядке по углам участка с помощью молотка и 4 гвоздей, соблюдая осторожность, чтобы не сломать субстрат и не повредить чувствительные живые кораллы. Найдите подходящие места для установки маркеров (например, относительно ровные участки неживого субстрата, которые хорошо видны прямо сверху и вряд ли будут повреждены или быстро подвергнуты биологической эрозии).
    3. Для обеспечения единообразия и облегчения навигации по графику и его перемещения, установите маркеры участков по часовой стрелке. Установите маркер 1 в северо-восточном углу, маркер 2 в юго-восточном углу, маркер 3 в юго-западном углу и маркер 4 в северо-западном углу, используя при необходимости рулетку и циркуль.
      ПРИМЕЧАНИЕ: На рисунке 2A показан правильно установленный маркер, а на рисунке 2D показан обзор макета участка, при этом все маркеры расположены на расстоянии ~10 м друг от друга квадратным узором.
    4. Записывайте глубину маркеров. Используя компьютер для погружений или другой глубиномер, запишите глубину каждого из четырех угловых маркеров с точностью до 10 см на доске для погружения.
    5. Опционально, в случаях, когда установка постоянных маркеров не разрешена или невозможна, вместо этого на подложку в углах участка могут быть размещены временные угловые маркеры (см. Дополнительный файл 1, раздел 3). Эти маркеры могут быть получены позже.
  2. Размещение масштабной линейки (все временные точки)
    1. После того как угловые маркеры будут разложены, разместите 3-5 масштабных линейок (см. Дополнительный файл 1, раздел 1) на устойчивых участках участка, используя груз для погружения или небольшой камень, чтобы утяжелить каждую весовую линейку, чтобы предотвратить их смещение во время фотосъемки. Если вы не используете серую карту для балансировки белого камеры (см. шаг 2.1.2), убедитесь, что хотя бы одна масштабная линейка находится вблизи средней глубины графика.
      ПРИМЕЧАНИЕ: Масштабные линейки должны быть видны сверху, не должны охватывать важные объекты, такие как кораллы, и не могут быть согнуты/согнуты таким образом, чтобы измеренная длина между маркерами была сокращена.

2. Получение изображения

ПРИМЕЧАНИЕ: Особое внимание необходимо уделить правильной настройке параметров камеры, так как это критически важно для обеспечения высокого качества данных. Для этого протокола рекомендуется использовать беззеркальную камеру с широкоугольным объективом. В таблице 1 и дополнительном файле 1, разделе 4 приведены основные настройки камеры и рекомендации по системе. Сопряжение с подводным кожухом и купольным портом, подходящим к объективу. Цель состоит в том, чтобы сохранить четкое изображение.

Настройка камерыРекомендация
Режим визуализацииВручную
ОтверстиеF8, F5.6 при глубине участка >15 м или при слабом освещении
Выдержка1/500 с, 1/320 с при слабом освещении или без скачков напряжения
ИСОАвто
Баланс белогоПользовательский (для белой точки на средней глубине)
Стабилизация изображенияВкл (при наличии)
Формат изображенияJPEG + RAW
Интервал1с
АвтофокусAF-S (фокусировка на первом кадре последовательности)
Тип затвораМеханические или EFCS (не бесшумные и не электронные)
Сглаживание экспозиции/чувствительность слежения за автоэкспозициейВыкл / Высокий

Таблица 1: Важные настройки камеры, необходимые для максимизации качества данных при сборе изображений для подводной фотограмметрии. Эти настройки применимы к большинству беззеркальных или цифровых зеркальных камер, но адаптированы к конкретным настройкам, рекомендованным в таблице материалов.

  1. Визуализация рифа (все временные точки)
    1. Соберите систему камеры и корпус в соответствии с рекомендациями производителя и стандартными методами подводной фотосъемки, чтобы обеспечить надлежащую подводную работу и водонепроницаемость. Убедитесь, что фотокамера находится в ручном режиме экспозиции (M), диафрагма установлена на f/8, выдержка составляет 1/500 секунды, а ISO установлен в автоматический режим, чтобы добиться правильной экспозиции для каждого кадра. Подробные настройки см. в таблице 1.
      ПРИМЕЧАНИЕ: В более темных и глубоких условиях можно использовать диафрагму 5,6 и выдержку 1/320 с для увеличения количества света и уменьшения шума изображения.
    2. Используя серую карту или масштабную линейку на средней глубине графика, установите пользовательский баланс белого так, чтобы камера была направлена вниз на серую карту или белую часть масштабной линейки, стараясь не затенять белую точку отсчета. Завершите это непосредственно перед началом сбора изображений.
    3. Перейдите к одному из углов графика и расположите камеру на высоте 1,5-2 м над подложкой, направленной вниз (рисунок 2C). Автофокусировка камеры на рифе и начало интервала сбора фотографий со скоростью 1 кадр/с.
    4. Начните плыть с комфортной скоростью к соседнему уголку участка, собирая первые проходы фотографий. Поверните на 180° и соберите второй фотопроход на расстоянии около 1 м от первого прохода, последовательно на высоте 1,5-2 м над подложкой. Повторите эти действия, чтобы выполнить антипараллельные проходы по схеме, похожей на газонокосилку, над всем участком, включая буфер не менее 0,5 м по периметру (рис. 2D, набор 1). Избегайте пробелов в охвате фотографий и убедитесь, что все масштабные линейки и угловые маркеры включены в фотографии.
      ПРИМЕЧАНИЕ: Навигация выполняется геодезистом, как правило, на акваланге (или трубке для участков на глубине < 2 м), используя запоминание ключевых особенностей рифа для поддержания покрытия. Второй геодезист и/или напарник по дайвингу могут помочь с навигацией. Цель состоит в том, чтобы собрать перекрывающиеся фотографии (~80% фронтального перекрытия, ~60% бокового перекрытия), которые полностью покрывают все поверхности рифа в пределах области, содержащейся маркерами, и буферной зоны 0,5 м.
    5. Выполните набор проходов сбора изображений 2. Когда первый набор проходов будет завершен, поверните на 90° и соберите второй набор проходов над рифом, завершив схему сетки (Рисунок 2D, набор 2). Фотографии должны быть сделаны в основном направленными вниз, за исключением областей с высоким рельефом, где камера должна быть наклонена под углом, чтобы оставаться направленной перпендикулярно поверхности подложки.
      ПРИМЕЧАНИЕ: Этот второй набор проходов предназначен для обеспечения полного перекрытия и охвата участка. Дополнительный сбор фотографий в ключевых и/или рельефных зонах участка приемлем и рекомендуется для сложных участков для обеспечения полного охвата изображений.
    6. Наведите порядок на участке. После того, как сбор изображений будет завершен, возьмите масштабные линейки и все оставшиеся материалы. Постоянные угловые маркеры – это единственные материалы, которые должны быть оставлены на рифе.
      ПРИМЕЧАНИЕ: При использовании временных угловых маркеров перед удалением маркеров необходимо собрать справочные данные (раздел 3). Рекомендуется поручить второму геодезисту собирать справочные данные, пока первый фотографирует участок.

figure-protocol-1
Рисунок 2: Настройка сюжета и фотосъемка. (A) показывает только что установленный угловой маркер, в то время как (B) показывает маркер на месте через 13 месяцев после установки. (C) показывает дайвера, проводящего съемку на соответствующем расстоянии над рифом, и (D) показывает схему процесса съемки участка с двумя перпендикулярными наборами антипараллельных проходов (красная и синяя линии), охватывающих область, содержащуюся в угловых маркерах (черная пунктирная рамка), без значительных промежутков. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

3. Сбор справочных данных

ПРИМЕЧАНИЕ: Для настройки комплекта GPS и съемки ReefShape см. Дополнительный файл 1, раздел 2. Если сбор GPS-точек невозможен, можно по-прежнему использовать автоматизированный подход к обработке данных ReefShape (раздел 5). Отдельный опрос, облегчающий форматирование справочного файла с локальными координатами, можно найти на странице GitHub (https://github.com/Perry-Institute/ReefShape) вместе с инструкциями по использованию.

  1. Съемка ReefShape (только для начальной временной точки)
    1. Откройте опрос ReefShape в приложении для опроса (дополнительный рисунок 1) на смартфоне и введите важные метаданные (инициалы геодезиста, адрес электронной почты, название участка и примечания). Поместите смартфон в водонепроницаемый чехол. С комплектом для кикборда с GPS (рис. 2C) и смартфоном отправляйтесь в плавание по участку.
    2. Найдите цель 1, расположите доску GPS на поверхности прямо над целью, а в окне съемки ReefShape на телефоне нажмите на значок перекрестия, чтобы получить точку GPS. Переходим к следующей цели. Запишите местоположение цели 2 во втором повторе, мишени 3 в 3-м и мишени 4 в 4-м. Вернитесь на лодку или берег.
    3. В опросе ReefShape введите информацию о глубине, соответствующую каждому маркеру. Убедитесь, что данные верны (т. е. разумная точность, нет пустых мест или глубин), затем отправьте их.
      ПРИМЕЧАНИЕ: Процесс сбора данных GPS может быть завершен вторым исследователем, в то время как первый собирает фотографии для экономии времени. Для отправки требуется доступ к Интернету, но опросы можно сохранить в папке «Исходящие», чтобы при необходимости отправить их позже. После отправки пользователь получит электронное письмо с предварительно отформатированными данными о местоположении.

4. Повторение временных точек

  1. Осмотр и обслуживание участка (только для последующих временных точек)
    1. Вернувшись к графику для повторения изображений, сначала переместите график и найдите угловые маркеры (Рисунок 2B), используя исходные данные GPS или распечатку исходной фотомозаики временных точек в качестве эталона, если это необходимо. Если на поверхности маркера есть какое-либо биообрастание, используйте пластиковый скребок или аналогичное устройство для очистки поверхности, убедившись, что дизайн цели хорошо виден.
    2. Если маркер утерян или поврежден настолько, что круглая мишень больше не видна, замените его тем же методом установки, что и на шаге 1.1.2. Если есть возможность, замените маркер на прежнее место (+/- ~5 см). Очень важно, чтобы заменяющий маркер имел тот же целевой номер, что и исходный. Запишите заменяемые маркеры.
  2. Съемка сюжета (один и тот же процесс для всех временных точек)
    1. Разместите масштабные линейки. Смотрите шаг протокола 1.2.
    2. Установите пользовательский баланс белого и собирайте изображения. Смотрите раздел 2 протокола.

figure-protocol-2
Рисунок 3: Блок-схема, показывающая этапы фотограмметрии, автоматизированные с помощью основного скрипта ReefShape. Изображения, файл длины масштабной линейки и файл пространственной привязки (оранжевые прямоугольники) вводятся в скрипт, который затем автоматизирует все основные этапы обработки (синие прямоугольники), в результате чего продукты данных (зеленые прямоугольники) готовы к анализу. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

5. Обработка данных

ПРИМЕЧАНИЕ: Инструкции по настройке программного обеспечения см. в Дополнительном файле 1, разделе 5 .

  1. Импорт изображений
    1. Импортируйте все фотографии из графика на компьютер для обработки изображений, разделив фотографии в форматах JPEG и RAW в отдельные подпапки.
    2. Скачать справочные данные. Убедитесь, что текстовый файл длины масштабной линейки (см. Дополнительный файл 1, раздел 1) хранится в легкодоступном месте на вашем компьютере. Загрузите и аналогичным образом сохраните CSV-файл с пространственной привязкой, который был автоматически отправлен по электронной почте после отправки данных геопривязки в рамках съемки ReefShape (раздел 3 протокола).
  2. Основной рабочий процесс ReefShape (первая временная точка)
    1. Откройте новый проект в программе фотограмметрии и выберите «Полный рабочий процесс ReefShape» в пользовательской строке меню ReefShape . Это вызовет панель графического интерфейса (см. дополнительный рисунок 2).
    2. В первом разделе (Настройка проекта) нажмите кнопку Создать новый , чтобы присвоить проекту имя (имя участка) и выбрать место его хранения. Во втором поле нажмите кнопку Переименовать блок , чтобы назвать активный блок с датой сбора изображений в формате ГГГГММДД. В третьем поле нажмите кнопку Выбрать фотографии , чтобы выбрать и импортировать папку, содержащую фотографии в формате JPEG для графика. Нажмите кнопку Сохранить проект , чтобы завершить инициализацию проекта.
    3. На второй панели (Общие) интерфейса Full ReefShape Workflow начните с установки системы координат. Выберите высоту WGS84 + EGM96 (EPSG: 9707), так как в этом случае система координат WGS84, используемая GPS-модулем, сочетается со встроенной моделью геоида (EGM96), которая приблизительно соответствует уровню моря.
      ПРИМЕЧАНИЕ: Если пользователь не собирал данные о реальном местоположении, вместо этого следует установить систему координат «Местные координаты» (m). Стандартные настройки на общей панели (Общий предварительный выбор: Вкл., Качество сетки: Среднее, Разрешение по умолчанию: Выкл., Пользовательское разрешение: 0.5 мм) предназначены для применения к конкретному протоколу, описанному здесь. Сценарий является гибким, чтобы удовлетворить потребности исследователей, и настройки могут быть скорректированы соответствующим образом.
    4. В нижней части панели Общие нажмите кнопку Выбрать папку , чтобы задать путь вывода для продуктов данных. Установите флажки для желаемых продуктов выходных данных, если это необходимо для анализа.
    5. Настройте панель Пространственная привязка . Выберите Да для использования автоматически определяемых маркеров. Нажмите кнопку «Выбрать файл » рядом с полем масштабной линейки, чтобы найти текстовый файл масштабирования (см. Дополнительный файл 1, раздел 1). Щелкните Выбрать файл рядом с полем файла пространственной привязки, чтобы найти ссылающийся CSV-файл из съемки ReefShape для графика.
      ПРИМЕЧАНИЕ: Если во время настройки графика маркеры были установлены не по порядку (т.е. цель 1, цель 3, цель 2, цель 4, а не 1, 2, 3, 4, идущие вокруг графика), фактический порядок можно указать, нажав кнопку Настроить угловые маркеры и изменив порядок маркеров во всплывающем окне. Это позволяет скрипту правильно генерировать ROI, охватывающий область между маркерами.
    6. Запустите скрипт. После ввода всех данных нажмите OK в нижней части панели, чтобы запустить процесс. Он будет отображать индикаторы прогресса для каждого шага. Процесс, который автоматизирует скрипт, показан на рисунке 3.
      ПРИМЕЧАНИЕ: Если скрипт обнаруживает ошибку или программное обеспечение или компьютер дает сбой, скрипт сохранит прогресс до последнего завершенного шага. Проект можно повторно открыть, при необходимости исправить ошибку и повторно запустить скрипт, чтобы продолжить и завершить процесс. Если процесс завершен с выравниванием и вводом данных масштаба и пространственной привязки, пользователю не нужно повторно вводить что-либо на панели пространственной привязки.
    7. Проверяйте данные, чтобы обеспечить высокое качество результатов. Рабочий процесс проверки данных описан в разделе 5.4.
    8. При необходимости рассчитайте отношение площади поверхности. Если пользователь хочет рассчитать отношение площади 3D к 2D для графика для измерения шероховатости, нажмите кнопку «Рассчитать соотношение площади поверхности » в подменю «Инструменты » раскрывающегося меню ReefShape . Полученное соотношение будет напечатано в консоли, а также во всплывающем окне.
  3. Выравнивание временных точек (последующих временных точек)
    ПРИМЕЧАНИЕ: Каждая временная точка графика будет храниться как новый "кусок" в рамках одного и того же проекта.
    1. Как и в случае с первой временной точкой, импортируйте и упорядочивайте фотографии в отдельные папки JPEG и RAW. Откройте проект графика в программе для фотограмметрии, затем откройте выпадающее меню ReefShape и выберите «Выровнять временные точки » (дополнительный рисунок 3).
    2. На панели « Настройка проекта » нажмите кнопку «Создать блок », чтобы добавить в проект новый блок (представляющий новую временную точку). Введите дату сбора нового снимка в формате YYYYMMDD в качестве имени блока. Выберите «Выбрать папку », чтобы добавить новые изображения в этот блок.
    3. На панели « Общие » выберите начальную временную точку для параметра «Выбрать опорный фрагмент». В раскрывающемся списке «Выбрать активный блок» выберите новую временную точку. Нажмите OK после завершения, чтобы обнаружить маркеры в изображениях активных блоков и импортировать точные координаты каждого из эталонного блока.
      ПРИМЕЧАНИЕ: Если какие-либо угловые маркеры были заменены под водой, это должно быть отмечено в раскрывающемся списке «Добавить поврежденный маркер», чтобы сообщить программному обеспечению, что маркер может находиться не в том же точном географическом местоположении, что и раньше.
    4. Осматривайте маркеры и пространственную привязку. На справочной панели (дополнительный рисунок 4) убедитесь, что все маркеры обнаружены, а цели 1–4 унаследовали информацию о местоположении от эталонного блока.
      ПРИМЕЧАНИЕ: Если какие-либо маркеры не обнаруживаются (обычно из-за повреждения маркера, если они не были заменены), маркеры должны быть добавлены вручную, по крайней мере, три исходных изображения, и названы в соответствии с метками маркеров из эталонного блока. Затем можно снова запустить скрипт «Выровнять временные точки », чтобы добавить информацию о местоположении для вручную размещенных маркеров.
    5. Запустите скрипт Full ReefShape Workflow, выбрав его в меню ReefShape . Оставьте панели настроек проекта и пространственной привязки пустыми и редактируйте панель Общие только по мере необходимости, выбирая настройки обработки, куда экспортировать данные о продуктах и какие продукты создавать, как в шаге 5.2.3. Нажмите OK , чтобы завершить процесс фотограмметрии и экспортировать выровненные продукты данных для новой временной точки.
    6. Проверяйте данные, чтобы обеспечить высокое качество результатов. Рабочий процесс валидации описан в разделе 5.4.
    7. Рассчитайте коэффициент площади поверхности (необязательно). Смотрите шаг 5.2.8.
  4. Валидация данных (каждая временная точка)
    ПРИМЕЧАНИЕ: Для каждой временной точки важно проверить выравнивание и данные на точность. Если возникают проблемы, может потребоваться ручное вмешательство. Фрагменты данных (например, ортофотоплан, ЦМР, 3D-модель, связующие точки) после любой ошибки должны быть удалены. Затем проблему можно исправить (если это возможно), и скрипт Full ReefShape Workflow снова запустится для завершения обработки. Как только пользователь будет удовлетворен продуктами данных, он может приступить к анализу.
    1. Проверьте выравнивание фотографий. На панели «Рабочая область » в программе фотограмметрии сначала проверьте, сколько фотографий из общего числа было успешно выровнено. Если фотографии <10 не выровнены, вполне вероятно, что их отсутствие не окажет негативного влияния на конечные продукты данных.
      ПРИМЕЧАНИЕ: Если значительная часть фотографий не выровнена, сбросьте выравнивание и повторно запустите Full ReefShape Workflow со снятым флажком Generic Preselection . Если многие фотографии по-прежнему не выровнены, вероятно, в наборе данных недостаточно перекрытия, и необходимо перефотографировать.
    2. Проверьте облако связующих точек и положение камеры (рис. 4A) в окне просмотра моделей , чтобы оценить, есть ли очевидные проблемы в выравнивании. Участки связующих точек или положения камеры, которые явно смещены по отношению к общему облаку точек, являются очевидными признаками проблем с выравниванием.
      ПРИМЕЧАНИЕ: Смещенные фотографии должны быть выбраны, а их выравнивание должно быть сброшено щелчком правой кнопкой мыши и выбором «Сбросить выравнивание камеры». Затем выберите «Выровнять фотографии » в раскрывающемся меню «Рабочий процесс ». Если они не выровнены правильно, вероятно, в наборе данных недостаточно перекрытия, и необходимо перефотографировать.
    3. Проверьте пространственную привязку. Проверьте модель и ЦМР в окнах просмотра Model и Ortho (рис. 4B и C), чтобы убедиться в правильном выравнивании и позиционировании. В справочной панели (дополнительный рисунок 4) погрешность маркера должна быть меньше 1 или 2 м, а внутренняя ошибка масштабирования должна быть менее 1 или 2 мм.
      ПРИМЕЧАНИЕ: Большая ошибка масштабирования, ошибка маркера или перевернутая модель указывают на ошибки привязки, которые могут быть вызваны неправильно установленной системой координат, неправильно обнаруженными маркерами или очень плохими данными о местоположении GPS (например, местоположения маркеров расположены не в географическом порядке). Для решения проблемы может потребоваться ручное редактирование справочных данных.
    4. Проверьте ортофотоплан. Осмотрите ортофотоплан в окне просмотра Ortho и убедитесь, что качество изображения достаточное, визуально изучив его на предмет существенного размытия, искажений, отверстий в изображениях или чрезвычайно высокого уровня шума (Рисунок 6).
      ПРИМЕЧАНИЕ: Если эти проблемы обнаружены, вполне вероятно, что настройки камеры были установлены неправильно, фотографии были сделаны на неправильном расстоянии от рифа или в некоторых районах наблюдается недостаточное перекрытие изображений, и для достижения приемлемых результатов может потребоваться повторное фотографирование участка.
    5. Проверьте полигон границы. В окне просмотра Ortho убедитесь, что автоматически сгенерированный полигон границ, определяющий интересующую область в пределах четырех угловых маркеров, является правильным, как показано на рисунке 4.
      ПРИМЕЧАНИЕ: Если граница пересечена или соединяет неправильные маркеры, щелкните правой кнопкой мыши по многоугольнику в средстве просмотра и удалите его. Выберите «Создать границу » в подменю «Инструменты » раскрывающегося списка ReefShape , чтобы определить правильный порядок угловых маркеров, или определите новую пользовательскую границу с помощью инструмента полигона и установите для него тип полигона «Внешняя граница ». Повторно запустите скрипт Full ReefShape Workflow для повторного экспорта продуктов данных.

figure-protocol-3
Рисунок 4: Изображение рифового участка, разделенного на четыре основных этапа процесса ReefShape. (A) облако связующих точек и положение камеры, (B) трехмерная модель сетки, (C) цифровая модель рельефа (DEM) и (D) ортотрансформированная фотомозаика. Метки показывают местоположения обнаруженных угловых маркеров (цели 1-4), три масштабные линейки и автоматически сгенерированный полигон области интереса для структурного и экологического анализа. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Набор данных временных рядов LAI был собран с использованием этой методологии на рифе Симмс-Пойнт, недалеко от юго-западной оконечности Нью-Провиденс, Багамские острова. На рисунках 4, 5, 6 и 4 представлены результаты этого эксперимента. Референсная сеть была создана, и первые снимки были собраны в январе 2023 года. Он был повторно сфотографирован в августе 2023 года, во время сильной морской жары, чтобы оценить серьезность обесцвечивания кораллов. Обе временные точки были обработаны с использованием полного сценария рабочего процесса ReefShape, при этом на промежуточных этапах не требовалось вмешательство пользователя. Первая временная точка включала в себя 1299 изображений, все из которых были успешно выровнены, со средней высотой плавания 1,8 м над субстратом, исходным разрешением земли 0,567 мм/пиксель (стандартизированным до 0,5 мм/пиксель), общей площадью покрытия 208м2 (измеренной по площади в пределах угловых маркеров), соотношением площади поверхности 3D/2D 2,887. Ошибка перепроецирования 1,12 пикселя, общая точность внутренней геолокации 30,6 см и ошибка масштабирования 1,4 мм. Весь процесс, при стандартных настройках в скрипте Full ReefShape, занял 8 часов 23 минуты с использованием настольного компьютера 2018 года выпуска с 6-ядерным процессором, 32 ГБ оперативной памяти и дискретным графическим процессором 8 ГБ (общая стоимость ~ 1,500 долларов США). Настольный компьютер 2024 года с 14-ядерным процессором, 64 ГБ оперативной памяти и дискретным графическим процессором на 24 ГБ (общая стоимость ~ 4 000 долларов США) обработал тот же график всего за 1 час 58 минут. Вторая временная точка, включающая 1 974 / 1 974 выровненных изображения, заняла 7 часов 45 минут на более старом рабочем столе 2018 года.

Увеличенный раздел двух временных точек и базовый анализ обесцвечивания кораллов, выполненный в TagLab27 , показан на рисунке 5, демонстрируя полезность этого процесса для анализа изменения бентической среды обитания с течением времени. Результаты анализа показали, что более 90% особей многих видов кораллов испытали полное обесцвечивание, что подтверждает серьезность события, в то время как другие виды испытали минимальное обесцвечивание или его отсутствие, что дает представление о моделях устойчивости в коралловом сообществе. Обе временные точки (рис. 5) демонстрируют высококачественные изображения с достаточной четкостью и разрешением для экспертной идентификации бентосных организмов на уровне вида или рода. Баланс белого настроен правильно, и нет никаких значительных областей размытия, дыр в данных или других артефактов, что указывает на то, что протокол успешно доставил данные, необходимые для изучения динамики бентической экологии коралловых рифов. На рисунке 6 (вверху) показано увеличение этого графика в качестве примера высококачественных изображений по сравнению с набором данных низкого качества (внизу), который не соответствует требованиям к качеству данных, где артефакты изображения затрудняют извлечение экологических данных. Набор данных низкого качества был собран с неправильными настройками камеры (неправильный баланс белого, приводящий к красному общему оттенку, и слишком открытая диафрагма, приводящая к размытию) и недостаточным перекрытием фотографий из-за плохой навигации дайверов, что подчеркивает важность получения изображений (раздел 2 протокола).

figure-results-1
Рисунок 5: Репрезентативные результаты, показывающие временные ряды изображений и контуры коралловых колоний с участка, сфотографированного до и во время обесцвечивания, демонстрирующие точность автоматического выравнивания, достигнутую с помощью нашего протокола, и полезность этих данных для мониторинга изменений бентоса с течением времени. (A) показано изображение от января 2023 года для участка Simms Point в Нью-Провиденс, Багамские острова, (B) изображение от августа 2023 года, (C) живые колонии кораллов в январе 2023 года, классифицированные как здоровые (синие), бледные (оранжевый) или обесцвеченные (красный), и (D) живые колонии кораллов в августе 2023 года, очерченные той же схемой классификации. Контурирование колонии кораллов было завершено с помощью сегментации с помощью искусственного интеллекта в TagLab. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-2
Рисунок 6: Пример высококачественного и низкокачественного ортофотоплана, с аннотациями, демонстрирующими ключевые характеристики, которые отличают их. Визуальный осмотр ортофотоплана и других продуктов данных на этапе протокола 5.4 необходим для оценки того, был ли протокол выполнен правильно, или для достижения целей по качеству данных необходимо повторное выполнение фотографий графика. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Доступ к программному обеспечению:
Скрипты Python ReefShape, инструкции по установке и использованию, а также более подробные инструкции по сбору данных и использованию программного обеспечения в виде технического документа доступны по адресу https://github.com/Perry-Institute/ReefShape. Мы планируем обновлять скрипты, чтобы устранять проблемы по мере их возникновения и вносить улучшения. Поэтому мы рекомендуем использовать последнюю версию.

Дополнительный рисунок 1. Скриншот, иллюстрирующий опрос по сбору данных геопривязки ReefShape в приложении Survey123 на смартфоне. Пользователи могут получить доступ к опросу без платной учетной записи и получать по электронной почте свои данные, предварительно отформатированные для использования в обработке ReefShape после отправки. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный рисунок 2. Скриншот полного графического интерфейса скрипта рабочего процесса ReefShape. Пользователи могут вводить всю необходимую информацию для обработки в этом интерфейсе, что позволяет полностью автоматизировать рабочий процесс фотограмметрии. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный рисунок 3. Скриншот графического интерфейса скрипта Align Timepoints. Пользователи могут использовать этот сценарий для облегчения автоматического выравнивания последующих обследований по исходной временной точке, что позволяет анализировать изменения временных рядов. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный рисунок 4. Скриншот 3D-модели с выделением репрезентативных результатов и референсной панели. Вся информация в референсной панели настраивается автоматически в соответствии с масштабной линейкой и файлами с привязкой, введенными в скрипт Full ReefShape Workflow. Различные меры точности для различных эталонных данных (0,25 мм для масштабирования, 10 см для глубины и ~70 см для геолокации XY) вводятся автоматически и обеспечивают приоритетную обработку масштаба, затем глубины, а затем координат XY в окончательном решении местоположения, рассчитанном с помощью Metashape. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный файл 1: Инструкции по подготовке оборудования, системные требования и настройки камеры, а также требования к компьютеру и этапы настройки программного обеспечения, которые выходят за рамки самого протокола, содержатся в дополнительном файле. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Этот протокол был разработан для решения некоторых ключевых проблем подводной фотограмметрии для мест обитания коралловых рифов, включая качество изображений и перекрытие во время сбора, сбор метаданных для масштабирования, выравнивания, геолокации и выравнивания временных рядов моделей и карт, принятие решений человеком во время обработки фотограмметрии, а также подготовку и экспорт данных для анализа. Мы решаем первую проблему с помощью тщательного выбора, тестирования и рекомендаций по системе камер и важным настройкам. Несмотря на то, что многие системы могут работать для получения изображений, мы обнаружили, что настройки с участием экшн-камер (например, GoPro или аналогичных) недостаточны из-за искажения скользящего затвора, отсутствия ручного баланса белого и невозможности сбора фотографий в формате RAW с частотой 1 Гц, что ограничивает качество конечного изображения и возможность точного выравнивания данных временных рядов. Многокамерные DLSR-установки могут способствовать улучшению охвата изображения на исследуемом участке24, но эти установки дороги и более громоздки под водой. Вместо этого мы выбираем одну, относительно недорогую (~$2,800 USD общая стоимость) беззеркальную камеру с механическим затвором, пользовательским балансом белого, возможностью сбора фотографий в формате RAW и JPEG, современным датчиком изображения APS-C с низким уровнем шума, а также широкоугольным объективом (~100° поле зрения) и комбинацией купольного порта, которая дает четкие изображения. Широкоугольный объектив выбирается для увеличения охвата и перекрытия изображения, что улучшает 3D-рендеринг вертикальных и нависающих поверхностей и уменьшает количество потенциальных отверстий в модели. Использование интервала в 1 с и одной камеры уменьшает общее количество изображений по сравнению с другими методами без потери детализации или качества модели, ускоряя обработку. Наконец, хотя изображения в формате RAW не являются критически важными для функционирования текущего конвейера обработки изображений, который основан на изображениях в формате JPEG, мы считаем, что изображения в формате RAW необходимы для архивных целей, поскольку они содержат более качественную информацию о цвете. Баланс белого может быть скорректирован после сбора данных в программном обеспечении для обработки изображений, а информация о цвете более высокого качества в будущем может быть введена в алгоритм цветокоррекции, такой как SeaThru30 или DeepSeeColor31 , и интегрирован в фотограмметрический конвейер для более стабильных цветов и детального изучения таких явлений, как пигментация кораллов и обесцвечивание.

Вторая ключевая сложность — 3D-геолокация, масштабирование и выравнивание временных рядов. В то время как реальные координаты не являются обязательными для многих анализов, модели должны быть масштабированы и точно выровнены для процесса ортотрансформирования и точных измерений32,33. Этот процесс трудно автоматизировать с помощью фотограмметрического программного обеспечения без использования обнаруживаемых кодированных целей или без измерений глубины и системы координат XY. Большинство протоколов требуют ручного включения справочной информации либо в Metashape, либо позже в другое программное обеспечение, что усложняет и снижает эффективность рабочего процесса. Встраивая закодированные цели в масштабные линейки точно известной длины и постоянно закрепленные угловые маркеры в сочетании с удобной для пользователя системой геолокации и сбора глубины, мы предоставляем программному обеспечению необходимую информацию для автоматического определения системы координат, размещения, масштабирования и выравнивания модели. Указывая точность каждого измерения, программное обеспечение правильно взвешивает окончательное решение по местоположению таким образом, что оно отдает приоритет шкале, затем глубине и, наконец, координатам XY, что позволяет с высокой точностью масштабировать и нивелировать даже при относительно низкой точности данных GNSS. Совместная регистрация фотомозаик временных рядов обычно требует вмешательства человека для обнаружения, маркировки и сопоставления последовательных точек на рифе; Этот процесс очень трудоемкий и сложный, если между временными точками нет четко статичных элементов. Использование прочных наземных маркеров контрольных точек облегчает эту проблему, обеспечивая набор из 4 автоматически обнаруживаемых статических целей. С помощью нашего скриптового процесса последующие временные точки наследуют точную пространственную привязку от предыдущей временной точки, что значительно упрощает процесс выравнивания и снижает вмешательство человека, одновременно способствуя высокоточной совместной регистрации временных точек, что позволяет отслеживать мелкомасштабные экологические и структурные изменения на рифе.

Третья проблема, которую решает этот протокол, — это неэффективность рабочего процесса фотограмметрии, как с точки зрения вмешательства человека, так и с точки зрения требований к компьютерному оборудованию. Мы разработали скрипты ReefShape таким образом, чтобы пользователь мог вводить всю необходимую информацию для всего процесса в одном графическом поле, устраняя любое вмешательство, обычно необходимое на ключевых этапах процесса (т.е. включение информации о масштабе, выравнивании и географической привязке). Это позволяет пользователю инициировать процесс, а остальное оставить компьютеру, экономя время и усилия. Фотограмметрический конвейер, используемый в скрипте Full ReefShape Workflow (рис. 3 и рис. 4), оптимизирован для обеспечения эффективной обработки. Мы используем специализированный процесс выравнивания, состоящий из двух этапов. Первый проход выравнивания выполняется с включенным общим предварительным выбором, опцией, которая может сократить время выравнивания изображения на много часов, не приводя к потере точности34. Затем на втором этапе предпринимается попытка добавить все оставшиеся невыровненные фотографии к уже существующему выравниванию без использования общего предварительного отбора, что может смягчить проблемы с выравниванием, вызванные неоптимальным перекрытием или едкими полосами от волнового линзирования на мелководье. В совокупности эти шаги представляют собой эффективный и мощный процесс выравнивания, который часто приводит к гораздо большему количеству правильно выровненных фотографий, чем стандартные процедуры обработки Metashape. Мы генерируем 3D-сетку непосредственно из карт глубины, минуя трудоемкий и ресурсоемкий процесс построения плотного облака точек. Сетки, созданные таким образом, как правило, имеют меньший уровень шума и лучшую реконструкцию областей с низким покрытием, что предотвращает необходимость очистки облака точек перед созданием сетки, как это используется в других методах23. По нашему опыту, этот процесс создания сетки имеет тенденцию быть более стабильным, что приводит к меньшему количеству сбоев в работе компьютера, чем построение плотного облака точек и построение сетки. Наконец, мы генерируем ЦМР с высоким разрешением, которая используется в качестве поверхности ортотрансформирования вместо сетки, поскольку это значительно сокращает время построения ортофотоплана без ощутимой потери качества.

Последней задачей является подготовка, стандартизация и экспорт данных для экологического анализа. Стандартизируя разрешение изображения на уровне 0,5 мм/пиксель, мы обеспечиваем согласованность и сопоставимость продуктов на всех графиках и в разных временных точках, расширяя будущие усилия по использованию искусственного интеллекта и машинного обучения для анализа. Полный сценарий рабочего процесса ReefShape предоставляет возможность экспортировать отчет об обработке и продукты данных в надлежащий формат для программного обеспечения ГИС и TagLab27, стандартизируя форматирование и экономя время и усилия по сравнению с рабочими процессами, где этот шаг выполняется вручную. Полигон области интереса (ROI), необходимый для многих анализов, генерируется автоматически с использованием известных положений угловых маркеров и экспортируется в виде стандартного шейп-файла для включения в рабочие процессы ГИС, таких как создание и идентификация случайных точек на графике для анализа состава бентоса. Этот ROI также позволяет обрезать и выровнять пиксели для TagLab, что необходимо для анализа временных рядов, как показано на рисунке 5. ROI также позволяет автоматически рассчитывать 3D-отношение площади поверхности к плоской площади для каждой временной точки (шаг протокола 5.2.8), что важно для измерения структурной сложности рифа и ее изменения с течением времени.

Несмотря на то, что этот протокол представляет собой шаг вперед в эффективности и удобстве использования для подводной фотограмметрии, существуют ограничения. В частности, если процесс фотограмметрии завершается сбоем на одном из ключевых этапов, требуется вмешательство пользователя для устранения неполадок и устранения проблем, прежде чем продолжить. Несмотря на то, что наш скриптовый процесс предназначен для использования исследователями, не обладающими глубокими знаниями в области фотограмметрии, базовое понимание важно для решения возникающих проблем. Несколько ключевых частей процесса наиболее подвержены проблемам. Во-первых, изображения могут не совпадать из-за плохого перекрытия изображения или из-за сильных полос едкости на субстрате на мелководье и в солнечных условиях. Сбой юстировки можно обнаружить, проверив облако связующих точек и положение камеры. Если выравнивание не удается выполнить из-за каустических полос, повторный запуск полного рабочего процесса ReefShape с отключенным флажком «Общий предварительный выбор» обычно может решить проблему за счет значительно более длительного времени обработки. Если наложение изображений недостаточно для того, чтобы программное обеспечение выровняло фотографии, то повторное фотографирование сайта, вероятно, является лучшим решением. Неудачное обнаружение маркеров также может привести к ошибке в отображении. Чаще всего это происходит в том случае, если маркер поврежден или недостаточно очищен. В этом случае маркеры могут быть размещены на отдельных фотографиях в Metashape и названы вручную, а скрипты ReefShape могут быть повторно запущены для завершения обработки. В некоторых случаях пространственная привязка может завершиться ошибкой, если точки GPS настолько неточны, что они географически не упорядочены, или если точки GPS были назначены неправильным целям. Эту проблему можно решить, вручную отредактировав CSV-файл с пространственной привязкой для соответствующего соответствия данным и повторно запустив скрипт. Наконец, возможны сбои в работе программного обеспечения, особенно при использовании менее мощного компьютера с большим графиком или с более высокими настройками качества. В ожидании этого, наш скриптовый процесс будет автоматически сохраняться после каждого выполненного шага, что позволит пользователю перезапустить и скорректировать настройки без потери прогресса. Дополнительные рекомендации по устранению неполадок представлены на нашей странице GitHub.

Основная цель ReefShape заключается в том, чтобы упростить сбор и обработку компонентов подводной фотограмметрии и максимально снизить затраты, чтобы пользователи могли более полно сосредоточить время и усилия на извлечении экологических данных. Мы предоставляем полный процесс, предназначенный для реализации высококачественных выходных данных, адаптированных к потребностям распространенных вариантов экологического анализа. Несмотря на то, что описанный протокол очень специфичен, скриптовый подход к обработке является гибким и может без проблем обрабатывать изменения в таких аспектах метода, как размер графика, шаблон сбора заплывов/фотографий, целевое выходное разрешение и конкретная используемая система камеры. Метод также может быть применен без существенных изменений к большинству подводных или мелкомасштабных наземных фотограмметрических проектов, таких как документирование затонувших кораблей или археологических памятников.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы не имеют конкурирующих финансовых интересов или иного конфликта интересов.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

ReefShape — это термин, не защищенный авторским правом, который мы использовали в качестве названия для этого метода. Проект задуман CD и WG, разработка методов WG, кодирование WG и SM, написание WG, редактирование и рецензирование JL и CD. Особая благодарность всей команде Института морских наук Перри за их отзывы и поддержку на протяжении всей разработки этого метода. Финансирование было предоставлено Фондом охраны природы Диснея. Этот материал основан на работе, поддержанной стипендией Национального научного фонда для аспирантов в рамках гранта No 2233001. Данные, собранные в соответствии с разрешениями Департамента планирования и охраны окружающей среды Багамских островов no. SRBS-0013-2021-CD, BS-2021-930119, BS-2022-281752, BS-2022-315006, BS-2023-661916, BS-2023-610959 и BS-2023-211510.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Длина 0,3 м 1/2" ПВХ трубаН/Ддля комплекта GPS
1" ПВХ настольная крышкаобщаяН/Ддля комплекта GPS
1/2" до 1" ПВХ переходная втулкаобщаяН/Ддля GPS
Kit 12 мм f/2.0 AF E-mount объективSamyangSYIO12AF-Eтакже продается под торговой маркой Rokinon
2" рифленый хвостовик круглые каменные гвоздиОбщийН/Ддля установки углового маркера
256 ГБ UHS-1 V30 SD-картаSanDiskSDSDXXD-256G-ANCINмаксимально быстрая UHS-1 SD-карта рекомендуемая
рулетка 30 м (опционально)Н/ДН/Д Н/Ддля установки графика
Акриловый лист, толщина 3 мм, обрезанный до 80 мм x 580 мм (3x)Н/ДН/ДМатериал масштабной линейки
Алюминиевый лоток для камерыКомплектDiveН/Дподходит для корпуса камеры и помогает удерживать камеру
подводный угловой маркер набор с напечатанными фотограмметрическими мишенямин/д/дна заказ, свяжитесь с автором для уточнения деталей
водонепроницаемая бумага для лазерного принтера DuracopyRite in the Rain6511может быть заменена на водонепроницаемую бумагу для наклеек
E6000 эпоксиднаяобщаян/ддля комплекта GPS
GLO2 Bluetooth GPSGarmin010-02184-01существуют и другие варианты, GLO2 - самый экономичный
беззеркальный фотоаппарат ILCE a6700 фотоаппаратSonyILCE6700/Bфотоаппарат a6700 предпочтительнее, a6600 или a6400 недорогие варианты
лазерный принтерн/длюбой лазерный принтер (не струйный)
Metashape Professional EditionAgisoftТребуетсяпрограммное обеспечение
Пластиковая карта (примерно 1мм x 5мм x 5мм)Н/ДН/Ддля комплекта GPS, также можно использовать выброшенную кредитную карту или аналогичную, разрезанную пополам.
СмартфонН/Д Н/Д любойдостаточно современный смартфон, для сбора данных GPS
Sony A6700 Sea Frogs 40M/130FT Водонепроницаемый корпус с акрилом 6" Купольный порт V.1SeaFrogsН/ДЕсли вы используете камеры a6600 или a6400, замените на соответствующий корпус SeaFrogs
СуперклейН/Д/Ддля создания комплекта GPS и масштабной линейки
Плавайте в стиле фитнес-доскиSpeedo877530050021SZдля комплекта GPS, бренд неважный
Компьютер для дайвинга часового типан/д н/ддля сбора углового маркера глубины
Водонепроницаемый чехолXunieaW-1188бренд неважно, для установки GPS
устройство Водонепроницаемый чехол для телефонаPelicanPP048884бренд неважно, для смартфона
общая н изготовлен Н

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Coral reefs in the Anthropocene. Nature. 546 (7656), 82-90 (2017).">Hughes, T. P., et al. Coral reefs in the Anthropocene. Nature. 546 (7656), 82-90 (2017).
  2. Species richness on coral reefs and the pursuit of convergent global estimates. Current Biology. 25 (4), 500-505 (2015).">Fisher, R., et al. Species richness on coral reefs and the pursuit of convergent global estimates. Current Biology. 25 (4), 500-505 (2015).
  3. Changes in the global value of ecosystem services. Glob Environ Change. 26 (1), 152-158 (2014).">Costanza, R., et al. Changes in the global value of ecosystem services. Glob Environ Change. 26 (1), 152-158 (2014).
  4. Reefs since Columbus. Coral Reefs. 16 (1), S23-S32 (1997).">Jackson, J. B. C. Reefs since Columbus. Coral Reefs. 16 (1), S23-S32 (1997).
  5. Changes in coral-associated microbial communities during a bleaching event. ISME Journal. 2 (4), 350-363 (2008).">Bourne, D., Iida, Y., Uthicke, S., Smith-Keune, C. Changes in coral-associated microbial communities during a bleaching event. ISME Journal. 2 (4), 350-363 (2008).
  6. Mapped coral mortality and refugia in an archipelago-scale marine heat wave. Proc Natl Acad Sci U S A. 119 (19), e2123331119(2022).">Asner, G. P., et al. Mapped coral mortality and refugia in an archipelago-scale marine heat wave. Proc Natl Acad Sci U S A. 119 (19), e2123331119(2022).
  7. A global coral reef probability map generated using convolutional neural networks. Coral Reefs. 39 (6), 1805-1815 (2020).">Li, J., et al. A global coral reef probability map generated using convolutional neural networks. Coral Reefs. 39 (6), 1805-1815 (2020).
  8. Remote sensing of coral reefs for monitoring and management: A review. Remote Sens. 8 (2), (2016).">Hedley, J. D., et al. Remote sensing of coral reefs for monitoring and management: A review. Remote Sens. 8 (2), (2016).
  9. Development and application of a video-mosaic survey technology to document the status of coral reef communities. Environ Monit Assess. 125 (1), 59-73 (2007).">Lirman, D., et al. Development and application of a video-mosaic survey technology to document the status of coral reef communities. Environ Monit Assess. 125 (1), 59-73 (2007).
  10. Large-area imaging reveals biologically driven non-random spatial patterns of corals at a remote reef. Coral Reefs. 36 (4), 1291-1305 (2017).">Edwards, C. B., et al. Large-area imaging reveals biologically driven non-random spatial patterns of corals at a remote reef. Coral Reefs. 36 (4), 1291-1305 (2017).
  11. Utilizing underwater three-dimensional modeling to enhance ecological and biological studies of coral reefs. Int Arch Photogramm Remote Sens Spat Inf Sci. 40 (5W5), 61-66 (2015).">Burns, J. H. R., Delparte, D., Gates, R. D., Takabayashi, M. Utilizing underwater three-dimensional modeling to enhance ecological and biological studies of coral reefs. Int Arch Photogramm Remote Sens Spat Inf Sci. 40 (5W5), 61-66 (2015).
  12. Integrating structure-from-motion photogrammetry with geospatial software as a novel technique for quantifying 3D ecological characteristics of coral reefs. PeerJ. 7, (2015).">Burns, J. H. R., Delparte, D., Gates, R. D., Takabayashi, M. Integrating structure-from-motion photogrammetry with geospatial software as a novel technique for quantifying 3D ecological characteristics of coral reefs. PeerJ. 7, (2015).
  13. Coral reef monitoring by scuba divers using underwater photogrammetry and geodetic surveying. Remote Sens. 12 (18), (2020).">Nocerino, E., et al. Coral reef monitoring by scuba divers using underwater photogrammetry and geodetic surveying. Remote Sens. 12 (18), (2020).
  14. 34;Structure-from-Motion" photogrammetry: A low-cost, effective tool for geoscience applications. Geomorphology. 179, 300-314 (2012).">Westoby, M. J., Brasington, J., Glasser, N. F., Hambrey, M. J., Reynolds, J. M. 34;Structure-from-Motion" photogrammetry: A low-cost, effective tool for geoscience applications. Geomorphology. 179, 300-314 (2012).
  15. 3D habitat complexity of coral reefs in the Northwestern Hawaiian Islands is driven by coral assemblage structure. Int Arch Photogramm Remote Sens Spat Inf Sci. 42 (2/W10), 61-67 (2019).">Burns, J. H. R., et al. 3D habitat complexity of coral reefs in the Northwestern Hawaiian Islands is driven by coral assemblage structure. Int Arch Photogramm Remote Sens Spat Inf Sci. 42 (2/W10), 61-67 (2019).
  16. End of the chain? Rugosity and fine-scale bathymetry from existing underwater digital imagery using structure-from-motion (SfM) technology. Coral Reefs. 35 (3), 889-894 (2016).">Storlazzi, C. D., Dartnell, P., Hatcher, G. A., Gibbs, A. E. End of the chain? Rugosity and fine-scale bathymetry from existing underwater digital imagery using structure-from-motion (SfM) technology. Coral Reefs. 35 (3), 889-894 (2016).
  17. Limited coral mortality following acute thermal stress and widespread bleaching on Palmyra Atoll, central Pacific. Coral Reefs. 38 (4), 701-712 (2019).">Fox, M. D., et al. Limited coral mortality following acute thermal stress and widespread bleaching on Palmyra Atoll, central Pacific. Coral Reefs. 38 (4), 701-712 (2019).
  18. Quantifying the loss of coral from a bleaching event using underwater photogrammetry and AI-assisted image segmentation. Remote Sens. 15 (16), (2023).">Kopecky, K. L., et al. Quantifying the loss of coral from a bleaching event using underwater photogrammetry and AI-assisted image segmentation. Remote Sens. 15 (16), (2023).
  19. 3D assessment of a coral reef at Lalo Atoll reveals varying responses of habitat metrics following a catastrophic hurricane. Sci Rep. 11 (12050), (2021).">Pascoe, K. H., Fukunaga, A., Kosaki, R. K., Burns, J. H. R. 3D assessment of a coral reef at Lalo Atoll reveals varying responses of habitat metrics following a catastrophic hurricane. Sci Rep. 11 (12050), (2021).
  20. The use of unoccupied aerial systems (UASS) for quantifying shallow coral reef restoration success in Belize. Drones. 7 (4), 221(2023).">Peterson, E. A., Carne, L., Balderamos, J., Faux, V., Gleason, A., Schill, S. R. The use of unoccupied aerial systems (UASS) for quantifying shallow coral reef restoration success in Belize. Drones. 7 (4), 221(2023).
  21. Coral Restoration Foundation TM Photomosaic Manual Second Edition-November 2020. , www.coralrestoration.org (2020).">Neufeld, A. M., Fundakowski, G. Coral Restoration Foundation TM Photomosaic Manual Second Edition-November 2020. , www.coralrestoration.org (2020).
  22. A field primer for monitoring benthic ecosystems using structure-from-motion photogrammetry. J Vis Exp. , e61815(2021).">Roach, T. N. F., et al. A field primer for monitoring benthic ecosystems using structure-from-motion photogrammetry. J Vis Exp. , e61815(2021).
  23. Processing photomosaic imagery of coral reefs using structure-from-motion standard operating procedures. NOAA Technical Memorandum. (NOAA-TM-NMFS-PIFSC-93. , (2019).">Suka, R., et al. Processing photomosaic imagery of coral reefs using structure-from-motion standard operating procedures. NOAA Technical Memorandum. (NOAA-TM-NMFS-PIFSC-93. , (2019).
  24. Standard Operating Procedure Documents for Coral Reef Ecological Monitoring Collection. UC San Diego Library Digital Collections. , (2023).">Sandin, S. A., et al. Large area imagery collection & processing standard operating procedures - Version 3.0 (2021). Standard Operating Procedure Documents for Coral Reef Ecological Monitoring Collection. UC San Diego Library Digital Collections. , (2023).
  25. Agisoft Metashape Professional Edition. , (2024).">Agisoft Metashape Professional Edition. , (2024).
  26. ESRI Survey123. , (2023).">ESRI Survey123. , (2023).
  27. TagLab: AI-assisted annotation for the fast and accurate semantic segmentation of coral reef orthoimages. J Field Robot. 39 (3), 246-262 (2022).">Pavoni, G., et al. TagLab: AI-assisted annotation for the fast and accurate semantic segmentation of coral reef orthoimages. J Field Robot. 39 (3), 246-262 (2022).
  28. Size-frequency distribution of coral assemblages in insular shallow reefs of the Mexican Caribbean using underwater photogrammetry. PeerJ. 8, e8957(2020).">Hernández-Landa, R. C., Barrera-Falcon, E., Rioja-Nieto, R. Size-frequency distribution of coral assemblages in insular shallow reefs of the Mexican Caribbean using underwater photogrammetry. PeerJ. 8, e8957(2020).
  29. Metrics of coral reef structural complexity extracted from 3D mesh models and digital elevation models. Remote Sens. 12 (17), RS12172676(2020).">Fukunaga, A., Burns, J. H. R. Metrics of coral reef structural complexity extracted from 3D mesh models and digital elevation models. Remote Sens. 12 (17), RS12172676(2020).
  30. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit. , 1682-1691 (2019).">Akkaynak, D., Treibitz, T. Sea-Thru: a method for removing water from underwater images. Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit. , 1682-1691 (2019).
  31. DeepSeeColor: realtime adaptive color correction for autonomous underwater vehicles via deep learning methods. In. Jamieson, S., How, J. P., Girdhar, Y. 2023 IEEE Int Conf Robot Autom, , 3095-3101 (2023).
  32. Accurate scaling and levelling in underwater photogrammetry with a pressure sensor. Int Arch Photogramm Remote Sens Spat Inf Sci. 43 (B2-2021), 667-672 (2021).">Menna, F., Nocerino, E., Chemisky, B., Remondino, F., Drap, P. Accurate scaling and levelling in underwater photogrammetry with a pressure sensor. Int Arch Photogramm Remote Sens Spat Inf Sci. 43 (B2-2021), 667-672 (2021).
  33. Large-area imaging in tropical shallow water coral reef monitoring, research and restoration: a practical guide to survey planning, execution, and data extraction. NOAA Technical Memorandum NOS NCCOS 313. , (2023).">Edwards, C. B., et al. Large-area imaging in tropical shallow water coral reef monitoring, research and restoration: a practical guide to survey planning, execution, and data extraction. NOAA Technical Memorandum NOS NCCOS 313. , (2023).
  34. Agisoft Agisoft Metashape User Manual Professional Edition, Version 2.1. , https://www.agisoft.com/pdf/metashape-pro_2_1_en.pdf (2024).">Agisoft Agisoft Metashape User Manual Professional Edition, Version 2.1. , https://www.agisoft.com/pdf/metashape-pro_2_1_en.pdf (2024).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Underwater PhotogrammetryCoral Reef MonitoringStructure From MotionTime Series ImagingBenthic HabitatGeo ReferencingDigital Elevation ModelOrthomosaic GenerationGround Control MarkersPhotogrammetry Automation

Related Articles