Summary
우리는 3D 모델과 정사모자이크를 생성하기 위해 수중 움직임 사진 측량 조사를 수행하기 위한 자세한 프로토콜을 제공합니다.
Abstract
SfM(Structure-from-motion) 사진 측량은 일련의 2차원(2D) 이미지에서 3차원(3D) 재구성을 생성하는 데 사용되는 기술입니다. SfM 방법은 인위적 및 자연 경관, 지질 구조, 육상 및 수생 생태계를 포함한 많은 시스템을 모니터링하는 비침습적 방법으로 점점 더 대중화되고 있습니다. 여기서는 저서 서식지의 3D 모델을 생성하기 위해 SfM 이미지를 수집하기 위한 자세한 프로토콜이 제공됩니다. 또한 DSLR(Digital Single Lens Reflex) 카메라를 사용하는 비용과 저렴한 액션 카메라를 사용하는 비용, 시간 효율성 및 출력 품질을 비교했습니다. 계산 시간과 해상도 사이의 균형이 관찰되었으며, DSLR 카메라는 해상도가 두 배 이상 높지만 액션 카메라보다 제작하는 데 약 1.4배 더 오래 걸리는 모델을 제작했습니다. 이 입문서는 기술에 익숙하지 않은 사람들과 이미 유사한 방법을 사용하는 사람들을 위해 저서 서식지에서 SfM 데이터를 수집하는 데 필요한 단계에 대한 철저한 설명을 제공하는 것을 목표로 합니다.
Introduction
생태계 프로세스는 자연적으로 역동적이며 정량화하기 어려울 수 있습니다. 지난 10년 동안 개별 생태계 특징의 3D 레이저 스캐닝에서 넓은 지역의 위성 원격 감지에 이르기까지 다양한 규모로 생태계와 그 역학을 포착하기 위한 새로운 기술이 급증했습니다 1,2,3. 저서 서식지에서 구조는 생태계 기능8과 밀접하게 연결되어 있어 기하학과 군집 구조를 동시에 모니터링할 수 있는 도구가 되어 생태학적 역학을 이해하는 데 특히 유용하다. 그러나 많은 현대적인 접근법은 물의 물리적 특성 (예 : 굴절, 왜곡, 탁도)으로 인해 수생 시스템에서 사용할 수 없습니다. LiDAR (Light Detection and Ranging) 및 일부 항공 측량 방법과 같은 기술은 대규모 공간 규모에 적합 할 수 있지만 저서 서식지의 미세한 규모 변화를 평가하는 데 필요한 해상도를 얻을 수 없습니다. SfM(Structure-from-Motion) 사진 측량 방법은 최근 수중 서식지 4,5,6,7의 대규모, 고해상도 정사모자이크 및 3D 표면 모델을 생성하기 위해 채택되었습니다.
SfM 사진 측량은 상대적으로 저렴하고 간단하며 비침습적이며 반복 가능한 방법으로, 수생 생태계의 저서 환경에 대한 대규모 고해상도 기록을 생성할 수 있다9. SfM은 일련의 2D 이미지를 사용하여 3D 모델 재구성을 생성합니다. SfM에서 생성된 모델은 저서 생태계의 구조적 복잡성(예: 견고성, 차원)4,5,10,11,12 및 군 집 구조(예: 종 구성, 인구 통계)13,14,15에 대한 데이터를 수집하는 데 사용할 수 있습니다. 또한 이 방법은 비교적 저렴하고 빠르며 반복 가능하기 때문에 과학자와 비과학자 모두가 이러한 생태계에 대한 가치 있고 객관적인 정보를 수집하는 데 사용할 수 있습니다. 따라서 이 방법은 샘플링 노력의 표준화, 편향 최소화, 참가자 참여 및 교육 용이성이 데이터 품질과 전반적인 성공에 필수적인 시민 과학 프로젝트에서 사용할 수 있는 실행 가능한 기술입니다16,17.
이 기사는 수중 SfM 조사를 수행하기 위한 자세한 프로토콜을 제공합니다. 동시에 DSLR 카메라의 사용은보다 비용 효율적인 '액션 카메라'의 사용과 비교되었으며 각각의 상대적인 장점과 단점이 설명되었습니다. 전반적인 목표는 간단하고 일반적으로 사용되는 프로토콜을 제공하여 과학자와 비과학자가 저서 SfM 측량 방법을 가능한 한 빨리 익히고 이 방법의 사용을 보다 널리 촉진하는 것입니다. 수중 생태 공동체를 연구하기 위해 이 방법의 변형을 적용한 연구의 예는 Burns et al. (2015)4, Storlazzi et al. (2016)18, Ventura et al. (2016 및 2018)19,20, Edwards et al. (2017)14, George et al. (2018)21, Anelli et al. (2019)22 및 Torres-Pulliza et al. (2020)10.
여기에 설명된 방법에는 2인으로 구성된 스노클링 또는 스쿠버 팀이 필요합니다. 측량 사이트를 선택한 후 선의 스풀(그림 1A)이 사이트 중앙에 배치되고 보정 타일(그림 1B)이 중심에서 ~2m 떨어진 곳에 분포됩니다. 한 사람(수영 선수)은 카메라와 함께 수영하고 현장의 이미지를 캡처하는 반면, 두 번째 사람(조수)은 플롯 중앙에서 스풀을 돌봅니다(그림 1C). 먼저 수영 선수는 라인을 통해 카메라를 스풀에 연결한 다음 스풀에서 라인을 풀기 위해 앞면이 아래로 향하고 앞으로 수영하면서 벤토의 연속 사진을 찍기 시작합니다. 수영자는 항상 기판에서 ~1m의 수직 거리를 유지해야 하며, 수영할 때 지형의 위치와 일치하도록 위치를 조정해야 합니다. 중요한 것은 스풀과 카메라를 연결하는 선이 항상 팽팽하게 유지되어 수영 선수가 플롯을 조사할 때 나선형에 균일한 간격을 만들어야 한다는 것입니다. 어시스턴트는 스풀을 안정적이고 똑바로 세우는 위치에 유지하고 스풀이 회전하지 않고 라인이 엉키지 않도록 합니다.
줄이 완전히 풀리면 수영 선수는 멈추고 회전하고 반대 방향으로 수영하여 스풀 주위의 줄을 반동합니다. 수영 선수가 방향을 바꾸면 어시스턴트가 스풀을 돌려 라인을 정확히 180° 감아 나가는 경로가 정확히 겹치는 것을 방지합니다. 수영 선수가 가능한 한 중앙에 가까워지면 카메라가 라인에서 분리되고 어시스턴트가 스풀과 라인을 잡고 사이트의 중앙 부분에서 수영합니다. 그런 다음 수영 선수는 카메라를 중앙 위로 작은 나선형으로 움직여 플롯의 중심 이미징을 마칩니다. 영역을 효과적으로 이미지화하는 방법에는 여러 가지가 있지만 여기에 설명된 스풀 앤 라인 방법은 고르지 못한 지표수, 팽창 또는 낮은 가시성이 데이터 수집을 방해할 수 있는 이상적이지 않은 환경 조건에서도 강력합니다. 이러한 시나리오에서 이 방법은 스노클러/다이버를 부착된 상태로 유지하고 수영 선수를 통제된 경로에 유지하여 이미지의 높은 겹침을 보장합니다.
Protocol
1. 재료
- 사진기
- 내구성 및 방수 특성(또는 방수 하우징)의 최소 사양과 2프레임/초(fps)의 최소 프레임 속도를 보장합니다.
참고: 이 예에서는 ~4fps의 최소 프레임 속도가 사용되었습니다. - DSLR(Digital Single Lens Reflex) 카메라
- 2fps에서 5fps 사이의 사진 캡처 속도로 연속 촬영하도록 카메라를 설정합니다.
- 이 예에 설명된 프로토콜을 재현하려면 다음 설정으로 수중 하우징( 재료 표 참조)의 카메라를 사용합니다. 수동 모드(M); f10, 18mm; 셔터 속도 = 1/320; 노출 보정 = -1/3; 이미지 품질 = 최고, RAW 없음; 드라이브 모드 = 연속; 자동 초점 = AI SERVO; ISO = 자동, max3200; 파일 번호 = 자동 재설정; 이미지 자동 회전 = 꺼짐; 시간/날짜 = UTC.
- 액션 카메라
- 가능한 최고 해상도 및 프레임 속도로 비디오 모드 또는 연속 촬영 모드로 설정합니다.
참고: 액션 카메라는 프레임 속도가 초당 2개 이상의 이미지인 경우 연속 모드에서도 사용할 수 있습니다. - 이 예제의 프로토콜을 재현하려면( 재료 표 참조) 다음 설정의 방수 액션 카메라를 사용합니다. 비디오 해상도 = 4K(4:3 종횡비); 프레임 속도 = 30fps.
알림: 액션 카메라의 경우 스풀에서 수영 선수에게 카메라를 부착하는 것보다 라인을 부착하는 것이 더 쉬울 수 있습니다. 이 예에서 줄은 작은 끈을 통해 수영 선수의 손목에 부착되었습니다.
- 가능한 최고 해상도 및 프레임 속도로 비디오 모드 또는 연속 촬영 모드로 설정합니다.
- 내구성 및 방수 특성(또는 방수 하우징)의 최소 사양과 2프레임/초(fps)의 최소 프레임 속도를 보장합니다.
- 스풀 리그(그림 1A)
- 스풀이 측량 사이트 반경에 필요한 선 길이를 지탱할 수 있는 적절한 크기인지 확인합니다.
알림: 스풀의 둘레는 나선형 수영 라인의 간격을 제어하고 라인의 길이는 샘플 영역을 결정합니다. 이 예에서는 수영 라인의 ~ 8 인치 (~ 20m) 간격에 ~ 50 인치 (~ 1.3cm) 직경의 스풀이 사용되었습니다. 자세한 내용은 9 를 참조하십시오. - 플랜지 가장자리(스풀 위/오프 라인을 부드럽게 안내하기 위해)가 있는 스풀 채비와 핸들과 폴의 부착 지점(기판에서 높이를 제어하기 위해)을 선택합니다. 스풀 리그가 본질적으로 음의 부력을 갖는지 또는 추를 추가하여 부력이 있는지 확인하십시오.
참고: 이 예에서는 손잡이와 기둥에 폴리염화비닐(PVC) 파이프를 사용하고 스풀을 폴리락트산 플라스틱으로 3D 프린팅했습니다. 그러나 스풀은 큰 PVC 파이프 또는 원하는 직경의 다른 둥근 물체처럼 간단 할 수 있습니다.- 빈번한 사용 및/또는 까다로운 현장 조건의 경우 알루미늄과 같은 내구성이 뛰어난 재료로 만든 스풀을 선택하십시오.
- 사용 중 스풀이 폴에서 회전하거나 회전하지 않도록 하십시오.
- 한쪽 끝은 스풀에 라인을 고정하고 다른 쪽 끝은 카메라에 연결하기 위해 분리 가능한 클립에 고정합니다.
참고: 선의 길이는 사이트의 반경을 정의합니다. 여기서는 직경 12m의 부지에 6m의 선이 사용되었습니다.
- 스풀이 측량 사이트 반경에 필요한 선 길이를 지탱할 수 있는 적절한 크기인지 확인합니다.
- 보정 타일
- 특수 보정 타일이 필요하지는 않지만 알려진 크기의 음의 부력과 인식 가능한 물체가 축척을 위해 모델에 포함되어 있는지 확인하십시오. 서지 및 현재 상태를 고려하여 적절한 재료가 사용되도록 하여 사진 수집 중에 타일이 고정된 상태를 유지하도록 합니다.
참고: 여기에서 특정 소프트웨어 프로그램의 일부로 사용할 수 있는 스케일 마커 템플릿은 1인치 두께의 PVC 타일에 부착된 방수 용지에 인쇄되었습니다. - 다이버는 타일의 깊이를 측정 할 수단이 필요합니다. 이 예에서는 전자 깊이 게이지를 사용합니다( 재료 표 참조).
- 특수 보정 타일이 필요하지는 않지만 알려진 크기의 음의 부력과 인식 가능한 물체가 축척을 위해 모델에 포함되어 있는지 확인하십시오. 서지 및 현재 상태를 고려하여 적절한 재료가 사용되도록 하여 사진 수집 중에 타일이 고정된 상태를 유지하도록 합니다.
- 색상 보정
- 카메라의 화이트 밸런스를 사용자 지정으로 설정합니다. 모든 SfM 설문조사를 시작하기 전에 18% 회색 카드 또는 흰색 다이빙 슬레이트 수중 사진을 찍으십시오. 새 사이트가 시작될 때마다 이 작업을 수행합니다.
참고: 사진은 색상 보정이 가능하며 같은 날 여러 설문 조사를 수행할 때 다운로드한 이미지를 다른 사이트에서 분리하는 데도 도움이 됩니다.
- 카메라의 화이트 밸런스를 사용자 지정으로 설정합니다. 모든 SfM 설문조사를 시작하기 전에 18% 회색 카드 또는 흰색 다이빙 슬레이트 수중 사진을 찍으십시오. 새 사이트가 시작될 때마다 이 작업을 수행합니다.
2. 세부 방법
- 사이트 선택
- 나선형 패턴 전체를 수영할 수 있는 충분한 공간이 있는 사이트를 선택합니다(이 예에서는 ~113m2 ). 조사 대상 영역 외에도 작은 버퍼 영역을 통합하여 전체 조사 영역이 고품질 데이터를 생성하기에 충분히 촬영되도록 합니다.
- 2 인 팀의 능력과 장비를 고려하십시오. 얕은 곳(<~2m)은 스노클에서 조사할 수 있지만 더 깊은 곳은 스쿠버가 필요할 수 있습니다.
- 정기적으로 현장을 반복적으로 조사할 계획이라면 스풀 리그가 배치될 중심점을 태그 또는 영구 구조물(예: 철근 또는 콘크리트 블록)로 표시하십시오. 최소한 정사모자이크 인쇄물의 도움을 받아 사이트를 재배치할 수 있도록 글로벌 포지셔닝 시스템 좌표를 취하십시오.
알림: 영구적인 수중 구조물은 일반적으로 허가가 필요합니다. - 사이트를 준비합니다.
- 사이트 중간에 스풀을 설정합니다.
- 보정 타일을 설정하고 깊이를 기록합니다. 보정 타일을 중앙에서 ~2m 떨어진 곳에 앞면이 보이도록 놓습니다.
참고: 이 예에서는 3개의 보정 타일이 사이트 중앙을 중심으로 삼각형으로 배치되었습니다. 보정 타일은 사진을 수집하는 동안 최소한의 움직임을 보장하기 위해 적절하게 가중치와 위치를 지정해야 합니다.
- 조수가 스풀을 돌보는 동안 수영 선수에게 카메라와 함께 수영하도록 지시하십시오.
- 어시스턴트는 폴과 부착된 스풀을 선택한 장소의 중앙에 똑바로 세우고 스풀 리그를 똑바로 고정합니다.
- 수영 선수가 스풀에 가장 가까운 카메라 측면을 라인에 부착하고 벤토에서 ~1m 떨어진 곳에서 카메라를 똑바로 아래로 향하게 하는지 확인합니다.
알림: 수영 선수가 카메라를 기울여야 하는 경우 수영 선수의 그림자에 이미지가 수집되지 않도록 카메라가 뒤가 아닌 약간 앞으로 기울어져 있는지 확인하십시오. 바깥쪽 나선형과 리턴 나선형 모두에 대해 카메라를 약간 앞으로 기울이면 벤토의 더 나은 각도를 캡처하고 특히 돌출부와 구멍이 있는 경우 더 나은 모델을 생성할 수 있습니다. - 카메라가 적절하게 배치되면 수영 선수는 앞으로 수영하고 라인에서 장력을 유지하면서 벤토의 연속 이미지를 촬영하기 시작합니다.
- 낚싯줄이 스풀에서 완전히 풀릴 때까지 사진을 찍으면서 수영 선수가 일정한 속도로 나선형으로 계속 수영하는지 확인하십시오.
알림: 수영자는 벤토스 위 ~ 1m의 일정한 거리를 유지하고 이미지 사이에 충분한 겹침을 보장하기 위해 적당한 속도로 나선형을 수영해야 합니다. 확실하지 않은 경우 느릴수록 좋습니다. - 매우 험준한 환경(예: 산호초)에서는 선의 중심 위로 마우스를 올리고 장애물 위로 부드럽게 들어 올려 선이 얽히는 것을 방지할 수 있는 세 번째 작업자(두 번째 보조원)를 포함합니다.
- 줄이 완전히 풀리면 수영 선수는 방향을 바꾸고 필요한 경우 카메라를 다시 부착하고 카메라를 반대 방향으로 수영하여 사진을 찍는 동안 줄을 다시 스풀에 감기 시작합니다. 알림: 역나선형을 수영하는 것이 반드시 필요한 것은 아니지만 일반적으로 더 나은 모델을 생성합니다.
- 시간을 절약하기 위해 단일 나선형 방법이 바람직한 경우 수영 선수는 카메라에서 라인을 분리하고 2.4.12 단계로 건너 뛰고 보조자가 라인을 감고 사이트에서 스풀 장비를 제거합니다.
- 수영 선수가 반대 방향으로 수영을 시작하자마자 어시스턴트는 스풀을 회전시켜 새로운 수영 방향에 대해 1/2 바퀴 (180 °) 회전으로 라인을 감습니다. 이 1/2 회전은 수영 선수의 복귀 경로가 원래 경로에서 오프셋되어 사이트의 더 큰 사진 범위를 제공합니다.
- 수영 선수가 계속해서 사진을 찍고 줄이 스풀 주위로 거의 완전히 되감기 될 때까지 역 나선형으로 수영하십시오.
- 수영 선수와 어시스턴트의 간격이 더 이상 진행되지 않을 때, 수영 선수는 사진 촬영을 중단하여 카메라를 라인에서 분리하고 어시스턴트가 사이트 중앙에서 스풀 장비를 제거 할 수 있도록합니다.
- 스풀이 사이트에서 제거되면 수영 선수는 카메라를 똑바로 아래로 향하게 잡고 사이트 중앙에서 작은 나선형 패턴으로 카메라를 움직여 사이트 중심을 이미지화합니다.
3. 사이트를 정리하십시오.
- 현장을 떠나기 전에 보정 타일 및 기타 장비를 픽업하십시오.
알림: 현장에 쓰레기나 장비를 두지 마십시오. 항상 사이트를 찾은 것보다 더 깨끗하게 두십시오.
Representative Results
이 예에서는 하와이 오아후 섬의 Kāne'ohe Bay에있는 Patch Reef 13에 위치한 Reef Site 2_7을 이미지화하고 DSLR의 3,125 JPEG 사진과 액션 카메라 비디오 (표 1)의 3,125 JPEG 프레임 캡처를 입력으로 사용하여 정사 모자이크 및 3D 모델을 만들었습니다. 일반적인 워크플로는 1) 희소 포인트 클라우드를 생성하기 위한 사진 정렬, 2) 희소 포인트 클라우드 크기 조정 및 카메라 최적화, 3) 조밀한 포인트 클라우드 구축(이 단계에서 깊이 맵도 생성됨), 4) 디지털 고도 모델(DEM) 및 정사 모자이크 구축, 5) 3D 모델 및 텍스처 생성의 5단계로 구성되었습니다. 4단계와 5단계는 반드시 이 순서대로 수행할 필요는 없지만 조밀한 포인트 클라우드 및 깊이 맵을 처리한 후에 수행해야 합니다. 모델을 지리 참조하는 것은 정사모자이크 및 DEM을 생성하기 전에 이루어져야 합니다. 이러한 단계에 사용된 설정과 처리 세부 사항은 각각 표 2 와 재료 표에 요약되어 있습니다.
3D 모델 및 정사모자이크를 생성하는 방법에 대한 자세한 방법은 보충 자료 및 Suka et al.23을 참조하십시오. 액션 카메라 파생 모델의 처리 시간은 희소 포인트 클라우드 생성, 고밀도 포인트 클라우드 생성, 메시 모델 렌더링 및 텍스처 모델 렌더링을 포함한 모든 단계에서 더 짧았습니다. 이로 인해 액션 카메라 모델(6시간 39분)의 전체 처리 시간이 DSLR 모델(9시간 14분)보다 훨씬 빨라졌습니다. 모델 처리의 정확한 시간은 계산 능력 및 특정 하드웨어 구성에 따라 다릅니다.
DSLR 카메라의 이미지를 사용하여 생성 된 모델에는 2,848,358 개의 희소 구름 점과 787,450,347 개의 조밀 한 구름 점이 포함되어 있지만 액션 카메라 이미지에서 생성 된 모델에는 2,630,543 개의 희소 구름 점과 225,835,648 개의 조밀 한 구름 점 만 포함되어 있습니다. 이로 인해 DSLR 모델은 DSLR 및 액션 카메라 파생 모델에 대해 각각 0.442mm 및 0.208mm/픽셀의 정사모자이크 해상도를 가진 액션 카메라 모델보다 2배 이상의 해상도를 갖게 되었습니다(표 1). 액션 카메라 모델에 비해 DSLR 모델의 해상도가 더 높았음에도 불구하고 두 방법 모두 ~ 113m 2 암초 영역이 20cm 2 디지털 고도 모델 (그림 2 상단 패널) 또는 2D 정사 모자이크 투영 (그림 2 중간 패널)으로 표현되었을 때 시각적 표현에 거의 차이가 없는 고품질 모델을 생성할 수 있었습니다.
그림 1: Structure-from-Motion 사진 측량. (A) 정확한 위치 지정 및 핸들링을 위해 부착된 핸들과 폴로 수영 거리를 제어하기 위한 스풀 채비의 예. (B) 보정 타일. (C) 수영 선수(녹색)와 보조자(주황색)의 상대적 위치가 있는 수영 경로의 개략도. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 2: 디지털 고도 모델과 정사모자이크의 시각적 비교. DSLR(왼쪽)과 액션 카메라(오른쪽) 이미지로 구성된 디지털 고도 모델(위)과 정사모자이크(가운데). 아래쪽 패널은 정사모자이크의 흰색 상자 영역을 확대한 것입니다. 상단 패널의 히트맵 스케일은 수면으로부터의 거리를 미터(m) 단위로 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
| 캐논 EOS 반란군 SL3 | 고프로 히어로 7 | |
| 비용 | ||
| 사진기 | ~$600.00 | ~$220.00 |
| 수중 하우징 | ~$1,700.00 | 해당 없음 |
| 총 비용 | ~$2,300.00 | ~$220.00 |
| 사진 | ||
| 사진 파일 형식 | .jpeg | .jpeg |
| 사진 해상도 | 24 메가픽셀 | 12메가픽셀(4K 비디오에서) |
| 정렬된 사진/전체 사진 | 3125 / 3125 | 3125 / 3125 |
| 사진 측량 메트릭 | ||
| 희소 구름 점 | 2,848,358 | 2,630,543 |
| 빽빽한 구름 점 | 787,450,347 | 225,835,648 |
| 얼굴(3D 모델) | 11,919,451 | 3,834,651 |
| 디지털 고도 모델(DEM) 해상도 | 0.831mm/픽셀 | 1.77mm/픽셀 |
| 정사모자이크 해상도 | 0.208mm/픽셀 | 0.442mm/픽셀 |
| 처리 시간 | ||
| 희소 클라우드 생성Sparse cloud generation | 1 시간 23 분 | 1 시간 27 분 |
| 고밀도 클라우드 생성 | 4 시간 | 3 시간 11 분 |
| 메시 모델 렌더링 | 3 시간 32 분 | 1 시간 49 분 |
| 텍스처 렌더링 | 19 분 | 12 분 |
| 총 컴퓨터 처리 시간 | 9 시간 14 분 | 6 시간 39 분 |
표 1: 설정 비용, 모델 구성에 사용된 사진, 사진 측량 메트릭 및 처리 시간에 대한 자세한 정보. 처리는 두 모델에 대해 동일한 설정을 사용하여 수행되었습니다. 처리 시간에는 사진 편집, 비디오에서 이미지 추출, 사진 재정렬, 모델 편집 및 크기 조정과 같은 다양한 단계에 대한 시간이 포함되지 않습니다.
| 캐논 EOS 반란군 SL3 | 고프로 히어로 7 | |
| 이미지 | ||
| 평균 파일 크기 | ~ 8.3 메가바이트 | ~ 4.7 메가바이트 |
| 사진 획득 | 연속 모드 | 4K 비디오에서 발췌 |
| 색상 보정 | 수동 | 수동 |
| 렌즈 보정 | 아니요 | 예 |
| 사진 측량 프로세스 설정 | ||
| 희소 클라우드 생성Sparse cloud generation | 정확도 : 높음 | 정확도 : 높음 |
| 핵심 포인트: 40,000 | 핵심 포인트: 40,000 | |
| 타이 포인트: 4,000 | 타이 포인트: 4,000 | |
| 일반 사전 선택: 예 | 일반 사전 선택: 예 | |
| 고밀도 클라우드 생성 | 중간 품질 | 중간 품질 |
| 3D 메시 모델 생성 | ||
| 원본 데이터: | 깊이 맵 | 깊이 맵 |
| 질: | 보통 | 보통 |
| 얼굴 수: | 낮다 | 낮다 |
| 보간법: | 사용 | 사용 |
| 꼭짓점 색상 계산: | 예 | 예 |
| 3D 텍스처 생성 | ||
| 텍스처 유형: | 확산 맵 | 확산 맵 |
| 원본 데이터: | 이미지 | 이미지 |
| 매핑 모드: | 일반적인 | 일반적인 |
| 혼합 모드: | 모자이크 | 모자이크 |
| 텍스처 크기/개수: | 4096 / 1 | 4096 / 1 |
| 디지털 고도 모델(DEM) | 빽빽한 구름에서 | 빽빽한 구름에서 |
| 정사모자이크 | DEM에서 | DEM에서 |
표 2: 수집된 이미지 및 사진 측량 처리에 대한 자세한 정보. 처리는 두 모델에 대해 동일한 설정을 사용하여 수행되었습니다.
보충 자료. 이 파일을 다운로드하려면 여기를 클릭하십시오.
Discussion
이 연구는 DSLR 카메라와 액션 카메라 모두 표준 데스크톱 컴퓨터에서 10시간 미만의 처리 시간으로 0.5mm/픽셀 이상의 해상도를 가진 모델을 생성한다는 것을 보여줍니다. 비용을 제외하고 DSLR과 액션 카메라의 주요 절충안은 각각 더 미세한 해상도와 더 빠른 처리 시간입니다. 그러나 보고된 처리 시간에는 계산 처리만 포함됩니다. 따라서 액션 카메라의 계산 시간은 더 짧지만 DSLR에서는 필요하지 않은 비디오에서 이미지를 추출하는 데 상당한 시간(10-20분)이 투자됩니다. 대안은 이미지 추출을 피하기 위해 연속 촬영 모드에서 액션 카메라를 사용하는 것입니다. 이 예에서는 액션 카메라가 2fps로만 촬영할 수 있기 때문에 연속 촬영 모드가 사용되지 않았으며, 이는 완전한 모델을 구축하기에 충분한 이미지를 수집하기 위해 상당히 느린 수영 속도가 필요합니다. 이와 관련하여 비디오 모드를 사용할 때 연속 촬영 모드를 사용하는 현장에서 더 긴 시간과 컴퓨터에서 더 긴 시간, 이미지를 추출하는 것 사이에는 절충점이 있습니다.
액션 카메라의 장점은 경제성과 수중 운송 및 작동 용이성입니다. DSLR의 가장 큰 장점은 고해상도 이미지를 생성한다는 것입니다. 따라서 DSLR 카메라는 비용이 많이 들지 않는 액션 카메라보다 권장됩니다. 연구가 다루고자 하는 질문의 종류도 사용된 방법을 결정하는 데 중요합니다. 예를 들어, 액션 카메라는 상대적으로 균질한 환경(예: 해초 침대, 죽은 산호/잔해 서식지) 또는 광범위한 커뮤니티 메트릭(예: 풍부함, 다양성)만 큰 공간 규모에서 평가되는 환경에서 선호될 수 있습니다. 그러나 DSLR 카메라는 개별 유기체 또는 기질의 미세한 변화를 추적하는 데 관심이 있는 경우에 배치될 수 있습니다.
이것은 현장 방법이기 때문에 모델 출력은 조명, 물의 투명도, 표면 상태, 서지 양, 물고기 또는 고정되지 않은 저서 구조물(예: 해초)의 움직임과 같은 다양한 환경 요인에 따라 달라집니다. 이 방법을 사용하는 것이 적절한시기에 대한 절대적인 임계 값은 없지만 물의 선명도가 높고 표면 상태가 차분하며 파도가 거의없는 약간 흐린 날은 일반적으로 최상의 모델을 생성합니다. 또한 이러한 방법에 필요한 최소 깊이에는 제한이 있습니다. 이러한 방법은 사진 간의 겹침이 적고 사진당 구별되는 특징이 적기 때문에 수심이 0.5m 미만인 조건에서는 잘 작동하지 않습니다. 그러나 이것은 액션 카메라의 또 다른 장점, 즉 더 작아서 더 얕은 깊이에서 사용하기가 더 쉽다는 점을 강조합니다. 또한, 더 작은 직경의 스풀과 더 높은 프레임 속도(또는 더 넓은 각도의 렌즈)는 매우 얕은 조건에서 이미지 오버랩을 향상시킬 수 있다9.
다른 많은 데이터 유형을 이 접근 방식과 통합할 수 있습니다. 예를 들어, 정사모자이크는 오픈 소스 소프트웨어 'ili'26을 사용하여 산호(24)와 인간(25)에 대한 분자 데이터(예: 유전자 및 대사 산물)의 공간 밀도를 표시하는 데 사용되었습니다. 동일한 플랫폼을 사용하여 환경에서 동물, 미생물, 바이러스 및/또는 화학 물질의 공간 밀도를 매핑할 수도 있습니다. 다른 예들은 지리 정보 시스템 소프트웨어(10)를 사용하여 정사모자이크(orthomosaics)에 저서 종(benthic species)을 공간적으로 주석을 달기 위해 SfM을 사용하였다. 또한 SfM에서 생성된 3D 모델을 사용하여 견고성 및 프랙탈 치수와 같은 서식지 특성을 추정할 수 있습니다. 실제로, 여기에 요약된 방법들은 서식지 표면에 대한 새로운 기하학적 이론을 도출하기 위해 최근에 사용되었다10. 마지막으로, 정사모자이크는 공간적으로 명시적인 계산 모델의 입력 표면으로 사용되어 동적 시뮬레이션을 모델의 3D 표면에 오버레이할 수 있습니다. 저서 서식지의 큰 이미지와 3D 표현을 쉽게 생성할 수 있게 됨으로써 해양 과학자들은 지금까지 상상도 할 수 없었던 질문에 답할 수 있게 되었습니다3.
전반적으로, 다음은 DSLR 카메라 또는 보다 비용 효율적인 액션 카메라로 수중 SfM 사진 측량을 수행하기 위한 자세한 프로토콜입니다. 이러한 방법은 저서 생태계에 대한 데이터 추출에서 인실리코 시뮬레이션을 위한 3D 입력 표면 개발에 이르기까지 광범위한 목적으로 과학자들이 사용할 수 있습니다. 그러나 이러한 프로토콜은 생물 다양성, 서식지 복잡성, 지역 사회 구조 및 기타 생태 지표의 패턴에 대한 귀중한 정보를 수집하기 위한 시민 과학 노력의 일환으로 비과학자도 사용할 수 있습니다.
Disclosures
저자는 경쟁적인 재정적 이해 관계나 기타 이해 상충이 없습니다.
Acknowledgments
이 연구에 자금을 지원해 주신 Paul G. Allen Family Foundation에 감사드리며, 산호초를 보존하는 데 도움이 되는 기술을 사용할 수 있도록 영감을 준 Ruth Gates에게도 감사드립니다. 또한 이러한 방법에 대해 사려 깊은 토론을 해주신 NOAA 및 기타 협력자들에게 감사드립니다. 마지막으로, 이러한 방법에 대한 드론과 수중 비디오를 제공한 Catie Foley와 Patrick Nichols에게 감사드립니다.
우리는 국립 어류 및 야생 동물 재단 (National Fish and Wildlife Foundation)이이 작업의 자금 지원 파트너임을 인정합니다.
Materials
| Name | Company | Catalog Number | Comments |
| Action camera (GoPro Hero7 Black) | GoPro | Could be any waterproof action camera | |
| Adobe Lightroom | Adobe | Color correction | |
| Calibration tiles ( flat PVC board cut to size for Agisoft targets. Attach a dive weight underneath if expecting waves) | Any negatively buoyant object of known size and color. We recommend using the scale marker templates available from Agisoft Metashape software (v.1.6.0). | ||
| DSLR camera (Canon EOS Rebel SL3 ) | Canon | 3453C002AA | Could be any DSLR camera in a underwater housing |
| Line (plastic clothes line filament) | Any negatively buoyant line that is strong enough to withstand field use | ||
| Micro SDXC memory card (for GoPro) | |||
| Oceanic Veo 2.0 | Oceanic | Digital depth gauge | |
| SDXC memory card (for DSLR) | Any SDXC memory card should work, so long as there is enough space to hold all the pictures necessary to build the model | ||
| Spool (2 inch-long section of 8 inch diameter PVC pipe which was attached to a 3 feet section of 1 inch PVC pipe to form the stem | Any negatively buoyant, round object of the desired diameter | ||
| Underwater camera housing for DSLR (Ikelite 200DLM/C Underwater TTL Housing) | Ikelite | 6970.09 | Should be the specific water housing for the DSLR make and model |
| Windows 10 desktop computer with an Intel i9-9900K 8-core CPU, two Nvidia GeForceRTX 2070 SUPER GPUs, and 128 GB of RAM. | Processing |
References
- Levy, J., Hunter, C., Lukacazyk, T., Franklin, E. C. Assessing the spatial distribution of coral bleaching using small unmanned aerial systems. Coral Reefs. 37 (2), 373-387 (2018).
- Muller-Karger, F. E., et al. Satellite sensor requirements for monitoring essential biodiversity variables of coastal ecosystems. Ecological Applications. 28 (3), 749-760 (2018).
- Dornelas, M., et al. Towards a macroscope: Leveraging technology to transform the breadth, scale and resolution of macroecological data. Global Ecology and Biogeography. 28, 1937-1948 (2019).
- Burns, J. H. R., Delparte, D., Gates, R. D., Takabayashi, M. Integrating structure-from-motion photogrammetry with geospatial software as a novel technique for quantifying 3D ecological characteristics of coral reefs. PeerJ. 2015 (3), 1077 (2015).
- House, J. E., et al. Moving to 3D: Relationships between coral planar area, surface area and volume. PeerJ. 2018 (6), 4280 (2018).
- Carlot, J., et al. Community composition predicts photogrammetry-based structural complexity on coral reefs. Coral Reefs. , 1-9 (2020).
- Young, G. C., Dey, S., Rogers, A. D., Exton, D. Cost and time-effective method for multi-scale measures of rugosity, fractal dimension, and vector dispersion from coral reef 3D models. PloS ONE. 12 (4), 0175341 (2017).
- Wilson, S. K., Robinson, J. P. W., Chong-Seng, K., Robinson, J., Graham, N. A. J. Boom and bust of keystone structure on coral reefs. Coral Reefs. 38 (4), 625-635 (2019).
- Pizarro, O., Friedman, A., Bryson, M., Williams, S. B., Madin, J. A simple, fast, and repeatable survey method for underwater visual 3D benthic mapping and monitoring. Ecology and Evolution. 7 (6), 1770-1782 (2017).
- Torres-Pulliza, D., et al. A geometric basis for surface habitat complexity and biodiversity. Nature Ecology & Evolution. 4, 1495-1501 (2020).
- Bayley, D., Mogg, A., Koldewey, H., Purvis, A. Capturing complexity: field-testing the use of 'structure from motion'derived virtual models to replicate standard measures of reef physical structure. PeerJ. 2019 (7), 6540 (2019).
- Leon, J. X., Roelfsema, C. M., Saunders, M. I., Phinn, S. R. Measuring coral reef terrain roughness using 'Structure-from-Motion' close-range photogrammetry. Geomorphology. 242, 21-28 (2015).
- Burns, J. H. R., et al. Assessing the impact of acute disturbances on the structure and composition of a coral community using innovative 3D reconstruction techniques. Methods in Oceanography. 15-16, 49-59 (2016).
- Edwards, C. B., et al. Large-area imaging reveals biologically driven non-random spatial patterns of corals at a remote reef. Coral Reefs. 36, 1291-1305 (2017).
- Piazza, P., et al. Underwater photogrammetry in Antarctica: long-term observations in benthic ecosystems and legacy data rescue. Polar Biology. 42 (6), 1061-1079 (2019).
- Bonney, R., et al. Citizen science: A developing tool for expanding science knowledge and scientific literacy. BioScience. 59 (11), 977-984 (2009).
- Dickinson, J. L., Zuckerberg, B., Bonter, D. N. Citizen science as an ecological research tool: Challenges and benefits. Annual Review of Ecology, Evolution, and Systematics. 41 (1), 149-172 (2010).
- Storlazzi, C. D., Dartnell, P., Hatcher, G., Gibbs, A. E. End of the chain? Rugosity and fine-scale bathymetry from existing underwater digital imagery using structure-from-motion (SfM) technology. Coral Reefs. 35 (3), 889-894 (2016).
- Ventura, D., Lasinio, G. J., Belluscio, A., Ardizzone, G. A low-cost drone based application for identifying and mapping of coastal fish nursery grounds Feeding ecology View project Habitat use of juvenile Diplodus species View project. Estuarine Coastal and Shelf Science. 171, 85-98 (2016).
- Ventura, D., Bonifazi, A., Gravina, M. F., Belluscio, A., Ardizzone, G. Mapping and classification of ecologically sensitive marine habitats using unmanned aerial vehicle (UAV) imagery and object-based image analysis (OBIA). Remote Sensing. 10 (9), 1331 (2018).
- George, E. E., et al. Relevance of coral geometry in the outcomes of the coral-algal benthic war. bioRxiv. , (2018).
- Anelli, M., et al. Towards new applications of underwater photogrammetry for investigating coral reef morphology and habitat complexity in the Myeik Archipelago, Myanmar. Geocarto International. 34 (5), 459-472 (2017).
- Suka, R., et al. Processing photomosaic imagery of coral reefs using structure-from-motion standard operating procedures. U.S. Dept. of Commerce, NOAA Technical Memorandum NOAA-TM-NMFS-PIFSC-93. , (2019).
- Galtier d'Auriac, I., et al. Before platelets: the production of platelet-activating factor during growth and stress in a basal marine organism. Proceedings of the Royal Society B: Biological Sciences. 285 (1884), 20181307 (2018).
- Bouslimani, A., et al. Molecular cartography of the human skin surface in 3D. Proceedings of the National Academy of Sciences of the United States of America. 112 (17), 2120-2129 (2015).
- Protsyuk, I., et al. 3D molecular cartography using LC-MS facilitated by Optimus and 'ili software. Nature Protocols. 13 (1), 134-154 (2018).
