Udostępniamy szczegółowy protokół do przeprowadzania podwodnych badań fotogrametrycznych struktury na podstawie ruchu w celu wygenerowania modeli 3D i ortomozaik.
Artykuł metodologiczny
Udostępniamy szczegółowy protokół do przeprowadzania podwodnych badań fotogrametrycznych struktury na podstawie ruchu w celu wygenerowania modeli 3D i ortomozaik.
Fotogrametria struktury z ruchu (SfM) to technika używana do generowania trójwymiarowych (3D) rekonstrukcji z sekwencji dwuwymiarowych (2D) obrazów. Metody SfM stają się coraz bardziej popularne jako nieinwazyjny sposób monitorowania wielu systemów, w tym krajobrazów antropogenicznych i naturalnych, struktur geologicznych oraz ekosystemów lądowych i wodnych. W tym miejscu udostępniono szczegółowy protokół zbierania obrazów SfM w celu wygenerowania modeli 3D siedlisk bentosowych. Ponadto porównano koszt, oszczędność czasu i jakość wyjściową zastosowania lustrzanki cyfrowej z jednym obiektywem (DSLR) w porównaniu z tańszą kamerą sportową. Zaobserwowano kompromis między czasem obliczeniowym a rozdzielczością, przy czym lustrzanka cyfrowa produkowała modele o ponad dwukrotnie większej rozdzielczości, ale produkcja trwała około 1,4 raza dłużej niż kamera sportowa. Niniejszy elementarz ma na celu zapewnienie dokładnego opisu kroków niezbędnych do zebrania danych SfM w siedliskach bentosowych dla tych, którzy nie są zaznajomieni z tą techniką, a także dla tych, którzy już stosują podobne metody.
Procesy ekosystemowe są naturalnie dynamiczne i mogą być trudne do oszacowania. W ciągu ostatniej dekady nastąpił gwałtowny wzrost nowych technologii uchwycenia ekosystemów i ich dynamiki w różnych skalach, od skanowania laserowego 3D poszczególnych cech ekosystemu po teledetekcję satelitarną dużych obszarów1,2,3. W siedliskach bentosowych struktura jest ściśle związana z funkcją ekosystemu8, co sprawia, że narzędzia, które jednocześnie pozwalają na monitorowanie geometrii i struktury zbiorowisk, są szczególnie cenne dla zrozumienia dynamiki ekologicznej. Jednak wielu nowoczesnych podejść nie można zastosować w systemach wodnych ze względu na właściwości fizyczne wody (np. załamanie, zniekształcenie, zmętnienie). Techniki, takie jak LiDAR (Light Detection and Ranging) i niektóre metody badań lotniczych, mogą być odpowiednie w dużych skalach przestrzennych, ale nie mogą uzyskać rozdzielczości potrzebnej do oceny drobnych zmian w siedliskach bentosowych. Metody fotogrametrii Structure-from-Motion (SfM) zostały ostatnio zaadaptowane do tworzenia wielkoskalowych, wysokorozdzielczych ortomozaik i modeli powierzchniowych 3D podwodnych siedlisk4,5,6,7.
Fotogrametria SfM to stosunkowo tania, prosta, nieinwazyjna i powtarzalna metoda, która pozwala na generowanie wielkoskalowych, wysokorozdzielczych zapisów środowiska bentosowego w ekosystemach wodnych9. SfM wykorzystuje sekwencję obrazów 2D do generowania rekonstrukcji modeli 3D. Modele wygenerowane z SfM mogą być używane do zbierania danych na temat złożoności strukturalnej (np. chropowatości, wymiarowości)4,5,10,11,12 i struktury społeczności (np. skład gatunkowy, demografia populacji)13,14,15 ekosystemów bentosowych. Co więcej, ponieważ metoda ta jest stosunkowo niedroga, szybka i powtarzalna, może być używana zarówno przez naukowców, jak i osoby niebędące naukowcami do zbierania cennych, obiektywnych informacji na temat tych ekosystemów. Dlatego metoda ta jest realną techniką do wykorzystania w projektach nauki obywatelskiej, w których standaryzacja wysiłku związanego z próbkowaniem, minimalizacja stronniczości, zaangażowanie uczestników i łatwość szkolenia mają kluczowe znaczenie dla jakości danych i ogólnego sukcesu16,17.
Ten artykuł zawiera szczegółowy protokół do przeprowadzania podwodnych badań SfM. Jednocześnie porównano użycie lustrzanki cyfrowej z bardziej opłacalną "kamerą sportową" i przedstawiono względne zalety i wady każdej z nich. Ogólnym celem jest jak najszybsze zapoznanie naukowców i osób niebędących naukowcami z metodami badania bentosu SfM poprzez zapewnienie prostego, powszechnie stosowanego protokołu, co z kolei promuje szersze stosowanie tej metody. Przykłady badań, w których zastosowano różne warianty tej metody do badania podwodnych zbiorowisk ekologicznych, można znaleźć w Burns et al. (2015)4, Storlazzi et al. (2016)18, Ventura et al (2016 i 2018)19,20, Edwards et al. (2017)14, George et al. (2018)21, Anelli et al. (2019)22 oraz Torres-Pulliza i in. (2020)10.
Opisana tutaj metoda wymaga dwuosobowego zespołu nurkującego lub nurkowego. Po wybraniu miejsca badania, szpula linii (Rysunek 1A) jest umieszczana w środku stanowiska, a płytki kalibracyjne (Rysunek 1B) są rozmieszczone ~2 m od środka. Jedna osoba (pływak) pływa z kamerą i robi zdjęcia miejsca, podczas gdy druga osoba (asystent) opiekuje się szpulą w środku wykresu (Rysunek 1C). Najpierw pływak łączy aparat ze szpulą za pomocą żyłki, a następnie zaczyna robić ciągłe zdjęcia bentosu podczas pływania twarzą w dół i do przodu, aby odwinąć żyłkę ze szpuli. Pływak powinien przez cały czas utrzymywać odległość pionową ~1 m nad podłożem, dostosowując swoją pozycję do topografii terenu podczas pływania. Co ważne, linka łącząca szpulę i kamerę powinna pozostać napięta przez cały czas, aby stworzyć równomierne odstępy w spirali, gdy pływak bada działkę. Asystent utrzymuje szpulę w stabilnej, pionowej pozycji i dba o to, aby szpula się nie obracała, a żyłka nie plątała się.
Gdy linka zostanie całkowicie rozwinięta, pływak zatrzymuje się, obraca i płynie w przeciwnym kierunku, aby odrzucić linkę wokół szpuli. Gdy pływak zmienia kierunek, asystent obraca szpulę, aby nawinąć żyłkę, dokładnie o 180°, aby zapobiec dokładnemu nakładaniu się ścieżki odpływowej. Gdy pływak znajdzie się jak najbliżej środka, kamera jest odłączana od linki, a asystent bierze szpulę i żyłkę i odpływa od środkowej części miejsca. Następnie pływak kończy obrazowanie środka wykresu, przesuwając kamerę w małej spirali nad środkiem. Chociaż istnieje kilka sposobów na skuteczne zobrazowanie obszaru, opisana tutaj metoda szpuli i żyłki jest skuteczna nawet w nieidealnych warunkach środowiskowych, w których wzburzone wody powierzchniowe, fale lub słaba widoczność mogą w przeciwnym razie utrudniać gromadzenie danych. W tych scenariuszach ta metoda utrzymuje snorkelerów/nurków w przyczepie i zapewnia duże nakładanie się obrazów, utrzymując pływaka na kontrolowanej ścieżce.
1. Materiały
2. Szczegółowe metody
3. Oczyść stronę.
W tym przykładzie wykonano obrazowanie stanowiska rafy koralowej 2_7 położonego na rafie typu patch reef 13 w zatoce Kāneʻohe, Oʻahu, Hawaje, uzyskując 3125 zdjęć JPEG z aparatu lustrzankowego oraz 3125 zrzutów ramek JPEG z nagrania wideo kamery akcji (Tabela 1zostały wykorzystane jako dane wejściowe do tworzenia ortomozajek i modeli 3D. Ogólny przepływ pracy składał się z 5 etapów: 1) wyrównanie zdjęć w celu wygenerowania rzadkiej chmury punktów, 2) skalowanie rzadkiej chmury punktów i optymalizacja położeń kamer, 3) budowa gęstej chmury punktów (na tym etapie generowane były również mapy głębi), 4) tworzenie numerycznego modelu powierzchni (DEM) i ortomozaike, oraz 5) generowanie modelu 3D i tekstury. Należy zauważyć, że etapy 4 i 5 nie muszą być wykonywane koniecznie w tej kolejności, lecz muszą zostać przeprowadzone po przetworzeniu gęstej chmury punktów i map głębi. Georeferencjonowanie modeli powinno zostać wykonane przed wygenerowaniem ortomozaike i modelu DEM. Ustawienia używane dla tych etapów oraz szczegóły przetwarzania przedstawiono w Tabela 2 i Spis materiałówodpowiednio.
Aby uzyskać bardziej szczegółowe informacje na temat tworzenia modeli 3D i ortomozaikek, zobacz Materiały dodatkowe oraz Suka et al.23. Czas przetwarzania był krótszy dla modelu uzyskanego z kamery akcji na każdym etapie, w tym generowaniu chmury punktów rzadkiej i gęstej, renderowaniu modelu siatki oraz renderowaniu modelu teksturalnego. Skutkowało to znacznie krótszym całkowitym czasem przetwarzania modelu z kamery akcji (6 h 39 min) w porównaniu z modelem z kamery lustrzanki (9 h 14 min). Dokładny czas przetwarzania modelu zależy od mocy obliczeniowej i konkretnych ustawień sprzętu.
Model wygenerowany przy użyciu obrazów z kamery lustrzankowej zawierał 2 848 358 punktów chmury rzadkiej i 787 450 347 punktów chmury gęstej, podczas gdy model wygenerowany z obrazów kamery akcji zawierał jedynie 2 630 543 punkty chmury rzadkiej i 225 835 648 punktów chmury gęstej. Skutkowało to tym, że modele z kamery lustrzankowej miały ponad dwukrotnie wyższą rozdzielczość niż modele z kamery akcji, z rozdzielczościami ortomozaiek wynoszącymi odpowiednio 0,442 i 0,208 mm/piksel dla modeli pochodzących z kamery lustrzankowej i kamery akcji (Tabela 1). Mimo lepszej rozdzielczości modelu z kamery lustrzankowej w porównaniu z modelem z kamery akcji, obie metody pozwoliły na wytworzenie modeli wysokiej jakości, z niewielkimi różnicami w prezentacji wizualnej, gdy obszar rafy o powierzchni ~113 m2 został przedstawiony jako dwuwymiarowy model numeryczny wysokości terenu o powierzchni 20 cm2 (Rycina 2 górne panele) lub jako dwuwymiarowa projekcja ortomozaiek (Rycina 2 środkowe panele).

Rysunek 1: Fotogrametria typu „struktura z ruchu” (Structure-from-Motion). (A) Przykład wózka z szpulą do kontrolowania odległości pływaka, wyposażonego w uchwyt i drążek umożliwiające precyzyjne pozycjonowanie i wygodne trzymanie. (B) Płytki kalibracyjne. (C) Schemat trasy pływania z zaznaczeniem względnych pozycji pływaka (zielony) i asystenta (pomarańczowy). Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rycina 2: Wizualne porównanie modeli numerycznych powierzchni i ortomozajek. Modele numeryczne powierzchni (u góry) i ortomozajki (w środku) utworzone na podstawie obrazów z aparatu DSLR (po lewej) i kamery akcji (po prawej). Dolny panel przedstawia powiększenie obszarów w białych ramkach na ortomozajkach. Skale map cieplnych na górnym panelu reprezentują odległość od powierzchni wody w metrach (m). Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.
| Canon EOS Rebel SL3 | GoPro Hero 7 | |
| Koszt | ||
| Aparat | ~$600.00 | ~$220.00 |
| Obudowa podwodna | ~$1 700,00 | NA |
| Całkowity koszt | ~$2 300,00 | ~$220,00 |
| Zdjęcia | ||
| Format pliku zdjęcia | jpeg | jpeg |
| Rozdzielczość zdjęcia | 24 megapiksele | 12 megapikseli (z wideo 4K) |
| Wyrównane zdjęcia / wszystkie zdjęcia | 3125 / 3125 | 3125 / 3125 |
| Metryki fotogrametrii | ||
| Punkty chmury rzadkiej | 2 848 358 | 2 630 543 |
| Punkty chmury gęstej | 787 450 347 | 225 835 648 |
| Ściany (model 3D) | 11 919 451 | 3 834 651 |
| Rozdzielczość modelu cyfrowej powierzchni terenu (DEM) | 0,831 mm/piksel | 1,77 mm/piksel |
| Rozdzielczość ortomozaiki | 0,208 mm/piksel | 0,442 mm/piksel |
| Czasy przetwarzania | ||
| Generowanie chmury rzadkiej | 1 godz. 23 min | 1 godz. 27 min |
| Generowanie chmury gęstej | 4 godz. | 3 godz. 11 min |
| Renderowanie modelu siatki | 3 godz. 32 min | 1 godz. 49 min |
| Renderowanie tekstury | 19 min | 12 min |
| Całkowity czas przetwarzania komputerowego | 9 godz. 14 min | 6 godz. 39 min |
Tabela 1: Szczegółowe informacje o kosztach przygotowania, zdjęciach użytych do budowy modeli, metrykach fotogrametrycznych oraz czasie przetwarzania. Przetwarzanie wykonano przy użyciu tych samych ustawień dla obu modeli. Należy pamiętać, że czas przetwarzania nie obejmuje czasu potrzebnego na różne etapy, takie jak edycja zdjęć, wyodrębnianie obrazów z filmu, ponowne wyrównywanie zdjęć oraz edycję i skalowanie modeli.
| Canon EOS Rebel SL3 | GoPro Hero 7 | |
| Obrazy | ||
| Średni rozmiar pliku | ~ 8,3 MB | ~ 4,7 MB |
| Pozyskiwanie zdjęć | Tryb ciągły | Wyodrębnione z wideo 4K |
| Korekcja kolorów | Ręczna | Ręczna |
| Korekcja obiektywu | Nie | Tak |
| Ustawienia procesu fotogrametrii | ||
| Generowanie chmury rzadkiej | Dokładność: Wysoka | Dokładność: Wysoka |
| Punkt kluczowy: 40 000 | Punkt kluczowy: 40 000 | |
| Punkt wiążący: 4 000 | Punkt wiążący: 4 000 | |
| Selekcja ogólna: Tak | Selekcja ogólna: Tak | |
| Generowanie chmury gęstej | Jakość średnia | Jakość średnia |
| Generowanie modelu siatki 3D | ||
| Dane źródłowe: | Mapy głębi | Mapy głębi |
| Jakość: | Średnia | Średnia |
| Liczba ścian: | Niska | Niska |
| Interpolacja: | Włączona | Włączona |
| Oblicz kolory wierzchołków: | Tak | Tak |
| Generowanie tekstury 3D | ||
| Typ tekstury: | Mapa dyfuzyjna | Mapa dyfuzyjna |
| Dane źródłowe: | Obrazy | Obrazy |
| Tryb mapowania: | Ogólny | Ogólny |
| Tryb mieszania: | Mozajka | Mozajka |
| Rozmiar/ilość tekstury: | 4096 / 1 | 4096 / 1 |
| Model cyfrowej powierzchni terenu (DEM) | Z gęstej chmury | Z gęstej chmury |
| Ortomozajka | Z DEM | Z DEM |
Tabela 2: Szczegółowe informacje na temat zebranych obrazów i przetwarzania fotogrametrycznego. Przetwarzanie wykonano przy użyciu tych samych ustawień dla obu modeli.
Materiał dodatkowy. Kliknij tutaj, aby pobrać ten plik.
Badanie to pokazuje, że zarówno lustrzanka cyfrowa, jak i kamera sportowa wytwarzają modele o rozdzielczości lepszej niż 0,5 mm/piksel w czasie krótszym niż 10 godzin przetwarzania na standardowym komputerze stacjonarnym. Głównym kompromisem między lustrzanką cyfrową a kamerą akcji, oprócz kosztów, jest odpowiednio lepsza rozdzielczość i szybszy czas przetwarzania. Jednak raportowane czasy przetwarzania obejmują tylko przetwarzanie obliczeniowe. Tak więc, chociaż czas obliczeniowy jest krótszy w przypadku kamery sportowej, znaczna ilość czasu (10-20 minut) jest zainwestowana w ekstrakcję obrazu z filmów, która nie jest wymagana w przypadku lustrzanki cyfrowej. Alternatywą jest użycie kamery sportowej w trybie zdjęć seryjnych, aby uniknąć wyodrębniania obrazu. Tryb zdjęć seryjnych nie został użyty w tym przykładzie, ponieważ kamera sportowa może fotografować tylko z prędkością 2 kl./s, co wymaga znacznie wolniejszego tempa pływania, aby zebrać wystarczającą liczbę obrazów do zbudowania kompletnego modelu. W związku z tym istnieje kompromis między dłuższym czasem w terenie w trybie zdjęć seryjnych a dłuższym czasem spędzonym na komputerze, wyodrębnianiu obrazów, podczas korzystania z trybu wideo.
Zalety kamery sportowej to przystępna cena oraz łatwość transportu i obsługi pod wodą. Główną zaletą lustrzanki cyfrowej jest to, że tworzy obrazy o wyższej rozdzielczości; dlatego lustrzanki cyfrowe są zalecane zamiast kamer sportowych, gdy te pierwsze nie są zbyt drogie. Rodzaje pytań, na które stara się odpowiedzieć badanie, będą również ważne przy określaniu zastosowanej metody. Na przykład kamera sportowa może być preferowana w środowiskach, które są stosunkowo jednorodne (np. Trawa morska, martwe siedliska koralowców/gruzów) lub w których oceniane są tylko szerokie wskaźniki społeczności (takie jak obfitość, różnorodność) w dużych skalach przestrzennych. Jednak lustrzanka cyfrowa może być stosowana w przypadkach, gdy interesujące jest śledzenie zmian na dużą skalę w poszczególnych organizmach lub substratach.
Ponieważ jest to metoda terenowa, wyniki modelu będą zależeć od różnych czynników środowiskowych, takich jak oświetlenie, przejrzystość wody, warunki powierzchniowe, wielkość przypływu i ruch ryb lub niestacjonarnych struktur bentosowych (np. trawy morskiej). Chociaż nie ma bezwzględnych progów, kiedy należy stosować tę metodę, lekko pochmurne dni z wysoką przejrzystością wody, spokojnymi warunkami powierzchniowymi i niewielkim przypływem zazwyczaj dają najlepsze modele. Ponadto istnieje ograniczenie minimalnej głębokości wymaganej dla tych metod. Metody te nie sprawdzają się dobrze w warunkach, w których woda znajduje się mniej niż 0,5 m ze względu na niewielkie nakładanie się zdjęć i mniejszą liczbę cech wyróżniających na zdjęciu. Podkreśla to jednak inną zaletę kamer sportowych, tj. są one mniejsze, a co za tym idzie, łatwiejsze w użyciu na płytszych głębokościach. Co więcej, mniejsza średnica szpuli i większa liczba klatek na sekundę (lub obiektyw szerokokątny) mogą poprawić nakładanie się obrazów w bardzo płytkich warunkach9.
Z tym podejściem można zintegrować wiele innych typów danych. Na przykład ortomozaiki zostały wykorzystane do pokazania gęstości przestrzennej danych molekularnych (np. genów i metabolitów) na koralowcach24 i ludziach25 za pomocą oprogramowania open source "ili"26. Ta sama platforma może być również wykorzystana do mapowania zagęszczenia przestrzennego zwierząt, mikroorganizmów, wirusów i/lub substancji chemicznych w środowisku. W innych przykładach wykorzystano SfM do przestrzennego opisywania gatunków bentosowych na ortomozaikach za pomocą oprogramowania systemu informacji geograficznej10. Co więcej, modele 3D wygenerowane przez SfM można wykorzystać do oszacowania cech siedliska, takich jak chropowatość i wymiar fraktalny. Rzeczywiście, przedstawione tu metody zostały niedawno wykorzystane do wyprowadzenia nowej teorii geometrycznej powierzchni siedlisk10. Wreszcie, ortomozaiki są używane jako powierzchnie wejściowe dla przestrzennie jawnych modeli obliczeniowych, co pozwala na nakładanie dynamicznych symulacji na powierzchnię 3D modelu. Możliwość łatwego generowania dużych obrazów i reprezentacji 3D siedlisk bentosowych pozwoliła naukowcom zajmującym się morzem odpowiedzieć na niewyobrażalne dotąd pytania3.
Ogólnie rzecz biorąc, oto szczegółowy protokół do przeprowadzania podwodnej fotogrametrii SfM za pomocą lustrzanek cyfrowych lub bardziej opłacalnych kamer sportowych. Metody te mogą być wykorzystywane przez naukowców do szerokiego zakresu celów, od pozyskiwania danych o ekosystemach bentosowych po opracowywanie powierzchni wejściowych 3D do symulacji in silico . Jednak protokoły te mogą być również wykorzystywane przez osoby niebędące naukowcami w ramach wysiłków nauki obywatelskiej w celu gromadzenia cennych informacji na temat wzorców różnorodności biologicznej, złożoności siedlisk, struktury społeczności i innych wskaźników ekologicznych.
Autorzy nie mają konkurencyjnych interesów finansowych ani innych konfliktów interesów.
Dziękujemy Fundacji Rodziny Paula G. Allena za sfinansowanie tych badań i jesteśmy wdzięczni Ruth Gates za inspirację do wykorzystania technologii do ochrony raf. Dziękujemy również NOAA i innym współpracownikom za wnikliwą dyskusję na temat tych metod. Na koniec dziękujemy Catie Foley i Patrickowi Nicholsowi za udostępnienie filmu z drona i podwodnego filmu przedstawiającego te metody.
Uznajemy National Fish and Wildlife Foundation za partnera finansowego w tej pracy.
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Kamera sportowa (GoPro Hero7 Black) | GoPro | Może być dowolną wodoodporną kamerą sportową | |
| Adobe Lightroom | Adobe | Korekcja kolorów | |
| Płytki kalibracyjne (płaska płyta PCV przycięta na wymiar dla celów Agisoft. Przymocuj ciężarek nurkowy pod spodem, jeśli spodziewasz się fal) | Każdy obiekt o ujemnej pływalności o znanym rozmiarze i kolorze. Zalecamy korzystanie z szablonów znaczników skali dostępnych w oprogramowaniu Agisoft Metashape (v.1.6.0). | ||
| Lustrzanka cyfrowa (Canon EOS Rebel SL3 | Canon | 3453C002AA | Może to być dowolna lustrzanka cyfrowa w podwodnej obudowie |
| Linia (plastikowy filament do sznurka do ubrań) | Dowolna ujemnie wyporna linia, która jest wystarczająco mocna, aby wytrzymać użytkowanie w terenie | ||
| Karta pamięci Micro SDXC (dla GoPro) | |||
| Oceanic Veo 2.0 | Oceanic | Cyfrowy głębokościomierz | |
| Karta pamięci SDXC (dla DSLR) | Każda karta pamięci SDXC powinna działać, o ile jest wystarczająco dużo miejsca, aby pomieścić wszystkie zdjęcia niezbędne do zbudowania modelu | ||
| Szpula (2-calowy odcinek rury PVC o średnicy 8 cali, która została przymocowana do 3-metrowego odcinka 1-calowej rury PVC w celu utworzenia trzpienia | Dowolny ujemnie wyporny, okrągły przedmiot o pożądanej średnicy | ||
| Obudowa kamery podwodnej do lustrzanki cyfrowej (Ikelite 200DLM/C Podwodna obudowa TTL) | Ikelite | 6970.09 | Powinna być specjalną obudową wodną dla marki i modelu |
| DSLRKomputer stacjonarny z systemem Windows 10 z 8-rdzeniowym procesorem Intel i9-9900K, dwoma procesorami graficznymi Nvidia GeForceRTX 2070 SUPER i 128 GB pamięci RAM. | Przetwarzanie |