Reefshape: system do efektywnego gromadzenia i automatycznego przetwarzania danych z podwodnej fotogrametrii szeregów czasowych do monitorowania siedlisk bentosowych

ReefShape to protokół służący do gromadzenia i automatycznego przetwarzania georeferencyjnych szeregów czasowych zestawów danych z fotogrametrii podwodnej w zakresie monitorowania siedlisk bentosowych. Fotogrametria, czyli obrazowanie dużych obszarów, to narzędzie, które stało się bardzo popularne wśród badaczy raf koralowych do tworzenia cyfrowych modeli 3D i ortorektyfikowanych mozaik fotograficznych 2D o wysokiej rozdzielczości przekrojów bentosu, które można później przeanalizować na komputerze w celu zmierzenia takich rzeczy, jak skład społeczności lub złożoność strukturalna. Gromadzenie tego rodzaju danych i szeregów czasowych do monitorowania raf koralowych jest niezwykle przydatne w kontekście gwałtownego globalnego zaniku ekosystemów koralowych. Fotogrametria podwodna jako koncepcja jest dość prosta. Polega ona na wykonaniu setek lub tysięcy nakładających się na siebie obrazów obszaru, które są wprowadzane do struktury przez oprogramowanie do fotogrametrii ruchu w celu odtworzenia orientacji zdjęć w krajobrazie rafy w 3D. Następnie można wygenerować model siatki, numeryczny model terenu i ortomozaikę 2D z góry na dół. Chociaż istnieje wiele protokołów gromadzenia danych fotogrametrycznych do monitorowania raf, często koncentrują się one na zbieraniu obrazów i pozostawiają opcje przetwarzania indywidualnym badaczom, co może być bardzo czasochłonne i wymaga stromej krzywej uczenia się. Automatyzacja tego procesu jest wyzwaniem, ponieważ modele muszą być odpowiednio przeskalowane, zlokalizowane i precyzyjnie dopasowane do innych punktów czasowych, aby były szczególnie przydatne do analizy danych ekologicznych. Opracowaliśmy ReefShape jako sposób na rozwiązanie tych problemów. Nasza metoda zapewnia rozwiązanie do ustanawiania stałych wykresów monitorowania z rzeczywistymi danymi georeferencyjnymi, wydajnego zbierania zobrazowań szeregów czasowych i przetwarzania danych przy użyciu zestawu niestandardowych skryptów Pythona, które w pełni automatyzują i znacznie upraszczają potok przetwarzania. Z Agisoft Metashape Pro, standardowym w branży oprogramowaniem do fotogrametrii. Nasze skrypty generują skalowane i georeferencyjne dane szeregów czasowych, które są eksportowane w odpowiednich formatach dla typowych procedur wykonywania zadań związanych z analizą oraz oprogramowania GIS i laboratorium znaczników, specjalnie zaprojektowanej aplikacji do szybkiego opisywania ortomozaik raf koralowych. Polegamy na użyciu czterech stałych, automatycznie wykrywalnych znaczników kontroli gruntu, które są mocowane do podłoża podczas pierwszego zakładania działki. Głębokości i lokalizacje GPS tych znaczników są zbierane w pierwszym punkcie czasowym za pomocą Bluetooth GPS i smartfona z niestandardową ankietą, która jest swobodnie dostępna, a następnie wysyła do użytkownika wiadomości e-mail ze wstępnie sformatowanymi danymi o lokalizacji. W celu zbierania danych tymczasowe paski skali są umieszczane na wykresie, a obrazowanie jest wykonywane przez nurka lub snorkelera za pomocą jednej kamery i obiektywu szerokokątnego. Kolejne punkty czasowe wymagają jedynie przemieszczenia i oczyszczenia trwałych znaczników narożnych, umieszczenia podziałek liniowych i zebrania obrazów. Na komputerze nasze niestandardowe skrypty ReefShape ułatwiają automatyczne przetwarzanie i wyrównywanie szeregów czasowych danych obrazowych, oszczędzając badaczowi znaczną ilość czasu i wysiłku, który można zainwestować w analizę danych ekologicznych. Proces rozpoczyna się od przygotowania sprzętu, złożenia zestawu deski do kickboardingu GPS, stworzenia podziałki i stworzenia pliku tekstowego z ich dokładnymi długościami, zakupu znaczników narożnych, montażu systemu kamer i skonfigurowania prawidłowych ustawień, a także skonfigurowania oprogramowania Metashape i zainstalowania skryptów ReefShape na komputerze przetwarzającym. W terenie należy najpierw wybrać odpowiednią działkę. Podobnie jak w przypadku każdego protokołu badań podwodnych, bezpieczeństwo powinno być priorytetem w całym tym procesie. Protokół ten może być wykonany przez jednego badacza lub parę kumpli i może być dostosowany do dowolnej wielkości działki od około 25 metrów kwadratowych do ponad tysiąca metrów kwadratowych. Zalecamy jednak działkę o wymiarach 10 na 10 metrów. Po wybraniu działki badacz instaluje cztery znaczniki narożne podczas nurkowania za pomocą młota kowalskiego i gwoździ murarskich, uważając, aby nie złamać podłoża ani nie uszkodzić żywych koralowców. Idealnymi lokalizacjami są obszary stosunkowo płaskiego, nieożywionego podłoża, które są łatwo widoczne bezpośrednio z góry i nie są narażone na uszkodzenie lub szybką bioerozję, takie jak bardzo porowate szkielety koralowców. Zainstaluj znacznik pierwszy w północno-wschodnim rogu, znacznik drugi na południowym wschodzie, trzeci na południowym zachodzie i czwarty na północnym zachodzie, aby zapewnić spójność i łatwość przenoszenia, w razie potrzeby używając kompasu i taśmy mierniczej. Za pomocą głębokościomierza zapisz głębokość każdego znacznika na tablicy nurkowej. Jeśli pozwolenie lub konieczność uniemożliwia użycie trwałych znaczników, tymczasowe mogą być umieszczane i pobierane po zebraniu zdjęć i danych GPS. Po ułożeniu znaczników narożnych umieść od trzech do pięciu pasków skali na całej powierzchni i użyj ciężarka do nurkowania lub małego kamienia, aby zabezpieczyć każdy z nich i zapobiec ruchowi. Jak w przypadku każdego protokołu fotogrametrii, akwizycja obrazu jest kluczowym krokiem. Protokół ten może działać z większością aparatów podwodnych z obiektywem szerokokątnym, który może robić zdjęcia z szybkością jednego zdjęcia na sekundę, ale szczególnie zalecamy system aparatów z aparatem bezlusterkowym i szerokokątnym obiektywem prostoliniowym o polu widzenia około 90 do stu stopni lub ekwiwalencie pełnoklatkowego ogniskowej od 18 do 22 milimetrów, W połączeniu z podwodną obudową i portem kopułkowym, który jest dobrze dopasowany do obiektywu. Kluczowym celem jest utrzymanie ostrego obrazu. Dlatego zalecamy korzystanie z trybu ręcznego z przysłoną F8.0, czasem otwarcia migawki 1/500 sekundy i automatyczną czułością ISO, aby uzyskać prawidłową ekspozycję dla każdej klatki. W ciemniejszych i głębszych warunkach przysłona F5,6 i czas otwarcia migawki 1/320 sekundy mogą być używane do zwiększenia ilości światła i zmniejszenia poziomu szumów obrazu. Balans bieli powinien być ustawiony na niestandardowy. Należy użyć jednosekundowego timera interwałowego i trybu automatycznego ustawiania ostrości, który ustawia ostrość na początku zbierania obrazu i pozostaje stały przez cały proces fotografowania. Aparat powinien być ustawiony na jednoczesne nagrywanie obrazów JPEG i RAW. Przejdź do mediany głębokości wykresów i ustaw niestandardowy balans bieli w aparacie za pomocą szarej karty lub jednego z końców paska skali. Zaczynając od jednego rogu, ustaw kamerę skierowaną w dół 1.5 do dwóch metrów nad podłożem. Automatycznie ustaw ostrość aparatu na rafie i zacznij robić zdjęcia z prędkością jednej klatki na sekundę, płynąc w kierunku sąsiedniego rogu. Na grafice niebieskie prostokąty reprezentują pozycje zdjęć dla tego wykresu, a podświetlony na czerwono prostokąt pokazuje wzór pływania. Zbierz zdjęcia obejmujące całą działkę w co najmniej półmetrowym buforze na całym obwodzie w serii antyrównoległych przejść, oddalonych od siebie o około metr, konsekwentnie, półtora do dwóch metrów nad rafą. Kiedy wykonasz ten pierwszy zestaw podań, obróć się o 90 stopni i zbierz podobny zestaw podań, kończąc wzór siatki. Zdjęcia powinny być skierowane w dół, z wyjątkiem obszarów o wysokiej reliefie, gdzie aparat powinien być lekko przechylony ukośnie, aby był skierowany prostopadle do powierzchni podłoża. Po wykonaniu zdjęć posprzątaj działkę, pozostawiając tylko zainstalowane znaczniki narożne. Po powrocie na powierzchnię odzyskaj zestaw GPS i przepłyń nad działką, korzystając z ankiety ReefShape w aplikacji ArcGIS Survey123, aby zebrać informacje o lokalizacjach GPS nad każdym z czterech znaczników narożnych. Wróć na łódź, wprowadź informacje o głębokości odpowiadające każdemu znacznikowi i prześlij. W przypadku kolejnych punktów czasowych najpierw przenieś wykres i znajdź znaczniki narożne, korzystając z oryginalnych danych GPS lub wydruku oryginalnej mozaiki fotograficznej punktu czasowego, jako odniesienie, jeśli zajdzie taka potrzeba. Za pomocą plastikowej karty zeskrob wszelkie narośla biotyczne z powierzchni markera. Zastąp wszystkie zgubione lub uszkodzone znaczniki odpowiednim numerem celu i zanotuj go. Umieść paski skali, ustaw balans bieli i zbieraj obrazy jak poprzednio. Aby przetworzyć pierwszy punkt czasowy wykresu, wybierz pełny przepływ pracy ReefShape z niestandardowego paska menu ReefShape. Nazwij projekt jako nazwę działki. Nazwij fragment datą kolekcji obrazu. Zaimportuj swoje zdjęcia i zapisz projekt. Następnie w panelu ogólnym ustaw układ współrzędnych na WGS 84 plus NWZ 96. W tym oknie dialogowym wyświetlane są wybrane ustawienia projektu, które użytkownik może zmodyfikować w razie potrzeby. Wartości domyślne powinny być odpowiednie dla większości sytuacji. Wybierz folder do eksportu danych i zaznacz pola wyboru żądanych wyników, zarówno dla standardowego oprogramowania GIS, jak i laboratorium tagów. W panelu odwołań geograficznych wybierz opcję tak, aby używać znaczników, a następnie znajdź plik podziałki liniowej oraz plik odniesienia geograficznego, który został wysłany do Ciebie pocztą e-mail. Na koniec kliknij OK, aby rozpocząć proces fotogrametrii. Potok niestandardowy będzie automatycznie zapisywany po każdym kroku, umożliwiając użytkownikowi ponowne uruchomienie go z dowolnego punktu procesu bez utraty postępu. Po zakończeniu skrypt wyeksportuje wszystkie żądane produkty danych, raport z przetwarzania i plik kształtu automatycznie wygenerowanego obszaru zainteresowania ograniczonego znacznikami narożnymi. Poszczególne funkcje przydatne w tym procesie są zawarte jako samodzielne narzędzia. w menu ReefShape znajduje się w szczególności funkcja do automatycznego obliczania stosunku powierzchni 3D do powierzchni płaskiej, co jest powszechną metryką do badania złożoności strukturalnej raf. Każdy punkt czasowy wykresu będzie przechowywany jako nowy fragment w tym samym projekcie Metashape. Dla kolejnych punktów czasowych otwórz projekt Metashape wykresów i uruchom skrypt wyrównanych punktów czasowych z menu ReefShape. Kliknij utwórz fragment i nazwij go datą zebrania obrazu. Zaimportuj zdjęcia, a następnie wybierz oryginalny punkt czasu jako fragment odniesienia, a nowy jako aktywny fragment. Jeśli jakiekolwiek znaczniki narożne zostały wymienione pod wodą, zanotuj to w polu rozwijanym. Kliknij w porządku. Spowoduje to wykrycie znaczników i zaimportowanie odniesień geograficznych dla znaczników narożnych z oryginalnego punktu czasu. Sprawdź znaczniki i odniesienia geograficzne w panelu odniesienia. Jeśli jakiekolwiek znaczniki nie zostały wykryte, umieść je ręcznie na co najmniej trzech obrazach, a następnie ponownie uruchom skrypt wyrównanego punktu czasowego, aby poprawnie zaimportować dane referencyjne. Następnie uruchom pełny skrypt przepływu pracy ReefShape. Należy dostosować tylko ustawienia w panelu ogólnym, w szczególności to, które produkty danych mają być eksportowane i gdzie je zapisać. Panele odniesienia geograficznego i ustawień projektu można pozostawić puste. Kliknięcie przycisku OK spowoduje zakończenie procesu fotogrametrii i wyeksportowanie produktów danych wyrównanych do szeregów czasowych. Dla każdego punktu czasowego ważne jest, aby sprawdzić dokładność wyrównania i produktów danych. Jeśli pojawią się jakiekolwiek problemy, może być konieczna ręczna interwencja. Określone fragmenty danych, takie jak ortomozaika, model DEM, model 3D lub punkty wiązania, można usunąć w pełnym ponownym uruchomieniu skryptu przepływu pracy ReefShape, aby je poprawnie zregenerować. Gdy użytkownik jest zadowolony, może przenieść wyeksportowane produkty danych do oprogramowania GIS lub laboratorium tagów dla różnych potoków analizy. Te wizualizacje przedstawiają reprezentatywne wyniki. Czas .1 zawierał 1 299 zdjęć, a czas .2 zawierał 1 974 zdjęcia. Wszystkie zdjęcia zostały odpowiednio wyrównane dla każdego punktu czasowego, a uzyskane dane mają lub oczywiste problemy z jakością obrazu. Dane są wyświetlane w prawidłowej lokalizacji w świecie rzeczywistym, a błąd odniesienia geograficznego dla początkowego punktu czasu wynosi około 30 centymetrów. Błąd głębokości wynosi 2,3 centymetra. Błąd skalowania wynosi 0,14 milimetra, a błąd ponownego rzutowania 1,12 piksela. Błąd między punktami czasowymi wynosi około jednego milimetra. Działka zajmuje powierzchnię 208 metrów kwadratowych w rozdzielczości 0,5 milimetra. Cały proces dla każdego punktu czasowego został zakończony w około osiem godzin na komputerze z niższej półki i w mniej niż dwie godziny na komputerze do gier z wyższej półki. Protokół ten został opracowany w celu sprostania niektórym z głównych wyzwań związanych z fotogrametrią podwodną. W szczególności dzięki zastosowaniu wykrywalnych trwałych znaczników narożnych i podziałek liniowych. W połączeniu z rzeczywistymi informacjami georeferencyjnymi, cały proces fotogrametrii w Metashape staje się zautomatyzowany, co pozwala zaoszczędzić znaczną ilość czasu i wysiłku. Nasze skrypty ReefShape zawierają ulepszenia standardowej procedury wyrównywania zdjęć, które zwiększają liczbę wyrównanych zdjęć w trudnych warunkach i ułatwiają precyzyjne wyrównanie szeregów czasowych między zestawami danych. Zostały one również zaprojektowane w celu zwiększenia wydajności procesu przetwarzania fotogrametrii, aby uniknąć konieczności używania bardzo drogich komputerów do przetwarzania. Naszym nadrzędnym celem jest usunięcie barier, aby fotogrametria podwodna była bardziej dostępna i funkcjonalna dla naukowców, którzy chcą uzyskać ważne dane ekologiczne, aby informować o wysiłkach na rzecz ochrony raf koralowych.