Artykuł metodologiczny

Długoterminowe śledzenie wideo zwierząt wodnych trzymanych w jednym pomieszczeniu: studium przypadku dziennej aktywności lokomotorycznej homarca norweskiego (Nephrops norvegicus)

6.4K wyświetleń

⸱

DOI:

10.3791/58515

⸱

8 kwietnia 2019

 ,  ,  , 
1Universitat Oberta de Catalunya, 2Institute of Marine Sciences, Spanish National Research Council (CSIC), 3Institute for Environmental Protection and Research (ISPRA), 4Department of Biology and Ecology of Fishes, Leibniz-Institute of Freshwater Ecology and Inland Fisheries

* These authors contributed equally

W tym artykule

Podsumowanie

Tutaj prezentujemy protokół do indywidualnego śledzenia zwierząt przez długi okres czasu. Wykorzystuje metody przetwarzania obrazów do identyfikowania zestawu ręcznie skonstruowanych znaczników przy użyciu grupy homarów jako studium przypadku, jednocześnie dostarczając informacji o tym, jak trzymać, manipulować i oznaczać homary.

Streszczenie

Prezentujemy protokół związany z techniką śledzenia wideo opartą na odejmowaniu tła i progowaniu obrazu, która umożliwia indywidualne śledzenie zwierząt trzymanych w jednym domu. Przetestowaliśmy procedurę śledzenia na czterech homarach norweskich (Nephrops norvegicus) trzymanych w kurniku w warunkach jasności i ciemności przez 5 dni. Homary zostały indywidualnie oznakowane. Konfiguracja eksperymentalna i zastosowane techniki śledzenia są w całości oparte na oprogramowaniu open source. Porównanie wyników śledzenia z wykrywaniem ręcznym wskazuje, że homary zostały prawidłowo wykryte w 69% przypadków. Wśród prawidłowo wykrytych homarów ich indywidualne znaczniki zostały poprawnie zidentyfikowane w 89,5% przypadków. Biorąc pod uwagę liczbę klatek na sekundę zastosowaną w protokole i szybkość przemieszczania się homarów, wydajność śledzenia wideo jest dobrej jakości, a reprezentatywne wyniki potwierdzają zasadność protokołu w tworzeniu cennych danych na potrzeby badawcze (indywidualne zajętość przestrzeni lub wzorce aktywności lokomotorycznej). Przedstawiony tutaj protokół można łatwo dostosować, a tym samym można go przenieść na inne gatunki, w przypadku których indywidualne śledzenie osobników w grupie może być cenne dla odpowiedzi na pytania badawcze.

Wprowadzenie

W ciągu ostatnich kilku lat, zautomatyzowane śledzenie oparte na obrazach dostarczyło bardzo dokładne zestawy danych, które mogą być wykorzystane do zbadania podstawowych zagadnień z zakresu ekologii i zachowania1. Te zestawy danych mogą być używane do ilościowej analizy zachowania zwierząt2,3. Jednak każda metodologia obrazowa używana do śledzenia zwierząt i oceny zachowania ma swoje mocne i słabe strony. W protokołach śledzenia opartych na obrazach, które wykorzystują informacje przestrzenne z poprzednich klatek filmu do śledzenia zwierząt4,5,6, mogą wystąpić błędy, gdy ścieżki dwóch zwierząt się przecinają. Błędy te są na ogół nieodwracalne i rozprzestrzeniają się w czasie. Pomimo postępu obliczeniowego, który zmniejsza lub prawie eliminuje ten problem5,7, techniki te nadal wymagają jednorodnych środowisk eksperymentalnych do dokładnej identyfikacji i śledzenia zwierząt.

Użycie znaków, które mogą być jednoznacznie zidentyfikowane u zwierząt, pozwala uniknąć tych błędów i pozwala na długoterminowe śledzenie zidentyfikowanych osobników. Powszechnie stosowane znaczniki (np. kody kreskowe i kody QR) istnieją w przemyśle i handlu i można je zidentyfikować za pomocą dobrze znanych technik widzenia komputerowego, takich jak rzeczywistość rozszerzona (np. ARTag8) i kalibracja kamery (np. CALTag9). Oznaczone zwierzęta były wcześniej wykorzystywane do wysokoprzepustowych badań behawioralnych na różnych gatunkach zwierząt, na przykład ants3 lub bees10, ale niektóre z tych poprzednich systemów nie są zoptymalizowane pod kątem rozpoznawania izolowanych tagów3.

Protokół śledzenia przedstawiony w tym artykule jest szczególnie odpowiedni do śledzenia zwierząt na jednokanałowych obrazach, takich jak światło podczerwone (IR) lub światło monochromatyczne (szczególnie używamy światła niebieskiego). W związku z tym opracowana metoda nie wykorzystuje wskazówek kolorystycznych, mając również zastosowanie do innych ustawień, w których występują ograniczenia w oświetleniu. Ponadto używamy niestandardowych tagów zaprojektowanych tak, aby nie przeszkadzać homarom, a jednocześnie umożliwiać nagrywanie za pomocą tanich kamer. Co więcej, zastosowana tutaj metoda opiera się na wykrywaniu znaczników niezależnych od klatki (tj. algorytm rozpoznaje obecność każdego tagu na obrazie niezależnie od poprzednich trajektorii). Ta funkcja jest istotna w zastosowaniach, w których zwierzęta mogą być tymczasowo zasłonięte lub trajektorie zwierząt mogą się przecinać.

Projekt tagu pozwala na jego użycie w różnych grupach zwierząt. Po ustaleniu parametrów metody można ją przenieść w celu rozwiązania innych problemów związanych ze śledzeniem zwierząt bez konieczności szkolenia specjalnego klasyfikatora (inne skorupiaki lub ślimaki). Głównymi ograniczeniami eksportu protokołu są rozmiar znacznika i konieczność przymocowania go do zwierzęcia (co sprawia, że nie nadaje się on dla małych owadów, takich jak muchy, pszczoły itp.) oraz założenie 2D dla ruchu zwierzęcia. To ograniczenie jest istotne, biorąc pod uwagę, że proponowana metoda zakłada, że rozmiar tagu pozostaje stały. Zwierzę poruszające się swobodnie w środowisku 3D (np. ryba) pokaże różne rozmiary znaczników w zależności od jego odległości od kamery.

Celem tego protokołu jest dostarczenie przyjaznej dla użytkownika metodologii śledzenia wielu oznaczonych zwierząt przez długi okres czasu (tj. dni lub tygodnie) w kontekście 2D. Podejście metodologiczne opiera się na wykorzystaniu oprogramowania i sprzętu open source. Wolne i otwarte oprogramowanie pozwala na adaptacje, modyfikacje i swobodną redystrybucję; W związku z tym wygenerowane oprogramowanie poprawia się na każdym kroku11,12.

Przedstawiony tutaj protokół skupia się na laboratorium ustawionym do śledzenia i oceny aktywności lokomotorycznej czterech zwierząt wodnych w zbiorniku przez 5 dni. Pliki wideo są nagrywane z obrazu poklatkowego 1 s i kompilowane w film z prędkością 20 klatek na sekundę (1 nagrany dzień zajmuje około 1 godziny wideo). Wszystkie nagrania wideo są automatycznie przetwarzane w celu uzyskania pozycji zwierząt, przy użyciu metod i algorytmów widzenia komputerowego. Protokół pozwala na uzyskanie dużych ilości danych śledzenia, unikając ich ręcznego opisywania, co okazało się czasochłonne i pracochłonne w poprzednich pracach eksperymentalnych13.

Używamy homarca (Nephrops norvegicus) do studium przypadku; dlatego zapewniamy warunki laboratoryjne specyficzne dla danego gatunku, aby je utrzymać. Homary wykonują dobrze zbadane rytmy wyłaniania się nor, które są pod kontrolą zegara okołodobowego14,15, a gdy są razem, tworzą hierarchię dominacji16,17. Prezentowany tu model jest więc dobrym przykładem dla badaczy zainteresowanych społeczną modulacją zachowań ze szczególnym uwzględnieniem rytmów okołodobowych.

Przedstawiona tutaj metodologia jest łatwa do odtworzenia i może być zastosowana do innych gatunków, jeśli istnieje możliwość rozróżnienia zwierząt za pomocą indywidualnych znaczników. Minimalne wymagania dotyczące odtworzenia takiego podejścia w laboratorium to: (i) pomieszczenia izotermiczne dla stanowiska doświadczalnego; (ii) stałe zaopatrzenie w wodę; (iii) mechanizmy kontroli temperatury wody; (iv) system sterowania oświetleniem; (v) kamera USB i standardowy komputer.

W tym protokole używamy Python18 i OpenCV19 (Open Source Computer Vision Library). Bazujemy na szybkich i powszechnie stosowanych operacjach (zarówno pod względem implementacji, jak i wykonania), takich jak odejmowanie tła20 oraz progowanie obrazu21,22.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

Gatunek wykorzystany w tym badaniu nie jest gatunkiem zagrożonym ani chronionym. Pobieranie próbek i eksperymenty laboratoryjne przeprowadzono zgodnie z przepisami hiszpańskimi oraz wewnętrznymi regulacjami instytucjonalnymi (ICM-CSIC) dotyczącymi dobrostanu zwierząt. Pobieranie próbek zwierzęcych odbyło się za zgodą władz lokalnych (Rząd Regionalny Katalonii).

1. Utrzymanie zwierząt i pobieranie próbek

UWAGA: Niniejszy protokół opiera się na założeniu, że badacze mogą pobierać osobniki N. norvegicus w terenie w nocy, aby uniknąć uszkodzenia fotoreceptorów23. Należy unikać naświetlania osobników N. norvegicus światłem słonecznym. Po pobraniu homary powinny być trzymane w warunkach aklimatyzacji, podobnych do wcześniej opisywanych17,24, z ciągłym przepływem chłodzonej wody morskiej (13 °C). Zwierzęta wykorzystane w tej pracy to samce w fazie międzyczynsowej o długości głowotułowia (CL; średnia ± SD) wynoszącej 43,92 ± 2,08 mm (N = 4).

  1. Trzymaj osobniki w oddzielnych komorach, aby uniknąć uszkodzeń spowodowanych pojedynkowymi walkami (patrz Rycina 1a-d).
  2. Karm je około 3 razy w tygodniu w losowych godzinach, aby nie zakłócać rytmów dobowych.
    UWAGA: W tym doświadczeniu jako pokarm użyto małżów (około 4 g na homara). Małże zakupiono u dostawców mrożonek przeznaczonych do spożycia przez ludzi.
  3. Użyj światła niebieskiego (425 – 515 nm), aby zasymulować godziny światła zgodnie z czułością spektralną gatunku25 oraz warunkami środowiskowymi na głębokości 400 m26 (patrz Rycina 1c,d).
    UWAGA: Obiekt wyposażony jest w sufit z dwiema niebieskimi (478 nm) lampami fluorescencyjnymi, które w odległości 1 m od lamp generują natężenie światła wynoszące 12 lx. Położenie lamp sufitowych przedstawiono na Rycina 1a, a dane producenta oraz charakterystykę techniczną lamp zamieszczono w Tabeli materiałów.
  4. Dostosuj fotookres w pomieszczeniu adaptacyjnym do 12/12 godzin światła/ciemności lub zasymuluj naturalny fotookres odpowiadający szerokości geograficznej lokalizacji.
  5. Utrzymuj temperaturę w pomieszczeniu na poziomie 13 °C i monitoruj ją 2 razy dziennie, aby upewnić się, że temperatura dopływającej wody morskiej wynosi około 13 °C (patrz Rycina 1e).
  6. Reguluj dopływ wody morskiej z prędkością około 4 L/min, aby zapewnić dobre natlenienie.
    ​UWAGA: Woda morska cyrkuluje w obiegu otwartym (nie stosuje się filtrów ani dodatkowych pomp). Dostawa wody zależy od głównych urządzeń zakładu akwarystycznego.

Schemat systemu akwakultury z układem filtracji i inspekcją w niebieskim świetle (a-e), przegląd sprzętu.
Rysunek 1: Widoki aklimatyzacji obiektu. (a) Półki z zbiornikami. (a1) Dopływ wody morskiej. (a2) Świetlówki sufitowe. (b) Szczegół oświetlenia niebieskim światłem. (c) Szczegół komórki zwierzęcej. (d) Szczegół panelu sterowania izolowanego obiektu. (e) Ustawienie temperatury dla jednego z wejść. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

2. Konstrukcja znacznika

UWAGA: Zastosowany tutaj znacznik może zostać zmieniony w zależności od cech docelowego zwierzęcia lub innych szczególnych uwarunkowań.

  1. Wytnij cztery koła o średnicy 40 mm z czarnego arkusza plastikowego.
  2. Wytnij z białego arkusza plastikowego z PVC dwa trójkąty równoboczne o bokach 26 mm.
  3. Wytnij z białego arkusza plastikowego z PVC dwa koła o średnicy 26 mm.
  4. Oznacz środek białych trójkątów i kół oraz wywierć w nim otwór o średnicy 10 mm.
  5. Przyklej cztery białe kształty do środka czterech czarnych kół.

Diagram optyki geometrycznej, ilustrujący kształty przesłon światła do eksperymentów optycznych.
Rycina 2: Cztery znaczniki używane do indywidualnego oznakowania homarów. Koło, koło z otworem, trójkąt, trójkąt z otworem. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

3. Ustawienie eksperymentalne

UWAGA: Arena doświadczalna powinna znajdować się w pomieszczeniu doświadczalnym oddzielonym, ale położonym w bliskiej odległości od pomieszczenia aklimatyzacyjnego.

  1. Przygotuj komorę doświadczalną, w której temperatura powietrza może być kontrolowana i utrzymywana na tym samym poziomie co temperatura wody morskiej w arenie doświadczalnej.
  2. Zmodyfikuj zbiornik z włókna szklanego (1500 x 700 x 300 mm), aby służył jako arena doświadczalna. Umieść na dnie zbiornika cztery nory wykonane z elastycznych rur PVC i przyklej piasek na powierzchni, po której mają się poruszać homary (Rysunek 3b-e). Szczegółowe informacje zawiera17,27.
    1. Wyposaż arenę doświadczalną w podwodne niebieskie diody LED (472 nm, symulujące warunki dzienne) oraz diody podczerwieni (IR, 850 nm, warunki ciemności) (zobacz również Rysunek 3a)17,24.
      UWAGA: Diody LED są stosowane ze względu na niski wpływ cieplny oraz łatwość elektronicznego sterowania i dostępność otwartego sprzętu. Wykorzystano izolowane pomieszczenie z temperaturą środowiska i wody morskiej wynoszącą 13 ± 0,5 °C.
    2. Zawsze utrzymuj diody IR włączonych.
      UWAGA: Światło podczerwone jest niezbędne do nagrywania wideo zarówno w warunkach ciemności, jak i światła. Nie ma potrzeby ich wyłączania.
    3. Połącz niebieskie diody LED z urządzeniem do sterowania fotoperiodem. Zobacz propozycje w Tabeli materiałów, a dla szczegółowych informacji zapoznaj się z pracą Sbragaglia et al.17 (pokazano również na Rysunek 3a).
      UWAGA: Oświetlenie ma kluczowe znaczenie w przypadku automatycznej analizy wideo lub obrazów. Regularne oświetlenie bez cieni i odbić na powierzchni wody ułatwia późniejszą analizę wideo lub obrazów. W ramach niniejszego protokołu zastosowano wyłącznie warunki 12/12 godziny światło/ciemność. Przejścia między światłem a ciemnością były stopniowe i trwały 30 minut; skrypt sterujący oświetleniem dołączono jako Plik dodatkowy 1.
    4. Umieść dopływ schłodzonej wody morskiej w jednym rogu zbiornika, a odpływ — w rogu przeciwnym.
    5. Reguluj dopływ wody morskiej z prędkością około 4 L/min.
    6. Otocz zbiornik czarną zasłoną, aby zapewnić pełną izolację przed zewnętrznym światłem (Rysunek 3a).
  3. Umieść trójnóg, na którym zamocowana jest kamera internetowa, przy boku areny doświadczalnej i ustaw kamerę wideo dokładnie nad środkiem areny (na wysokości 130 cm), co odpowiada wymiarom 75 cm x 32,5 cm (zobacz Rysunek 3a).
  4. Sprawdź, czy kamera wideo znajduje się w pozycji centralnej (zobacz krok 3.3), aby upewnić się, że przypadkowo się nie przesunęła.
  5. Połącz kamerę internetową z komputerem umieszczonym poza zasłoną (Rysunek 3a).
    1. Zainstaluj oprogramowanie do zarządzania nagrywaniem timelapse przy użyciu kamery wideo.
      UWAGA: Nagrywanie timelapse zależy od szybkości ruchu badanego gatunku. Zobacz również Tabelę materiałów, gdzie podano charakterystykę kamery, obiektywu rybiego oka, komputera, oprogramowania oraz producentów.
    2. Dostosuj parametry nagrywania wideo do cech badanego gatunku.
      UWAGA: Uwzględniając szybkość ruchu N. norvegicus, w niniejszym przypadku zastosowano nagrywanie timelapse co 1 s, a nagrania zapisywano co 24 godziny.
    3. Upewnij się, że na nagraniu timelapse zostaje dodana znacznik czasu (wraz z datą), co może pomóc w późniejszej ręcznej ocenie zachowania.

Schemat układu badawczego z kamerą, lampą LED i zbiornikiem z norami do analizy obserwacji.
Rycina 3: Schemat układu doświadczalnego. (a) Schemat montażu zbiornika doświadczalnego i systemu nagrywania wideo. (b) Widok ogólny zbiornika doświadczalnego. (c) Widok z dołu zbiornika doświadczalnego z zaznaczonymi sztucznymi norami. (d) Widok z góry, pokazujący dno zbiornika doświadczalnego. (e) Szczegół jednego z wejść do nory. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

4. Próba eksperymentalna i przygotowanie zwierząt

UWAGA: Wszystkie etapy z udziałem zwierząt należy przeprowadzać w pomieszczeniu aklimatyzacyjnym i w warunkach czerwonego światła zgodnie z czułością spektralną homara norweskiego25. Podczas przemieszczania zwierząt między pomieszczeniem aklimatyzacyjnym a zakładem doświadczalnym należy unikać jakiegokolwiek narażenia homarów na światło, przykrywając lodówkę nieprzezroczystą czarną torbą.

  1. Przygotuj lodówkę wcześniej podzieloną na cztery zanurzone komory z wodą o temperaturze około 7 °C.
  2. Przygotuj cztery wcześniej wykonane tagi oraz szybki klej, np. cyjanoakrylowy.
  3. Przygotuj tacę z mielonym lodem.
  4. Wybierz cztery homary przeznaczone do oznakowania w zakładzie aklimatyzacyjnym i umieść każdy z nich w osobnej komorze lodówki.
  5. Poczekaj 30 minut, a następnie rozpocznij procedurę oznakowania.
    1. Wziąć jednego homara i umieścić go na mielonym lodzie na 5 minut, aby go unieruchomić i ułatwić oznakowanie.
    2. Osuszyć górną część karapaksu homara za pomocą wchłaniającego papieru i kropnąć na niego szybki klej.
    3. Umieścić tag poziomo na wierzchu karapaksu zwierzęcia, w kontakcie z klejem, i odczekać wystarczający czas na jego stwardnienie (około 20 s).
    4. Wrócić homara do jego komory w lodówce i postępować analogicznie z trzema pozostałymi osobnikami.
    5. Przenieść homary z powrotem do komory, w której się wcześniej znajdowały, i odczekać 24 godziny, aby upewnić się, że tag został prawidłowo przyklejony.
    6. Przenieść homary z zakładu aklimatyzacyjnego do komory doświadczalnej, używając tej samej lodówki, która służyła do oznakowania.
  6. Uruchom nagrywanie wideo i odczekaj 5 minut przed wprowadzeniem oznakowanych homarów. Uzyskaj uśredniony obraz tła na podstawie pierwszych 100 klatek.
    UWAGA: Obowiązkowe jest odczekanie co najmniej 1 minuty, aby uzyskać klatki tła bez obecności oznakowanych homarów; są one potrzebne do przetwarzania wideo.
  7. Wprowadź zwierzęta pojedynczo do zbiornika doświadczalnego, wraz z ich odpowiednimi komorami, zachowując wodę wewnątrz.
  8. Poczekaj, aż opuszczą komory; jeśli nie wychodzą, delikatnie pomóż im, przechylając komorę. Zobacz Ryc. 4 jako przykład zwierząt w zbiorniku w warunkach doświadczalnych.

Test robota drona podwodnego w zamkniętym basenie w celu analizy eksperymentu nawigacji przestrzennej.
Rycina 4: Surowy obraz z wideo. Przykład reprezentatywnego kadru z jednego z filmów timelapse zebranych podczas eksperymentów. W prawym górnym rogu pokazano sygnaturę czasu z datą, godziną i numerem kadru. Zwróć uwagę na różnice w oświetleniu zbiornika w dolnym rogu obrazu. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

5. Skrypt analizy wideo

  1. Przeprowadź analizę po zakończeniu eksperymentu.
    1. Uruchom skrypt analizy wizyjnej do analizy nagrania wideo.
    2. Uruchom program w języku Java, aby obliczyć pozycje oraz dystans pokonany przez homary i wstawić dane do bazy danych.
      UWAGA: Ten program to algorytm oparty na odległości euklidesowej28.
    3. Uruchom skrypt SQL, aby pogrupować dane w wybranych odstępach czasowych (np. co 10 minut).

6. Skrypt wizji komputerowej do analizy wideo

UWAGA: Skrypt unika korekcji obrazu typu „rybie oko”, ponieważ nie wprowadza ona istotnego błędu w układzie eksperymentalnym. Niemniej jednak możliwe jest skorygowanie tego efektu za pomocą funkcji kalibracji kamery w OpenCV29, opartych na metodach rotacji wektorów i macierzy30,31.

  1. Wybierz język Python18 język programowania
  2. Wybierz OpenCV19 biblioteka przetwarzania obrazów i wideo
  3. Wczytaj wideo.
    UWAGA: Formaty wideo .avi lub .mp4 zostały użyte w tym eksperymencie, ale nie jest to obowiązkowe. Zależy to od FourCC32 kodery zainstalowane w systemie operacyjnym
  4. Wykonaj następujące kroki dla każdej ramki Fi w filmie.
    1. Odejmij tło20 B (średnia z ostatnich 100 klatek, uzyskanych w kroku 4.6) z bieżącej klatki Fii zaktualizuj obraz tła B jako Fi. Użyj funkcji BackgroundSubtractorMOG2 z OpenCV19 biblioteka (zobacz skrypty w Dodatkowy plik 2).
    2. Określ zestaw obszarów zainteresowania (ROI) R z pikseli z ruchem istotnym wskazanym przez odejmowanie tła. Użyj metody zastosować z BackgroundSubtractorMOG2 w OpenCV19 biblioteka (zobacz skrypty w Dodatkowy plik 2). W zestawie uwzględnij wykrycia zwierząt z poprzedniej klatki, aby uwzględnić nieruchome zwierzęta.
    3. Wykonaj następujące kroki dla każdego obszaru zainteresowania (ROI) Ri
      1. Zastosuj funkcję dylatacji i oblicz kontury33 obszaru zainteresowania (ROI) Ri. Użyj funkcji rozszerzyć i findContours z OpenCV19 biblioteka (zobacz skrypty w Dodatkowy plik 2).
      2. Oblicz pole powierzchni otoczki34 cześć w liczbie pikseli. Użyj funkcji otoczka wypukła z OpenCV19 biblioteka (zobacz skrypty w Dodatkowy plik 2).
      3. Oblicz promień35 ri obszaru zainteresowania Ri. Użyj funkcji minEnclosingCircle z OpenCV19 biblioteka (zobacz skrypty w Dodatkowy plik 2).
      4. Oblicz współczynnik wypełnienia si obszaru zainteresowania (ROI) Ri. Spójność to stosunek powierzchni konturu (uzyskanej w kroku 6.4.3.1) do powierzchni jej otoczki wypukłej (uzyskanej w kroku 6.4.3.2) Ri.
      5. Oblicz współczynnik proporcji sztuczna inteligencja obszaru zainteresowania Ri. Współczynnik proporcji jest stosunkiem szerokości do wysokości Ri-prostokąt otaczający. Prostokąt otaczający jest obliczany za pomocą funkcji boundingRect z OpenCV19 biblioteka
    4. Wybierz zmniejszony zestaw ROI jako kandydatów na obszary zawierające zwierzęta, dostosowując właściwości takie jak pole powierzchni otoczki, promień, spójność i stosunek boków.
      1. Sprawdź, czy cześć jest mniejsza niż 500.0 lub większe niż 100000.0. Jeśli tak, odrzuć ROI Ri. W przeciwnym razie zachować Ri jako kandydujący ROI dla lokalizacji zwierzęcia.
      2. Sprawdź, czy ri jest mniejsza niż 40.0. Jeśli tak, odrzuć ROI Ri. W przeciwnym razie zachować Ri jako kandydat na ROI dla lokalizacji zwierzęcia.
      3. Sprawdź, czy si jest mniejsza niż -4.0 odłóż ROI na bok Ri. W przeciwnym razie zachowaj Ri jako kandydujący ROI dla lokalizacji zwierzęcia.
      4. Sprawdź, czy sztuczna inteligencja jest mniejsza niż 0.15 lub większe niż 4.0. Jeśli tak, odrzuć pole interesujące (ROI) Ri. W przeciwnym razie zachowaj Ri jako kandydujący ROI dla lokalizacji zwierzęcia.
        UWAGA: Użycie obszarów zainteresowania (ROI) zmniejsza koszt obliczeniowy, skupiając wyszukiwanie tagów na obszarze ciała zwierzęcia. Wykrycia zwierząt z poprzednich klatek są uwzględniane w celu uniknięcia błędnych detekcji, gdy zwierzęta się nie poruszają.
    5. Przeanalizuj obszary zainteresowania (ROI) zwierząt, aby określić tożsamości tagów. Wykonaj poniższe kroki dla każdego ROI Ri i dla każdego wewnętrznego ROI Pii wyodrębnić wewnętrzne obszary zainteresowania (ROI) P.
      1. Przekonwertuj obraz w odcieniach szarości na obraz binarny Pi wykorzystując Otsu36 progowanie algorytm
      2. Oblicz kontury33 z Pi, jak w kroku 6.4.3.1.
      3. Oblicz pole powierzchni otoczki34 cześć i współczynnik proporcji sztuczna inteligencja, jak w krokach 6.4.3.2 i 6.4.3.5.
      4. Oblicz kształt momenty37,38 mi z Pi. Użyj funkcji chwilach z OpenCV19 biblioteka (zobacz skrypty w Dodatkowy plik 2).
      5. Wybierz ograniczony zestaw ROI jako kandydatów na obszary zawierające tagi, stosując następujące kryteria.
        1. Sprawdź, czy cześć jest mniejsza niż 150.0 lub większe niż 500.0. Jeśli tak, odrzuć ROI Pi. W przeciwnym razie zachować Pi jako kandydat na ROI dla lokalizacji znacznika.
        2. Sprawdź, czy sztuczna inteligencja jest mniejsza niż 0.5 lub większe niż 1.5. Jeśli tak, odrzuć ROI Pi. W przeciwnym razie zachować Pi jako kandydat na ROI dla lokalizacji zwierzęcia.
        3. Sprawdź, czy mi jest większe niż 0.3. Jeśli tak, odrzuć ROI Pi. W przeciwnym razie zachowaj Pi jako kandydat na ROI dla lokalizacji zwierzęcia.
    6. Klasyfikuj obszary oznaczone tagiem (ROIs). Przybliż wielokąt39 z wykorzystaniem OpenCV19 funkcja38 dla każdego wybranego obszaru zainteresowania (ROI) Pi19.
      1. Sprawdź, czy w przybliżonym wielokącie znajdują się dokładnie trzy wierzchołki; przypisz etykietę do trójkąt klasie. W przeciwnym razie przypisz koło klasa do regionu tagu.
        UWAGA: Aproksymowany wielokąt jest przechowywany za pomocą macierzy zawierającej wierzchołki.
      2. Sprawdź centralny piksel ROI Pi. Jeśli to jest czarny piksel, przypisać Pi do przebijany klasie. W przeciwnym razie przypisz Pi do biały klasa.
        UWAGA: Środek kształtu jest wyznaczany na podstawie momentów obliczonych w kroku 6.4.5.4. Wyszukaj piksele czarne w obszarze o promieniu 4 pikseli wokół środka.
  5. Zapisz dane klatki: datę klatki, czas klatki, klasę kształtu, współrzędną x środka kształtu i współrzędną y środka kształtu.
  6. Przejdź do następnego klatka lub zakończ proces. Zobacz Rycina 5 poniżej jako przykład wizualny kroków działania skryptu oraz obejrzyj Wideo 1 jako przykład działania skryptu.

Schemat przepływu pracy przetwarzania obrazu dla segmentacji i analizy cech; krok po kroku przewodnik wizualny.
Rycina 5: Istotne kroki skryptu przetwarzania wideo. (1) Oceń ruch wynikający z odejmowania tła na podstawie średniej z ostatnich 100 klatek. (2) Wynik działania algorytmu odejmowania tła. (3) Zastosuj operację morfologiczną rozszerzania (dylatacji) do obszarów wykrytych jako białe. (4) Zastosuj stały, główny ROI (obszar zainteresowania); żółty wielokąt odpowiada dolnemu obszarowi zbiornika. (5) Oblicz kontury dla każdego białego wykrytego obszaru w głównym ROI i przeprowadź analizę strukturalną dla każdego wykrytego konturu. (6) Sprawdź wartości właściwości strukturalnych, a następnie wybierz kandydatów do ROI drugiego poziomu. (7) Binarzuj klatkę przy użyciu algorytmu progowania Otsu; skrypt działa wyłącznie na ROI drugiego poziomu. (8) Dla każdego zbinaryzowanego ROI drugiego poziomu oblicz kontury białych obszarów i przeprowadź analizę strukturalną dla każdego wykrytego konturu. (9) Sprawdź wartości właściwości strukturalnych, a następnie wybierz kandydatów do wewnętrznego ROI. (10) Dla każdego konturu w kandydacie wewnętrznego ROI oblicz deskryptory/momenty. (11) Sprawdź, czy wykryty kształt odpowiada modelowi kształtu i przybliż wielokąt do najlepiej pasujących kandydatów. (12) Sprawdź liczbę wierzchołków przybliżonego wielokąta i określ figurę geometryczną: koło lub trójkąt. (13) Oblicz środek figury i sprawdź, czy występują piksele czarne; jeśli tak, to jest to figura z otworem. (14) Wynik wizualny po analizie klatki. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

Ręcznie przygotowano podzbiór danych eksperymentalnych w celu zweryfikowania analizy wideo przeprowadzonej w sposób automatyczny. Wylosowano próbę o wielkości 1 308 klatek z poziomem ufności 99% (który jest miarą pewności wskazującą, czy próba wiernie odzwierciedla populację w granicach błędu) oraz z błędem względnym wynoszącym 4% (który to procent opisuje, jak blisko odpowiedzi uzyskanej dla próby znajduje się rzeczywista wartość w populacji). Następnie wykonano ręczną adnotację poprawne...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

Wydajność i reprezentatywne wyniki uzyskane przy zastosowaniu protokołu śledzenia wideo potwierdziły jego przydatność w badaniach aplikacyjnych w dziedzinie zachowań zwierząt, ze szczególnym uwzględnieniem modulacji społecznej i rytmów okołodobowych zwierząt utrzymywanych wspólnie. Efektywność detekcji zwierząt (69%) oraz dokładność rozróżniania znaczników (89,5%) w połączeniu z cechami behawioralnymi (np. tempem poruszania się) zastosowanych tutaj gatunków docelowych sugerują, że protokół ten stanowi doskonałe rozwiązan...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

Autorzy nie mają nic do ujawnienia.

Podziękowania

Autorzy są wdzięczni firmie Dr. Joan B., która sfinansowała publikację tej pracy. Autorzy są również wdzięczni technikom strefy akwarium doświadczalnego w Instytucie Nauk o Morzu w Barcelonie (ICM-CSIC) za pomoc podczas prac eksperymentalnych.

Ta praca była wspierana przez projekt RITFIM (CTM2010-16274; główny badacz: J. Aguzzi) założony przez hiszpańskie Ministerstwo Nauki i Innowacji (MICINN), oraz grant TIN2015-66951-C2-2-R z hiszpańskiego Ministerstwa Gospodarki i Konkurencyjności.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Statyw 475ManfrottoA0673528Wycofane
ramię przegubowe 143ManfrottoD0057824Wycofany z produkcji
aparat USB 2.0 uEye LEiDSUI-1545LE-Mhttps://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html
Fish Eye Len C-mount f=6 mm/F1.4InfaimonStandard optyczny https://www.infaimon.com/es/estandar-6mm
Zbiornik z włókna szklanego 1500 x 700 x 300 mm 3< / sup>
ile potrzeba do mocowania konstrukcji z listew drewnianych
2-rdzeniowy procesor, 4 GB RAM, 1 GB grafiki, 500 GB
zewnętrznej pamięci masowej HD HDDPożądana pojemność
2 TB iSPY Sotfware dla komputera z systemem WindowsiSPYhttps://www.ispyconnect.com/download.aspx
Zoneminder Software Linux PCZoneminderhttps://zoneminder.com/
OpenCV 2.4.13.6 BibliotekaOpenCVhttps://opencv.org/
Python 2.4Pythonhttps://www.python.org/
Camping Icebox
Plastikowa taca Żel
cyjanokrylanowydo klejenia tagu" s 
1 arkusz z tworzywa PVC (grubość 1 mm)Konstrukcja tagu
1 biały arkusz z tworzywa PVC (grubość 1 mm)Konstrukcja tagu
4 Tag' s & Oslash; 40 mmMaked z czarno-białym arkuszem z tworzywa sztucznego PVC
3 m Blue Strid Led Ligts (480 nm)Wodoodporne zgodnie z życzeniem
3 m IR Strid Led Ligts (850 nm)Wodoodporne zgodnie z życzeniem
6 m  Rury metakrylanowe i Oslash; 15 mmZamknięta Strid Led
4 Kolanko PVC  45o Ø 63 mmKonstrukcja nory
3 m Elastyczna rura PVC & Oslash; 63 mmKonstrukcja nory
4 Nakrętka PVC i Oslash; 63 mmKonstrukcja nory
4 O-ring & Oslash; 63 mmKonstrukcja nory
4 żeńskie gniazdo PVC klej / gwint & 63 mmKonstrukcja nory
10 m elektryczny DC 12V Mechanizmsterowania oświetleniem
Zasilacz Ligt Zasilacz DC 12 V 300 WMechanizm sterowania oświetleniem
MOSFET, RFD14N05L, N-kanałowy, 14 A, 50 V, 3-pinowy, IPAK (TO-251)RS Components325-7580Mechanizm
sterowania oświetleniemDioda, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-sosnoweRS Components628-9029Mechanizm sterowania oświetleniem
Uchwyt bezpiecznikaRS Components336-7851Mechanizm sterowania oświetleniem
2-drożny zacisk zasilania 3,81 mmRS Components220-4658Mechanizm sterowania światłem
Kondensator 220 µ F 200 VRS Components440-6761Odporność mechanizmu sterowania oświetleniem
2K2 7 WRS Components485-3038Bezpiecznik mechanizmu sterowania oświetleniem
6,3 x 32 mm2 3ARS Components413-210Mechanizm sterowania oświetleniem
Arduino Uno Atmel Atmega 328 Płyta MCURS Components715-4081Mechanizm sterowania światłem
Płytka prototipe Kryza CEM3,3, RE310S2RS Components728-8737Mechanizm sterowania oświetleniem
Przetwornica DC/DC, 12 Vin, +/- 5 Vout 100 mA 1 WRS Components689-5179Mechanizm sterowania oświetleniem
2 SERA T8 niebieska świetlówka księżycowa 36 watówSERAWycofane/Obiekt odizolowany od światła
tkanina filcowa Zbiornik o strukturze drewnianej 5 listew drewnianych 50x50x250 mm Tkanina filcowa o strukturze drewna 10 listew drewnianych 25x25x250 mm Wkręty ze stali nierdzewnej Tyle, PC

Bibliografia

  1. Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
  2. Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
  3. Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090(2013).
  4. Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001(2008).
  5. Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
  6. de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410(2012).
  7. Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
  8. Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
  9. Koch, R., Kolb, A., Rezk-Salama, C. CALTag: High Precision Fiducial Markers for Camera Calibration. Koch, R., Kolb, A., Rezk-salama, C. , (2010).
  10. Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487(2015).
  11. Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
  12. Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
  13. Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
  14. Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893(2015).
  15. Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
  16. Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
  17. Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
  18. Welcome to Python.org. , https://www.python.org/ (2018).
  19. Bradski, G. OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
  20. Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
  21. Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146(2004).
  22. Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
  23. Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
  24. Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
  25. Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
  26. Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
  27. Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
  28. Audin, M. Geometry [Electronic Resource. , Springer Berlin Heidelberg:, Imprint: Springer. Berlin, Heidelberg. (2003).
  29. OpenCV Team Structural Analysis and Shape Descriptors - OpenCV 2.4.13.7 documentation. , https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=findcontours#void%20HuMoments(const%20Moments&%20m,%20OutputArray%20hu) (2018).
  30. Slabaugh, G. G. Computing Euler angles from a rotation matrix. 7, (1999).
  31. Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
  32. www.FOURCC.org - Video Codecs and Pixel Formats. , https://www.fourcc.org/ (2018).
  33. Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
  34. Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
  35. Fitzgibbon, A., Fisher, R. A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
  36. Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
  37. Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
  38. Structural Analysis and Shape Descriptors - OpenCV 2.4.13.6 documentation. , https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018).
  39. Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
  40. Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
  41. Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
  42. Venables, W. N., Ripley, B. D. Modern Applied Statistics with S. , Springer. New York. (2010).
  43. Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
  44. Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
  45. Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
  46. Video tracking software | EthoVision XT. , https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018).
  47. Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
  48. MATLAB - MathWorks. , https://www.mathworks.com/products/matlab.html (2018).
  49. Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
  50. Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
  51. Cary, R. Methyl cyanoacrylate and ethyl cyanoacrylate. , World Health Organization. Geneva. (2001).
  52. Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , http://papers.nips.cc/paper/4824-imagenet-classification-w 1097-1105 (2012).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

odejmowanie t aprogowanie obrazuoprogramowanie otwarto r d oweidentyfikacja znacznik wanaliza behawioralnazaj to przestrzenidobowe rytmy aktywno ci

Powiązane artykuły