Artykuł metodologiczny

Długoterminowe śledzenie wideo zwierząt wodnych trzymanych w jednym pomieszczeniu: studium przypadku dziennej aktywności lokomotorycznej homarca norweskiego (Nephrops norvegicus)

6.4K wyświetleń

⸱

DOI:

10.3791/58515

⸱

8 kwietnia 2019

 ,  ,  , 
1Universitat Oberta de Catalunya, 2Institute of Marine Sciences, Spanish National Research Council (CSIC), 3Institute for Environmental Protection and Research (ISPRA), 4Department of Biology and Ecology of Fishes, Leibniz-Institute of Freshwater Ecology and Inland Fisheries

* These authors contributed equally

W tym artykule

Podsumowanie

Tutaj prezentujemy protokół do indywidualnego śledzenia zwierząt przez długi okres czasu. Wykorzystuje metody przetwarzania obrazów do identyfikowania zestawu ręcznie skonstruowanych znaczników przy użyciu grupy homarów jako studium przypadku, jednocześnie dostarczając informacji o tym, jak trzymać, manipulować i oznaczać homary.

Streszczenie

Prezentujemy protokół związany z techniką śledzenia wideo opartą na odejmowaniu tła i progowaniu obrazu, która umożliwia indywidualne śledzenie zwierząt trzymanych w jednym domu. Przetestowaliśmy procedurę śledzenia na czterech homarach norweskich (Nephrops norvegicus) trzymanych w kurniku w warunkach jasności i ciemności przez 5 dni. Homary zostały indywidualnie oznakowane. Konfiguracja eksperymentalna i zastosowane techniki śledzenia są w całości oparte na oprogramowaniu open source. Porównanie wyników śledzenia z wykrywaniem ręcznym wskazuje, że homary zostały prawidłowo wykryte w 69% przypadków. Wśród prawidłowo wykrytych homarów ich indywidualne znaczniki zostały poprawnie zidentyfikowane w 89,5% przypadków. Biorąc pod uwagę liczbę klatek na sekundę zastosowaną w protokole i szybkość przemieszczania się homarów, wydajność śledzenia wideo jest dobrej jakości, a reprezentatywne wyniki potwierdzają zasadność protokołu w tworzeniu cennych danych na potrzeby badawcze (indywidualne zajętość przestrzeni lub wzorce aktywności lokomotorycznej). Przedstawiony tutaj protokół można łatwo dostosować, a tym samym można go przenieść na inne gatunki, w przypadku których indywidualne śledzenie osobników w grupie może być cenne dla odpowiedzi na pytania badawcze.

Wprowadzenie

W ciągu ostatnich kilku lat, zautomatyzowane śledzenie oparte na obrazach dostarczyło bardzo dokładne zestawy danych, które mogą być wykorzystane do zbadania podstawowych zagadnień z zakresu ekologii i zachowania1. Te zestawy danych mogą być używane do ilościowej analizy zachowania zwierząt2,3. Jednak każda metodologia obrazowa używana do śledzenia zwierząt i oceny zachowania ma swoje mocne i słabe strony. W protokołach śledzenia opartych na obrazach, które wykorzystują informacje przestrzenne z poprzednich klatek filmu do śledzenia zwierząt4,5,6, mogą wystąpić błędy, gdy ścieżki dwóch zwierząt się przecinają. Błędy te są na ogół nieodwracalne i rozprzestrzeniają się w czasie. Pomimo postępu obliczeniowego, który zmniejsza lub prawie eliminuje ten problem5,7, techniki te nadal wymagają jednorodnych środowisk eksperymentalnych do dokładnej identyfikacji i śledzenia zwierząt.

Użycie znaków, które mogą być jednoznacznie zidentyfikowane u zwierząt, pozwala uniknąć tych błędów i pozwala na długoterminowe śledzenie zidentyfikowanych osobników. Powszechnie stosowane znaczniki (np. kody kreskowe i kody QR) istnieją w przemyśle i handlu i można je zidentyfikować za pomocą dobrze znanych technik widzenia komputerowego, takich jak rzeczywistość rozszerzona (np. ARTag8) i kalibracja kamery (np. CALTag9). Oznaczone zwierzęta były wcześniej wykorzystywane do wysokoprzepustowych badań behawioralnych na różnych gatunkach zwierząt, na przykład ants3 lub bees10, ale niektóre z tych poprzednich systemów nie są zoptymalizowane pod kątem rozpoznawania izolowanych tagów3.

Protokół śledzenia przedstawiony w tym artykule jest szczególnie odpowiedni do śledzenia zwierząt na jednokanałowych obrazach, takich jak światło podczerwone (IR) lub światło monochromatyczne (szczególnie używamy światła niebieskiego). W związku z tym opracowana metoda nie wykorzystuje wskazówek kolorystycznych, mając również zastosowanie do innych ustawień, w których występują ograniczenia w oświetleniu. Ponadto używamy niestandardowych tagów zaprojektowanych tak, aby nie przeszkadzać homarom, a jednocześnie umożliwiać nagrywanie za pomocą tanich kamer. Co więcej, zastosowana tutaj metoda opiera się na wykrywaniu znaczników niezależnych od klatki (tj. algorytm rozpoznaje obecność każdego tagu na obrazie niezależnie od poprzednich trajektorii). Ta funkcja jest istotna w zastosowaniach, w których zwierzęta mogą być tymczasowo zasłonięte lub trajektorie zwierząt mogą się przecinać.

Projekt tagu pozwala na jego użycie w różnych grupach zwierząt. Po ustaleniu parametrów metody można ją przenieść w celu rozwiązania innych problemów związanych ze śledzeniem zwierząt bez konieczności szkolenia specjalnego klasyfikatora (inne skorupiaki lub ślimaki). Głównymi ograniczeniami eksportu protokołu są rozmiar znacznika i konieczność przymocowania go do zwierzęcia (co sprawia, że nie nadaje się on dla małych owadów, takich jak muchy, pszczoły itp.) oraz założenie 2D dla ruchu zwierzęcia. To ograniczenie jest istotne, biorąc pod uwagę, że proponowana metoda zakłada, że rozmiar tagu pozostaje stały. Zwierzę poruszające się swobodnie w środowisku 3D (np. ryba) pokaże różne rozmiary znaczników w zależności od jego odległości od kamery.

Celem tego protokołu jest dostarczenie przyjaznej dla użytkownika metodologii śledzenia wielu oznaczonych zwierząt przez długi okres czasu (tj. dni lub tygodnie) w kontekście 2D. Podejście metodologiczne opiera się na wykorzystaniu oprogramowania i sprzętu open source. Wolne i otwarte oprogramowanie pozwala na adaptacje, modyfikacje i swobodną redystrybucję; W związku z tym wygenerowane oprogramowanie poprawia się na każdym kroku11,12.

Przedstawiony tutaj protokół skupia się na laboratorium ustawionym do śledzenia i oceny aktywności lokomotorycznej czterech zwierząt wodnych w zbiorniku przez 5 dni. Pliki wideo są nagrywane z obrazu poklatkowego 1 s i kompilowane w film z prędkością 20 klatek na sekundę (1 nagrany dzień zajmuje około 1 godziny wideo). Wszystkie nagrania wideo są automatycznie przetwarzane w celu uzyskania pozycji zwierząt, przy użyciu metod i algorytmów widzenia komputerowego. Protokół pozwala na uzyskanie dużych ilości danych śledzenia, unikając ich ręcznego opisywania, co okazało się czasochłonne i pracochłonne w poprzednich pracach eksperymentalnych13.

Używamy homarca (Nephrops norvegicus) do studium przypadku; dlatego zapewniamy warunki laboratoryjne specyficzne dla danego gatunku, aby je utrzymać. Homary wykonują dobrze zbadane rytmy wyłaniania się nor, które są pod kontrolą zegara okołodobowego14,15, a gdy są razem, tworzą hierarchię dominacji16,17. Prezentowany tu model jest więc dobrym przykładem dla badaczy zainteresowanych społeczną modulacją zachowań ze szczególnym uwzględnieniem rytmów okołodobowych.

Przedstawiona tutaj metodologia jest łatwa do odtworzenia i może być zastosowana do innych gatunków, jeśli istnieje możliwość rozróżnienia zwierząt za pomocą indywidualnych znaczników. Minimalne wymagania dotyczące odtworzenia takiego podejścia w laboratorium to: (i) pomieszczenia izotermiczne dla stanowiska doświadczalnego; (ii) stałe zaopatrzenie w wodę; (iii) mechanizmy kontroli temperatury wody; (iv) system sterowania oświetleniem; (v) kamera USB i standardowy komputer.

W tym protokole używamy Python18 i OpenCV19 (Open Source Computer Vision Library). Bazujemy na szybkich i powszechnie stosowanych operacjach (zarówno pod względem implementacji, jak i wykonania), takich jak odejmowanie tła20 oraz progowanie obrazu21,22.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

Gatunek wykorzystany w niniejszym badaniu nie jest gatunkiem zagrożonym ani chronionym. Pobieranie próbek i eksperymenty laboratoryjne były prowadzone zgodnie z ustawodawstwem hiszpańskim oraz wewnętrznymi regulacjami instytucjonalnymi (ICM-CSIC) dotyczącymi dobrostanu zwierząt. Pobieranie próbek zwierząt odbyło się za zgodą lokalnych władz (Rząd Regionalny Katalonii).

1. Utrzymanie i pobieranie próbek od zwierząt

UWAGA: Poniższy protokół opiera się na założeniu, że badacze mogą pobierać próbki N. norvegicus w terenie w nocy, aby uniknąć uszkodzenia fotoreceptorów23. Należy unikać wystawiania N. norvegicus na działanie światła słonecznego. Po pobraniu próbek homary powinny zostać umieszczone w urządzeniu do aklimatyzacji podobnym do opisanego wcześniej17,24, z ciągłym przepływem schłodzonej wody morskiej (13 °C). Zwierzęta wykorzystane w niniejszym badaniu to samce w stanie międzywymiany pancerza o długości głowopiersia (CL; średnia ± SD) wynoszącej 43,92 ± 2,08 mm (N = 4).

  1. Przechowuj osobniki w izolowanych komorach, aby uniknąć obrażeń wynikających z walk między osobnikami (patrz Rycina 1a-d).
  2. Karmienie powinno odbywać się około 3 razy w tygodniu o losowych porach, aby nie zakłócać rytmów okołodobowych.
    UWAGA: W tym eksperymencie jako pokarm wykorzystano małże (około 4 g na homara). Małże zakupiono od dostawców mrożonek i nadawały się one do spożycia przez ludzi.
  3. Użyj światła niebieskiego (425 - 515 nm), aby symulować godziny świetlne zgodnie z czułością widmową gatunku25 oraz warunkami środowiskowymi na głębokości 400 m26 (patrz Rycina 1c,d).
    UWAGA: Wykorzystana tutaj instalacja posiada sufit z dwiema niebieskimi (478 nm) lampami fluorescencyjnymi, które generowały natężenie światła 12 lx w odległości 1 m od lamp. Położenie lamp sufitowych przedstawiono na Rycynie 1a, a producenta i charakterystykę techniczną lamp podano w Tabeli Materiałów.
  4. Dostosuj fotoperiod w instalacji do aklimatyzacji do 12/12 godzin światła/ciemności lub symuluj naturalny fotoperiod dla danej szerokości geograficznej.
  5. Ustaw temperaturę w instalacji na 13 °C i monitoruj ją 2 razy dziennie, aby upewnić się, że temperatura dopływającej wody morskiej wynosi około 13 °C (patrz Rycina 1e).
  6. Reguluj dopływ wody morskiej z prędkością około 4 L/min, aby utrzymać dobre natlenienie.
    ​UWAGA: Woda morska krąży w obiegu otwartym (nie stosuje się filtrów ani dodatkowych pomp). Dostawa wody zależy od głównych systemów technicznych akwarium.

figure-protocol-1
Rycina 1: Widoki aklimatyzacji w obiekcie. (a) Półki z akwariami. (a1) Dopływ wody morskiej. (a2) Fluorescencyjne oświetlenie sufitowe. (b) Szczegół niebieskiego oświetlenia. (c) Szczegół komórki zwierzęcej. (d) Szczegół oddzielnego panelu sterowania obiektem. (e) Ustawienie temperatury dla jednego z wejść. Prosimy kliknąć tutaj, aby zobaczyć powiększoną wersję tej ryciny.

2. Konstrukcja tagu

UWAGA: Zastosowaną tutaj etykietę można zmienić w zależności od cech zwierzęcia docelowego lub innych specyficznych uwarunkowań.

  1. Wytnij z czarnej arkusza plastiku cztery koła o średnicy 40 mm.
  2. Wytnij z białego arkusza plastiku PVC dwa trójkąty równoboczne o bokach 26 mm.
  3. Wytnij z białego arkusza plastiku PVC dwa koła o średnicy 26 mm.
  4. Zaznacz środki białych trójkątów i kół, a następnie wykonaj w nich otwory o średnicy 10 mm.
  5. Przyklej cztery białe elementy do centrów czterech czarnych kół.

figure-protocol-2
Rysunek 2: Cztery znaczniki użyte do indywidualnego znakowania homarów. Koło, koło z otworem, trójkąt, trójkąt z otworem. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

3. Układ doświadczalny

UWAGA: Arena eksperymentalna powinna znajdować się w komorze doświadczalnej oddzielonej od pomieszczenia aklimatyzacyjnego, ale położonej w jego bezpośrednim sąsiedztwie.

  1. Przygotuj komorę eksperymentalną, w której temperatura powietrza może być kontrolowana i utrzymywana na poziomie temperatury wody morskiej w arenie eksperymentalnej.
  2. Przystosuj zbiornik z włókna szklanego (1 500 x 700 x 300 mm) do użytku jako arena eksperymentalna. Zamocuj na dnie zbiornika cztery nory z elastycznych rur PVC i wysyp piasek na powierzchni, po której mają poruszać się homary (Rysunek 3b-e). Więcej szczegółów znajduje się w źródłach17,27.
    1. Wyposaż arenę eksperymentalną w zanurzalne niebieskie diody LED (472 nm, symulujące godziny świetlne) oraz diody IR LED (850 nm, warunki ciemności) (patrz również Rysunek 3a)17,24.
      UWAGA: Zastosowano oświetlenie LED ze względu na niski wpływ cieplny oraz dostępność odpowiednich sterowników elektronicznych i darmowego oprogramowania. Użyto izolowanej instalacji z temperaturą otoczenia i wody morskiej wynoszącą 13 ± 0,5 °C.
    2. Diody IR LED powinny być stale włączone.
      UWAGA: Podczerwień (IR) jest niezbędna do rejestracji wideo w warunkach ciemności oraz w warunkach oświetlenia. Nie ma potrzeby jej wyłączania.
    3. Podłącz niebieskie diody LED do urządzenia sterującego fotoperiodem. Sugestie znajdują się w Tabeli materiałów, a więcej szczegółów można znaleźć u Sbragaglia et al.17 (przedstawione również na Rysunku 3a).
      UWAGA: Oświetlenie w zautomatyzowanych analizach wideo lub obrazu jest kluczowym czynnikiem. Równomierne oświetlenie całej areny bez cieni i odbić od powierzchni wody ułatwia późniejszą analizę wideo lub obrazu. W ramach tego protokołu zastosowano warunki 12/12 godz. światła/ciemności. Przejście między światłem a ciemnością następowało stopniowo w ciągu 30 min; skrypt sterujący oświetleniem został dodany jako Plik uzupełniający 1.
    4. Umieść wlot schłodzonej wody morskiej w jednym narożniku zbiornika, a odpowiadający mu wylot w narożniku przeciwległym.
    5. Ureguluj dopływ wody morskiej do natężenia przepływu około 4 L/min.
    6. Otocz zbiornik czarną zasłoną, aby zapewnić całkowitą izolację od innego światła (Rysunek 3a).
  3. Ustaw statyw, do którego przymocowana jest kamera internetowa, obok areny eksperymentalnej i wypozycjonuj kamerę powyżej (130 cm) i w centrum areny eksperymentalnej (75 cm x 32,5 cm (patrz Rysunek 3a).
  4. Sprawdź, czy kamera wideo znajduje się w pozycji centralnej (patrz krok 3.3), aby upewnić się, że nie została przypadkowo przesunięta.
  5. Podłącz kamerę internetową do komputera znajdującego się poza zasłoną (Rysunek 3a).
    1. Zainstaluj oprogramowanie do zarządzania rejestracją time-lapse kamerą wideo.
      UWAGA: Interwały rejestracji time-lapse zależą od prędkości poruszania się danego gatunku. Charakterystyka i producenci kamery, obiektywu typu rybie oko, komputera oraz oprogramowania użytych w tym badaniu są zamieszczeni w Tabeli materiałów.
    2. Dostosuj parametry nagrywania wideo do charakterystyki gatunku.
      UWAGA: Biorąc pod uwagę tempo mobilności N. norvegicus, zastosowano rejestrację time-lapse co 1 s, a wideo zapisywano co 24 h.
    3. Upewnij się, że w nagraniu time-lapse znajduje się znacznik czasu (w tym data), co może pomóc w późniejszym manualnym ocenianiu zachowań.

figure-protocol-3
Rysunek 3: Układ doświadczalny. (a) Schemat montażu zbiornika doświadczalnego i systemu akwizycji wideo. (b) Widok ogólny zbiornika doświadczalnego. (c) Widok od dołu zbiornika doświadczalnego z zaznaczonymi sztucznymi norami. (d) Widok z góry przedstawiający dno zbiornika doświadczalnego. (e) Szczegół wejścia do jednej z nor. Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.

4. Próba eksperymentalna i przygotowanie zwierząt

UWAGA: Wszystkie etapy z udziałem zwierząt muszą być przeprowadzane w pomieszczeniu aklimatyzacyjnym i w warunkach czerwonego światła, zgodnie z czułością widmową homara norweskiego25. Podczas przenoszenia zwierząt między pomieszczeniem aklimatyzacyjnym a eksperymentalnym należy unikać wystawiania homarów na działanie światła, używając nieprzezroczystej czarnej torby do przykrycia lodówki transportowej.

  1. Przygotować lodówkę podzieloną wcześniej na cztery oddzielne komory wypełnione wodą o temperaturze około 7 °C.
  2. Przygotować cztery wcześniej wykonane znaczniki oraz szybkoschnący klej, np. cyjanoakrylowy.
  3. Przygotować tacę z kruszonym lodem.
  4. Wybrać w pomieszczeniu aklimatyzacyjnym cztery homary do oznakowania i umieścić każdego z nich w oddzielnej komorze lodówki.
  5. Odczekać 30 min, a następnie rozpocząć procedurę znakowania.
    1. Wyjąć homara i położyć go na kruszonym lodzie na 5 min, aby go unieruchomić i ułatwić operację znakowania.
    2. Osuszyć górną część głowopiersia homara papierem chłonnym i nanieść na nią kroplę szybko schnącego kleju.
    3. Umieścić znacznik poziomo na górnej części głowopiersia zwierzęcia, w kontakcie z klejem, i odczekać do jego utwardzenia (około 20 s).
    4. Przenieść homara z powrotem do jego komory w lodówce i w ten sam sposób postąpić z pozostałymi trzema zwierzętami.
    5. Umieścić homary z powrotem w ich poprzednich zbiornikach i odczekać 24 h, aby upewnić się, że znacznik został prawidłowo przyklejony.
    6. Przenieść homary z pomieszczenia aklimatyzacyjnego do komory eksperymentalnej, używając tej samej lodówki, która służyła do procedury znakowania.
  6. Uruchomić nagrywanie wideo i odczekać 5 min przed wprowadzeniem oznakowanych homarów. Uzyskać uśredniony obraz tła z pierwszych 100 klatek.
    UWAGA: Oczekiwanie przez minimum 1 min jest niezbędne do uzyskania klatek tła bez oznakowanych homarów; są one wymagane do przetwarzania wideo.
  7. Wprowadzać zwierzęta pojedynczo do zbiornika eksperymentalnego w ich odpowiednich komorach, zachowując w nich wodę.
  8. Odczekać, aż zwierzęta wyjdą z komór; jeśli nie wyjdą, pomóc im delikatnie, przechylając komorę. Patrz Rysunek 4 jako przykład zwierząt w zbiorniku w warunkach eksperymentalnych.

figure-protocol-4
Rysunek 4: Surowa klatka wideo. Przykład reprezentatywnej klatki z jednego z filmów poklatkowych zarejestrowanych podczas eksperymentów. W prawym górnym rogu przedstawiono znacznik czasu z datą, godziną i numerem klatki. Zwróć uwagę na różnice w oświetleniu zbiornika w dolnym rogu obrazu. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

5. Skrypt analizy wideo

  1. Przeprowadź analizę po zakończeniu eksperymentu.
    1. Uruchom skrypt komputerowego wspomagania wzroku do analizy wideo.
    2. Uruchom program Java w celu obliczenia pozycji i dystansu pokonanego przez homary oraz wprowadzenia danych do bazy danych.
      UWAGA: Program ten opiera się na algorytmie odległości euklidesowej28.
    3. Uruchom skrypt SQL w celu pogrupowania danych w wybranych przedziałach czasowych (np. 10 min).

6. Skrypt komputerowego wspomagania wzroku do analizy wideo

UWAGA: Skrypt pomija korekcję obrazu z efektu „rybiego oka”, ponieważ nie wprowadza ona istotnego błędu w konfiguracji eksperymentalnej. Niemniej jednak, jest możliwe skorygowanie tego za pomocą funkcji kalibracji kamery OpenCV 29 opartych na metodach rotacji wektorów i macierzy30,31.

  1. Wybierz język Python18 język programowania
  2. Wybierz OpenCV19 biblioteka do przetwarzania obrazów i wideo.
  3. Wczytaj wideo.
    UWAGA: Formaty wideo .avi lub .W tym eksperymencie wykorzystano pliki mp4, jednak nie jest to wymóg obowiązkowy. Zależy to od kodu FourCC.32 kodeki zainstalowane w systemie operacyjnym.
  4. Wykonaj następujące kroki dla każdej klatki Fi w filmie.
    1. Odejmij tło20 B (średnia z ostatnich 100 klatek, uzyskana w kroku 4.6) z bieżącej klatki Fi, a następnie zaktualizuj obraz tła B jako FiUżyj funkcji BackgroundSubtractorMOG2 z biblioteki OpenCV19 biblioteka (patrz skrypty w) Plik uzupełniający 2).
    2. Wyznacz zestaw obszarów zainteresowania (ROI) R z pikseli z istotnym ruchem wskazanym przez odejmowanie tła. Należy zastosować metodę stosować z BackgroundSubtractorMOG2 w bibliotece OpenCV19 biblioteka (patrz skrypty w obrębie) Plik uzupełniający 2). W zbiorze należy uwzględnić detekcje zwierząt z poprzedniej klatki, aby wziąć pod uwagę zwierzęta nieruchome.
    3. Wykonaj następujące kroki dla każdego obszaru zainteresowania (ROI) Ri
      1. Zastosuj funkcję rozszerzenia (dilate) i oblicz kontury33 obszaru zainteresowania (ROI) RiUżyj funkcji rozszerzyć i wyznaczKontury z biblioteki OpenCV19 biblioteka (patrz skrypty w Plik uzupełniający 2).
      2. Oblicz powierzchnię kadłuba34 Witaj w liczbie pikseli. Należy użyć funkcji otoczka wypukła z biblioteki OpenCV19 biblioteka (patrz skrypty w) Plik uzupełniający 2).
      3. Oblicz promień35 ri obszaru ROI RiUżyj funkcji minimalny okrąg otaczający z biblioteki OpenCV19 biblioteka (patrz skrypty w Plik uzupełniający 2).
      4. Oblicz zwartość układ odpornościowy obszaru zainteresowania (ROI) RiSolidność jest stosunkiem pola powierzchni konturu (uzyskanego w kroku 6.4.3.1) do pola powierzchni jego otoczki wypukłej (uzyskanej w kroku 6.4.3.2) w przypadku Ri.
      5. Oblicz współczynnik proporcji (aspect ratio) sztuczna inteligencja obszaru zainteresowania (ROI) RiStosunek szerokości do wysokości (aspect ratio) to stosunek szerokości do wysokości Ri-prostokąt ograniczający. Prostokąt ograniczający jest obliczany za pomocą funkcji prostokąt ograniczający z biblioteki OpenCV19 biblioteka
    4. Wybierz zredukowany zestaw ROI jako kandydatów do zawierania zwierząt, dostosowując parametry pola wypukłej otoczki (hull area), promienia, zwartości (solidity) oraz współczynnika proporcji (aspect ratio).
      1. Sprawdzić, czy Cześć jest mniejsze niż 500.0 lub większy niż 100000.0Jeśli tak, odrzuć obszar zainteresowania (ROI). RiW przeciwnym razie zachować Ri jako kandydujący obszar zainteresowania (ROI) dla lokalizacji zwierzęcia.
      2. Sprawdzić, czy ri jest mniejsze niż 40.0Jeśli tak, odrzuć obszar zainteresowania (ROI) RiW przeciwnym razie należy zachować Ri jako potencjalny ROI (region zainteresowania) dla lokalizacji zwierzęcia.
      3. Sprawdzić, czy si jest mniejsze niż -4.0 usuń ROI RiW przeciwnym razie należy zachować Ri jako potencjalny obszar zainteresowania (ROI) dla lokalizacji zwierzęcia.
      4. Sprawdzić, czy Sztuczna inteligencja jest mniejsze niż 0.15 lub większy niż 4.0Jeśli tak, odrzuć ROI. RiW przeciwnym razie należy zachować Ri jako potencjalny obszar zainteresowania (ROI) dla lokalizacji zwierzęcia.
        UWAGA: Zastosowanie obszarów zainteresowania (ROI) zmniejsza koszt obliczeniowy, koncentrując wyszukiwanie znaczników na obszarze ciała zwierzęcia. Detekcje zwierząt z poprzednich klatek są uwzględniane, aby uniknąć błędnych detekcji w sytuacjach, gdy zwierzęta pozostają w bezruchu.
    5. Przeanalizuj obszary zainteresowania (ROI) zwierząt, aby określić tożsamość znaczników. Wykonaj następujące kroki dla każdego ROI: Ri a dla każdego wewnętrznego ROI Pioraz wyodrębnić wewnętrzne ROI P.
      1. Zbinaryzuj obraz w skali szarości Pi używając Otsu36 progowanie algorytm
      2. Oblicz kontury33 z Pi, jak w kroku 6.4.3.1.
      3. Oblicz powierzchnię kadłuba34 Cześć or proporcja obrazu Sztuczna inteligencja, tak jak w krokach 6.4.3.2 i 6.4.3.5.
      4. Oblicz kształt momenty37,38 mi z PiUżyj funkcji momenty z biblioteki OpenCV19 biblioteka (patrz skrypty w części) Plik uzupełniający 2).
      5. Wybierz zredukowany zestaw obszarów zainteresowania (ROI), które będą kandydatami do zawierania znaczników, stosując następujące kryteria.
        1. Sprawdź, czy Cześć jest mniejsze od 150.0 lub większy niż 500.0Jeśli tak, należy odrzucić ROI. PiW przeciwnym razie zachować Pi jako potencjalny obszar zainteresowania (ROI) dla lokalizacji znacznika.
        2. Sprawdź, czy Sztuczna inteligencja jest mniejszy niż 0.5 lub większe niż 1.5Jeśli tak, odrzuć ROI PiW przeciwnym razie zachować Pi jako potencjalny obszar zainteresowania (ROI) dla lokalizacji zwierzęcia.
        3. Sprawdź, czy mi jest większy niż 0.3Jeśli tak, odrzuć ROI Pi. W przeciwnym razie należy zachować Pi jako potencjalny obszar zainteresowania (ROI) dla lokalizacji zwierzęcia.
    6. Klasyfikuj regiony zainteresowania (ROI). Przybliż wielokąt39 przy użyciu OpenCV19 funkcja38 dla każdego wybranego obszaru zainteresowania (ROI) Pi19.
      1. Sprawdź, czy przybliżony wielokąt posiada dokładnie trzy wierzchołki; przypisz znacznik do trójkąt klasę. W przeciwnym razie przypisz okrąg klasa do regionu tagu.
        UWAGA: Przybliżony wielokąt jest zapisywany w postaci macierzy zawierającej jego wierzchołki.
      2. Sprawdź centralny piksel obszaru ROI PiJeśli jest to czarny piksel, przypisać Pi do perforowany klasę. W przeciwnym razie przypisz Pi do biały klasa
        UWAGA: Centrum kształtu jest wyznaczane na podstawie momentów obliczonych w kroku 6.4.5.4. Należy wyszukać czarne piksele w obszarze o promieniu 4 pikseli wokół centrum.
  5. Zapisz dane klatki: datę klatki, czas klatki, klasę kształtu, współrzędną x środka kształtu oraz współrzędną y środka kształtu.
  6. Przejdź do następnej klatki lub zakończ proces. Zobacz Rycina 5 poniżej przedstawiono wizualny przykład kroków skryptu roboczego; należy również obejrzeć Wideo 1 jako przykład działania skryptu.

figure-protocol-5
Rysunek 5: Istotne etapy skryptu przetwarzania wideo. (1) Ocena ruchu po odjęciu tła w oparciu o średnią z ostatnich 100 klatek. (2) Wynik działania algorytmu odejmowania tła. (3) Zastosowanie morfologicznej operacji dylatacji do obszarów wykrytych jako białe. (4) Zastosowanie  stałego, głównego ROI; żółty wielokąt odpowiada obszarowi dolnego zbiornika. (5) Obliczanie konturów dla każdego białego obszaru w głównym ROI oraz przeprowadzenie analizy strukturalnej dla każdego wykrytego konturu. (6) Sprawdzenie wartości właściwości strukturalnych, a następnie wybór kandydatów na ROI drugiego poziomu. (7) Binaryzacja klatki przy użyciu algorytmu progowania Otsu; skrypt pracuje wyłącznie na ROI drugiego poziomu. (8) Dla każdego zbinaryzowanego ROI drugiego poziomu obliczanie konturów białych obszarów i przeprowadzenie analizy strukturalnej dla każdego wykrytego konturu. (9) Sprawdzenie wartości właściwości strukturalnych, a następnie  wybór kandydatów na ROI wewnętrzne. (10) Obliczanie deskryptorów/momentów dla każdego konturu w obrębie kandydata na ROI wewnętrzne. (11) Sprawdzenie, czy wykryty kształt odpowiada kształtowi modelu, oraz aproksymacja wielokąta dla najlepiej dopasowanych kandydatów. (12) Sprawdzenie liczby wierzchołków aproksymowanego wielokąta i określenie figury geometrycznej: koła lub trójkąta. (13) Obliczenie środka figury i sprawdzenie obecności czarnych pikseli; jeśli występują, jest to figura z otworem. (14) Wynik wizualny po analizie klatki. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

Ręcznie opracowaliśmy podzbiór danych eksperymentalnych w celu walidacji zautomatyzowanej analizy wideo. Losowo wybrano próbkę o rozmiarze 1 308 klatek przy poziomie ufności 99% (który jest miarą pewności wskazującą, czy próbka dokładnie odzwierciedla populację w ramach marginesu błędu) oraz marginesie błędu wynoszącym 4% (który jest wartością procentową określającą, jak blisko rzeczywistej wartości w populacji znajduje się odpowiedź uzyskana z próbki), a następnie wykonano ręczną adnotac...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

Wydajność i reprezentatywne wyniki uzyskane przy zastosowaniu protokołu śledzenia wideo potwierdziły jego przydatność w badaniach aplikacyjnych w dziedzinie behawioru zwierząt, ze szczególnym uwzględnieniem modulacji społecznej i rytmów okołodobowych zwierząt utrzymywanych wspólnie. Efektywność detekcji zwierząt (69%) oraz dokładność rozróżniania znaczników (89,5%) w połączeniu z charakterystyką behawioralną (np. szybkością poruszania się) wykorzystanego tutaj gatunku docelowego sugerują, że protokół ten stanowi optymaln...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

Autorzy nie mają nic do ujawnienia.

Podziękowania

Autorzy są wdzięczni firmie Dr. Joan B., która sfinansowała publikację tej pracy. Autorzy są również wdzięczni technikom strefy akwarium doświadczalnego w Instytucie Nauk o Morzu w Barcelonie (ICM-CSIC) za pomoc podczas prac eksperymentalnych.

Ta praca była wspierana przez projekt RITFIM (CTM2010-16274; główny badacz: J. Aguzzi) założony przez hiszpańskie Ministerstwo Nauki i Innowacji (MICINN), oraz grant TIN2015-66951-C2-2-R z hiszpańskiego Ministerstwa Gospodarki i Konkurencyjności.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Statyw 475ManfrottoA0673528Wycofane
ramię przegubowe 143ManfrottoD0057824Wycofany z produkcji
aparat USB 2.0 uEye LEiDSUI-1545LE-Mhttps://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html
Fish Eye Len C-mount f=6 mm/F1.4InfaimonStandard optyczny https://www.infaimon.com/es/estandar-6mm
Zbiornik z włókna szklanego 1500 x 700 x 300 mm 3< / sup>
ile potrzeba do mocowania konstrukcji z listew drewnianych
2-rdzeniowy procesor, 4 GB RAM, 1 GB grafiki, 500 GB
zewnętrznej pamięci masowej HD HDDPożądana pojemność
2 TB iSPY Sotfware dla komputera z systemem WindowsiSPYhttps://www.ispyconnect.com/download.aspx
Zoneminder Software Linux PCZoneminderhttps://zoneminder.com/
OpenCV 2.4.13.6 BibliotekaOpenCVhttps://opencv.org/
Python 2.4Pythonhttps://www.python.org/
Camping Icebox
Plastikowa taca Żel
cyjanokrylanowydo klejenia tagu" s 
1 arkusz z tworzywa PVC (grubość 1 mm)Konstrukcja tagu
1 biały arkusz z tworzywa PVC (grubość 1 mm)Konstrukcja tagu
4 Tag' s & Oslash; 40 mmMaked z czarno-białym arkuszem z tworzywa sztucznego PVC
3 m Blue Strid Led Ligts (480 nm)Wodoodporne zgodnie z życzeniem
3 m IR Strid Led Ligts (850 nm)Wodoodporne zgodnie z życzeniem
6 m  Rury metakrylanowe i Oslash; 15 mmZamknięta Strid Led
4 Kolanko PVC  45o Ø 63 mmKonstrukcja nory
3 m Elastyczna rura PVC & Oslash; 63 mmKonstrukcja nory
4 Nakrętka PVC i Oslash; 63 mmKonstrukcja nory
4 O-ring & Oslash; 63 mmKonstrukcja nory
4 żeńskie gniazdo PVC klej / gwint & 63 mmKonstrukcja nory
10 m elektryczny DC 12V Mechanizmsterowania oświetleniem
Zasilacz Ligt Zasilacz DC 12 V 300 WMechanizm sterowania oświetleniem
MOSFET, RFD14N05L, N-kanałowy, 14 A, 50 V, 3-pinowy, IPAK (TO-251)RS Components325-7580Mechanizm
sterowania oświetleniemDioda, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-sosnoweRS Components628-9029Mechanizm sterowania oświetleniem
Uchwyt bezpiecznikaRS Components336-7851Mechanizm sterowania oświetleniem
2-drożny zacisk zasilania 3,81 mmRS Components220-4658Mechanizm sterowania światłem
Kondensator 220 µ F 200 VRS Components440-6761Odporność mechanizmu sterowania oświetleniem
2K2 7 WRS Components485-3038Bezpiecznik mechanizmu sterowania oświetleniem
6,3 x 32 mm2 3ARS Components413-210Mechanizm sterowania oświetleniem
Arduino Uno Atmel Atmega 328 Płyta MCURS Components715-4081Mechanizm sterowania światłem
Płytka prototipe Kryza CEM3,3, RE310S2RS Components728-8737Mechanizm sterowania oświetleniem
Przetwornica DC/DC, 12 Vin, +/- 5 Vout 100 mA 1 WRS Components689-5179Mechanizm sterowania oświetleniem
2 SERA T8 niebieska świetlówka księżycowa 36 watówSERAWycofane/Obiekt odizolowany od światła
tkanina filcowa Zbiornik o strukturze drewnianej 5 listew drewnianych 50x50x250 mm Tkanina filcowa o strukturze drewna 10 listew drewnianych 25x25x250 mm Wkręty ze stali nierdzewnej Tyle, PC

Bibliografia

  1. Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
  2. Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
  3. Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090(2013).
  4. Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001(2008).
  5. Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
  6. de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410(2012).
  7. Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
  8. Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
  9. Koch, R., Kolb, A., Rezk-Salama, C. CALTag: High Precision Fiducial Markers for Camera Calibration. Koch, R., Kolb, A., Rezk-salama, C. , (2010).
  10. Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487(2015).
  11. Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
  12. Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
  13. Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
  14. Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893(2015).
  15. Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
  16. Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
  17. Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
  18. Welcome to Python.org. , https://www.python.org/ (2018).
  19. Bradski, G. OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
  20. Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
  21. Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146(2004).
  22. Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
  23. Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
  24. Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
  25. Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
  26. Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
  27. Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
  28. Audin, M. Geometry [Electronic Resource. , Springer Berlin Heidelberg:, Imprint: Springer. Berlin, Heidelberg. (2003).
  29. OpenCV Team Structural Analysis and Shape Descriptors - OpenCV 2.4.13.7 documentation. , https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=findcontours#void%20HuMoments(const%20Moments&%20m,%20OutputArray%20hu) (2018).
  30. Slabaugh, G. G. Computing Euler angles from a rotation matrix. 7, (1999).
  31. Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
  32. www.FOURCC.org - Video Codecs and Pixel Formats. , https://www.fourcc.org/ (2018).
  33. Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
  34. Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
  35. Fitzgibbon, A., Fisher, R. A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
  36. Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
  37. Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
  38. Structural Analysis and Shape Descriptors - OpenCV 2.4.13.6 documentation. , https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018).
  39. Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
  40. Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
  41. Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
  42. Venables, W. N., Ripley, B. D. Modern Applied Statistics with S. , Springer. New York. (2010).
  43. Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
  44. Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
  45. Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
  46. Video tracking software | EthoVision XT. , https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018).
  47. Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
  48. MATLAB - MathWorks. , https://www.mathworks.com/products/matlab.html (2018).
  49. Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
  50. Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
  51. Cary, R. Methyl cyanoacrylate and ethyl cyanoacrylate. , World Health Organization. Geneva. (2001).
  52. Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , http://papers.nips.cc/paper/4824-imagenet-classification-w 1097-1105 (2012).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

odejmowanie t aprogowanie obrazuoprogramowanie otwarto r d oweidentyfikacja znacznik wanaliza behawioralnazaj to przestrzenidobowe rytmy aktywno ci

Powiązane artykuły