Zautomatyzowane interaktywne odtwarzanie wideo w badaniach nad komunikacją zwierząt

Podsumowanie

Odtwarzanie wideo jest powszechnie stosowaną techniką w badaniach nad zachowaniem zwierząt. Stworzyliśmy i oceniliśmy program, który umożliwia interaktywne odtwarzanie trójwymiarowych animacji komputerowych w oparciu o zestaw reguł, w odpowiedzi na automatycznie gromadzone w czasie rzeczywistym dane dotyczące zachowania obiektu badań.

Streszczenie

Odtwarzanie wideo jest powszechnie stosowaną techniką kontrolowanej manipulacji i prezentacji sygnałów wizualnych w komunikacji zwierząt. W szczególności animacja komputerowa oparta na parametrach daje możliwość niezależnej manipulacji dowolną liczbą cech behawioralnych, morfologicznych lub spektralnych w kontekście realistycznych, ruchomych obrazów zwierząt na ekranie. Głównym ograniczeniem konwencjonalnego odtwarzania jest jednak brak możliwości interakcji bodźca wizualnego z żywym zwierzęciem. Korzystając z technologii gier wideo, stworzyliśmy zautomatyzowany, interaktywny system odtwarzania wideo, który steruje animacjami w odpowiedzi na sygnały w czasie rzeczywistym z systemu śledzenia wideo. Metodę tę zademonstrowano, przeprowadzając próby wyboru partnera u samic mieczykowatych Xiphophorus birchmanni. Samice miały do wyboru, w tym samym czasie, zalotnego samca tego samego gatunku oraz zalotnego samca innego gatunku (X. malinche) po przeciwnych stronach akwarium. Wirtualny bodziec w postaci samca został zaprogramowany tak, aby śledzić pozycję poziomą samicy, co naśladuje zachowanie zalotnych samców w naturze. Próby wyboru partnera u samic X. birchmanni odłowionych z natury posłużyły do walidacji zdolności prototypu do efektywnego generowania realistycznego bodźca wizualnego.

Protokół

1. Konfiguracja sprzętu i systemu Viewer.

System składa się z komory testowej flankowanej przez dwa monitory. Kamera wideo podłączona do systemu BIOBSERVE Viewer rejestruje ruch badanego obiektu w czasie rzeczywistym. Dane o ruchu są przesyłane do programu interaktywnego odtwarzania wideo (IVP) na oddzielnym serwerze, który steruje ruchem animowanego bodźca na ekranie.

1. Umieścić dwa monitory CRT po przeciwnych stronach 80-l akwarium wypełnionego czystą wodą; zsynchronizować obraz z monitorów.
2. Umieścić kamerę nad akwarium, aby uchwycić pełny widok zbiornika; podłączyć ją do karty wideo BIOBSERVE.
3. Skonfigurować system Viewer w celu odbierania informacji o śledzeniu z kamery.
4. Włączyć w programie Viewer wtyczkę, która przesyła w czasie rzeczywistym współrzędne pyska, ciała i ogona zwierzęcia do serwera animacji za pośrednictwem określonego adresu IP sieci.
5. Włączyć serwer animacji.

2. Kalibracja.

1. Na serwerze animacji otwórz plik InteractiveDisplaySetup.txt. W sekcji „Monitor Info” wprowadź szerokość i wysokość ekranu w pikselach. W sekcji „ProgramType” wpisz „calibration”. Zapisz zmiany w pliku.
2. Kliknij dwukrotnie ikonę programu IVP, aby go uruchomić.
3. Wprowadź zakresy wymiarów zbiornika, tak jak zostały ustawione w systemie Viewer w kroku 2.3. Zapewni to zgodność między danymi z systemu Viewer a interaktywnym wyjściem z IVP.
4. Ponieważ końce akwariów są mniejsze niż monitory, oprogramowanie umożliwia użytkownikowi korzystanie z klawiatury (klawisze a i s dla szerokości, z i x dla wysokości oraz strzałki dla pozycji), aby przesuwać obszar wyświetlania (viewport) bodźców w celu dopasowania go do końców zbiornika testowego. Na serwerze animacji różowy viewport jest odwzorowany na jednym monitorze testowym, a niebieski na drugim (rycina 1).
5. Użyj klawiszy z i x na klawiaturze, aby przeskalować obraz ryby samca na obu viewportach, aż osiągnie on pożądany rozmiar bodźca.
6. Przesuń wyświetlane ramki tak, aby były wyrównane z krawędziami zbiornika testowego. Użytkownik wykorzystuje klawisze Q lub W, aby przesuwać ramki w stronę centrum ryby lub w przeciwnym kierunku.
7. Wprowadź informacje o eksperymencie, gdy program o to poprosi. Użytkownik ma możliwość wyboru spośród wstępnie załadowanych modeli (w naszej demonstracji: zalotny samiec Xiphophorus birchmanni, X. malinche). Użytkownik określa również zachowanie każdej ryby w każdym etapie (nieinteraktywne lub interaktywne), stronę i etap, w którym pojawi się każdy bodziec, oraz pożądaną wielkość (długość standardową) każdego bodźca.
8. Kolejne pytanie dotyczy tego, czy użytkownik chce, aby ruchy ryb były lustrzane, tzn. aby ruch modelu po obu stronach akwarium był dokładnie taki sam. Jest to stosowane tylko wtedy, gdy obie ryby znajdują się w trybie animacji. Ostatnie pytania dotyczą ruchu płetwy grzbietowej. Użytkownik może wybrać opcję „default dorsal”; sprawi to, że płetwa grzbietowa będzie się unosić tylko podczas bocznego pokazu zalotnego. Jeśli nie wybrano opcji domyślnej, użytkownik może zdecydować, czy model unosi płetwę grzbietową w zależności od odległości obiektu od monitora.

3. Rozpoczęcie IVP dla testu wyboru partnera.

1. Otwórz plik InteractiveDisplaySetup.txt, ustaw wartość „ProgramType” na liveTesting oraz przypisz do „experimentName” taką samą nazwę pliku, w której znajdują się dane eksperymentu.
2. Ostrożnie umieść ryby badawcze w akwarium i odczekaj 10 min.
3. Uruchom program Viewer 2.0 oraz IVP.

4. Próba wyboru partnera.

Ogólna sekwencja eksperymentalna jest zgodna z wcześniejszymi badaniami z wykorzystaniem nieinteraktywnych bodźców wideo^1-4. Samicom prezentowane są dwa różne bodźce na monitorach znajdujących się po przeciwnych końcach akwarium testowego. Zachowanie samic jest śledzone w czasie rzeczywistym przez system Biobserve Viewer. Testowaną reakcją jest czas asocjacji, czyli czas, jaki samica spędza w odległości 10 cm od jednego lub drugiego monitora. Czas asocjacji jest automatycznie obliczany przez system Viewer.

1. Bodźce wideo są wyświetlane badanym w próbie składającej się z dwóch 20-minutowych etapów. Każdy etap składa się z czterech 5-minutowych segmentów:
   1. W pierwszym segmencie samica jest aklimatyzowana w zbiorniku testowym przez pięć minut poprzez wyświetlanie monochromatycznego ekranu na obu monitorach.
   2. W drugim segmencie samicy wyświetlane są przez pięć minut dwa różne bodźce wideo – jeden na monitorze lewym, a drugi na prawym.
   3. Bezpośrednio po wyświetleniu bodźców wideo na obu monitorach ponownie wyświetlany jest monochromatyczny ekran przez pięć minut.
   4. W czwartym i ostatnim segmencie prezentowane są bodźce z drugiego segmentu, jednak z zamianą ich pozycji. Stanowi to wewnątrz osobniczą kontrolę pod kątem preferencji stronnych.
2. Drugi etap powtarza ten sam schemat, lecz z innym zestawem jednocześnie prezentowanych bodźców.
3. Kolejne próby są przeprowadzane poprzez powrót do kroku 2 i systematyczną zmianę strony oraz kolejności prezentacji.

5. Reprezentatywne wyniki.

Oceniliśmy skuteczność interaktywnego odtwarzania, porównując reakcję samic na interaktywne i nieinteraktywne animacje zalotów samców. Bodziec nieinteraktywny prezentował na ekranie zachowania godowe niezależnie od zachowania samicy, zgodnie z wcześniejszymi badaniami^1-4.

Interaktywny bodziec śledził poziomą pozycję samicy na ekranie. Pozycję ryby symulowanej lub ryby badanej zdefiniowano operacyjnie jako środek odcinka łączącego centroid z ryjkiem. Trzy reguły kierujące zachowaniem samca były następujące, przyjmując, że kierunek X odnosi się do długości zbiornika, a kierunek Z do szerokości zbiornika (rycina 2):

Zasada 1: Symulowany samiec zawsze podąża za obiektem w poprzek ekranu, śledząc go w kierunku Z.

Zasada 2: Płetwa grzbietowa symulowanego samca jest podniesiona tylko wtedy, gdy wykonuje on boczny pokaz godowy.

Zasada 3: Symulowany samiec mieczyka będzie wykonywał boczny taniec godowy tylko przez 50% całkowitego czasu wyświetlania go samicy. Boczny taniec godowy jest wyzwalany, gdy samiec znajduje się w odległości mniejszej niż jedna czwarta długości ciała samca od samicy w kierunku Z. Wykonywanie bocznego tańca godowego jest niezależne od odległości samicy od monitora w kierunku X.

Interaktywny bodziec ściśle śledził pozycję samicy w czasie rzeczywistym (rycina 3).

Poprzednie badania z wykorzystaniem bodźców nieinteraktywnych^4,5 wykazały, że samice X. birchmanni silnie preferują sygnały wizualne własnego gatunku. Bodźce nieinteraktywne stworzone za pomocą IVP były równie skuteczne w wywoływaniu preferencji partnera konspecyficznego (t = 1.923, N = 9, p = .046). Jednakże, gdy samice były testowane na symulowanych interaktywnych samcach konspecyficznych i heterospecyficznych bezpośrednio przed lub po sobie w tej samej próbie, nie wykazały one preferencji (rycina 4).

Rycina 1. Konfiguracja monitora do kalibracji.

Rycina 2. Schematyczny widok zbiornika i układu monitorowania, wskazujący osie służące do opisu pozycji.

Rycina 3. Pozycja pozioma animowanego egzemplarza i reprezentatywnej samicy w czasie.

Rysunek 4. Czas asocjacji (s) samic z interaktywnymi i nieinteraktywnymi bodźcami samców konspecyficznych i heterospecyficznych. Każdy wykres został sporządzony na podstawie pięciominutowego zapisu pozycji generowanych przez prototyp. Na wykresach czas płynie w pionowym kierunku Y od 0 do 5 minut.

Rysunek 5. Reprezentatywne dane dotyczące czasu asocjacji oraz śledzenie ruchu wywołanego dwoma interaktywnymi bodźcami. Przedstawiono dwa pięciominutowe segmenty dla dwóch samic.

Dyskusja

Poprzednie metody interaktywnego odtwarzania wideo w badaniach nad zachowaniem zwierząt opierały się na operatorze, który reagował na sygnały behawioralne obiektów badawczych. Dzięki IVP stworzyliśmy program, który stosuje interaktywność opartą na regułach w odpowiedzi na automatyczne dane o zachowaniu obiektu zbierane w czasie rzeczywistym. Poniżej krótko przedstawiamy kroki niezbędne do stworzenia tego programu.

Pierwszym krokiem było stworzenie cyfrowych egzemplarzy samców X. birchmanni i X. malinche. Zastosowano podejście podobne do wcześniejszych badań⁶. Utworzono siatki 3D, których modele oparto na teksturach pochodzących z fotografii rzeczywistych osobników X. birchmanni i X. malinche. Aby uzyskać realistyczne tekstury, te same fotografie, które posłużyły do wymodelowania kształtów ryb, wykorzystano jako tekstury ich powierzchni. Mapa planarna naniesiona na współrzędne UV pozwoliła na dopasowanie mapy UV do tekstury fotograficznej. Po drugie, cyfrowa siatka ryby musi odkształcać się w sposób odpowiadający rzeczywistemu organizmowi. W tym celu stworzono wirtualny szkielet dla ciała i płetw, który następnie „przypisano” (skinning) do siatki. Proces skinningu umożliwia odkształcanie siatki podczas rotacji stawów.

Po drugie, dodaliśmy ruch do cyfrowych ryb. Animacji poddano sześć kluczowych ruchów wykonywanych przez samca mieczykowca. Trzy z tych ruchów zostały wykorzystane do przedstawienia różnych prędkości, z jakimi ryba może pływać. Pozostałe trzy ruchy obejmowały pozostawanie ryby w bezruchu, skręcanie lub wykonywanie bocznego popisu godowego. Ponieważ samce mogą podnosić lub opuszczać płetwę grzbietową w zależności od tego, czy odbiorcami są samce, czy samice³, oddzieliliśmy ruch płetwy grzbietowej od ruchu podczas bocznego popisu godowego. Płetwa grzbietowa została zaprogramowana za pomocą klatek kluczowych w taki sposób, aby można ją było podnieść lub opuścić w dowolnym punkcie cyklu. Wykorzystano łącznie dwudziestu cztery cykle animacji. Każdy cykl zaczynał się i kończył w tej samej pozycji ryby, aby cykle animacji mogły być łatwo ze sobą łączone. Wszystkie dwadzieścia cztery cykle animacji zostały stworzone poprzez rotoskopowanie^7,8 pożądanego ruchu z nagrań wideo wykonanych z góry, przedstawiających żywego, tokującego się samca X. birchmanni.

Po trzecie, wprowadziliśmy interaktywność. Wykorzystaliśmy system Biobserve Viewer do śledzenia w czasie rzeczywistym pozycji ryjka, ciała i ogona samicy mieczyka oraz przesyłania tych informacji w czasie rzeczywistym do programu IVP. Proces ten był realizowany oddzielnie dla każdego zalotnego samca na każdym monitorze. Animacja samca podążała za pozycją ryby będącej obiektem badań. Modelowanie podążania oparto na zachowaniu sterującym według koncepcji Reynoldsa^9,10, co pozwoliło samcowi podążać za samicą i zwalniać w miarę zbliżania się do niej.

Aby obliczyć pozycję samca mieczyka w każdym kroku czasowym, do systemu dostarczano aktualną pozycję samicy, co pozwalało programowi obliczyć siły napędzające samca. W pierwszej kolejności obliczono wektor przesunięcia względem celu poprzez odjęcie pozycji samca od pozycji samicy. Po drugie, odległość od samca do samicy wyznaczono, obliczając moduł wektora przesunięcia względem celu. Po trzecie, pożądaną prędkość samca określono poprzez podzielenie odległości przez stałą wartość opóźnienia. Pozwoliło to samcowi zwolnić w miarę zbliżania się do samicy. Na koniec, pożągane przyspieszenie obliczono poprzez odjęcie aktualnej prędkości samca od prędkości pożądanej.

Ponieważ animacje są renderowane jako dyskretne klatki wideo przy częstotliwości 60 Hz, obliczenia przeprowadzano dla każdego dyskretnego kroku czasowego w odstępach 0,016 s. Maksymalną prędkość dla tych eksperymentów ustalono na wartości 10 cm/s. Jeśli wartość nowej prędkości przekraczała prędkość maksymalną, przypisywano jej wartość maksymalną.

W tej konkretnej symulacji interaktywny samiec ryby podnosił płetwę grzbietową przez 50% czasu i wyłącznie podczas interakcji godowych. Boczny behawior prezentacyjny związany z zalotami był wyzwalany za każdym razem, gdy bodziec w postaci samca znajdował się w odległości mniejszej niż 0,25 długości ciała od samicy mieczyka w wymiarze Z.

Zaskoczyło nas, że interaktywność zniosła preferencję samic do osobników tego samego gatunku, pomimo faktu, że animacje nieinteraktywne wywołały silną preferencję oraz biorąc pod uwagę, że samice spędzały większość czasu w towarzystwie bodźców interaktywnych. Jedną z możliwości jest to, że ścisłe podążanie za samicą może znosić znaczenie sygnałów wizualnych wykorzystywanych do oceny samców, takich jak miecz i płetwa grzbietowa. Alternatywnie, samice mogą rzadziej tracić zainteresowanie zalotnym samcem, a w konsekwencji rzadziej badać oba osobniki (rycina 5).

Niemniej jednak nasze wyniki pokazują, że zasada działania technologii gier wideo – a mianowicie sterowane programowo, oparte na regułach agenty reagujące na dane wejściowe użytkownika – może zostać z powodzeniem zastosowana do interaktywnego odtwarzania w badaniach nad zachowaniem zwierząt. Ten typ interaktywnego odtwarzania opartego na regułach powinien okazać się użyteczny w badaniach nad ławicowaniem i ruchem zbiorowym^11,12. W szczególności możliwość manipulowania regułami, których wirtualny egzemplarz używa do ławicowania, powinna dostarczyć nam wglądu w procesy, których zwierzęta używają do podejmowania decyzji o ławicowaniu.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Maya 8.0
Program w języku C# wykorzystujący Microsoft’s XNA Game Studio 2.0
BIOBSERVE Viewer 2
Monitor CRT Dell 15” (2)
Akwarium testowe z pleksiglasu o wymiarach 20 X 20 X 80 cm
Komputer Dell Latitude (serwer animacji)