Odtwarzanie wideo jest powszechnie stosowaną techniką w badaniach nad zachowaniem zwierząt. Stworzyliśmy i oceniliśmy program, który umożliwia interaktywne odtwarzanie trójwymiarowych animacji komputerowych w oparciu o zestaw reguł, w odpowiedzi na automatycznie gromadzone w czasie rzeczywistym dane dotyczące zachowania obiektu badań.
Artykuł metodologiczny
Zautomatyzowane interaktywne odtwarzanie wideo w badaniach nad komunikacją zwierząt
W tym artykule
Podsumowanie
Streszczenie
Odtwarzanie wideo jest powszechnie stosowaną techniką kontrolowanej manipulacji i prezentacji sygnałów wizualnych w komunikacji zwierząt. W szczególności animacja komputerowa oparta na parametrach daje możliwość niezależnej manipulacji dowolną liczbą cech behawioralnych, morfologicznych lub spektralnych w kontekście realistycznych, ruchomych obrazów zwierząt na ekranie. Głównym ograniczeniem konwencjonalnego odtwarzania jest jednak brak możliwości interakcji bodźca wizualnego z żywym zwierzęciem. Korzystając z technologii gier wideo, stworzyliśmy zautomatyzowany, interaktywny system odtwarzania wideo, który steruje animacjami w odpowiedzi na sygnały w czasie rzeczywistym z systemu śledzenia wideo. Metodę tę zademonstrowano, przeprowadzając próby wyboru partnera u samic mieczykowatych Xiphophorus birchmanni. Samice miały do wyboru, w tym samym czasie, zalotnego samca tego samego gatunku oraz zalotnego samca innego gatunku (X. malinche) po przeciwnych stronach akwarium. Wirtualny bodziec w postaci samca został zaprogramowany tak, aby śledzić pozycję poziomą samicy, co naśladuje zachowanie zalotnych samców w naturze. Próby wyboru partnera u samic X. birchmanni odłowionych z natury posłużyły do walidacji zdolności prototypu do efektywnego generowania realistycznego bodźca wizualnego.
Protokół
1. Konfiguracja sprzętu i systemu Viewer.
System składa się z komory testowej flankowanej przez dwa monitory. Kamera wideo podłączona do systemu BIOBSERVE Viewer rejestruje ruch badanego obiektu w czasie rzeczywistym. Dane o ruchu są przekazywane do programu interaktywnego odtwarzania wideo (IVP) na oddzielnym serwerze, który określa ruch animowanego bodźca na ekranie.
- Ustaw dwa monitory CRT po przeciwnych stronach 80-l akwarium wypełnionego czystą wodą; zsynchronizuj obraz z obu monitorów.
- Umieść kamerę nad akwarium, aby uchwycić pełny widok zbiornika; podłącz ją do karty wideo BIOBSERVE.
- Skonfiguruj system Viewer w celu odbierania informacji o śledzeniu z kamery.
- Włącz w programie Viewer wtyczkę, która w czasie rzeczywistym przesyła współrzędne pyska, ciała i ogona zwierzęcia do serwera animacji za pomocą określonego adresu IP w sieci.
- Włącz serwer animacji.
2. Kalibracja.
- Na serwerze animacji otwórz plik InteractiveDisplaySetup.txt. W sekcji „Monitor Info” wprowadź szerokość i wysokość ekranu w pikselach. W sekcji „ProgramType” wprowadź „calibration”. Zapisz zmiany w pliku.
- Kliknij dwukrotnie ikonę programu IVP, aby go uruchomić.
- Wprowadź wymiary zbiornika ustawione w systemie Viewer w kroku 2.3. Zapewni to zgodność między danymi z systemu Viewer a interaktywnym wyjściem z IVP.
- Ponieważ końce zbiorników dla ryb są mniejsze niż monitory, oprogramowanie umożliwia użytkownikowi korzystanie z klawiatury (klawisze a i s dla szerokości, z i x dla wysokości oraz strzałki dla pozycji) w celu przesuwania obszaru widoku (viewportu) bodźców tak, aby dopasować go do końców zbiornika testowego. Na serwerze animacji różowy viewport jest odwzorowany na jednym monitorze testowym, a niebieski viewport na drugim (rycina 1).
- Użyj klawiszy z i x na klawiaturze, aby przeskalować obraz samca ryby na obu viewportach, aż osiągnie on pożądaną wielkość bodźca.
- Przesuń wyświetlane ramki tak, aby wyrównały się z krawędziami zbiornika testowego. Użytkownik wykorzystuje klawisze Q lub W, aby przesuwać ramki w stronę centrum, gdzie znajduje się ryba, lub w przeciwnym kierunku.
- Wprowadź informacje o eksperymencie, gdy program o to poprosi. Użytkownik ma możliwość wyboru spośród predefiniowanych modeli (w naszej demonstracji: tokujący samiec Xiphophorus birchmanni, X. malinche). Użytkownik określa również zachowanie każdej ryby w każdym etapie (nieinteraktywne lub interaktywne), stronę i etap, w którym pojawi się dany bodziec, oraz pożądaną wielkość (długość standardową) każdego bodźca.
- Kolejne pytanie dotyczy tego, czy użytkownik chce, aby ruchy ryb były lustrzane, tzn. aby ruch modelu po obu stronach akwarium był dokładnie taki sam. Jest to stosowane tylko wtedy, gdy obie ryby są w trybie animacji. Ostatnie pytania dotyczą ruchu płetwy grzbietowej. Użytkownik może wybrać opcję „default dorsal”; w takim przypadku płetwa grzbietowa będzie podnosić się tylko podczas bocznej prezentacji tokującej. Jeśli nie wybrano opcji domyślnej, użytkownik może zdecydować, czy model podnosi płetwę grzbietową w zależności od odległości obiektu od monitora.
3. Rozpoczęcie IVP dla testu wyboru partnera.
- Otwórz plik InteractiveDisplaySetup.txt, ustaw „ProgramType” na liveTesting oraz przypisz „experimentName” taką samą nazwę pliku, która zawiera dane eksperymentu.
- Ostrożnie umieść ryby badawcze w akwarium i odczekaj 10 min.
- Uruchom program Viewer 2.0 oraz IVP.
4. Próba wyboru partnera.
Ogólna sekwencja eksperymentalna jest zgodna z poprzednimi badaniami wykorzystującymi nieinteraktywne bodźce wideo1-4. Samicom prezentowane są dwa różne bodźce na monitorach znajdujących się po przeciwnych końcach akwarium testowego. Zachowanie samic jest śledzone w czasie rzeczywistym przez system Biobserve Viewer. Parametrem odpowiedzi jest czas asocjacji, czyli czas, jaki samica spędza w odległości 10 cm od jednego lub drugiego monitora. Czas asocjacji jest obliczany automatycznie przez system Viewer.
- Bodźce wideo są wyświetlane badanym w ramach próby składającej się z dwóch 20-minutowych etapów. Każdy etap składa się z czterech 5-minutowych segmentów:
- W pierwszym segmencie samica jest aklimatyzowana w zbiorniku testowym przez pięć minut poprzez wyświetlanie monochromatycznego ekranu na obu monitorach.
- W drugim segmencie samicy wyświetlane są przez pięć minut dwa różne bodźce wideo, jeden na monitorze lewym, a drugi na prawym.
- Bezpośrednio po wyświetleniu bodźców wideo na obu monitorach ponownie wyświetlany jest monochromatyczny ekran przez pięć minut.
- W czwartym i ostatnim segmencie prezentowane są bodźce z drugiego segmentu, jednak pozycja każdego bodźca zostaje zamieniona. Stanowi to wewnętrzną kontrolę preferencji stron dla danej samicy.
- Drugi etap powtarza ten sam schemat z innym zestawem jednocześnie prezentowanych bodźców.
- Kolejne próby są przeprowadzane poprzez powrót do kroku 2 i systematyczną zmianę strony oraz kolejności prezentacji.
5. Reprezentatywne wyniki.
Oceniliśmy skuteczność interaktywnego odtwarzania, porównując reakcje samic na interaktywne i nieinteraktywne animacje zalotów samców. Bodziec nieinteraktywny odtwarzał na ekranie sekwencję zalotów niezależnie od zachowania samicy, zgodnie z wcześniejszymi badaniami1-4.
Interaktywny bodziec śledził poziomą pozycję samicy na ekranie. Pozycję symulowanej ryby lub ryby badanej zdefiniowano operacyjnie jako punkt środkowy linii łączącej centroid z ryjkiem. Trzy reguły kierujące zachowaniem samca były następujące, przyjmując, że kierunek X odnosi się do długości zbiornika, a kierunek Z do szerokości zbiornika (rycina 2):
Zasada 1: Symulowany samiec zawsze podąża za obiektem badawczym w poprzek ekranu, śledząc go w kierunku Z.
Reguła 2: Płetwa grzbietowa symulowanego samca jest podniesiona tylko wtedy, gdy wykonuje on boczny pokaz godowy.
Reguła 3: Symulowany samiec mieczyka będzie wykonywał boczny pokaz godowy tylko przez 50% całkowitego czasu wyświetlania go samicy. Boczny pokaz godowy jest wyzwalany, gdy samiec ryby znajdzie się w odległości jednej czwartej długości ciała samca od samicy w kierunku Z. Boczny pokaz godowy jest niezależny od odległości samicy od monitora w kierunku X.
Interaktywny bodziec ściśle śledził pozycję samicy w czasie rzeczywistym (rycina 3).
Poprzednie badania z wykorzystaniem bodźców nieinteraktywnych4,5 wykazały, że samice X. birchmanni silnie preferują sygnały wizualne własnego gatunku. Bodźce nieinteraktywne stworzone przez IVP były równie skuteczne w wywoływaniu preferencji do partnerów tego samego gatunku (t = 1.923, N = 9, p = .046). Jednakże, gdy samice były testowane na symulowanych interaktywnych samcach konspekyficznych i heterospecyficznych bezpośrednio przed lub po sobie w tej samej próbie, nie wykazano preferencji (rycina 4).
Rysunek 1. Konfiguracja monitora do kalibracji.
Rysunek 2. Schematyczny widok ustawienia zbiornika i monitora, wskazujący osie używane do opisu pozycji.
Rycina 3. Pozycja pozioma animowanego egzemplarza oraz reprezentatywnej samicy w czasie.
Rycina 4. Czas asocjacji (s) samic z interaktywnymi i nieinteraktywnymi stymulantami samców konspecyficznych i heterospecyficznych. Każdy wykres został utworzony na podstawie pięciominutowego zapisu pozycji generowanego przez prototyp. Na tych wykresach czas upływa w pionowym kierunku Y od 0 do 5 minut.
Rycina 5. Reprezentatywne dane dotyczące czasu asocjacji i śledzenia za dwoma interaktywnymi bodźcami. Przedstawiono dwa pięciominutowe fragmenty dla dwóch samic.
Dyskusja
Poprzednie metody interaktywnego odtwarzania wideo w badaniach nad zachowaniem zwierząt opierały się na operatorze, który reagował na sygnały behawioralne obiektów badawczych. Dzięki IVP stworzyliśmy program, który stosuje interaktywność opartą na regułach w odpowiedzi na automatyczne dane o zachowaniu obiektu zbierane w czasie rzeczywistym. Poniżej krótko przedstawiamy kroki niezbędne do stworzenia tego programu.
Pierwszym krokiem było stworzenie cyfrowych egzemplarzy samców X. birchmanni i X. malinche. Zastosowano podejście podobne do wcześniejszych badań6. Utworzono siatki 3D, których modele oparto na teksturach pochodzących z fotografii rzeczywistych osobników X. birchmanni i X. malinche. Aby uzyskać realistyczne tekstury, te same fotografie, które posłużyły do wymodelowania kształtów ryb, wykorzystano jako tekstury ich powierzchni. Mapa planarna naniesiona na współrzędne UV pozwoliła na dopasowanie mapy UV do tekstury fotograficznej. Po drugie, cyfrowa siatka ryby musi odkształcać się w sposób odpowiadający rzeczywistemu organizmowi. W tym celu stworzono wirtualny szkielet dla ciała i płetw, który następnie „przypisano” (skinning) do siatki. Proces skinningu umożliwia odkształcanie siatki podczas rotacji stawów.
Po drugie, dodaliśmy ruch do cyfrowych ryb. Animacji poddano sześć kluczowych ruchów wykonywanych przez samca mieczykowca. Trzy z tych ruchów zostały wykorzystane do przedstawienia różnych prędkości, z jakimi ryba może pływać. Pozostałe trzy ruchy obejmowały pozostawanie ryby w bezruchu, skręcanie lub wykonywanie bocznego popisu godowego. Ponieważ samce mogą podnosić lub opuszczać płetwę grzbietową w zależności od tego, czy odbiorcami są samce, czy samice3, oddzieliliśmy ruch płetwy grzbietowej od ruchu podczas bocznego popisu godowego. Płetwa grzbietowa została zaprogramowana za pomocą klatek kluczowych w taki sposób, aby można ją było podnieść lub opuścić w dowolnym punkcie cyklu. Wykorzystano łącznie dwudziestu cztery cykle animacji. Każdy cykl zaczynał się i kończył w tej samej pozycji ryby, aby cykle animacji mogły być łatwo ze sobą łączone. Wszystkie dwadzieścia cztery cykle animacji zostały stworzone poprzez rotoskopowanie7,8 pożądanego ruchu z nagrań wideo wykonanych z góry, przedstawiających żywego, tokującego się samca X. birchmanni.
Po trzecie, wprowadziliśmy interaktywność. Wykorzystaliśmy system Biobserve Viewer do śledzenia w czasie rzeczywistym pozycji ryjka, ciała i ogona samicy mieczyka oraz przesyłania tych informacji w czasie rzeczywistym do programu IVP. Proces ten był realizowany oddzielnie dla każdego zalotnego samca na każdym monitorze. Animacja samca podążała za pozycją ryby będącej obiektem badań. Modelowanie podążania oparto na zachowaniu sterującym według koncepcji Reynoldsa9,10, co pozwoliło samcowi podążać za samicą i zwalniać w miarę zbliżania się do niej.
Aby obliczyć pozycję samca mieczyka w każdym kroku czasowym, do systemu dostarczano aktualną pozycję samicy, co pozwalało programowi obliczyć siły napędzające samca. W pierwszej kolejności obliczono wektor przesunięcia względem celu poprzez odjęcie pozycji samca od pozycji samicy. Po drugie, odległość od samca do samicy wyznaczono, obliczając moduł wektora przesunięcia względem celu. Po trzecie, pożądaną prędkość samca określono poprzez podzielenie odległości przez stałą wartość opóźnienia. Pozwoliło to samcowi zwolnić w miarę zbliżania się do samicy. Na koniec, pożągane przyspieszenie obliczono poprzez odjęcie aktualnej prędkości samca od prędkości pożądanej.
Ponieważ animacje są renderowane jako dyskretne klatki wideo przy częstotliwości 60 Hz, obliczenia przeprowadzano dla każdego dyskretnego kroku czasowego w odstępach 0,016 s. Maksymalną prędkość dla tych eksperymentów ustalono na wartości 10 cm/s. Jeśli wartość nowej prędkości przekraczała prędkość maksymalną, przypisywano jej wartość maksymalną.
W tej konkretnej symulacji interaktywny samiec ryby podnosił płetwę grzbietową przez 50% czasu i wyłącznie podczas interakcji godowych. Boczny behawior prezentacyjny związany z zalotami był wyzwalany za każdym razem, gdy bodziec w postaci samca znajdował się w odległości mniejszej niż 0,25 długości ciała od samicy mieczyka w wymiarze Z.
Zaskoczyło nas, że interaktywność zniosła preferencję samic do osobników tego samego gatunku, pomimo faktu, że animacje nieinteraktywne wywołały silną preferencję oraz biorąc pod uwagę, że samice spędzały większość czasu w towarzystwie bodźców interaktywnych. Jedną z możliwości jest to, że ścisłe podążanie za samicą może znosić znaczenie sygnałów wizualnych wykorzystywanych do oceny samców, takich jak miecz i płetwa grzbietowa. Alternatywnie, samice mogą rzadziej tracić zainteresowanie zalotnym samcem, a w konsekwencji rzadziej badać oba osobniki (rycina 5).
Niemniej jednak nasze wyniki pokazują, że zasada działania technologii gier wideo – a mianowicie sterowane programowo, oparte na regułach agenty reagujące na dane wejściowe użytkownika – może zostać z powodzeniem zastosowana do interaktywnego odtwarzania w badaniach nad zachowaniem zwierząt. Ten typ interaktywnego odtwarzania opartego na regułach powinien okazać się użyteczny w badaniach nad ławicowaniem i ruchem zbiorowym11,12. W szczególności możliwość manipulowania regułami, których wirtualny egzemplarz używa do ławicowania, powinna dostarczyć nam wglądu w procesy, których zwierzęta używają do podejmowania decyzji o ławicowaniu.
Oświadczenia
Produkcja tego artykułu wideo była sponsorowana przez Biobserve Research.
Podziękowania
Jesteśmy wdzięczni Stephanowi Schwartzowi i Christianowi Gutzenowi z firmy Biobserve GmbH za sponsorowanie tego artykułu oraz za znaczną pomoc techniczną. Dziękujemy Olivii Ochoa, Christianowi Kaufmanowi i Zachary'emu Cressowi za pomoc w opiece nad rybami; jesteśmy wdzięczni rządowi federalnemu Meksyku za zgodę na odłów ryb. Jesteśmy wdzięczni Glenowi Vigusowi, Fredericowi Parke'owi oraz Visualization Lab na Texas A&M. Athena Mason i Ryan Easterling pomogli w przygotowaniu niniejszej publikacji. Finansowanie zostało zapewnione przez Texas A&M University oraz NSF IOS-1045226.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Maya 8.0 | |||
| Program w języku C# wykorzystujący Microsoft’s XNA Game Studio 2.0 | |||
| BIOBSERVE Viewer 2 | |||
| Monitor CRT Dell 15” (2) | |||
| Akwarium testowe z pleksiglasu o wymiarach 20 X 20 X 80 cm | |||
| Komputer Dell Latitude (serwer animacji) |
Bibliografia
- Fisher, H. S., Mascuch, S., Rosenthal, G. G. Multivariate male traits misalign with multivariate female preferences in the swordtail fish, Xiphophorus birchmanni. Anim. Behav. 78, 265-269 (2009).
- Fisher, H. S., Rosenthal, G. G. Hungry females show stronger mating preferences. Behavioral Ecology. 17, 979-981 (2006).
- Fisher, H. S., Rosenthal, G. G. Male swordtails court with an audience in mind. Biology Letters. 3, 5-7 (2007).
- Wong, B. B. M., Rosenthal, G. G. Female disdain for swords in a swordtail fish. American Naturalist. 167, 136-140 (2006).
- Fisher, H. S., Wong, B. B. M., Rosenthal, G. G. Alteration of the chemical environment disrupts communication in a freshwater fish. Proceedings of the Royal Society B-Biological Sciences. 273, 1187-1193 (2006).
- Rosenthal, G. G. Design considerations and techniques for constructing video stimuli. Acta Ethol. 3, 49-54 (2000).
- Turnell, E. R., Mann, K. D., Rosenthal, G. G., Gerlach, G. Mate choice in zebrafish (Danio rerio) analyzed with video-stimulus techniques. Biol. Bull. 205, 225-226 (2003).
- Rosenthal, G. G., Ryan, M. J. Assortative preferences for stripes in danios. Animal Behaviour. 70, 1063-1066 (2005).
- Flocks, herds and schools: A distributed behavioral model. Reynolds, C. W. Proceedings of the 14th annual conference on Computer graphics and interactive techniques, 1985, , ACM Press. New York, NY. 256 (1985).
- Reynolds, C. W. Steering Behaviors For Autonomous Characters. Game Developers Conference, 1999, San Jose, California, , Miller Freeman Game Group. San Francisco, California. (1999).
- Hoare, D. J., Couzin, I. D., Godin, J. -G. J., Krause, J. Context-dependent group size choice in fish. Animal Behaviour. 65, 663-669 (2004).
- Hoare, D. J. &, Krause, J. Social organisation, shoal structure and information transfer. Fish and Fisheries. 4, 269-279 (2003).
Przedruki i uprawnienia
