Name: Zautomatyzowane interaktywne odtwarzanie wideo do badań nad komunikacją zwierząt (Wideo) | JoVE Journal
Uploaded: 2011-02-09T16:00:00.000+00:00
Duration: 7 min 21 s
Description: Poznaj zautomatyzowany system interaktywnego odtwarzania wideo do badania zachowań godowych u samic miecznika. Ta metoda pozwala śledzić ruchy ryb w czasie rzeczywistym i analizować preferencje w doborze partnera.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

playerTrialDesktop

Jesteśmy wdzięczni Stephanowi Schwartzowi i Christianowi Gutzenowi z firmy Biobserve GmbH za sponsorowanie tego artykułu oraz za znaczną pomoc techniczną. Dziękujemy Olivii Ochoa, Christianowi Kaufmanowi i Zachary'emu Cressowi za pomoc w opiece nad rybami; jesteśmy wdzięczni rządowi federalnemu Meksyku za zgodę na odłów ryb. Jesteśmy wdzięczni Glenowi Vigusowi, Fredericowi Parke'owi oraz Visualization Lab na Texas A&amp;M. Athena Mason i Ryan Easterling pomogli w przygotowaniu niniejszej publikacji. Finansowanie zostało zapewnione przez Texas A&amp;M University oraz NSF IOS-1045226.

1. Konfiguracja sprzętu i systemu Viewer.
System składa się z komory testowej flankowanej przez dwa monitory. Kamera wideo podłączona do systemu BIOBSERVE Viewer rejestruje ruch badanego obiektu w czasie rzeczywistym. Dane o ruchu są przekazywane do programu interaktywnego odtwarzania wideo (IVP) na oddzielnym serwerze, który określa ruch animowanego bodźca na ekranie.
<ol>
 <li>Ustaw dwa monitory CRT po przeciwnych stronach 80-l akwarium wypełnionego czystą wodą; zsynchronizuj obraz z obu monitorów.</li>
 <li>Umieść kamerę nad akwarium, aby uchwycić pełny widok zbiornika; podłącz ją do karty wideo BIOBSERVE.</li>
 <li>Skonfiguruj system Viewer w celu odbierania informacji o śledzeniu z kamery.</li>
 <li>Włącz w programie Viewer wtyczkę, która w czasie rzeczywistym przesyła współrzędne pyska, ciała i ogona zwierzęcia do serwera animacji za pomocą określonego adresu IP w sieci.</li>
 <li>Włącz serwer animacji.</li>
</ol>
2. Kalibracja.
<ol>
 <li>Na serwerze animacji otwórz plik InteractiveDisplaySetup.txt. W sekcji „Monitor Info” wprowadź szerokość i wysokość ekranu w pikselach. W sekcji „ProgramType” wprowadź „calibration”. Zapisz zmiany w pliku.</li>
 <li>Kliknij dwukrotnie ikonę programu IVP, aby go uruchomić.</li>
 <li>Wprowadź wymiary zbiornika ustawione w systemie Viewer w kroku 2.3. Zapewni to zgodność między danymi z systemu Viewer a interaktywnym wyjściem z IVP.</li>
 <li>Ponieważ końce zbiorników dla ryb są mniejsze niż monitory, oprogramowanie umożliwia użytkownikowi korzystanie z klawiatury (klawisze a i s dla szerokości, z i x dla wysokości oraz strzałki dla pozycji) w celu przesuwania obszaru widoku (viewportu) bodźców tak, aby dopasować go do końców zbiornika testowego. Na serwerze animacji różowy viewport jest odwzorowany na jednym monitorze testowym, a niebieski viewport na drugim (rycina 1).</li>
 <li>Użyj klawiszy z i x na klawiaturze, aby przeskalować obraz samca ryby na obu viewportach, aż osiągnie on pożądaną wielkość bodźca.</li>
 <li>Przesuń wyświetlane ramki tak, aby wyrównały się z krawędziami zbiornika testowego. Użytkownik wykorzystuje klawisze Q lub W, aby przesuwać ramki w stronę centrum, gdzie znajduje się ryba, lub w przeciwnym kierunku.</li>
 <li>Wprowadź informacje o eksperymencie, gdy program o to poprosi. Użytkownik ma możliwość wyboru spośród predefiniowanych modeli (w naszej demonstracji: tokujący samiec Xiphophorus birchmanni, X. malinche). Użytkownik określa również zachowanie każdej ryby w każdym etapie (nieinteraktywne lub interaktywne), stronę i etap, w którym pojawi się dany bodziec, oraz pożądaną wielkość (długość standardową) każdego bodźca.</li>
 <li>Kolejne pytanie dotyczy tego, czy użytkownik chce, aby ruchy ryb były lustrzane, tzn. aby ruch modelu po obu stronach akwarium był dokładnie taki sam. Jest to stosowane tylko wtedy, gdy obie ryby są w trybie animacji. Ostatnie pytania dotyczą ruchu płetwy grzbietowej. Użytkownik może wybrać opcję „default dorsal”; w takim przypadku płetwa grzbietowa będzie podnosić się tylko podczas bocznej prezentacji tokującej. Jeśli nie wybrano opcji domyślnej, użytkownik może zdecydować, czy model podnosi płetwę grzbietową w zależności od odległości obiektu od monitora.</li>
</ol>
3. Rozpoczęcie IVP dla testu wyboru partnera.
<ol>
 <li>Otwórz plik InteractiveDisplaySetup.txt, ustaw „ProgramType” na liveTesting oraz przypisz „experimentName” taką samą nazwę pliku, która zawiera dane eksperymentu.</li>
 <li>Ostrożnie umieść ryby badawcze w akwarium i odczekaj 10 min.</li>
 <li>Uruchom program Viewer 2.0 oraz IVP.</li>
</ol>
4. Próba wyboru partnera.
Ogólna sekwencja eksperymentalna jest zgodna z poprzednimi badaniami wykorzystującymi nieinteraktywne bodźce wideo1-4. Samicom prezentowane są dwa różne bodźce na monitorach znajdujących się po przeciwnych końcach akwarium testowego. Zachowanie samic jest śledzone w czasie rzeczywistym przez system Biobserve Viewer. Parametrem odpowiedzi jest czas asocjacji, czyli czas, jaki samica spędza w odległości 10 cm od jednego lub drugiego monitora. Czas asocjacji jest obliczany automatycznie przez system Viewer.
<ol>
 <li>Bodźce wideo są wyświetlane badanym w ramach próby składającej się z dwóch 20-minutowych etapów. Każdy etap składa się z czterech 5-minutowych segmentów:
 <ol>
 <li>W pierwszym segmencie samica jest aklimatyzowana w zbiorniku testowym przez pięć minut poprzez wyświetlanie monochromatycznego ekranu na obu monitorach.</li>
 <li>W drugim segmencie samicy wyświetlane są przez pięć minut dwa różne bodźce wideo, jeden na monitorze lewym, a drugi na prawym.</li>
 <li>Bezpośrednio po wyświetleniu bodźców wideo na obu monitorach ponownie wyświetlany jest monochromatyczny ekran przez pięć minut.</li>
 <li>W czwartym i ostatnim segmencie prezentowane są bodźce z drugiego segmentu, jednak pozycja każdego bodźca zostaje zamieniona. Stanowi to wewnętrzną kontrolę preferencji stron dla danej samicy.</li>
 </ol>
 </li>
 <li>Drugi etap powtarza ten sam schemat z innym zestawem jednocześnie prezentowanych bodźców.</li>
 <li>Kolejne próby są przeprowadzane poprzez powrót do kroku 2 i systematyczną zmianę strony oraz kolejności prezentacji.</li>
</ol>
5. Reprezentatywne wyniki.
Oceniliśmy skuteczność interaktywnego odtwarzania, porównując reakcje samic na interaktywne i nieinteraktywne animacje zalotów samców. Bodziec nieinteraktywny odtwarzał na ekranie sekwencję zalotów niezależnie od zachowania samicy, zgodnie z wcześniejszymi badaniami1-4.
Interaktywny bodziec śledził poziomą pozycję samicy na ekranie. Pozycję symulowanej ryby lub ryby badanej zdefiniowano operacyjnie jako punkt środkowy linii łączącej centroid z ryjkiem. Trzy reguły kierujące zachowaniem samca były następujące, przyjmując, że kierunek X odnosi się do długości zbiornika, a kierunek Z do szerokości zbiornika (rycina 2):
Zasada 1: Symulowany samiec zawsze podąża za obiektem badawczym w poprzek ekranu, śledząc go w kierunku Z.
Reguła 2: Płetwa grzbietowa symulowanego samca jest podniesiona tylko wtedy, gdy wykonuje on boczny pokaz godowy.
Reguła 3: Symulowany samiec mieczyka będzie wykonywał boczny pokaz godowy tylko przez 50% całkowitego czasu wyświetlania go samicy. Boczny pokaz godowy jest wyzwalany, gdy samiec ryby znajdzie się w odległości jednej czwartej długości ciała samca od samicy w kierunku Z. Boczny pokaz godowy jest niezależny od odległości samicy od monitora w kierunku X.
Interaktywny bodziec ściśle śledził pozycję samicy w czasie rzeczywistym (rycina 3).
Poprzednie badania z wykorzystaniem bodźców nieinteraktywnych4,5 wykazały, że samice X. birchmanni silnie preferują sygnały wizualne własnego gatunku. Bodźce nieinteraktywne stworzone przez IVP były równie skuteczne w wywoływaniu preferencji do partnerów tego samego gatunku (t = 1.923, N = 9, p = .046). Jednakże, gdy samice były testowane na symulowanych interaktywnych samcach konspekyficznych i heterospecyficznych bezpośrednio przed lub po sobie w tej samej próbie, nie wykazano preferencji (rycina 4).
<img src="/files/ftp_upload/2374/2374fig1.jpg" alt="Układ kalibracji ryb z kontrolą skalowania; narzędzie do porównywania obrazów w celu precyzyjnego pomiaru odległości." data-altupdatedat="1788235205000" data-alt="Rysunek 1"> 
 Rysunek 1. Konfiguracja monitora do kalibracji.
<img src="/files/ftp_upload/2374/2374fig2.jpg" alt="Schemat podziału akwarium dla zebrafish; obszary pływania dla samca (lewy/prawy) i samicy, wskazujące terytoria." data-altupdatedat="1788235205000" data-alt="Rysunek 2"> 
 Rysunek 2. Schematyczny widok ustawienia zbiornika i monitora, wskazujący osie używane do opisu pozycji.
<img src="/files/ftp_upload/2374/2374fig3.jpg" alt="Wykres śledzenia ruchu symulowanego samca w zestawieniu z żywą samicą, pozycja Z w czasie, analiza danych." data-altupdatedat="1788235205000" data-alt="Rycina 3"> 
 Rycina 3. Pozycja pozioma animowanego egzemplarza oraz reprezentatywnej samicy w czasie.
<img src="/files/ftp_upload/2374/2374fig4.jpg" alt="Wykres słupkowy porównujący czas asocjacji w sekundach dla grup nieinteraktywnych i interaktywnych." data-altupdatedat="1788235205000" data-alt="Rycina 4"> 
 Rycina 4. Czas asocjacji (s) samic z interaktywnymi i nieinteraktywnymi stymulantami samców konspecyficznych i heterospecyficznych. Każdy wykres został utworzony na podstawie pięciominutowego zapisu pozycji generowanego przez prototyp. Na tych wykresach czas upływa w pionowym kierunku Y od 0 do 5 minut.
<img src="/files/ftp_upload/2374/2374fig5.jpg" alt="Wykres trajektorii zachowania porównujący ruchy żywych samic na osiach X-Z w czasie." data-altupdatedat="1788235205000" data-alt="Rycina 5"> 
 Rycina 5. Reprezentatywne dane dotyczące czasu asocjacji i śledzenia za dwoma interaktywnymi bodźcami. Przedstawiono dwa pięciominutowe fragmenty dla dwóch samic.

<ol><li>Fisher, H. S., Mascuch, S., Rosenthal, G. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multivariate+male+traits+misalign+with+multivariate+female+preferences+in+the+swordtail+fish%2C+Xiphophorus+birchmanni%5BTitle%5D)+AND+%22Anim.+Behav%22%5BJournal%5D)">Multivariate male traits misalign with multivariate female preferences in the swordtail fish, Xiphophorus birchmanni.</a> Anim. Behav. 78, 265-269 (2009).</li>
<li>Fisher, H. S., Rosenthal, G. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hungry+females+show+stronger+mating+preferences%5BTitle%5D)+AND+%22Behavioral+Ecology%22%5BJournal%5D)">Hungry females show stronger mating preferences.</a> Behavioral Ecology. 17, 979-981 (2006).</li>
<li>Fisher, H. S., Rosenthal, G. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Male+swordtails+court+with+an+audience+in+mind%5BTitle%5D)+AND+%22Biology+Letters%22%5BJournal%5D)">Male swordtails court with an audience in mind.</a> Biology Letters. 3, 5-7 (2007).</li>
<li>Wong, B. B. M., Rosenthal, G. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Female+disdain+for+swords+in+a+swordtail+fish%5BTitle%5D)+AND+%22American+Naturalist%22%5BJournal%5D)">Female disdain for swords in a swordtail fish.</a> American Naturalist. 167, 136-140 (2006).</li>
<li>Fisher, H. S., Wong, B. B. M., Rosenthal, G. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Alteration+of+the+chemical+environment+disrupts+communication+in+a+freshwater+fish%5BTitle%5D)+AND+%22Proceedings+of+the+Royal+Society+B-Biological+Sciences%22%5BJournal%5D)">Alteration of the chemical environment disrupts communication in a freshwater fish.</a> Proceedings of the Royal Society B-Biological Sciences. 273, 1187-1193 (2006).</li>
<li>Rosenthal, G. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Design+considerations+and+techniques+for+constructing+video+stimuli%5BTitle%5D)+AND+%22Acta+Ethol%22%5BJournal%5D)">Design considerations and techniques for constructing video stimuli.</a> Acta Ethol. 3, 49-54 (2000).</li>
<li>Turnell, E. R., Mann, K. D., Rosenthal, G. G., Gerlach, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mate+choice+in+zebrafish+%28Danio+rerio%29+analyzed+with+video-stimulus+techniques%5BTitle%5D)+AND+%22Biol.+Bull%22%5BJournal%5D)">Mate choice in zebrafish (Danio rerio) analyzed with video-stimulus techniques.</a> Biol. Bull. 205, 225-226 (2003).</li>
<li>Rosenthal, G. G., Ryan, M. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Assortative+preferences+for+stripes+in+danios%5BTitle%5D)+AND+%22Animal+Behaviour%22%5BJournal%5D)">Assortative preferences for stripes in danios.</a> Animal Behaviour. 70, 1063-1066 (2005).</li>
<li>Flocks, herds and schools: A distributed behavioral model. Reynolds, C. W. Proceedings of the 14th annual conference on Computer graphics and interactive techniques, 1985, , ACM Press. New York, NY. 256 (1985).</li>
<li>Reynolds, C. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steering+Behaviors+For+Autonomous+Characters%5BTitle%5D)+AND+%22%22%5BJournal%5D)">Steering Behaviors For Autonomous Characters.</a> Game Developers Conference, 1999, San Jose, California, , Miller Freeman Game Group. San Francisco, California. (1999).</li>
<li>Hoare, D. J., Couzin, I. D., Godin, J. -G. J., Krause, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Context-dependent+group+size+choice+in+fish%5BTitle%5D)+AND+%22Animal+Behaviour%22%5BJournal%5D)">Context-dependent group size choice in fish.</a> Animal Behaviour. 65, 663-669 (2004).</li>
<li>Hoare, D. J. &amp, Krause, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Social+organisation%2C+shoal+structure+and+information+transfer%5BTitle%5D)+AND+%22Fish+and+Fisheries%22%5BJournal%5D)">Social organisation, shoal structure and information transfer.</a> Fish and Fisheries. 4, 269-279 (2003).</li>
</ol>

Produkcja tego artykułu wideo była sponsorowana przez Biobserve Research.

Poprzednie metody interaktywnego odtwarzania wideo w badaniach nad zachowaniem zwierząt opierały się na operatorze, który reagował na sygnały behawioralne obiektów badawczych. Dzięki IVP stworzyliśmy program, który stosuje interaktywność opartą na regułach w odpowiedzi na automatyczne dane o zachowaniu obiektu zbierane w czasie rzeczywistym. Poniżej krótko przedstawiamy kroki niezbędne do stworzenia tego programu. Pierwszym krokiem było stworzenie cyfrowych egzemplarzy samców X. birchmanni i X. malinche. Zastosowano podejście podobne do wcześniejszych badań6. Utworzono siatki 3D, których modele oparto na teksturach pochodzących z fotografii rzeczywistych osobników X. birchmanni i X. malinche. Aby uzyskać realistyczne tekstury, te same fotografie, które posłużyły do wymodelowania kształtów ryb, wykorzystano jako tekstury ich powierzchni. Mapa planarna naniesiona na współrzędne UV pozwoliła na dopasowanie mapy UV do tekstury fotograficznej. Po drugie, cyfrowa siatka ryby musi odkształcać się w sposób odpowiadający rzeczywistemu organizmowi. W tym celu stworzono wirtualny szkielet dla ciała i płetw, który następnie „przypisano” (skinning) do siatki. Proces skinningu umożliwia odkształcanie siatki podczas rotacji stawów. Po drugie, dodaliśmy ruch do cyfrowych ryb. Animacji poddano sześć kluczowych ruchów wykonywanych przez samca mieczykowca. Trzy z tych ruchów zostały wykorzystane do przedstawienia różnych prędkości, z jakimi ryba może pływać. Pozostałe trzy ruchy obejmowały pozostawanie ryby w bezruchu, skręcanie lub wykonywanie bocznego popisu godowego. Ponieważ samce mogą podnosić lub opuszczać płetwę grzbietową w zależności od tego, czy odbiorcami są samce, czy samice3, oddzieliliśmy ruch płetwy grzbietowej od ruchu podczas bocznego popisu godowego. Płetwa grzbietowa została zaprogramowana za pomocą klatek kluczowych w taki sposób, aby można ją było podnieść lub opuścić w dowolnym punkcie cyklu. Wykorzystano łącznie dwudziestu cztery cykle animacji. Każdy cykl zaczynał się i kończył w tej samej pozycji ryby, aby cykle animacji mogły być łatwo ze sobą łączone. Wszystkie dwadzieścia cztery cykle animacji zostały stworzone poprzez rotoskopowanie7,8 pożądanego ruchu z nagrań wideo wykonanych z góry, przedstawiających żywego, tokującego się samca X. birchmanni. Po trzecie, wprowadziliśmy interaktywność. Wykorzystaliśmy system Biobserve Viewer do śledzenia w czasie rzeczywistym pozycji ryjka, ciała i ogona samicy mieczyka oraz przesyłania tych informacji w czasie rzeczywistym do programu IVP. Proces ten był realizowany oddzielnie dla każdego zalotnego samca na każdym monitorze. Animacja samca podążała za pozycją ryby będącej obiektem badań. Modelowanie podążania oparto na zachowaniu sterującym według koncepcji Reynoldsa9,10, co pozwoliło samcowi podążać za samicą i zwalniać w miarę zbliżania się do niej. Aby obliczyć pozycję samca mieczyka w każdym kroku czasowym, do systemu dostarczano aktualną pozycję samicy, co pozwalało programowi obliczyć siły napędzające samca. W pierwszej kolejności obliczono wektor przesunięcia względem celu poprzez odjęcie pozycji samca od pozycji samicy. Po drugie, odległość od samca do samicy wyznaczono, obliczając moduł wektora przesunięcia względem celu. Po trzecie, pożądaną prędkość samca określono poprzez podzielenie odległości przez stałą wartość opóźnienia. Pozwoliło to samcowi zwolnić w miarę zbliżania się do samicy. Na koniec, pożągane przyspieszenie obliczono poprzez odjęcie aktualnej prędkości samca od prędkości pożądanej. Ponieważ animacje są renderowane jako dyskretne klatki wideo przy częstotliwości 60 Hz, obliczenia przeprowadzano dla każdego dyskretnego kroku czasowego w odstępach 0,016 s. Maksymalną prędkość dla tych eksperymentów ustalono na wartości 10 cm/s. Jeśli wartość nowej prędkości przekraczała prędkość maksymalną, przypisywano jej wartość maksymalną. W tej konkretnej symulacji interaktywny samiec ryby podnosił płetwę grzbietową przez 50% czasu i wyłącznie podczas interakcji godowych. Boczny behawior prezentacyjny związany z zalotami był wyzwalany za każdym razem, gdy bodziec w postaci samca znajdował się w odległości mniejszej niż 0,25 długości ciała od samicy mieczyka w wymiarze Z. Zaskoczyło nas, że interaktywność zniosła preferencję samic do osobników tego samego gatunku, pomimo faktu, że animacje nieinteraktywne wywołały silną preferencję oraz biorąc pod uwagę, że samice spędzały większość czasu w towarzystwie bodźców interaktywnych. Jedną z możliwości jest to, że ścisłe podążanie za samicą może znosić znaczenie sygnałów wizualnych wykorzystywanych do oceny samców, takich jak miecz i płetwa grzbietowa. Alternatywnie, samice mogą rzadziej tracić zainteresowanie zalotnym samcem, a w konsekwencji rzadziej badać oba osobniki (rycina 5). Niemniej jednak nasze wyniki pokazują, że zasada działania technologii gier wideo – a mianowicie sterowane programowo, oparte na regułach agenty reagujące na dane wejściowe użytkownika – może zostać z powodzeniem zastosowana do interaktywnego odtwarzania w badaniach nad zachowaniem zwierząt. Ten typ interaktywnego odtwarzania opartego na regułach powinien okazać się użyteczny w badaniach nad ławicowaniem i ruchem zbiorowym11,12. W szczególności możliwość manipulowania regułami, których wirtualny egzemplarz używa do ławicowania, powinna dostarczyć nam wglądu w procesy, których zwierzęta używają do podejmowania decyzji o ławicowaniu.

<table><tbody><tr><td>Maya 8.0</td><td></td><td></td><td></td></tr><tr><td>Program w języku C# wykorzystujący Microsoft&amp;rsquo;s XNA Game Studio 2.0</td><td></td><td></td><td></td></tr><tr><td>BIOBSERVE Viewer 2</td><td></td><td></td><td></td></tr><tr><td>Monitor CRT Dell 15&amp;#8221; (2)</td><td></td><td></td><td></td></tr><tr><td>Akwarium testowe z pleksiglasu o wymiarach 20 X 20 X 80 cm</td><td></td><td></td><td></td></tr><tr><td>Komputer Dell Latitude (serwer animacji)</td><td></td><td></td><td></td></tr></tbody></table>

zautomatyzowane interaktywne odtwarzanie wideo w badaniach nad komunikacją zwierząt

Automated Interactive Video Playback for Studies of Animal Communication

Odtwarzanie wideo jest powszechnie stosowaną techniką kontrolowanej manipulacji i prezentacji sygnałów wizualnych w komunikacji zwierząt. W szczególności animacja komputerowa oparta na parametrach daje możliwość niezależnej manipulacji dowolną liczbą cech behawioralnych, morfologicznych lub spektralnych w kontekście realistycznych, ruchomych obrazów zwierząt na ekranie. Głównym ograniczeniem konwencjonalnego odtwarzania jest jednak brak możliwości interakcji bodźca wizualnego z żywym zwierzęciem. Korzystając z technologii gier wideo, stworzyliśmy zautomatyzowany, interaktywny system odtwarzania wideo, który steruje animacjami w odpowiedzi na sygnały w czasie rzeczywistym z systemu śledzenia wideo. Metodę tę zademonstrowano, przeprowadzając próby wyboru partnera u samic mieczykowatych Xiphophorus birchmanni. Samice miały do wyboru, w tym samym czasie, zalotnego samca tego samego gatunku oraz zalotnego samca innego gatunku (X. malinche) po przeciwnych stronach akwarium. Wirtualny bodziec w postaci samca został zaprogramowany tak, aby śledzić pozycję poziomą samicy, co naśladuje zachowanie zalotnych samców w naturze. Próby wyboru partnera u samic X. birchmanni odłowionych z natury posłużyły do walidacji zdolności prototypu do efektywnego generowania realistycznego bodźca wizualnego.

Odtwarzanie wideo jest powszechnie stosowaną techniką w badaniach nad zachowaniem zwierząt. Stworzyliśmy i oceniliśmy program, który umożliwia interaktywne odtwarzanie trójwymiarowych animacji komputerowych w oparciu o zestaw reguł, w odpowiedzi na automatycznie gromadzone w czasie rzeczywistym dane dotyczące zachowania obiektu badań.

Zautomatyzowane interaktywne odtwarzanie wideo w badaniach nad komunikacją zwierząt

Odtwarzanie nagrań wideo jest powszechnie stosowaną techniką kontrolowanej manipulacji i prezentacji sygnałów wizualnych w komunikacji zwierząt. W szczególności...

Ogólnym celem następnego eksperymentu jest wykorzystanie zautomatyzowanego, interaktywnego systemu odtwarzania wideo do badania zachowań godowych u samic ryb z rodzaju mieczowate. Zostanie to osiągnięte poprzez stworzenie cyfrowego modelu samca, nadanie mu ruchu i interaktywności oraz ustalenie reguł jego zachowania względem badanej ryby. W tej demonstracji wirtualny samiec będzie śledził ruchy prawdziwej samicy w celu skonfigurowania systemu.Konstruuje się akwarium flankowane przez dwa monitory i podłącza je do systemu obserwacji widza w celu śledzenia obiektów w czasie rzeczywistym. Dane o ruchu są następnie przekazywane do programu interaktywnego odtwarzania wideo na oddzielnym serwerze, aby określić ruch animowanego bodźca na ekranie. Po uruchomieniu systemu samice otrzymują możliwość jednoczesnego wyboru między odpowiednim samcem konspecyficznym a odpowiednim samcem heterospecyficznym znajdującymi się po przeciwnych stronach akwarium.Ostatecznie, preferencje w zachowaniu godowym, jakie samice ryb wykazują wobec samców podobnego gatunku, mogą być modyfikowane poprzez wprowadzenie interaktywnego bodźca w postaci samca. Procedurę zaprezentuje Tricia Bakowski, była doktorantka z mojego laboratorium, a obecnie pracownica Dreamworks SKG. Ustaw kamerę nad zbiornikiem i podłącz ją do karty wideo by observe.Dokonaj regulacji tak, aby całe akwarium było widoczne w polu widzenia. Skonfiguruj system przeglądania byob Observe, aby odbierał informacje o śledzeniu z kamery. Następnie włącz w przeglądarce BYOBs Observe wtyczkę, która przesyła współrzędne do serwera animacji za pomocą określonego adresu IP w sieci.Aby rozpocząć kalibrację, uruchom serwer animacji i otwórz plik interactive display setup txt. W sekcji number monitor wprowadź szerokość (screen width) i wysokość (screen height) ekranu w pikselach, a w sekcji number program type wpisz calibration. Pamiętaj o zapisaniu wprowadzonych zmian.Następnie dwukrotnie kliknij ikonę programu interaktywnego odtwarzania wideo (interactive video playback, IVP), aby uruchomić program i zapewnić poprawną zgodność między danymi widza a interaktywnym wyjściem z IVP. Wprowadź wymiary zbiornika zgodnie z wcześniejszymi ustawieniami w systemie widza, aby skorygować fakt, że końce akwarium są mniejsze niż monitory. Użyj klawiatury, aby przesunąć obszar widzenia lub okno widoku bodźców, tak aby wyrównać je z końcami zbiornika testowego wyświetlanego na serwerze animacji.Różowy okno podglądu jest wyświetlane na jednym monitorze testowym, a niebieskie na drugim. Następnie należy przeskalować obraz samca ryby w obu oknach podglądu, aż osiągnie on pożądaną wielkość bodźca. Użyj standardowego bodźca kalibracyjnego i przeskaluj go do 66.7 millimeters, korzystając ze standardowego wzorca.Przesuń pola w wyświetlaczu tak, aby znajdowały się w wyrównaniu z krawędziami zbiornika testowego. Użyj klawiszy q lub w, aby przesuwać pola w stronę środka, gdzie znajduje się ryba, lub od niego, w celu skonfigurowania systemu. Umieść monitor CRT na każdym z końców akwarium o pojemności 80 liter wypełnionego czystą wodą i upewnij się, że jasność obu monitorów jest identyczna.Wczytaj model, który zostanie przetestowany w tej demonstracji. Wybrano pliki odpowiadające dla samców, fosforu, rasy birmańskiej oraz dla samców ex MechE. Z zestawu nieinteraktywnego lub interaktywnego wybierz stronę i etap, na którym pojawi się każdy bodziec, a także pożądany rozmiar każdego bodźca.Następnie należy wybrać, czy ruchy dwóch bodźców mają być lustrzane czy niemiraowe. Na koniec można ustawić interaktywność popisów godowych samca, wybierając albo ustawienie domyślne, w którym płetwa grzbietowa jest podnoszona tylko podczas bocznego popisu godowego, albo określoną odległość. Obiekt musi znajdować się w zasięgu samca, aby wywołać reakcję.Aby rozpocząć sesję testową, otwórz plik konfiguracji interaktywnego wyświetlacza setup.txt, ustaw typ programu (number program type) na live testing, a nazwę eksperymentu (number, experiment name) na taką samą nazwę pliku, która zawiera dane eksperymentu. Uruchom program IVP, ale nie naciskaj przycisku start. Pozostawi to pusty ekran na czas okresu aklimatyzacji.Ostrożnie umieść badaną rybę w akwarium i odczekaj 10 minut, aż się zadomowi. Przed rozpoczęciem testu uruchom program observe viewer 2.0 oraz IVP. Bodźce wideo są prezentowane badanym w próbie składającej się z dwóch 20 minutowych etapów.Etap składa się z czterech lub pięciominutowych segmentów, z których przykład przedstawiono tutaj. W pierwszym segmencie samica jest aklimatyzowana w zbiorniku testowym przez pięć minut poprzez wyświetlanie monochromatycznego ekranu na obu monitorach. W drugim segmencie przez kolejne pięć minut na monitorze lewym i prawym wyświetlane są różne bodźce wideo.Bezpośrednio po wyświetleniu bodźców wideo, na obu monitorach ponownie wyświetlany jest monochromatyczny ekran przez pięć minut. W czwartym i ostatnim segmencie prezentowane są bodźce z drugiego segmentu, jednak pozycja każdego bodźca zostaje zamieniona. Stanowi to kontrolę wewnątrzosobniczą (u samicy) w celu wykluczenia preferencji stronniczości.Drugi etap może powtarzać ten sam schemat z innym zestawem bodźców prezentowanych jednocześnie. Po zakończeniu wszystkich etapów należy usunąć badanego osobnika i wprowadzić kolejną rybę do testu; aby systematycznie kontrolować preferencje stron oraz efekty kolejności, należy zróżnicować stronę i kolejność prezentacji u poszczególnych osobników. Interaktywny bodziec pokazany tutaj na czerwono ściśle śledzi w czasie rzeczywistym pozycję poziomą samicy pokazaną na niebiesko.Trzy zasady kierujące zachowaniem samca są następujące, przy czym kierunek X odnosi się do długości zbiornika, a kierunek Z do szerokości zbiornika. Zasada pierwsza: symulowany samiec zawsze podąża za osobnikiem badanym w poprzek ekranu, śledząc go w kierunku Z. Zasada druga: płetwa grzbietowa symulowanego samca jest podniesiona tylko wtedy, gdy wykonuje on boczny pokaz godowy.Zasada trzecia: symulowany samiec ryby z gatunku swordtail będzie wykonywał lateralny pokaz godowy przez 50% całkowitego czasu wyświetlania go samicy. Lateralny pokaz godowy jest wyzwalany, gdy samiec ryby znajdzie się w odległości jednej czwartej długości swojego ciała od samicy w kierunku Z. Lateralny pokaz godowy jest niezależny od tego, jak blisko monitora znajduje się samica.W przypadku asocjacji kierunkowej X czas jest obliczany automatycznie przez obserwatora i definiowany jako czas, jaki samica spędza w odległości 10 centymetrów od jednego z monitorów lub innych bodźców nieinteraktywnych. Wyniki uzyskane za pomocą IVP wykazują, że samice X silnie preferowały sygnały wizualne własnego gatunku. Jednakże, gdy samice były testowane z interaktywnymi samcami konspecyficznymi i heterospecyficznymi, nie wykazały preferencji po jej opracowaniu. Technika ta pozwoliła badaczom w dziedzinie behawiorystyki zwierząt badać interakcje społeczne przy użyciu algorytmów ilościowych.

automated-interactive-video-playback-for-studies-animal

Research

JoVE Journal

Neuroscience

Neuronauka

Automatyczna interaktywna odtwarzanie wideo dla badań nad komunikacją zwierząt

Bodźce wygenerowane komputerowo z wykorzystaniem smoka Jacky jako modelu.

Komputerowo generowane bodźce dla modeli zwierzęcych

Opisujemy protokoły szkolenia szczurów do przewlekłych zapisów elektrofizjologicznych w pełni zautomatyzowanych zadaniach poznawczych w labiryncie projekcji podłogowej.

Zautomatyzowane wizualne zadania poznawcze do rejestrowania aktywności neuronalnej za pomocą labiryntu projekcji podłogowej

Ten protokół opisuje metodę ilościowego określania towarzyskości myszy. Myszy są filmowane, gdy poruszają się i wchodzą w interakcje w specjalnej klatce. Przetwarzanie filmów pozwala na zautomatyzowaną kwantyfikację towarzyskości z doskonałą dokładnością i niezawodnością.

Eksperymentalna ocena towarzyskości myszy przy użyciu podejścia do zautomatyzowanego przetwarzania obrazu

Mysie ultradźwiękowe wokalizacje są używane jako proxy do modelowania genetycznych podstaw deficytów komunikacji głosowej w mysich modelach zaburzeń neuropsychiatrycznych. Niniejszy protokół opisuje trzy konteksty eksperymentalne, które niezawodnie wywołują ultradźwiękowe wokalizacje od szczeniąt (w trakcie rozwoju) i dorosłych myszy (interakcje tej samej płci, interakcje samca-samicy w rui).

Nagrywanie wokalizacji ultradźwiękowych myszy w celu oceny komunikacji społecznej

Korzystając z nowatorskiego FishSim Animation Toolchain, prezentujemy protokół do nieinwazyjnej wizualnej manipulacji informacjami publicznymi w kontekście kopiowania wyboru partnera u molinezów żaglopłetwych. Symulator ryb Animation Toolchain zapewnia łatwą w użyciu platformę do projektowania, animacji i prezentacji animowanych komputerowo bodźców ryb do eksperymentów behawioralnych z żywymi rybami testowymi.

Korzystanie z łańcucha narzędzi do animacji FishSim do badania zachowania ryb: studium przypadku kopiowania wyboru partnera u molinezji żaglopłetwych

Tutaj prezentujemy protokół demonstrujący test behawioralny, który określa ilościowo, jak alternatywne cechy wizualne, takie jak wskazówki ruchu, wpływają na decyzje kierunkowe u ryb. Przedstawiono reprezentatywne dane dotyczące szybkości i dokładności, z jaką Golden Shiner (Notemigonus crysoleucas) śledzi ruchy wirtualnych ryb.

Integracja wizualnych testów psychofizycznych w labiryncie Y w celu wyizolowania roli, jaką cechy wizualne odgrywają w decyzjach nawigacyjnych

Prezentujemy metodę elastycznej chemicznej i multimodalnej stymulacji oraz rejestrowania jednoczesnej aktywności neuronalnej wielu robaków Caenorhabditis elegans. Metoda ta wykorzystuje mikrofluidykę, sprzęt i oprogramowanie typu open source oraz nadzorowaną automatyczną analizę danych, aby umożliwić pomiar zjawisk neuronalnych, takich jak adaptacja, hamowanie czasowe i przesłuchy bodźców.

Zautomatyzowana stymulacja multimodalna i jednoczesna rejestracja neuronów z wielu małych organizmów

Prezentowany tutaj jest potok analizy wideo, który pokonuje wyzwania związane z monitorowaniem zachowań w środowiskach MRI, pozwalając na wykrywanie nieinstruowanych reakcji behawioralnych na zewnętrzne sygnały. Analiza ta ułatwi bardziej kompleksowe zrozumienie wywołanych zmian stanu wewnętrznego i aktywności całego mózgu.

Profilowanie reakcji na zachowanie matki podczas obrazowania całego mózgu

Tutaj prezentujemy protokół do wykrywania i ilościowego określania zachowań drapieżników w modelu myszy. Platforma ta zapewnia nowy paradygmat badawczy do badania dynamiki i mechanizmów neuronalnych drapieżnych zachowań pościgowych u myszy i zapewni ustandaryzowaną platformę do badania zachowań pościgowych.

Interaktywny system do badania zachowań konfrontacyjnych u gryzoni w czasie rzeczywistym

Ultradźwiękowe wołania szczurów i myszy laboratoryjnych (USV) są przydatne do badania funkcji głosowych i nerwowych. Ten protokół opisuje paradygmat nagrody pokarmowej, który niezawodnie wywołuje wołania USV dotyczące pożądania bez zamieszań związanych z rozmnażaniem. Zawiera szczegóły dotyczące kondycjonowania zwierząt, prezentacji bodźców, nagrywania i analizy akustycznej, dostarczając metodę odtwarzalną do badania funkcji afektywno-motywacyjnych i czopowych czuciowo-ruchowych.

Elicytacja pokarmu przedwidziała wzmożenie apetytowych ultradźwiękowych wokalizacji u szczurów laboratoryjnych i myszy

Poznaj zautomatyzowany system interaktywnego odtwarzania wideo do badania zachowań godowych u samic miecznika. Ta metoda pozwala śledzić ruchy ryb w czasie rzeczywistym i analizować preferencje w doborze partnera.

Zautomatyzowane interaktywne odtwarzanie wideo w badaniach nad komunikacją zwierząt

Przeglądaj więcej filmów