Reproducción automática de vídeo interactivo de Estudios de la Comunicación Animal

Published 2/09/2011
0 Comments
  CITE THIS  SHARE 
Neuroscience
 

Summary

Reproducción de vídeo es una técnica ampliamente utilizada en el comportamiento animal. Hemos creado y evaluado un programa que se aplica basado en normas, reproducción interactiva de 3-D animaciones por ordenador, en respuesta a tiempo real, de datos automatizada sobre el comportamiento de sujetos.

Cite this Article

Copy Citation

Butkowski, T., Yan, W., Gray, A. M., Cui, R., Verzijden, M. N., Rosenthal, G. G. Automated Interactive Video Playback for Studies of Animal Communication. J. Vis. Exp. (48), e2374, doi:10.3791/2374 (2011).

Please note that all translations are automatically generated.

Click here for the english version. For other languages click here.

Abstract

La reproducción de vídeo es una técnica ampliamente utilizada para la manipulación controlada y la presentación de las señales visuales en la comunicación animal. En particular, basadas en parámetros animación por ordenador ofrece la oportunidad de manipular de forma independiente un número de características de comportamiento, morfológicos o espectrales en el contexto de imágenes realistas, movimiento de animales en la pantalla. Una limitación importante de la reproducción convencional, sin embargo, es que el estímulo visual carece de la capacidad de interactuar con el animal vivo. Los préstamos de la tecnología de video-juego, hemos creado un sistema automatizado e interactivo para la reproducción de vídeo que controla las animaciones en respuesta a señales en tiempo real de un sistema de seguimiento de vídeo. Hemos demostrado que este método mediante la realización de la elección de pareja en los ensayos de pescado xipho hembra, Xiphophorus birchmanni. Las mujeres se les dio una elección simultánea entre un hombre corteja misma especie y un macho corteja heterospecific (X. malinche) en los lados opuestos de un acuario. El estímulo masculino virtual fue programado para seguir la posición horizontal de la hembra, los machos cortejando a hacer en la naturaleza. La elección de pareja en los ensayos silvestres X. mujeres birchmanni fueron utilizados para validar la capacidad del prototipo para generar efectivamente un estímulo visual realista.

Protocol

1. La configuración del hardware y el sistema de visor.

El sistema consta de un tanque de pruebas, flanqueada por dos monitores. Una cámara de vídeo conectada al sistema de Visor de BIOBSERVE registra el movimiento del sujeto en tiempo real. Los datos de movimiento se pasa a la reproducción de vídeo interactivo (IVP) del programa en un servidor independiente, lo que determina el movimiento de los estímulos animados en pantalla.

  1. Coloque dos monitores CRT en los extremos opuestos de un acuario de 80 litros llena de agua limpia, y la salida coincide monitor.
  2. Superiores al de la cámara para capturar la vista del acuario, conectarse a BIOBSERVE tarjeta de vídeo.
  3. Configurar el sistema de visor para recibir información de seguimiento de la cámara.
  4. Habilitar plug-in en el Visor de que envía las coordenadas del hocico del animal, el cuerpo y la cola en el servidor de la animación en tiempo real a través de una dirección IP de red especificado.
  5. A su vez en el servidor de animación.

2. Calibración.

  1. En el servidor de la animación, abra InteractiveDisplaySetup.txt. Introduzca el ancho de la pantalla y la altura en píxeles en pantalla "Supervisión de la información". En "ProgramType" entrar "calibración". Guardar los cambios al archivo.
  2. Haga doble clic en el icono del programa IVP para iniciar el programa.
  3. Entrar en la extensión de las dimensiones del depósito según lo establecido en el sistema de visor en el paso 2.3. Esto asegurará la correspondencia entre los datos del visor y la salida interactiva de IVP.
  4. Desde los extremos de los tanques de peces son más pequeños que los monitores, el software permite al usuario utilizar el teclado (a la anchura y s, z, x la altura, y las teclas de posición) para mover el área de visualización (ventana) de la estímulos para alinearse con los extremos de los tanques de prueba. Visto en el servidor de la animación, la ventana de color rosa se hizo eco en el monitor de una prueba y la ventana azul en la otra (figura 1).
  5. Utilice Z y X en el teclado para la escala de la visualización de los peces machos en ambas ventanas hasta que coincida con el tamaño del estímulo deseado.
  6. Mueve las cajas muestra para que se alinee con los bordes de la prueba del tanque. El usuario utiliza las teclas Q y W para mover las cajas hacia o desde el centro del pescado.
  7. Ingrese la información experimento cuando se le solicite por el programa. El usuario tiene la opción de seleccionar entre los modelos precargados (en nuestra demostración, el cortejo masculino birchmanni Xiphophorus, X. malinche). Asimismo, el usuario especifica el comportamiento de cada uno de los peces en cada etapa (no interactivo o interactivo), y el lado del escenario en el que cada estímulo aparecerá, y el tamaño deseado (longitud estándar) de cada estímulo.
  8. La siguiente pregunta es si el usuario quiere que el desplazamiento de los peces que se refleja, es decir, que el movimiento del modelo a cada lado del acuario será exactamente lo mismo. Esto sólo se usa cuando los peces están en modo de animación. Las últimas preguntas se refieren al movimiento de la aleta dorsal. El usuario puede seleccionar por defecto dorsal, lo que haría que el dorsal sólo aumentan en un cortejo lateral. Si el dorsal no está definido como predeterminado, el usuario puede decidir si el modelo plantea su aleta dorsal, según la distancia del sujeto desde el monitor.

3.Starting IVP para la prueba de mate-elección.

  1. InteractiveDisplaySetup.txt abrir y configurar "ProgramType" a liveTesting y establecer 'experimentName' al nombre del mismo archivo que contiene los datos del experimento.
  2. Con cuidado, coloque los peces en el acuario tema y esperar 10 min.
  3. Inicie el visor de 2,0 y el IVP.

4. Mate-elección juicio.

La secuencia experimental general sigue estudios previos no interactivo estímulos de vídeo 1.4. Las mujeres se presentan con dos estímulos diferentes en los monitores en los extremos opuestos de un acuario de la prueba. Comportamiento de la mujer se hace un seguimiento en tiempo real por el sistema del Visor de Biobserve. El ensayo de respuesta es el tiempo de asociación, la cantidad de tiempo que una mujer gasta menos de 10 cm de un monitor u otro. Tiempo de asociación se calcula automáticamente por el espectador.

  1. Los estímulos de vídeo se muestran a los sujetos en un ensayo que consiste en dos etapas de 20 minutos. Una etapa se compone de cuatro segmentos de 5 minutos:
    1. El primer segmento se aclimata a la hembra en el tanque de prueba durante cinco minutos, mostrando una pantalla monocromática en ambos monitores.
    2. En el segundo segmento, dos estímulos diferentes de vídeo se muestran a la mujer, uno en el monitor de la izquierda y el otro a la derecha durante cinco minutos.
    3. Inmediatamente después de la presentación de los estímulos de vídeo, una pantalla monocromática aparece de nuevo en ambos monitores durante cinco minutos.
    4. En el cuarto y último segmento, los estímulos del segundo segmento se presentan, pero la posición de cada estímulo se cambió. Esto proporciona un control dentro de la hembra para el sesgo lateral.
  2. El segundoetapa OND repite el mismo patrón, con un conjunto diferente de los estímulos presentados simultáneamente.
  3. Los ensayos adicionales están a cargo de regresar al paso 2 y variar sistemáticamente lado y el orden de presentación.

5. Los resultados representativos.

Se evaluó la eficacia de la reproducción interactiva mediante la comparación de la respuesta femenina a animaciones interactivas y no interactivas de los hombres del cortejo. El estímulo no interactivo realizado un estímulo de cortejo en la pantalla, independientemente del comportamiento de la mujer, al igual que en estudios previos 1-4.

El estímulo interactivo seguimiento a la posición horizontal de la mujer a través de la pantalla. La posición de cualquiera de los peces simulado o el pez sujeto se define operacionalmente como el punto medio de la línea que conecta el centro de gravedad y el hocico. Las tres reglas que guían el comportamiento masculino fueron los siguientes, en la dirección X se refiere a la longitud del tanque, y la dirección Z se refiere a la anchura del tanque (figura 2):

Regla 1: Los hombres simularon siempre sigue el tema a través de la pantalla, el seguimiento de ella en la dirección Z.

Regla 2: la aleta dorsal del macho simulada sólo se provoca cuando se está llevando a cabo un ritual de cortejo lateral.

Regla 3: El pez simulado xipho hombres sólo llevará a cabo un ritual de cortejo lateral para el 50% del tiempo total que se muestra a la mujer. El cortejo lateral es provocada por los peces machos que dentro de un cuarto de la longitud del cuerpo masculino de la hembra en la dirección Z. El cortejo lateral es independiente de qué tan cerca de la hembra es el monitor en la dirección X.

El estímulo interactivo seguido de cerca la posición de la mujer en tiempo real (figura 3).

El trabajo previo que no se usen interactivo estímulos 4,5 mostraron que las mujeres X. birchmanni prefieren claramente las señales visuales de su propia especie. Los estímulos no-interactivo creado por el IVP eran igualmente efectiva para producir preferencias conspecific mate (t = 1,923, N = 9, p = 0,046). Cuando las hembras se pusieron a prueba en la simulación de los hombres interactivo misma especie y heterospecific inmediatamente antes o después en el mismo juicio, sin embargo, no muestran una preferencia (Figura 4).

Figura 1
Figura 1. Monitor de configuración para la calibración.

Figura 2
Figura 2. Esquema del tanque y la configuración del monitor, indicando los ejes se utiliza para describir la posición.

Figura 3
Figura 3. Posición horizontal del modelo de animación y sujeto femenino representante en el tiempo.

Figura 4
Figura 4. Tiempo Association (s) de las mujeres con interactivas y no interactivas de estímulos masculinos misma especie y heterospecific. Cada parcela se crea a partir de un registro de cinco minutos de la salida de las posiciones por el prototipo. En estas parcelas, el tiempo avanza en la dirección Y vertical de 0 a 5 minutos.

Figura 5
Figura 5. Representante de los datos de tiempo y el seguimiento de la asociación de dos estímulos interactivos. Dos segmentos de cinco minutos para dos mujeres se muestran.

Discussion

Los métodos anteriores para la reproducción de vídeo interactivo en el comportamiento de los animales se han basado en un operador humano para dar respuestas a las señales del comportamiento de los sujetos. Con IVP, hemos creado un programa que aplica reglas basadas en la interactividad, en respuesta a tiempo real, de datos automatizada sobre el comportamiento de sujetos. Brevemente se describen los pasos necesarios para crear el programa más adelante.

El primer paso fue la creación digital de ejemplares macho de X. birchmanni y X. malinche. Tomamos un enfoque similar al de estudios anteriores 6. Hemos creado mallas 3D que siguen el modelo de texturas a partir de fotografías reales de X. birchmanni y X. malinche. Para capturar las texturas realistas de los peces reales, las mismas fotografías utiliza para modelar las formas de peces fueron utilizados como texturas para los peces. Un mapa plano aplicado a sus coordenadas UV alineado el mapa UV con la textura de la fotografía. En segundo lugar, la malla de peces digitales debe deformarse como un pez real. Para lograr esto, un esqueleto virtual fue creado para el cuerpo y las aletas y la "piel" de la malla. El proceso de pelado permite que la malla se deforma cuando se rotan las articulaciones.

En segundo lugar, añadió el movimiento de los peces digital. Seis movimientos clave que un pez macho hace xipho fueron animados. Tres de los movimientos fueron utilizados para representar las diferentes velocidades a la que un pez nadar. Los otros tres movimientos eran los peces que quedan aún, girar, o exhibiendo un cortejo lateral. Ya que los machos pueden aumentar o disminuir su aleta dorsal, de acuerdo a si los receptores de hombres o mujeres están presentes 3, desacoplado del movimiento de la aleta dorsal de la del cortejo lateral. La aleta dorsal se impide que se pueda subir o bajar en cualquier momento durante el ciclo. Un total de ciclos de animación veinticuatro fueron utilizados. Cada ciclo se inició y terminó con los peces en la misma postura para que los ciclos de animación fácilmente se pueden mezclar entre sí. Todos los ciclos de animación veinticuatro fueron creados por rotoscopia 7,8 el movimiento deseado del video de arriba de un vivo, el cortejo masculino X. birchmanni.

En tercer lugar, permitió la interactividad. Se utilizó el sistema del Visor de Biobserve para realizar un seguimiento en tiempo real la posición de la boca, el cuerpo y la cola de la hembra xipho y transmitir esa información en tiempo real para el programa de IVP. Esto se hizo por separado para cada macho corteja en cada monitor. La animación masculina seguido la posición del pez sujeto. Modelamos siguientes con Reynolds llegó a 9,10 comportamiento de la dirección, lo que permitió a los hombres a seguir a la hembra y desacelerar al acercarse a la mujer.

Para calcular la posición de los peces xipho macho en cada paso de tiempo, el sistema se suministra con la posición actual de la mujer, lo que permitió que el programa para calcular las fuerzas que impulsan la masculina. En primer lugar, el vector objetivo de compensación se calcula restando la posición de los peces machos de la posición de la hembra. En segundo lugar la distancia de los peces machos que la hembra se determinó mediante la adopción de la magnitud del vector objetivo de compensación. En tercer lugar, la velocidad deseada de los peces de sexo masculino se determinará dividiendo la distancia por un valor de deceleración constante. Esto permitió a los peces machos de frenar cuando se acercaba a la hembra. Por último, la aceleración deseada se calcula restando velocidad de la corriente de los machos de la velocidad deseada.

Dado que las animaciones se representan como cuadros discretos de vídeo a 60 Hz, los cálculos se hicieron en cada paso de tiempo discreto, a intervalos de 0,016 segundos. Velocidad máxima se establece en un valor de 10 cm / s para estos experimentos. Si la magnitud de la nueva velocidad es mayor que la velocidad máxima, la velocidad se fija en el máximo.

Para esta simulación particular, los peces machos interactiva elevó su aleta dorsal 50% de las veces, y sólo durante las interacciones de cortejo. El comportamiento de cortejo pantalla lateral se activa cuando el estímulo masculino fue de 0,25 longitudes de cuerpo de los peces xipho mujeres en la dimensión Z.

Nos sorprendió que la interactividad abolido la preferencia de las hembras de su misma especie, a pesar de que las animaciones no interactivas provocó una fuerte preferencia y dado que las mujeres pasaron la mayor parte del tiempo la asociación con los estímulos interactivos. Una posibilidad es que sigue de cerca la hembra puede anular las señales visuales que se utilizan para evaluar los hombres, como la espada y la aleta dorsal. Por otra parte, las mujeres pueden ser menos propensos a perder el interés en un hombre de cortejo, y por lo tanto es menos probable que los individuos de la muestra (figura 5).

Sin embargo, nuestros resultados muestran que el principio de funcionamiento de la tecnología de vídeo-juego es decir, basada en software, basado en normas agentes que respondieron a la entrada del usuario puede ser aplicado con éxito en reproducción interactiva en los estudios decomportamiento de los animales. Este tipo de normas basadas en la reproducción interactiva puede ser muy útil para los estudios de movimiento de bancos de arena y colectiva 11,12. En particular, la capacidad de manipular las reglas que un modelo virtual utiliza para bancos de arena que nos ayudan a comprender los procesos que los animales utilizan para tomar decisiones de bancos de arena.

Disclosures

La producción de este video-artículo fue patrocinado por la investigación Biobserve.

Acknowledgements

Estamos en deuda con Stephan Schwartz y Christian Gutzen de Biobserve GmbH por patrocinar este artículo y de asistencia técnica mucho más. Damos las gracias a Olivia Ochoa, Kaufman cristiana, y Zachary Cress de ayuda con el cuidado de peces, estamos agradecidos con el gobierno federal mexicano permiso para recoger los peces. Estamos en deuda con Glen Vigus, Parke Frederic, y el Laboratorio de Visualización de la Texas A & M. Athena Mason y Easterling Ryan asistencia en la preparación de esta publicación. El financiamiento fue proporcionado por la Universidad Texas A & M y la NSF IOS-1045226.

Materials

Name Company Catalog Number Comments
Maya 8.0
C# program using Microsoft’s XNA Game Studio 2.0
BIOBSERVE Viewer 2
Dell 15” CRT monitor (2)
20 X 20 X 80 cm Plexiglas testing aquarium
Dell Latitude computer (animation server)

DOWNLOAD MATERIALS LIST

References

  1. Fisher, H. S., Mascuch, S., Rosenthal, G. G. Multivariate male traits misalign with multivariate female preferences in the swordtail fish, Xiphophorus birchmanni. Anim. Behav. 78, 265-269 (2009).
  2. Fisher, H. S., Rosenthal, G. G. Hungry females show stronger mating preferences. Behavioral Ecology. 17, 979-981 (2006).
  3. Fisher, H. S., Rosenthal, G. G. Male swordtails court with an audience in mind. Biology Letters. 3, 5-7 (2007).
  4. Wong, B. B. M., Rosenthal, G. G. Female disdain for swords in a swordtail fish. American Naturalist. 167, 136-140 (2006).
  5. Fisher, H. S., Wong, B. B. M., Rosenthal, G. G. Alteration of the chemical environment disrupts communication in a freshwater fish. Proceedings of the Royal Society B-Biological Sciences. 273, 1187-1193 (2006).
  6. Rosenthal, G. G. Design considerations and techniques for constructing video stimuli. Acta Ethol. 3, 49-54 (2000).
  7. Turnell, E. R., Mann, K. D., Rosenthal, G. G., Gerlach, G. Mate choice in zebrafish (Danio rerio) analyzed with video-stimulus techniques. Biol. Bull. 205, 225-226 (2003).
  8. Rosenthal, G. G., Ryan, M. J. Assortative preferences for stripes in danios. Animal Behaviour. 70, 1063-1066 (2005).
  9. Flocks, herds and schools: A distributed behavioral model. Reynolds, C. W. Proceedings of the 14th annual conference on Computer graphics and interactive techniques, 1985, ACM Press. New York, NY. 256 (1985).
  10. Reynolds, C. W. Steering Behaviors For Autonomous Characters. Game Developers Conference, 1999, San Jose, California, Miller Freeman Game Group. San Francisco, California. (1999).
  11. Hoare, D. J., Couzin, I. D., Godin, J. -G. J., Krause, J. Context-dependent group size choice in fish. Animal Behaviour. 65, 663-669 (2004).
  12. Hoare, D. J. &, Krause, J. Social organisation, shoal structure and information transfer. Fish and Fisheries. 4, 269-279 (2003).

Comments

0 Comments


    Post a Question / Comment / Request

    You must be signed in to post a comment. Please or create an account.

    Video Stats