Riproduzione automatica Interactive Video per gli Studi di comunicazione animale

Sommario

Riproduzione video è una tecnica ampiamente utilizzata in comportamento animale. Abbiamo creato e valutato un programma che applica regole-base, la riproduzione interattiva del 3-D animazioni al computer in risposta a tempo reale, automatizzato di dati sul comportamento dei soggetti.

Abstract

La riproduzione video è una tecnica ampiamente utilizzata per la manipolazione controllata e la presentazione di segnali visivi di comunicazione animale. In particolare, basate su parametri animazione al computer offre la possibilità di manipolare in modo indipendente una serie di caratteristiche comportamentali, morfologici, o spettrale nel contesto realistico, immagini in movimento di animali sullo schermo. Una limitazione importante di riproduzione convenzionale, tuttavia, è che lo stimolo visivo non ha la capacità di interagire con l'animale vivo. Prendendo in prestito da video-gioco la tecnologia, abbiamo creato un sistema automatico, sistema interattivo per la riproduzione video che controlla le animazioni in risposta a segnali in tempo reale da un sistema di monitoraggio video. Abbiamo dimostrato questo metodo conducendo compagno di prove a scelta di pesce portaspada femmina, Xiphophorus birchmanni. Le femmine hanno dato una scelta simultanea tra un maschio corteggia conspecifici e un maschio corteggia heterospecific (X. malinche) sui lati opposti di un acquario. Lo stimolo virtuale maschile è stato programmato per tracciare la posizione orizzontale della femmina, come fanno i maschi corteggiare in natura. Mate-scelta prove su catturati X. femmine birchmanni sono stati utilizzati per validare la capacità del prototipo di generare uno stimolo efficace realismo visivo.

Protocollo

1. Impostazione di hardware e di sistema Viewer.

Il sistema è costituito da un serbatoio di prova affiancato da due monitor. Una videocamera collegata al sistema Viewer BIOBSERVE registra il movimento del soggetto in tempo reale. Dati di movimento è passato alla riproduzione video interattivo (IVP) programma su un server separato, che determina il movimento dello stimolo animati sullo schermo.

1. Inserire due monitor CRT alle estremità opposte di un 80-l acquario riempito di acqua pulita; uscita monitor partita.
2. Telecamera in testa per riflettere piena vista acquario; connettersi a BIOBSERVE scheda video.
3. Configurare il sistema Viewer per ricevere informazioni di rilevamento dalla fotocamera.
4. Attiva plug-in per Viewer che invia le coordinate del muso dell'animale, il corpo e la coda al server di animazione in tempo reale tramite un indirizzo di rete IP specificato.
5. Accendere il server di animazione.

2. Calibrazione.

1. Sul server di animazione, aperto InteractiveDisplaySetup.txt. Inserisci larghezza dello schermo e l'altezza dello schermo in pixel sotto "Info Monitor". In "ProgramType" entrare "calibrazione". Salvare le modifiche al file.
2. Fare doppio clic sull'icona del programma IVP per avviare il programma.
3. Entra nel estensioni delle dimensioni del serbatoio come indicato nel sistema Viewer al punto 2.3. Questo assicura la corrispondenza tra i dati Viewer e output interattivo da IVP.
4. Dal momento che le estremità di acquari sono più piccoli i monitor, il software permette all'utente di utilizzare la tastiera (a e s di larghezza, Z e X per altezza, e la freccia chiavi per posizione) per spostare l'area di visualizzazione (finestra) del stimoli per allinearsi con le estremità del serbatoio di prova. Visto sul server di animazione, la finestra rosa è ripreso su un monitor di test e la finestra blu dall'altro (figura 1).
5. Utilizzare Z e X sulla tastiera per ridimensionare la visualizzazione dei pesci di sesso maschile su entrambi i finestre fino a quando non corrisponde alla dimensione stimolo desiderato.
6. Spostare le caselle visualizzate in modo che si allineano ai bordi della vasca di prova. L'utente utilizza i tasti Q o W per spostare le caselle verso o lontano dal centro del pesce.
7. Inserire le informazioni esperimento quando richiesto dal programma. L'utente ha la possibilità di scegliere tra i modelli precaricati (nella nostra dimostrazione, corteggiamento maschile Xiphophorus birchmanni, X. malinche). L'utente specifica anche il comportamento di ogni pesce in ogni fase (non interattivo o interattivo), il lato e la fase in cui ogni stimolo apparirà, e la dimensione desiderata (lunghezza standard) di ogni stimolo.
8. La domanda successiva chiede se l'utente vuole il movimenti dei pesci di eseguire il mirroring, cioè che il movimento del modello su entrambi i lati dell'acquario sarà esattamente lo stesso. Questo è utilizzato solo quando i pesci sono sia in modalità di animazione. Le ultime domande riguardano il movimento della pinna dorsale. L'utente può selezionare dorsale di default, questo renderebbe la dorsale solo aumentare nel corso di un corteggiamento laterale. Se il dorsale non è impostato di default, l'utente può decidere se il modello alza la pinna dorsale a seconda della distanza del soggetto dal monitor.

3.Starting IVP per compagno di test a scelta.

1. InteractiveDisplaySetup.txt aperto e impostare "ProgramType" per liveTesting e impostare 'experimentName' per lo stesso nome file che contiene i dati sperimentali.
2. Delicatamente luogo pesce soggetto in acquario e attendere 10 min.
3. Avviare il 2,0 Viewer e il PEV.

4. Mate-scelta di prova.

La sequenza complessiva sperimentale segue studi precedenti utilizzando non interattivo stimoli video di ^1-4. Le femmine sono presentati con due stimoli differenti sui monitor alle estremità opposte di un acquario di prova. Comportamento femminile viene monitorato in tempo reale dal sistema Viewer Biobserve. Il test è il tempo di risposta di associazione, la quantità di tempo che una femmina spende meno di 10 cm di un monitor o l'altro. Tempo l'associazione è automaticamente calcolato dal Viewer.

1. Gli stimoli video sono visualizzati a soggetti in un processo costituito da due, 20 minuti di fasi. Una fase si compone di quattro 5 minuti a segmenti:
   1. Il primo segmento ambientale la femmina al serbatoio di prova per cinque minuti con la visualizzazione di uno schermo monocromatico su entrambi i monitor.
   2. Nel secondo segmento, due stimoli diversi video vengono visualizzati alla femmina, uno sul monitor di sinistra e l'altro sulla destra per cinque minuti.
   3. Subito dopo la visualizzazione degli stimoli video, uno schermo monocromatico è di nuovo visualizzati su entrambi i monitor per cinque minuti.
   4. Nel quarto ed ultimo segmento, stimoli il secondo segmento vengono presentati, ma la posizione di ogni stimolo è acceso. Ciò fornisce un controllo nel-femmina di bias lato.
2. Il secconda fase si ripete lo stesso schema, con un diverso insieme di stimoli contemporaneamente-presentato.
3. Ulteriori studi sono gestiti da ritornando al passo 2 e la variazione sistematica lato e l'ordine di presentazione.

5. Rappresentante dei risultati.

Abbiamo valutato l'efficacia della riproduzione interattive mettendo a confronto la risposta femminile a animazioni interattive e non interattive dei maschi corteggiare. Il non-interattiva stimolo effettuato uno stimolo sullo schermo corteggiamento, indipendente dal comportamento femminile, come in studi precedenti ^1-4.

Lo stimolo interattivo rintracciato la posizione orizzontale della femmina attraverso lo schermo. La posizione di entrambi i pesci simulati o il pesce soggetto è stato operativamente definito come il punto medio della linea che collega il baricentro e il muso. Le tre regole che disciplinano il comportamento maschile sono stati i seguenti, in cui la direzione X si riferisce alla lunghezza della vasca, e la direzione Z si riferisce alla larghezza della vasca (figura 2):

Regola 1: Il maschio simulato segue sempre il soggetto attraverso lo schermo, il suo inseguimento in direzione Z.

Regola 2: pinna dorsale Il maschio simulato viene generato solo quando si sta eseguendo un display laterale corteggiamento.

Regola 3: Il pesce simulato portaspada maschio solo eseguire un display laterale corteggiamento per il 50% del tempo totale che viene visualizzato alla femmina. Il display corteggiamento laterale è innescata dai pesci di sesso maschile essere in un quarto lunghezza del corpo maschile del pesce femminile nella direzione Z. Il display corteggiamento laterale è indipendente da come chiudere la femmina è al monitor in direzione X.

Lo stimolo interattivo seguito da vicino la posizione della femmina in tempo reale (figura 3).

Il lavoro precedente con ^4,5 stimoli non-interattivo ha mostrato che femminile X. birchmanni decisamente da preferire i segnali visivi della propria specie. Il non-interattiva stimoli creati dalla IVP erano ugualmente efficaci nel suscitare preferenze compagno di conspecifici (t = 1,923, N = 9, p = 0,046). Quando le femmine sono stati testati su simulati interattivi maschi conspecifici e heterospecific immediatamente prima o dopo, nello stesso studio, tuttavia, non sono riusciti a mostrare una preferenza (figura 4).

Figura 1. Impostazione per la calibrazione del monitor.

Figura 2. Schematica del serbatoio e la configurazione del monitor, assi indicatori utilizzati per descrivere la posizione.

Figura 3. Posizione orizzontale di esemplare animati e rappresentante soggetto femminile nel corso del tempo.

Figura 4. Tempo Association (s) delle femmine con stimoli conspecifici e heterospecific interattivi e non interattivi maschile. Ogni trama è creato da un cinque minuti di registrazione della posizione di uscita dal prototipo. In questi diagrammi, il tempo avanza in direzione Y verticale da 0 a 5 minuti.

Figura 5. Rappresentante i dati in tempo l'associazione e il tracciamento da due stimoli interattivi. Due segmenti di cinque minuti per due femmine sono mostrati.

Discussione

Metodi precedenti per la riproduzione di video interattivi in ​​comportamento animale hanno fatto affidamento su un operatore umano a fornire risposte agli stimoli comportamentali di soggetti. Con IVP, abbiamo creato un programma che applica le regole-base dell'interattività in risposta a tempo reale, automatizzato di dati sul comportamento dei soggetti. Abbiamo brevemente i passaggi necessari per creare il programma qui sotto.

Il primo passo è stato quello di creare digitale esemplari maschi di X. birchmanni e X. Malinche. Abbiamo preso un approccio simile a studi precedenti ^6. Abbiamo creato maglie 3D che sono modellati su trame basate su fotografie di veri X. birchmanni e X. Malinche. Per catturare le texture realistiche dei pesci reali, le stesse fotografie utilizzato per modellare le forme di pesce sono state usate come texture per i pesci. Una mappa planare applicato al loro coordinate UV allineato la mappa UV con la texture fotografia. In secondo luogo, la rete pesce digitale deve deformarsi come un pesce vero e proprio. Per fare questo, uno scheletro virtuale è stato creato per il corpo e le pinne e la "pelle" per la maglia. Il processo di scuoiatura consente la maglia da deformare quando le articolazioni sono ruotati.

In secondo luogo, abbiamo aggiunto il movimento per il pesce digitale. Sei movimenti chiave che un pesce portaspada maschi fa sono stati animati. Tre di questi movimenti sono stati utilizzati per rappresentare le diverse velocità alle quali un pesce che nuotano. Gli altri tre movimenti sono stati i pesci rimasti ancora, tornire, esibendo un display laterale corteggiamento. Dal momento che i maschi possono alzare o abbassare la loro pinna dorsale in accordo con i ricevitori se maschio o femmina sono presenti ^3, abbiamo disaccoppiato il movimento della pinna dorsale da quella del display corteggiamento laterale. La pinna dorsale è stato immesso in modo che potesse essere alzato o abbassato in qualsiasi momento durante il ciclo. Un totale di 24 cicli di animazione sono stati utilizzati. Ogni ciclo è iniziato e si è concluso con il pesce nella stessa posizione in modo che i cicli di animazione potrebbe facilmente si fondono insieme. Tutti i 24 cicli di animazione sono stati creati da ^7,8 rotoscoping il movimento desiderato dal video sovraccarico di un live, corteggiamento maschile X. birchmanni.

In terzo luogo, abbiamo attivato l'interattività. Abbiamo usato il sistema Biobserve Viewer per tenere traccia in tempo reale la posizione del muso, corpo e coda del portaspada femmina e trasmettere le informazioni in tempo reale al programma IVP. Ciò è stato fatto separatamente per ogni maschio corteggiamento su ogni monitor. L'animazione maschile seguito la posizione del pesce soggetto. Abbiamo modellato seguendo con Reynolds è arrivato comportamento dello sterzo ^9,10, che ha permesso di seguire il maschio la femmina e decelerare quando si avvicina la femmina.

Per calcolare la posizione del pesce portaspada maschio ad ogni passo, il sistema è stato fornito con la posizione attuale della femmina, che ha permesso al programma di calcolare le forze che guidano il maschio. In primo luogo, l'obiettivo-offset vettore è stato calcolato sottraendo la posizione dei pesci di sesso maschile dalla posizione del pesce femmina. Secondo la distanza dal pesce maschio alla femmina di pesce è stato determinato prendendo l'ampiezza del target-offset vettore. In terzo luogo, la velocità desiderata dei pesci di sesso maschile è stato determinato dividendo la distanza per un valore di decelerazione costante. Questo ha permesso il pesce maschio a rallentare mentre si avvicinava il pesce femmina. Ultimo, l'accelerazione voluta è stata calcolata sottraendo velocità della corrente del maschio dalla velocità desiderata.

Dal momento che le animazioni sono resi come cornici discreta del video a 60 Hz, i calcoli sono stati fatti per ogni step tempo discreto, a intervalli di 0,016 secondi. Velocità massima è stato impostato su un valore di 10 cm / s per questi esperimenti. Se l'ampiezza della nuova velocità è stata superiore alla velocità massima, la velocità è stata impostata al massimo.

Per questa simulazione particolare, il pesce interattivo maschile alzato la pinna dorsale del 50% del tempo, e solo durante le interazioni corteggiamento. Il laterale comportamento di visualizzazione corteggiamento è stato attivato ogni volta che lo stimolo maschile era in 0,25 lunghezze corpo del pesce portaspada femminile nella dimensione Z.

Siamo rimasti sorpresi che l'interattività abolito la preferenza femminile per i conspecifici, nonostante il fatto che il non-interattiva animazioni suscitato una forte preferenza e dato che le femmine trascorso la maggior parte del tempo l'associazione con gli stimoli interattivi. Una possibilità è che segue da vicino la femmina può ignorare segnali visivi utilizzati per valutare i maschi, come la spada e la pinna dorsale. In alternativa, le femmine possono essere meno probabilità di perdere interesse in un corteggiamento maschile, e quindi meno probabile che entrambi gli individui del campione (figura 5).

Tuttavia, i nostri risultati mostrano che il principio di funzionamento del video-gioco e cioè la tecnologia, software-driven, basato su regole agenti di rispondere agli input dell'utente può essere applicato con successo alla riproduzione interattivo in studi dicomportamento animale. Questo tipo di regole basate riproduzione interattivi dovrebbero rivelarsi utile per gli studi di movimento shoaling e collettiva ^11,12. In particolare, la capacità di manipolare le regole che un esemplare virtuale utilizza per shoaling dovrebbe darci comprensione dei processi che gli animali utilizzano per prendere decisioni shoaling.

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Maya 8.0
Programma C# utilizzando XNA Game Studio 2.0 di Microsoft’s
BIOBSERVE Viewer 2
Monitor CRT Dell da 15” (2)
Acquario di prova in plexiglas da 20 X 20 X 80 cm
Computer Dell Latitude (server per animazioni)