アニマルコミュニケーションの研究のための自動化されたインタラクティブなビデオ再生

Butkowski, T., Yan, W., Gray, A. M., Cui, R., Verzijden, M. N., Rosenthal, G. G. Automated Interactive Video Playback for Studies of Animal Communication. J. Vis. Exp. (48), e2374, doi:10.3791/2374 (2011).

ビデオ再生には、動物のコミュニケーションにおける視覚信号の制御された操作とプレゼンテーションのための広く使用されているテクニックです。特に、パラメータベースのコンピュータアニメーションは、独立して画面上の動物の現実的な、動画像の文脈において、行動形態学的、またはスペクトル特性の任意の数を操作する機会を提供しています。従来の再生の主要な制限は、しかし、視覚刺激が生きている動物と対話する能力を欠いているということです。ビデオゲームの技術からの借入は、我々は、ビデオトラッキングシステムからのリアルタイム信号に応じてアニメーションを制御するビデオの再生のための自動化、インタラクティブなシステムを作成しました。私たちは、女性のソードテールの魚、Xiphophorus birchmanniでMATE -選択肢の試験を行うことにより、この方法を示しました。女性は水族館の反対側に同種の求愛男性と異種求愛男性（X. malinche）間の同時選択を与えられた。求愛男性が野生でするように仮想男性刺激は、女性の水平方向の位置を追跡するためにプログラムされました。野生で捕獲されたX上MATE -選択試験birchmanniの女性が効果的に現実的な視覚刺激を生成するプロトタイプの能力を検証するために使用されていました。

1。ハードウェアおよびビューアのシステムをセットアップする。

システムは、2つのモニタに挟まれた試験槽で構成されています。 BIOBSERVEビューアのシステムに接続されているビデオカメラはリアルタイムで被写体の動きを記録します。モーションデータは、画面上のアニメーション刺激の動きを判別する別のサーバーに、上のインタラクティブなビデオ再生（IVP）プログラムに渡されます。

1. きれいな水で満たされた80リットルの水槽の両端に2つのCRTモニター、マッチのモニター出力。
2. オーバーヘッド場所のカメラ水族館の完全なビューをキャプチャするために、ビデオカードをBIOBSERVEに接続する。
3. カメラからの追跡情報を受信するビューアのシステムを構成します。
4. 指定されたネットワークのIPアドレスを経由して動物の鼻、ボディ、およびリアルタイムでのアニメーションのサーバへの尾の座標を送信ビューアにプラグインを有効にします。
5. アニメーションのサーバーの電源を入れます。

2。キャリブレーション。

1. アニメーションのサーバー上で、InteractiveDisplaySetup.txtを開きます。 "モニター情報"の下のピクセル単位の画面幅と画面の高さを入力します。 "ProgramType"の下に"校正"を入力してください。ファイルへの変更を保存します。
2. プログラムを起動するためにIVPのプログラムアイコンをダブルクリックします。
3. として、ステップ2.3でビューアのシステムで設定されたタンクの大きさのエクステントに入力します。これにより、ビューアのデータとIVPからインタラクティブ出力との対応を保証します。
4. 水槽の端部がモニターよりも小さいので、ソフトウェアは、ユーザーがの表示領域（ビューポート）を移動するキーボードを（と高さの幅、zとxの秒、および矢印キーの位置など）を使用することができます試験槽の端に合わせて刺激。アニメーションのサーバ上で閲覧、ピンクのビューポートは1つのテストのモニターや他の上の青色のビューポート（図1）にエコーされます。
5. それが目的の刺激の大きさを一致するまで、両方のビューポート上でオスの魚の表示を拡大縮小するには、キーボード上のzとxを使用してください。
6. 彼らは試験水槽の端に合うように、表示されたボックスを移動します。ユーザーは、魚の中心から向かって、または離れてボックスを移動するにはQまたはWキーを使用しています。
7. プログラムで要求されたときに実験の情報を入力してください。ユーザーは、プリロードされたモデル（私たちのデモでは、男性Xiphophorus birchmanni、X. malincheを求愛）の中から選択するオプションがあります。ユーザーはまた、各段階でそれぞれの魚（非対話型またはインタラクティブ）、それぞれの刺激が現れる側、ステージ、および各刺激の所望の大きさ（標準長さ）の動作を指定します。
8. ユーザーは、魚の動きは、水槽の両側に、モデルの動きがまったく同じであることを、ミラーリング、すなわちになりたい場合は、次の質問が尋ねられます。魚アニメーションモードで両方であるときにだけ使用されます。最後の質問は、背びれの動きに関するもの。ユーザは、デフォルトの背側を選択することができますが、これは背だけ横求愛ディスプレイ中に上げてしまいます。背がデフォルトに設定されていない場合、モデルがモニターから被写体の距離に応じて、その背びれが発生した場合、ユーザが決めることができます。

MATE -選択肢のテストのためにIVPを3.Starting。

1. オープンInteractiveDisplaySetup.txtと設定は"ProgramType"liveTestingと実験データが含まれている同じファイル名に"experimentName'を設定する。
2. ゆっくりと水槽に対象魚を置き、10分を待つ。
3. ビューア2.0とIVPを起動します。

4。メイト - 選択試験。

全体的な実験的なシーケンスは、非対話型ビデオの刺激^1-4を使用して以前の研究に従います。女性は、試験水槽の両端にモニター上の異なる2つの刺激が提示されます。女性の行動はBiobserveビューアのシステムでリアルタイムで追跡されます。応答アッセイは、協会の時間、女性は一方のモニタまたは他の10cm以内に費やす時間の量です。協会の時間が自動的にビューアによって計算されます。

1. ビデオの刺激は、2つ、20分のステージで構成される試験の被験者に表示されます。ステージは4本の5分間のセグメントで構成されています。
   1. 最初のセグメントは、両方のモニタ上に単色画面を表示することにより、5分間の試験槽にメスをacclimatizes。
   2. 番目のセグメントでは、2つの異なるビデオ刺激が女性、左側のモニタ上に1〜5分は右の他に表示されます。
   3. すぐにビデオの刺激の表示に続いて、単色の画面が再び5分間両方のモニタに表示されます。
   4. 4番目と最後のセグメントでは、2つ目のセグメントからの刺激が提示されますが、各刺激の位置が切り替えられます。これは、サイドのバイアスのための内、女性のコントロールを提供します。
2. 秒ONDの段階では、同時に提示刺激の異なるセットを使用して、同じパターンを繰り返す。
3. 追加の試験がステップ2に戻り、体系的にプレゼンテーションの側面と順番を変えることによって実行されます。

5。代表的な結果。

私たちは、男性の求愛のインタラクティブおよび非インタラクティブなアニメーションへの女性の反応を比較することによって、インタラクティブな再生の有効性を評価した。非対話型の刺激は、以前の研究^1〜4のように、女性の行動の独立した画面上の求愛の刺激を、行った。

インタラクティブな刺激では、画面を横切る女性の水平方向の位置を追跡した。シミュレートされた魚や対象魚のどちらかの位置は、操作上の重心と鼻を結ぶ線の中点として定義されていました。 ：X方向は、タンクの長さを指し、およびZ方向のタンクの幅（図2）を参照している男性の行動を導く三つのルールは以下のとおりである、

ルール1：シミュレートされた男性は、常にZ方向に彼女を追跡する、画面全体の主題に従います。

ルール2：それは横方向求愛ディスプレイを実行しているときにシミュレートされたオスの背びれにだけ発生します。

ルール3：シミュレートされた男性のソードテールの魚は、それが女性のために表示されている合計時間の50％を横求愛ディスプレイを実行します。横方向の求愛ディスプレイは、Z方向のメスの魚の四分の一男性の体の長さ内にあるオスの魚によってトリガされます。横方向の求愛行動は雌がX方向でモニターにどれだけ近いかとは無関係です。

インタラクティブな刺激は密接にリアルタイムで女性の位置（図3）を追跡。

^4,5の非対話型の刺激を使用して前の仕事は、その女性のXを示したbirchmanniが強く、自分の種の視覚信号を好んだ。 IVPで作成された非対話型の刺激は、同種の仲間の設定（T = 1.923、N = 9、P = 0.046）を誘発することで同様に効果的であった。女性がシミュレートされた対話型の同種および異種男性でテストされたときにすぐに前または後に同じ試験で、しかし、彼らは好み（図4）を示すことはできなかった。

図1キャリブレーション用のセットアップを監視します。

図2。タンクとモニターのセットアップの模式図は、位置を記述するために使用される軸を示す。

図3。アニメーション模範と時間をかけて代表的な女性被験者の水平位置。

図4。インタラクティブおよび非インタラクティブ同種および異種の雄の刺激で女性の協会の時間（秒）。各プロットは、プロトタイプでの位置の出力の5分間のレコードから作成されます。これらのプロットでは、時間は0〜5分の垂直Y方向に進行する。

図5。2つの対話の刺激によって代表アソシエーションの時間のデータと追跡。女性2人のための2つの5分間のセグメントが表示されます。

動物行動におけるインタラクティブなビデオ再生のためのこれまでの方法は、被験者からの行動合図に応答を提供するために、人間のオペレータに依存している。 IVPで、我々は被験者の行動にリアルタイムの、自動化されたデータに応答して、ルールベースの​​インタラクティビティを適用したプログラムを作成しました。我々は、以下に簡単にプログラムを作成する手順を概説します。

最初のステップは、Xのデジタル男性の手本を作成することでしたbirchmanniとX. malinche。我々は以前の研究⁶と同様のアプローチを取りました。私たちは、本物のXの写真に基づいてテクスチャをモデルにしている3Dメッシュを作成birchmanniとX. malinche。本物の魚、魚の形状をモデル化するために使用したのと同じ写真のリアルなテクスチャをキャプチャするために魚のテクスチャとして使用された。彼らのUVに適用される平面地図は、写真のテクスチャのUVマップを整列座標。第二に、デジタル魚のメッシュは、本物の魚のように変形する必要があります。これを達成するために、仮想骨格は、人体とフィンのために作成され、メッシュに"スキン"。スキニング処理ではジョイントが回転しているときにメッシュが変形することが可能になります。

第二に、我々はデジタル魚にモーションを追加しました。男性ソードテールフィッシュが行う六キーの動きはアニメーションだった。運動の3つは魚が泳ぐというときの異なる速度を表すために使用されていました。他の3つの動きは、回転、または横方向の求愛ディスプレイを展示、依然として残っている魚だった。男性は男性または女性の受信機が³存在するかどうかにしたがって、その背びれを上下できるので、横方向求愛ディスプレイとは背びれの動きをデカップリングしてください。背びれは、それがサイクル中の任意の時点で上がったり下がったりすることができるように、キーが付いていた。二十から四アニメーションサイクルの合計が使用されました。各サイクルが開始され、アニメーションサイクルを簡単にブレンドできるように同じ姿勢で魚で終わった。二十から四アニメーションサイクルのすべては、男性のXを求愛、ロトスコーピング^7,8ライブのオーバーヘッドビデオから目的のモーションによって作成されたbirchmanni。

第三に、我々は、双方向性を有効にする。我々はリアルタイムで鼻、ボディ、そして女性のソードテールのテールの位置を追跡し、IVPプログラムにリアルタイムでその情報を送信するBiobserveビューアのシステムを使用する。これは、各モニターにそれぞれの求愛男性のために別々に行われていた。男性のアニメーションは、対象魚の位置を追った。我々は、レイノルズはそれが女性に近づくにつれて、男性が女性をフォローし、減速するために許可されてステアリングの動作^9,10、到着した使用して、以下のモデル化。

各時間ステップごとに男性ソードテールの魚の位置を計算するには、システムは男性の駆動力を計算するプログラムを許可された女性の現在位置、付属し​​ていた。最初に、ターゲットオフセットベクトルは、メスの魚の位置からオスの魚の位置を差し引くことにより算出した。メスの魚のオスの魚から2番目の距離は、ターゲットオフセットベクトルの大きさを考慮することによって決定した。第三に、オスの魚の希望する速度は、一定の減速度の値によって距離で割ることにより決定した。これは、メスの魚に近づくとオスの魚がスローダウンすることができました。最後に、所望の加速度が目標速度から男性の現在の速度を差し引くことにより算出した。

アニメーションを60 Hzでビデオの離散的なフレームとしてレンダリングされるため、計算は0.016秒の間隔で、各離散時間ステップのために作られました。最大速度は、これらの実験のための10センチメートル/ sの値に設定されていました。新しい速度の大きさは最大速度より大きい場合、速度は最大値に設定されていました。

この特定のシミュレーションでは、インタラクティブな男性の魚は、背びれの時間の50％を調達し、唯一の求愛の対話中に。男性の刺激は、Z次元の女性ソードテールの魚の0.25本体の長さの中でされるたびに横方向の求愛ディスプレイの動作がトリガされました。

我々は、双方向性は、非インタラクティブなアニメーションが強い選好を惹起し、女性がインタラクティブな刺激と会合時間の大半を費やしたことを考えるにもかかわらず、同種のための女性の好みを廃止することに驚いた。一つの可能​​性は密接に以下の女性がそのような剣や背びれのような男性を評価するために使用される視覚的な手がかりを、上書きする可能性があるということです。また、女性は、個人（図5）の両方をサンプリングする可能性が低くあまり求愛男性の興味を失ってしまう、そのためかもしれません。

それにもかかわらず、我々の結果はすなわち、ビデオゲームの技術の動作原理、ユーザー入力に応答するソフトウェア駆動型、ルールベースの​​エージェントが正常の研究でインタラクティブな再生に適用できることを示している動物の行動。ルールベースのインタラクティブな再生のこのタイプは、shoalingと集団運動^11,12の研究に有用であることが分かるはず。特に、仮想手本がshoalingに使用するルールを操作する能力は、動物がshoaling意思決定を行うために使用するプロセスに私たちの洞察力を与える必要があります。

このビデオ記事の生産はBiobserve研究が後援した。

我々は、この記事を後援し、多くの技術支援のためのステファンシュワルツとBiobserve GmbHのクリスチャンGutzen恩義があります。私たちは、魚の世話と支援のためオリビアオチョア、キリスト教のカウフマン、およびザカリークレスに感謝、私たちは魚を収集するための権限メキシコ連邦政府に感謝しています。我々は、グレンVigus、フレデリックパーク、テキサスA＆Mでの可視化研究室にお世話になりますアテナメイソンとライアンイースタリングは、この出版を準備するのを支援してくれました。資金は、テキサスA＆M大学とNSF IOS - 1045226で提供されていました。

1. Fisher, H.S., Mascuch, S., & Rosenthal, G.G. Multivariate male traits misalign with multivariate female preferences in the swordtail fish, Xiphophorus birchmanni. Anim. Behav. 78, 265-269 (2009).
2. Fisher, H.S. & Rosenthal, G.G. Hungry females show stronger mating preferences. Behavioral Ecology 17 (6), 979-981 (2006).
3. Fisher, H.S. & Rosenthal, G.G. Male swordtails court with an audience in mind. Biology Letters 3 (1), 5-7 (2007).
4. Wong, B.B.M. & Rosenthal, G.G. Female disdain for swords in a swordtail fish. American Naturalist 167 (1), 136-140 (2006).
5. Fisher, H.S., Wong, B.B.M., & Rosenthal, G.G. Alteration of the chemical environment disrupts communication in a freshwater fish. Proceedings of the Royal Society B-Biological Sciences 273 (1591), 1187-1193 (2006).
6. Rosenthal, G.G. Design considerations and techniques for constructing video stimuli. Acta Ethol. 3, 49-54 (2000).
7. Turnell, E.R., Mann, K.D., Rosenthal, G.G., & Gerlach, G. Mate choice in zebrafish (Danio rerio) analyzed with video-stimulus techniques. Biol. Bull. 205, 225-226 (2003).
8. Rosenthal, G.G. & Ryan, M.J. Assortative preferences for stripes in danios. Animal Behaviour 70, 1063-1066 (2005).
9. Reynolds, C.W. Flocks, herds and schools: A distributed behavioral model Proceedings of the 14st Annual Conference on Computer Graphics and Interactive Techniques, SIGGRAPH 1987 21 25-34 (1987).
10. Reynolds, C.W. Steering Behaviors For Autonomous Characters in Game Developers Conference (San Jose, CA, 1999).
11. Hoare, D.J., Couzin, I.D., Godin, J.-G.J., & Krause, J. Context-dependent group size choice in fish. Animal Behaviour 65, 663-669 (2004).
12. Hoare, D.J. & Krause, J. Social organisation, shoal structure and information transfer. Fish and Fisheries 4, 269-279 (2003).

0 Comments

You must be signed in to post a comment. Please sign in or create an account.