视频回放是动物行为研究中广泛使用的一种技术。我们开发并评估了一种程序，该程序根据对受试动物行为的实时自动化数据，应用基于规则的交互式三维计算机动画回放。
本文内容
摘要
摘要
视频回放是一种广泛用于动物通讯研究中对视觉信号进行受控操作和呈现的技术。特别是基于参数的计算机动画，能够在屏幕上呈现逼真的动物动态影像的同时，独立操控多种行为、形态或光谱特征。然而，传统回放技术的一个主要局限在于，视觉刺激无法与活体动物进行互动。借鉴视频游戏技术，我们开发了一套自动化的交互式视频回放系统，能够根据视频追踪系统提供的实时信号来控制动画的动态变化。我们通过在雌性剑尾鱼（Xiphophorus birchmanni）中开展交配选择实验，验证了该方法的有效性。实验中，雌鱼被同时呈现两个选择：一侧是求偶的同种雄鱼，另一侧是求偶的异种雄鱼（X. malinche），二者分别位于水族箱的相对两侧。虚拟雄鱼刺激被编程为可追踪雌鱼的水平位置，模拟自然界中雄鱼的求偶跟随行为。我们利用野生捕获的 X. birchmanni 雌鱼进行交配选择实验，以验证该原型系统生成逼真视觉刺激的有效性。
方案
1. 设置硬件和 Viewer 系统。
该系统由一个测试水箱和两侧的两个显示器组成。连接到BIOBSERVE Viewer系统的视频摄像机可实时记录受试对象的运动。运动数据被传输至另一台服务器上的交互式视频回放（IVP）程序，该程序据此确定屏幕上动画刺激的运动。
- 将两台CRT显示器放置在装有洁净水的80升水族箱的相对两端；匹配显示器输出。
- 将摄像机置于水族箱正上方，以捕捉水族箱的完整视野；并连接至BIOBSERVE视频采集卡。
- 配置Viewer系统，以接收来自摄像机的追踪信息。
- 启用Viewer插件，该插件通过指定的网络IP地址，实时将动物吻部、身体和尾部的坐标发送至动画服务器。
- 启动动画服务器。
2. 校准。
- 在动画服务器上，打开 InteractiveDisplaySetup.txt 文件。在“Monitor Info”下输入屏幕的宽度和高度（单位：像素）。在“ProgramType”下输入“calibration”。保存文件更改。
- 双击 IVP 程序图标以启动程序。
- 输入第 2.3 步中在 Viewer 系统中设置的鱼缸尺寸范围。这将确保 Viewer 数据与 IVP 的交互输出相对应。
- 由于鱼缸两端的尺寸小于显示器，软件允许用户使用键盘（a 和 s 调整宽度，z 和 x 调整高度，方向键调整位置）移动刺激的视图区域（视口），使其与测试鱼缸的两端对齐。在动画服务器上查看时，粉色视口会同步显示在一个测试显示器上，蓝色视口则显示在另一个显示器上（图 1）。
- 使用键盘上的 z 和 x 键调整两个视口中雄性鱼的显示大小，直到其符合所需的刺激尺寸。
- 移动显示的方框，使其与测试鱼缸的边缘对齐。用户可使用 Q 或 W 键将方框向鱼的中心方向移动或远离中心。
- 当程序提示时输入实验信息。用户可选择预加载的模型（在本演示中为求偶雄性 Xiphophorus birchmanni、X. malinche）。用户还需指定每个阶段中每条鱼的行为模式（非交互或交互）、每个刺激出现的侧别和阶段，以及每个刺激的期望大小（标准体长）。
- 下一个问题询问用户是否希望鱼的运动被镜像，即水族箱两侧模型的运动完全相同。此功能仅在两条鱼均处于动画模式时使用。最后的问题涉及背鳍的运动。用户可选择默认背鳍模式；这将使背鳍仅在侧向求偶展示期间抬起。如果背鳍未设置为默认模式，用户可决定模型是否根据受试鱼与显示器之间的距离来抬起背鳍。
3. 开始进行交配选择测试的体外受精（IVP）。
- 打开 InteractiveDisplaySetup.txt，将“ProgramType”设置为 liveTesting，并将“experimentName”设置为包含实验数据的文件的相同文件名。
- 轻轻地将受试鱼类放入水族箱中，等待 10 分钟。
- 启动 Viewer 2.0 和 IVP。
4. 交配选择实验。
整体实验流程遵循先前使用非交互式视频刺激的研究1-4。在测试水族箱相对两端的显示器上，向雌性个体呈现两种不同的刺激。雌性行为由Biobserve Viewer系统进行实时追踪。反应检测指标为“关联时间”，即雌性个体在某一显示器周围10 cm范围内停留的时间。Viewer系统会自动计算关联时间。
- 向受试者呈现视频刺激，实验分为两个阶段，每个阶段持续20分钟。每个阶段包含四个5分钟的片段：
- 第一个片段通过在两个显示器上均显示单色屏幕，使雌性个体在测试水箱中适应5分钟。
- 在第二个片段中，两个不同的视频刺激分别显示在左侧和右侧的显示器上，持续5分钟。
- 视频刺激显示结束后，两个显示器上再次同时显示单色屏幕，持续5分钟。
- 在第四也是最后一个片段中，重新呈现第二个片段中的刺激内容，但左右显示器上的刺激位置互换。此步骤为个体内的侧向偏好提供对照。
- 第二阶段重复相同的模式，但使用另一组同时呈现的刺激材料。
- 通过返回步骤2，并系统性地改变刺激的呈现位置和顺序，进行额外的实验重复。
5. 代表性结果。
我们通过比较雌性对交互式和非交互式求偶雄性动画的反应，评估了交互式播放的效果。非交互式刺激在屏幕上呈现求偶行为，其过程独立于雌性的行为，与以往研究中的方法一致1-4。
交互式刺激物追踪雌鱼在屏幕上的水平位置。模拟鱼或受试鱼的位置在操作上定义为连接其质心与吻端的线段中点。指导雄鱼行为的三条规则如下，其中X方向指鱼缸的长度方向，Z方向指鱼缸的宽度方向（图2）：
规则1：模拟男性始终跟随受试者在屏幕中移动，并在Z方向上追踪她。
规则2：模拟雄性的背鳍仅在其进行侧向求偶展示时才会竖起。
规则3：模拟的雄性剑尾鱼仅在对雌鱼展示的总时间的50%内执行侧向求偶展示。当雄鱼在Z方向上与雌鱼的距离处于雄鱼体长的四分之一以内时，会触发侧向求偶展示。该侧向求偶展示与雌鱼在X方向上距离显示器的远近无关。
交互式刺激实时紧密追踪雌性个体的位置（图3）。
先前使用非交互式刺激的研究4,5表明，雌性 X. birchmanni 对其同种的视觉信号表现出强烈偏好。由IVP生成的非交互式刺激在引发同种交配偏好方面同样有效（t = 1.923，N = 9，p = .046）。然而，当在同一实验中立即测试模拟的交互式同种与异种雄性时，雌性并未表现出偏好（图4）。
图 1. 用于校准的显示器设置。
图 2. 水箱与监测装置的示意图，显示用于描述位置的坐标轴。
图3. 动画示例与代表性雌性受试者随时间变化的水平位置。
图 4. 雌性个体与同种及异种雄性刺激源在交互与非交互条件下的关联时间（s）。每张图均基于原型系统输出的五分钟位置记录生成。在这些图中，时间沿垂直的 Y 轴方向从 0 到 5 分钟推进。
图5. 两种交互刺激下的代表性关联时间数据及运动轨迹追踪。展示了两只雌性的两个五分钟时间段的运动情况。
讨论
以往在动物行为研究中实现交互式视频播放的方法依赖于人工操作者对受试对象的行为提示作出响应。通过IVP，我们开发了一种程序，能够根据对受试对象行为的实时自动化数据，应用基于规则的交互响应。下文简要概述了创建该程序所涉及的步骤。
第一步是创建 X. birchmanni 和 X. malinche 的数字雄性模型。我们采用了与先前研究类似的方法6。我们基于真实 X. birchmanni 和 X. malinche 的照片纹理构建了三维网格模型。为了捕捉真实鱼类的逼真纹理，用于建模鱼体形状的同一组照片也被用作鱼类的纹理贴图。通过将平面映射应用于其 UV 坐标，使 UV 映射与照片纹理对齐。第二步，数字鱼网格必须能够像真实鱼类一样发生形变。为此，我们为鱼体和鱼鳍创建了虚拟骨骼结构，并将其“绑定”到网格上。绑定过程使得在旋转关节时，网格能够随之发生形变。
其次，我们为数字鱼添加了运动。我们对雄性剑尾鱼的六种关键动作进行了动画处理。其中三种动作用于表示鱼游泳时的不同速度。另外三种动作则分别代表鱼静止不动、转身或表现出侧向求偶展示。由于雄性个体会根据周围是否存在雄性或雌性接收者而相应地抬起或降低其背鳍3，因此我们将背鳍的运动与侧向求偶展示的动作分离开来。背鳍的动画被设置为可在循环周期的任意时刻独立抬高或降低。总共使用了24个动画循环。每个循环均以鱼体相同的姿态开始和结束，以便不同动画循环之间能够无缝衔接。全部24个动画循环均通过逐帧描摹（rotoscoping）7,8一只正在求偶的活体雄性 X. birchmanni 的俯视视频中所需的动作而创建。
第三，我们实现了交互性。我们使用 Biobserve Viewer 系统实时追踪雌性剑尾鱼的吻部、身体和尾部位置，并将这些信息实时传输至 IVP 程序。该过程针对每条求偶雄鱼在每个显示器上分别进行。雄鱼动画会跟随实验鱼的位置移动。我们采用 Reynolds 提出的趋近导向行为模型9,10来模拟跟随行为，使雄鱼能够追随雌鱼，并在接近时减速。
为了计算雄性剑尾鱼在每个时间步的位置，系统被输入了雌性鱼的当前位置，从而使程序能够计算驱动雄性鱼的力。首先，通过将雌性鱼的位置减去雄性鱼的位置，计算出目标偏移向量。其次，通过计算目标偏移向量的模，确定雄性鱼到雌性鱼的距离。第三，通过将该距离除以一个恒定的减速度值，确定雄性鱼的期望速度。这使得雄性鱼在接近雌性鱼时能够逐渐减速。最后，通过从期望速度中减去雄性鱼当前的速度，计算出期望加速度。
由于动画以60 Hz的频率渲染为离散的视频帧，因此每个离散时间步长的计算间隔为0.016秒。在这些实验中，最大速度设定为10 cm/s。如果新速度的幅值超过最大速度，则将速度设为最大值。
在本次特定模拟中，交互式雄性鱼在50%的时间内竖起其背鳍，且仅在求偶互动期间发生。当雄性刺激物在Z维度上位于雌性剑尾鱼0.25个体长范围内时，即触发侧向求偶展示行为。
令人意外的是，尽管非互动动画引发了雌性对同种个体的强烈偏好，且雌性大部分时间都与互动刺激相关联，但互动性却消除了雌性对同种个体的偏好。一种可能的解释是，雄性紧密跟随雌性的行为可能掩盖了用于评估雄性的视觉线索（例如剑尾和背鳍）。另一种可能是，雌性在面对求偶雄性时较不容易失去兴趣，因此较少倾向于同时采样两个个体（图5）。
然而，我们的结果表明，电子游戏技术的运行原理——即由软件驱动、基于规则的智能体对用户输入作出响应——可以成功应用于动物行为研究中的交互式回放实验。这种基于规则的交互式回放方法应有助于群集行为和集体运动的研究11,12。特别是，操控虚拟示例个体在群集中所遵循规则的能力，将有助于我们理解动物在做出群集决策时所依赖的机制。
披露
本视频文章的制作由 Biobserve Research 赞助。
致谢
我们感谢 Biobserve GmbH 的 Stephan Schwartz 和 Christian Gutzen 对本文的资助以及提供的大量技术支持。感谢 Olivia Ochoa、Christian Kaufman 和 Zachary Cress 在鱼类饲养方面的协助；我们感谢墨西哥联邦政府授予我们采集鱼类的许可。我们感谢 Texas A&M 的 Glen Vigus、Frederic Parke 及可视化实验室的支持。Athena Mason 和 Ryan Easterling 协助完成了本论文的准备工作。本研究由 Texas A&M 大学和美国国家科学基金会（NSF IOS-1045226）提供资金支持。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| Maya 8.0 | |||
| 使用 Microsoft’s XNA Game Studio 2.0 的 C# 程序 | |||
| BIOBSERVE Viewer 2 | |||
| Dell 15” CRT 显示器（2 台） | |||
| 20 × 20 × 80 cm 有机玻璃测试水族箱 | |||
| Dell Latitude 计算机（动画服务器） |
参考文献
- Fisher, H. S., Mascuch, S., Rosenthal, G. G. Multivariate male traits misalign with multivariate female preferences in the swordtail fish, Xiphophorus birchmanni. Anim. Behav. 78, 265-269 (2009).
- Fisher, H. S., Rosenthal, G. G. Hungry females show stronger mating preferences. Behavioral Ecology. 17, 979-981 (2006).
- Fisher, H. S., Rosenthal, G. G. Male swordtails court with an audience in mind. Biology Letters. 3, 5-7 (2007).
- Wong, B. B. M., Rosenthal, G. G. Female disdain for swords in a swordtail fish. American Naturalist. 167, 136-140 (2006).
- Fisher, H. S., Wong, B. B. M., Rosenthal, G. G. Alteration of the chemical environment disrupts communication in a freshwater fish. Proceedings of the Royal Society B-Biological Sciences. 273, 1187-1193 (2006).
- Rosenthal, G. G. Design considerations and techniques for constructing video stimuli. Acta Ethol. 3, 49-54 (2000).
- Turnell, E. R., Mann, K. D., Rosenthal, G. G., Gerlach, G. Mate choice in zebrafish (Danio rerio) analyzed with video-stimulus techniques. Biol. Bull. 205, 225-226 (2003).
- Rosenthal, G. G., Ryan, M. J. Assortative preferences for stripes in danios. Animal Behaviour. 70, 1063-1066 (2005).
- Flocks, herds and schools: A distributed behavioral model. Reynolds, C. W. Proceedings of the 14th annual conference on Computer graphics and interactive techniques, 1985, , ACM Press. New York, NY. 256 (1985).
- Reynolds, C. W. Steering Behaviors For Autonomous Characters. Game Developers Conference, 1999, San Jose, California, , Miller Freeman Game Group. San Francisco, California. (1999).
- Hoare, D. J., Couzin, I. D., Godin, J. -G. J., Krause, J. Context-dependent group size choice in fish. Animal Behaviour. 65, 663-669 (2004).
- Hoare, D. J. &, Krause, J. Social organisation, shoal structure and information transfer. Fish and Fisheries. 4, 269-279 (2003).
重印与许可
