SwarmSight: 利用共同的准备和常规硬件实时跟踪昆虫的天线运动和喙的延伸反射

大多数节肢动物移动触角或其他附属物来采样的环境线索和信号的时间和空间。动物可以通过探测诸如化学挥发物、味觉和机械刺激等感官暗示来使用触角来导航环境^1,2,3,4。在昆虫中, 触角中含有与化学挥发物结合的感官感受器^4,56 , 并通过嗅觉感觉神经元将此信号传送到中央脑区^{1,7 ,8,9}。昆虫可以调整触角位置来调节传入气味的信息^4,10,11。这种调制有利于积极知情的行为反应的气味和他们的羽毛^12,13。

许多昆虫, 包括 Hymenopterans (例如,蜜蜂和熊蜂), 鳞翅目 (例如, 蝴蝶), 和 Dipterans (如,苍蝇和蚊子), 以及其他, 通过延长他们的喙的饲料^{14,15,16,17,18,19,20,21}. 喙扩展已在过去可靠地用于各种学习和内存任务^{22、23、24、25、26、 27,28,29,30,31}。同样, 定量评估天线运动具有高的时间和空间分辨率, 可能会影响到动物的刺激、行为和内部状态之间的关系。事实上, 以前的工作已经显示了如何触角运动包含了丰富的信息蜜蜂跟踪的环境和如何移动变化与学习^{32,33,34, 35、36、37、38}。

在过去的十年中, 在高分辨率摄像机、计算机处理速度和机器视觉算法方面的进展大大加快了观察动物行为的方法。诸如动物检测、计数、跟踪和定位偏好分析等任务都得到了能够处理动物行为视频和提取相关措施的复杂软件的帮助^{39,40, 41,42,43,44,45,46,47}。

这些技术也帮助跟踪昆虫的天线和喙的运动。人类评分人员可以使用鼠标光标手动跟踪天线的位置。然而, 虽然这种方法是准确的, 任务是费时的, 人的注意力和疲劳可能导致不可靠的结果。特殊的设备和准备可以用来减少对复杂软件的需求。例如, 一个安装程序使用高速摄像机, 并绘制了天线的提示, 以跟踪⁴⁸的触角移动。还可以要求用户选择关键帧的视频, 以协助软件检测天线和喙位置⁴⁹。另一种方法检测到两个最大的运动簇来识别触角, 但它没有检测到喙位置⁵⁰。另一个软件包可以检测天线和喙的位置, 但每帧需要大约7.5 秒的处理时间⁵¹, 这可能会使 real-time 或长期观察研究望而却步。最后, 可以自定义商业软件包 (例如, EthoVision) 来执行任务⁴⁶, 但它们的许可和培训成本可能会非常高昂。

在这里描述的方法, 我们扩展了我们以前的工作的运动分析软件⁴¹跟踪昆虫触角和喙的位置与以下目标: (1) 不需要特殊的硬件或复杂的动物制剂, (2)real-time (30 fps 或更快) 在传统的计算机上的帧处理, (3) 易用性, (4) 开源, 易于扩展的代码。

由此产生的新方法和开源软件, SwarmSight 附件跟踪, 不需要绘画的触角提示, 可以使用消费者的网络摄像头捕捉视频, 并处理在 30-60 fps 的传统计算机上的视频帧 (图 1)。该软件以视频文件作为输入。用户在视频中定位昆虫头部的位置, 经过处理后, 用触角和喙的位置产生一个逗号分隔值 (. csv) 文件。通过使用 FFmpeg 库⁵², 该软件能够读取数以百计的不同视频格式 (包括大多数数字照相机所生成的格式)。

图 1: 动物设置和软件输出(a) 蜜蜂觅食的头部和身体被限制在安全带。(B) 气味源放置在动物前面, 摄像机位于上面, 并且在动物后面放置一个真空源。(C) SwarmSight 软件从视频中检测到的天线尖端和喙变量。(D) 用户将天线传感器置于动物上并调整过滤器参数。该软件检测天线和喙位置 (黄色环)。请点击这里查看更大版本的这个数字。

首先, 昆虫的身体和它的头部被限制在一个线束, 使天线和喙运动容易观察 (图 1A)。气味来源放置在昆虫前面, 有一个真空源放置在后面, 以消除空气中的气味和最小化感官适应的潜在影响 (图 1B)。一个传统的网络摄像头放在三脚架上的昆虫头上。一个 LED 可以定位在相机的视图中, 以表明什么时候的气味是呈现。

图 2: 天线坐标系统x、y 值使用视频坐标系, 其中左上角是原点, x 和 y 值在右下角移动时增加。角度是以度表示的关于前面的头 (通常是气味源)。"0" 值表示由天线鞭毛形成的线直接指向动物前面。所有角度都是正数, 除非天线指向相反的方向 (例如,右鞭毛指向左侧)。请单击此处查看此图的较大版本.

拍摄后, 视频文件打开 SwarmSight 软件, 在那里用户的位置天线传感器部件 (图 1D, 黑方块) 的头上的昆虫, 并开始视频播放。当保存结果时,. csv 文件将包含天线提示的 X、Y 位置、相对于磁头前端的天线角度 (图 2) 和 x、y 位置。此外, 为每个天线计算一个占主导地位的部门指标。该指标显示, 在每个天线周围的五36度的区段中, 哪一个被认为可能是天线的最多的点, 如果天线位置/角度测量不可靠, 因为有噪音或有问题的视频, 就很有用。

简单地, 软件使用一组运动滤镜⁵³和一个宽松的洪水填充算法⁵⁴来工作。要查找可能的天线点, 请使用两个滤镜: 3 连续帧差分滤镜^41、55和中值-背景减法⁵⁶滤镜。采用颜色距离阈值滤波器进行鼻点检测。将每个滤镜的前10% 点组合在一起, 并使用洪水填充算法来检查具有2像素 (px) 间隔的相邻点, 定位极值点。并行帧解码、处理、渲染管线和优化内存分配的滤波器数据流实现了较高的性能。软件生成的原始 x 和 y 坐标值是用3帧滚动中值过滤器⁵⁷ (参见讨论) 处理的。可以在联机⁵⁸中找到下载完整源代码的说明。

下面是一个协议, 准备一个蜜蜂觅食的天线跟踪。类似的协议可以用来跟踪任何其他昆虫的天线/喙运动。在结果部分, 我们描述了一个样本的天线跟踪输出的软件检测, 比较软件输出到跟踪执行的人评分, 和评估的触角移动响应五气味。

1. 捕捉和利用蜜蜂

1. 按照协议步骤1到 Smith 3.1.1, 并负担⁵⁹。

2. 准备动物束和摄像机

1. 通过将胶带贴在吊带管的顶部, 以目测的方式检查腿不能从顶部移动。
2. 用加热的蜡在昆虫头部的背面来抑制头部。目视检查头部是否固定, 不移动。此时, 触角和下颌骨应该是唯一可以自由移动的附属物。
3. 通过在昆虫束下面放置一张白纸, 使天线和视频背景之间的对比最大化。为了减少对以后调整照相机的需要, 标记昆虫线束的位置在纸, 然后安置新的个体在同一个地点。
4. 使用三脚架或摄像头固定摄像机位置, 将摄像头置于昆虫头部上方。使用摄像头软件, 预览视频, 放大, 放大头部图像, 允许在所有方面的视频〜 20-30% 的间隙。
   1. 确保相机视图中的唯一移动对象是触角或喙/下颌骨, 并在必要时重新定位照相机或动物。
      注意: SwarmSight 检查头部周围的像素移动。由腿部、阴影、风扇或人等物体引起的头部附近的外来运动可能会混淆软件, 并引入额外的噪音。
5. 通过调整环境照明使天线阴影最小化。
   注意: 软件可以容忍一些阴影, 但为了得到最好的结果, 它们应该保持在最低限度。
6. 通过使用相机快门速度软件来防止相机曝光的自动调整, 使摄像机在整个视频中保持时间恒定。使用该软件, 调整快门速度, 以最大限度地提高对比度 (视频场景不太轻或太暗), 通过调整 "曝光滑块" 下的 ' 摄像头设置 '。
   注: 以上说明是特定于摄像头和使用的软件。如果使用其他网络摄像头, 这些将需要进行调整。
7. 放置异味传递源, 并确保它不会通过检查摄像机视频提要来阻止相机视图。确保在反面放置一个真空源, 以消除刺激气味。
8. 在相机视图中放置一个 LED 或一些其他可视指示器, 以更改亮度以指示气味传递。
   注意: LED 亮度值由软件保存, 可用于在气味传递开始和结束时确定确切的帧。

3. 在实验条件下拍摄每一个人

1. 分别记录每个单独的测试组合或使用视频编辑软件将长视频文件分割成较小的文件, 从而在单独的视频文件中拍摄每个单独的昆虫和测试条件。
   注: 软件要求用户在每个视频中定位头部的位置, 并使磁头保持固定。如果头部移动, 将引入额外的噪音。SwarmSight 的批处理功能允许用户快速设置多个视频的头部位置, 并假定昆虫头在每个视频文件的持续时间内保持固定。关于如何分割长视频文件的说明, 可以在线⁶⁰找到。

4. 视频分析

1. 按照在线⁵⁸提供的步骤下载并安装 "天线跟踪" 模块。
   注: 描述如何使用该软件的视频教程也可在网站上获得。
2. 通过使用 "浏览" 按钮打开显示拍摄动物的视频文件。
3. 定位天线传感器和处理传感器
   1. 视频加载后, 将矩形 "天线传感器" 部件置于动物头部, 使用旋转和缩放图标将小部件与头部对齐 (如图 1D )。
   2. 在 LED 上放置圆形 "处理传感器" 部件, 指示何时发出气味或刺激。
      注意: 处理传感器将在每个帧的小部件的中心记录像素的亮度值。
4. 开始视频处理
   1. 按下左下角的 "播放" 按钮 (黑色三角形) 开始分析框架。
      注意: 检测到的可能的天线和喙点会被高亮显示为黄色。黄色的圆环将显示附件的提示的位置。角度 (其中0是直接在动物面前) 的天线和喙延长长度将显示在 "模型" 小部件在左下角 (参见图 1D)。右下角的 "占主导地位的部门" 小部件将显示五36度行业的相对强度, 其中检测到的天线点最多。最黑暗的区段包含最多的点, 而最轻的有最少。具有最多点的扇区号 (1-5) 将显示在小部件的下角 (请参见图 1D)。
5. 调整滤镜阈值并添加排除区域
   1. 要更改滤镜的灵敏度, 请在右侧面板的 "滤镜" 部分调整滑块。
      注意: 根据附加物的光照条件和一般运动速度, 不同的过滤灵敏度将是最佳的。用户可以通过调整值和观察天线传感器部件中突出显示的区域来找到最佳值。当一个理想的灵敏度集被发现, 只有附件将被突出。这是建议快速转发到其他部分的视频, 以确保过滤灵敏度是最佳的。
   2. (可选) 要忽略多余的对象, 请在右侧面板上展开 "天线传感器" 部分, 单击 "添加排除区域" 按钮 (请参见图 1D), 然后单击一组点以形成红色多边形, 其中的内容将被软件.
      注: 如果视频包含无关运动, 并且该运动在天线传感器部件的区域 (例如,移动腿、强阴影、实验室设备、等) 内, 软件可能会将其误认为是附属物运动。

在下面的部分中是一个例子, 从软件的数据产生的触角角, 软件的准确性和速度与人的评分者的比较, 以及蜜蜂天线运动受影响的实验结果不同的气味。R 软件62,63用于执行分析并生成数字。R 代码的分析和图形生成以及视频教程可以找到在线58。

软件输出:

图 3显示了五随机选择的天线角度的痕迹, 该软件从蜜蜂的视频中发现了纯和35x 矿物油稀释版的庚和庚, 以及清新的空气。

图 3: 五 SwarmSight 检测到的触角角的采样痕迹.Y 轴显示了天线角度的度数, 其中 "0" 是直接在动物面前, 对气味源, 与更大的价值指向远离气味来源。庚, 庚, 和他们的35x 矿物油稀释的版本, 以及清洁空气, 被应用在灰色 0 3600 ms 窗口的单蜂蜜蜂觅食。左天线标记为红色, 右对标为蓝色。五随机蜜蜂, 一个从每个条件, 被描绘在五地块。请单击此处查看此图的较大版本.

软件验证:

为了验证该软件能够可靠地检测天线的位置, 将人的天线位置与软件所定位的位置进行比较。两个人类评分者被要求在425视频帧 (~ 十四年代的视频) 中找到天线和喙尖。自定义软件模块记录了评分人标记的附件位置, 自动高级视频帧, 并记录了花费在任务上的时间。作为人与软件定位值之间的对应示例, 软件和两个人工检测位置的一个天线的叠加垂直坐标跟踪显示在图 4A中。计算了两个评分者标记天线位置之间的距离, 并将其命名为 "人际间距离"。软件检测到的天线位置和人类评分人员检测到的最近位置之间的距离被计算并命名为 "软件最接近的人的距离" (图 4B)。

图 4: 与人类评分人的比较.(A) 两个人类评分人和 SwarmSight 位于425视频帧的天线提示。由人类评分者和软件所发现的帧-帧左天线尖端 Y 坐标叠加。(B) 在人类评分员 (橙色) 与软件和最接近的人类评分员值 (黑色) 之间的不一致 (视频像素之间的距离) 叠加帧。(C) 人与人的天线尖端位置 (橙色) 和软件 vs. 人工位置 (黑色)。(D) 人与人和软件的直方图和累计分布 (虚线) 与人为帧的不一致距离。请单击此处查看此图的较大版本.

人类之间的距离是 10.9 px 平均, 在 55.2 px 在95% 帧, 并有一个最大值 81.6 px。软件最接近的人的距离是 8.0 px 平均, 在 18.3 px 在95% 帧, 并且有最大值 49.0 px (参见距离直方图在图 4D和图 4C)。5 px 近似地是天线的宽度。总的来说, 在任务开始的帧间, 人的距离很小, 任务的后半部分增加了。我们怀疑这是由于评分员的疲劳。同时, 软件最接近的人的距离水平在整个任务中保持不变。

软件速度和精确度与人类评分的比较:

人类以每秒0.52 帧的平均速度来评定天线尖端和喙的位置。为了估计人类 fps, 人类评价的帧总数 (425) 除以他们花费在任务上的总时间 (873s 和 761s)。该软件在双核 Windows 7 PC 上平均 65 fps 的帧评级。该软件在处理速度和精确度上与人类评分人员相似或优于其他人的同时, 可以预期每单位时间内完成大约125人的评分工作。

检测天线对气味的反应:

为了证明该协议可用于检测昆虫运动中的显著行为差异, 我们将23只雌性蜂蜜蜂置于两种不同的气味中。纯庚和庚, 35x 矿物油稀释的两种气味, 和清洁空气作为控制, 分别提出了 4 s (五的条件, 总共)。视频, 如上面的协议中所述, 是用 SwarmSight 软件处理的, 并分析了天线角度 (图 5)。

图 5: 天线角度表示和密度热图为五气味情况.(A) 热图显示天线角度密度 (在较暗的中部区域) 之前、庚、空气和庚气味对雌性蜂蜜蜂的管理 (n = 23)。黑色曲线是每帧平均天线角度 (两个触角)。水平线是 pre-odor 的平均值 (基线) 角。注意首选天线位置的簇 (底部图中的红色簇) 远离异味源的纯气味条件, 并相应改变平均天线角度。还要注意 "反弹" 簇后的气味结论和其明显的开始依赖气味浓度 (见其他四地块的集群位置)。密度热图的色标是任意的, 但在所有条件下都是均匀的。(B) 意味着从 pre-odor 平均角度的变化 (误差条东南亚 M)。除了空气, 所有的平均变化都是显著的 (t-测试p和 #60; 0.05)。请单击此处查看此图的较大版本.

视频帧从 9 s 段的视频由3秒前的气味开始, 3.6 的气味表示, 和2.4 秒后的气味结论是一致的所有个人和条件 (300 帧/段)。所有个体的两个天线角度的每帧手段为每个情况被计算了并且被称为 "平均角" (图 5A, 黑色曲线)。在每种情况下, 在每个个体的气味开始前的帧的平均天线角被计算并且被称为 "前气味基线" (图 5A, 细线水平线)。

在所有条件下, 除了控制, 平均角度增加的基线, 每个峰值一次 750-1050 毫秒后, 气味开始 (图 5A, 黑色曲线在 0-3600 ms 地区)。对基线的平均变化进行了测试的意义 (图 5B) 通过比较的两个天线手段的个人在峰值气味-表示平均角时间的每一个条件, 以基线意味着使用一系列1样的t-测试 (夏皮罗的常态测试在所有条件下都不重要。从基线的平均角度变化是26.9°的纯庚 (平均峰值在750毫秒后的气味开始), 21.1°为0.2 米庚 (990 毫秒), 19.6°为纯庚 (1050 毫秒), 19.3°为0.2 米庚 (780 毫秒), 3.45°为空气控制 (无峰值)。除控制外, 在所有条件下, 基线的平均角度变化是显著的 (栎调整的p和 #60; 0.05)。我们注意到, 平均角度需要更长的时间返回到基线, 以响应纯气味比稀释气味 (低通过滤的平均返回到基线3690毫秒后的气味开始纯和2940毫秒稀释庚; 对于庚, 返回时间为4260毫秒为纯和 3000 ms 为稀释版)。

使用热映射的可视化:

为了使天线响应可视化, 生成每个条件的天线角度密度热图 (图 5A, 蓝色-红色背景)。天线角度横跨十年代视频段为每个个体每个条件是积与一个高斯内核 (R 包质量, kde2d 函数64)。蓝色区域显示低密度的天线角, 而红色区域显示高密度的天线角。对于纯庚条件,图 5A底部绘图中的热图说明了天线的行为。

该图显示, 在呈现气味之前 (t和 #60; 0), 天线的角度密度在所有角度都相对均匀分布。大约1秒后气味开始 (t ~ 1000 毫秒), 将出现一对蓝色和红色簇。在阴影红色的区域中, 天线的频率比在阴影蓝色区域更频繁。蓝色簇表示天线倾向于避开较小的角度 (气味源位于0度方向), 而红色簇表示天线更倾向于更大的角度 (远离异味源)。随着气味呈现的保持, 红色簇逐渐消失。另一种红色, 虽然不那么强烈, 在气味结束后大约1秒出现。我们命名的第二个红色集群 "反弹集群"。与上面的平均角度恢复时间一致, 我们注意到反弹星团似乎较早出现, 对于稀释的气味比纯气味更不强烈。

作者声明他们没有竞争的金融利益。