Summary
本协议描述了使用新的软件 SwarmSight 的步骤, 用于在传统的网络摄像机中使用传统的计算机对昆虫天线和喙位置进行帧跟踪。自由开放源码软件的过程比人类的速度快120倍, 并且比人类的精确度更高。
Abstract
许多科学和农业上重要的昆虫使用触角来检测挥发性化合物的存在, 并在喂食时延长它们的喙。能够迅速获得对自然天线和喙运动的高分辨率测量, 并评估它们如何因应化学、发育和遗传操作而改变, 有助于了解昆虫的行为。通过使用视频分析软件 SwarmSight 将我们以前的工作从自然和实验室的视频中评估总的昆虫群或动物群的运动, 我们开发了一个新颖的, 自由的, 开源软件模块, SwarmSight 附件跟踪 (SwarmSight.org) 对昆虫的天线和喙位置的帧跟踪从传统的网络摄像机视频使用传统的计算机。该软件处理的帧比人类的速度快120倍, 比人的精确度更好, 并且使用30帧每秒 (fps) 的视频, 可以捕获触角动态高达 15 Hz。该软件用于跟踪蜜蜂对两种气味的触角反应, 发现有意义的触角撤回在气味呈现后的1秒内远离异味源。我们观察了天线位置密度热图簇的形成和簇, 以及对气味浓度的平均角依赖性。
Introduction
大多数节肢动物移动触角或其他附属物来采样的环境线索和信号的时间和空间。动物可以通过探测诸如化学挥发物、味觉和机械刺激等感官暗示来使用触角来导航环境1,2,3,4。在昆虫中, 触角中含有与化学挥发物结合的感官感受器4,56 , 并通过嗅觉感觉神经元将此信号传送到中央脑区1,7 ,8,9。昆虫可以调整触角位置来调节传入气味的信息4,10,11。这种调制有利于积极知情的行为反应的气味和他们的羽毛12,13。
许多昆虫, 包括 Hymenopterans (例如,蜜蜂和熊蜂), 鳞翅目 (例如, 蝴蝶), 和 Dipterans (如,苍蝇和蚊子), 以及其他, 通过延长他们的喙的饲料14,15,16,17,18,19,20,21. 喙扩展已在过去可靠地用于各种学习和内存任务22、23、24、25、26、 27,28,29,30,31。同样, 定量评估天线运动具有高的时间和空间分辨率, 可能会影响到动物的刺激、行为和内部状态之间的关系。事实上, 以前的工作已经显示了如何触角运动包含了丰富的信息蜜蜂跟踪的环境和如何移动变化与学习32,33,34, 35、36、37、38。
在过去的十年中, 在高分辨率摄像机、计算机处理速度和机器视觉算法方面的进展大大加快了观察动物行为的方法。诸如动物检测、计数、跟踪和定位偏好分析等任务都得到了能够处理动物行为视频和提取相关措施的复杂软件的帮助39,40, 41,42,43,44,45,46,47。
这些技术也帮助跟踪昆虫的天线和喙的运动。人类评分人员可以使用鼠标光标手动跟踪天线的位置。然而, 虽然这种方法是准确的, 任务是费时的, 人的注意力和疲劳可能导致不可靠的结果。特殊的设备和准备可以用来减少对复杂软件的需求。例如, 一个安装程序使用高速摄像机, 并绘制了天线的提示, 以跟踪48的触角移动。还可以要求用户选择关键帧的视频, 以协助软件检测天线和喙位置49。另一种方法检测到两个最大的运动簇来识别触角, 但它没有检测到喙位置50。另一个软件包可以检测天线和喙的位置, 但每帧需要大约7.5 秒的处理时间51, 这可能会使 real-time 或长期观察研究望而却步。最后, 可以自定义商业软件包 (例如, EthoVision) 来执行任务46, 但它们的许可和培训成本可能会非常高昂。
在这里描述的方法, 我们扩展了我们以前的工作的运动分析软件41跟踪昆虫触角和喙的位置与以下目标: (1) 不需要特殊的硬件或复杂的动物制剂, (2)real-time (30 fps 或更快) 在传统的计算机上的帧处理, (3) 易用性, (4) 开源, 易于扩展的代码。
由此产生的新方法和开源软件, SwarmSight 附件跟踪, 不需要绘画的触角提示, 可以使用消费者的网络摄像头捕捉视频, 并处理在 30-60 fps 的传统计算机上的视频帧 (图 1)。该软件以视频文件作为输入。用户在视频中定位昆虫头部的位置, 经过处理后, 用触角和喙的位置产生一个逗号分隔值 (. csv) 文件。通过使用 FFmpeg 库52, 该软件能够读取数以百计的不同视频格式 (包括大多数数字照相机所生成的格式)。
图 1: 动物设置和软件输出(a) 蜜蜂觅食的头部和身体被限制在安全带。(B) 气味源放置在动物前面, 摄像机位于上面, 并且在动物后面放置一个真空源。(C) SwarmSight 软件从视频中检测到的天线尖端和喙变量。(D) 用户将天线传感器置于动物上并调整过滤器参数。该软件检测天线和喙位置 (黄色环)。请点击这里查看更大版本的这个数字。
首先, 昆虫的身体和它的头部被限制在一个线束, 使天线和喙运动容易观察 (图 1A)。气味来源放置在昆虫前面, 有一个真空源放置在后面, 以消除空气中的气味和最小化感官适应的潜在影响 (图 1B)。一个传统的网络摄像头放在三脚架上的昆虫头上。一个 LED 可以定位在相机的视图中, 以表明什么时候的气味是呈现。
图 2: 天线坐标系统x、y 值使用视频坐标系, 其中左上角是原点, x 和 y 值在右下角移动时增加。角度是以度表示的关于前面的头 (通常是气味源)。"0" 值表示由天线鞭毛形成的线直接指向动物前面。所有角度都是正数, 除非天线指向相反的方向 (例如,右鞭毛指向左侧)。请单击此处查看此图的较大版本.
拍摄后, 视频文件打开 SwarmSight 软件, 在那里用户的位置天线传感器部件 (图 1D, 黑方块) 的头上的昆虫, 并开始视频播放。当保存结果时,. csv 文件将包含天线提示的 X、Y 位置、相对于磁头前端的天线角度 (图 2) 和 x、y 位置。此外, 为每个天线计算一个占主导地位的部门指标。该指标显示, 在每个天线周围的五36度的区段中, 哪一个被认为可能是天线的最多的点, 如果天线位置/角度测量不可靠, 因为有噪音或有问题的视频, 就很有用。
简单地, 软件使用一组运动滤镜53和一个宽松的洪水填充算法54来工作。要查找可能的天线点, 请使用两个滤镜: 3 连续帧差分滤镜41、55和中值-背景减法56滤镜。采用颜色距离阈值滤波器进行鼻点检测。将每个滤镜的前10% 点组合在一起, 并使用洪水填充算法来检查具有2像素 (px) 间隔的相邻点, 定位极值点。并行帧解码、处理、渲染管线和优化内存分配的滤波器数据流实现了较高的性能。软件生成的原始 x 和 y 坐标值是用3帧滚动中值过滤器57 (参见讨论) 处理的。可以在联机58中找到下载完整源代码的说明。
下面是一个协议, 准备一个蜜蜂觅食的天线跟踪。类似的协议可以用来跟踪任何其他昆虫的天线/喙运动。在结果部分, 我们描述了一个样本的天线跟踪输出的软件检测, 比较软件输出到跟踪执行的人评分, 和评估的触角移动响应五气味。
Protocol
1. 捕捉和利用蜜蜂
- 按照协议步骤1到 Smith 3.1.1, 并负担59。
2. 准备动物束和摄像机
- 通过将胶带贴在吊带管的顶部, 以目测的方式检查腿不能从顶部移动。
- 用加热的蜡在昆虫头部的背面来抑制头部。目视检查头部是否固定, 不移动。此时, 触角和下颌骨应该是唯一可以自由移动的附属物。
- 通过在昆虫束下面放置一张白纸, 使天线和视频背景之间的对比最大化。为了减少对以后调整照相机的需要, 标记昆虫线束的位置在纸, 然后安置新的个体在同一个地点。
- 使用三脚架或摄像头固定摄像机位置, 将摄像头置于昆虫头部上方。使用摄像头软件, 预览视频, 放大, 放大头部图像, 允许在所有方面的视频〜 20-30% 的间隙。
- 确保相机视图中的唯一移动对象是触角或喙/下颌骨, 并在必要时重新定位照相机或动物。
注意: SwarmSight 检查头部周围的像素移动。由腿部、阴影、风扇或人等物体引起的头部附近的外来运动可能会混淆软件, 并引入额外的噪音。
- 确保相机视图中的唯一移动对象是触角或喙/下颌骨, 并在必要时重新定位照相机或动物。
- 通过调整环境照明使天线阴影最小化。
注意: 软件可以容忍一些阴影, 但为了得到最好的结果, 它们应该保持在最低限度。 - 通过使用相机快门速度软件来防止相机曝光的自动调整, 使摄像机在整个视频中保持时间恒定。使用该软件, 调整快门速度, 以最大限度地提高对比度 (视频场景不太轻或太暗), 通过调整 "曝光滑块" 下的 ' 摄像头设置 '。
注: 以上说明是特定于摄像头和使用的软件。如果使用其他网络摄像头, 这些将需要进行调整。 - 放置异味传递源, 并确保它不会通过检查摄像机视频提要来阻止相机视图。确保在反面放置一个真空源, 以消除刺激气味。
- 在相机视图中放置一个 LED 或一些其他可视指示器, 以更改亮度以指示气味传递。
注意: LED 亮度值由软件保存, 可用于在气味传递开始和结束时确定确切的帧。
3. 在实验条件下拍摄每一个人
- 分别记录每个单独的测试组合或使用视频编辑软件将长视频文件分割成较小的文件, 从而在单独的视频文件中拍摄每个单独的昆虫和测试条件。
注: 软件要求用户在每个视频中定位头部的位置, 并使磁头保持固定。如果头部移动, 将引入额外的噪音。SwarmSight 的批处理功能允许用户快速设置多个视频的头部位置, 并假定昆虫头在每个视频文件的持续时间内保持固定。关于如何分割长视频文件的说明, 可以在线60找到。
4. 视频分析
- 按照在线58提供的步骤下载并安装 "天线跟踪" 模块。
注: 描述如何使用该软件的视频教程也可在网站上获得。 - 通过使用 "浏览" 按钮打开显示拍摄动物的视频文件。
- 定位天线传感器和处理传感器
- 视频加载后, 将矩形 "天线传感器" 部件置于动物头部, 使用旋转和缩放图标将小部件与头部对齐 (如图 1D )。
- 在 LED 上放置圆形 "处理传感器" 部件, 指示何时发出气味或刺激。
注意: 处理传感器将在每个帧的小部件的中心记录像素的亮度值。
- 开始视频处理
- 按下左下角的 "播放" 按钮 (黑色三角形) 开始分析框架。
注意: 检测到的可能的天线和喙点会被高亮显示为黄色。黄色的圆环将显示附件的提示的位置。角度 (其中0是直接在动物面前) 的天线和喙延长长度将显示在 "模型" 小部件在左下角 (参见图 1D)。右下角的 "占主导地位的部门" 小部件将显示五36度行业的相对强度, 其中检测到的天线点最多。最黑暗的区段包含最多的点, 而最轻的有最少。具有最多点的扇区号 (1-5) 将显示在小部件的下角 (请参见图 1D)。
- 按下左下角的 "播放" 按钮 (黑色三角形) 开始分析框架。
- 调整滤镜阈值并添加排除区域
- 要更改滤镜的灵敏度, 请在右侧面板的 "滤镜" 部分调整滑块。
注意: 根据附加物的光照条件和一般运动速度, 不同的过滤灵敏度将是最佳的。用户可以通过调整值和观察天线传感器部件中突出显示的区域来找到最佳值。当一个理想的灵敏度集被发现, 只有附件将被突出。这是建议快速转发到其他部分的视频, 以确保过滤灵敏度是最佳的。 - (可选) 要忽略多余的对象, 请在右侧面板上展开 "天线传感器" 部分, 单击 "添加排除区域" 按钮 (请参见图 1D), 然后单击一组点以形成红色多边形, 其中的内容将被软件.
注: 如果视频包含无关运动, 并且该运动在天线传感器部件的区域 (例如,移动腿、强阴影、实验室设备、等) 内, 软件可能会将其误认为是附属物运动。
- 要更改滤镜的灵敏度, 请在右侧面板的 "滤镜" 部分调整滑块。
- 一旦设置了过滤器和小部件, 停止视频, 从头开始, 并播放到结束。
注: 一旦整个视频播放, 所有视频帧附件的位置将存储在内存中。 - 要将附件位置数据保存到文件中, 请展开右侧的 "保存" 部分, 然后单击 "保存到"。CSV "按钮。然后选择一个文件夹来保存文件。
注意: "保存到"。csv "按钮将把处理结果保存到. csv 文件中。默认情况下, 将向用户提供将. csv 文件保存在与视频文件相同的文件夹中, 并将日期和时间作为文件名的一部分。所得到的. csv 文件将包含一组列, 其中包含有关附属物的位置的信息, 包括天线角度和主扇区, 以及头部的方向和位置。每个列的说明都是在线61提供的。 - (可选) 使用 "保存" 部分中的 "列" 和 "值" 字段, 在. csv 文件中创建额外的列 (如果以逗号分隔) 以记录信息, 如主题 ID 或实验条件的名称。
注意: 列 (s) 框中的值将出现在第一列的页眉中, 而值 (s) 框中的值将在第一列的所有行中重复。
注: 该软件可以处理多个视频文件在一批。但是, 在开始批处理之前, 用户必须提供每个视频的 head 位置信息。
- 在 "视频文件" 部分的右面板中, 单击 "批处理" 按钮打开一个窗口, 允许创建由软件按顺序处理的视频文件列表。
- 使用 "将更多视频文件添加到批处理" 按钮可选择要包括在批处理列表中的一个或多个视频文件。
- (可选) 使用 "CTRL" 或 "SHIFT" 键选择多个将使用同一组小部件参数的视频。
注: 参数复用的良好候选对象是同一动物的视频集, 它们在不同的实验条件之间没有移动。 - 通过单击 "设置选定的传感器位置" 按钮, 开始设置要用于所选视频的小部件参数。
- 调整天线传感器、处理传感器、过滤器或保存部分的参数, 并在完成时单击 "将参数保存到批次"。
- 一旦选择了每个视频的参数, 通过单击 "开始处理" 按钮来启动批处理过程。
注意: 软件将按它们在批处理列表中出现的顺序加载视频文件, 处理它们, 并将相应的. csv 文件保存到视频文件所在的同一文件夹中。顶部的进度条将在第一个视频完成后提供估计完成时间。
Representative Results
在下面的部分中是一个例子, 从软件的数据产生的触角角, 软件的准确性和速度与人的评分者的比较, 以及蜜蜂天线运动受影响的实验结果不同的气味。R 软件62,63用于执行分析并生成数字。R 代码的分析和图形生成以及视频教程可以找到在线58。
软件输出:
图 3显示了五随机选择的天线角度的痕迹, 该软件从蜜蜂的视频中发现了纯和35x 矿物油稀释版的庚和庚, 以及清新的空气。
图 3: 五 SwarmSight 检测到的触角角的采样痕迹.Y 轴显示了天线角度的度数, 其中 "0" 是直接在动物面前, 对气味源, 与更大的价值指向远离气味来源。庚, 庚, 和他们的35x 矿物油稀释的版本, 以及清洁空气, 被应用在灰色 0 3600 ms 窗口的单蜂蜜蜂觅食。左天线标记为红色, 右对标为蓝色。五随机蜜蜂, 一个从每个条件, 被描绘在五地块。请单击此处查看此图的较大版本.
软件验证:
为了验证该软件能够可靠地检测天线的位置, 将人的天线位置与软件所定位的位置进行比较。两个人类评分者被要求在425视频帧 (~ 十四年代的视频) 中找到天线和喙尖。自定义软件模块记录了评分人标记的附件位置, 自动高级视频帧, 并记录了花费在任务上的时间。作为人与软件定位值之间的对应示例, 软件和两个人工检测位置的一个天线的叠加垂直坐标跟踪显示在图 4A中。计算了两个评分者标记天线位置之间的距离, 并将其命名为 "人际间距离"。软件检测到的天线位置和人类评分人员检测到的最近位置之间的距离被计算并命名为 "软件最接近的人的距离" (图 4B)。
图 4: 与人类评分人的比较.(A) 两个人类评分人和 SwarmSight 位于425视频帧的天线提示。由人类评分者和软件所发现的帧-帧左天线尖端 Y 坐标叠加。(B) 在人类评分员 (橙色) 与软件和最接近的人类评分员值 (黑色) 之间的不一致 (视频像素之间的距离) 叠加帧。(C) 人与人的天线尖端位置 (橙色) 和软件 vs. 人工位置 (黑色)。(D) 人与人和软件的直方图和累计分布 (虚线) 与人为帧的不一致距离。请单击此处查看此图的较大版本.
人类之间的距离是 10.9 px 平均, 在 55.2 px 在95% 帧, 并有一个最大值 81.6 px。软件最接近的人的距离是 8.0 px 平均, 在 18.3 px 在95% 帧, 并且有最大值 49.0 px (参见距离直方图在图 4D和图 4C)。5 px 近似地是天线的宽度。总的来说, 在任务开始的帧间, 人的距离很小, 任务的后半部分增加了。我们怀疑这是由于评分员的疲劳。同时, 软件最接近的人的距离水平在整个任务中保持不变。
软件速度和精确度与人类评分的比较:
人类以每秒0.52 帧的平均速度来评定天线尖端和喙的位置。为了估计人类 fps, 人类评价的帧总数 (425) 除以他们花费在任务上的总时间 (873s 和 761s)。该软件在双核 Windows 7 PC 上平均 65 fps 的帧评级。该软件在处理速度和精确度上与人类评分人员相似或优于其他人的同时, 可以预期每单位时间内完成大约125人的评分工作。
检测天线对气味的反应:
为了证明该协议可用于检测昆虫运动中的显著行为差异, 我们将23只雌性蜂蜜蜂置于两种不同的气味中。纯庚和庚, 35x 矿物油稀释的两种气味, 和清洁空气作为控制, 分别提出了 4 s (五的条件, 总共)。视频, 如上面的协议中所述, 是用 SwarmSight 软件处理的, 并分析了天线角度 (图 5)。
图 5: 天线角度表示和密度热图为五气味情况.(A) 热图显示天线角度密度 (在较暗的中部区域) 之前、庚、空气和庚气味对雌性蜂蜜蜂的管理 (n = 23)。黑色曲线是每帧平均天线角度 (两个触角)。水平线是 pre-odor 的平均值 (基线) 角。注意首选天线位置的簇 (底部图中的红色簇) 远离异味源的纯气味条件, 并相应改变平均天线角度。还要注意 "反弹" 簇后的气味结论和其明显的开始依赖气味浓度 (见其他四地块的集群位置)。密度热图的色标是任意的, 但在所有条件下都是均匀的。(B) 意味着从 pre-odor 平均角度的变化 (误差条东南亚 M)。除了空气, 所有的平均变化都是显著的 (t-测试p和 #60; 0.05)。请单击此处查看此图的较大版本.
视频帧从 9 s 段的视频由3秒前的气味开始, 3.6 的气味表示, 和2.4 秒后的气味结论是一致的所有个人和条件 (300 帧/段)。所有个体的两个天线角度的每帧手段为每个情况被计算了并且被称为 "平均角" (图 5A, 黑色曲线)。在每种情况下, 在每个个体的气味开始前的帧的平均天线角被计算并且被称为 "前气味基线" (图 5A, 细线水平线)。
在所有条件下, 除了控制, 平均角度增加的基线, 每个峰值一次 750-1050 毫秒后, 气味开始 (图 5A, 黑色曲线在 0-3600 ms 地区)。对基线的平均变化进行了测试的意义 (图 5B) 通过比较的两个天线手段的个人在峰值气味-表示平均角时间的每一个条件, 以基线意味着使用一系列1样的t-测试 (夏皮罗的常态测试在所有条件下都不重要。从基线的平均角度变化是26.9°的纯庚 (平均峰值在750毫秒后的气味开始), 21.1°为0.2 米庚 (990 毫秒), 19.6°为纯庚 (1050 毫秒), 19.3°为0.2 米庚 (780 毫秒), 3.45°为空气控制 (无峰值)。除控制外, 在所有条件下, 基线的平均角度变化是显著的 (栎调整的p和 #60; 0.05)。我们注意到, 平均角度需要更长的时间返回到基线, 以响应纯气味比稀释气味 (低通过滤的平均返回到基线3690毫秒后的气味开始纯和2940毫秒稀释庚; 对于庚, 返回时间为4260毫秒为纯和 3000 ms 为稀释版)。
使用热映射的可视化:
为了使天线响应可视化, 生成每个条件的天线角度密度热图 (图 5A, 蓝色-红色背景)。天线角度横跨十年代视频段为每个个体每个条件是积与一个高斯内核 (R 包质量, kde2d 函数64)。蓝色区域显示低密度的天线角, 而红色区域显示高密度的天线角。对于纯庚条件,图 5A底部绘图中的热图说明了天线的行为。
该图显示, 在呈现气味之前 (t和 #60; 0), 天线的角度密度在所有角度都相对均匀分布。大约1秒后气味开始 (t ~ 1000 毫秒), 将出现一对蓝色和红色簇。在阴影红色的区域中, 天线的频率比在阴影蓝色区域更频繁。蓝色簇表示天线倾向于避开较小的角度 (气味源位于0度方向), 而红色簇表示天线更倾向于更大的角度 (远离异味源)。随着气味呈现的保持, 红色簇逐渐消失。另一种红色, 虽然不那么强烈, 在气味结束后大约1秒出现。我们命名的第二个红色集群 "反弹集群"。与上面的平均角度恢复时间一致, 我们注意到反弹星团似乎较早出现, 对于稀释的气味比纯气味更不强烈。
Discussion
这种方法可以在不需要特殊的动物制剂或硬件的情况下, real-time 跟踪昆虫的天线和喙的运动。
限制:
尽管有这些优点, 该方法还是有一些局限性。这包括要求动物的头被限制从运动, 需要为用户选择动物的位置和方向为每个录影, 要求有访问一台计算机, 并且软件的无法跟踪运动在三维度 (3D) 和在一些视觉上不明确的附属物位置描述如下。
该软件要求该动物的头部固定到位, 并在视频中不移动。这类似于前期工作的准备48,49,50,51。这是可能的修改软件, 以允许自动检测头部旋转, 但是, 这将消耗额外的处理时间, 并引入一个新的错误来源。如果修改后的软件是检测头部旋转不正确, 这将影响天线的角度, 因为他们的计算是相对于头部旋转角度。当前, 用户选择每个视频的头部方向一次。这种方法, 而不是没有人为错误, 尽量减少角度计算错误时, 头部是不允许移动期间的视频。
该软件还需要 Windows 7 (或更高版本) 操作系统 (OS)。其目的是使软件易于安装, 安装和使用的用户没有编程或复杂的计算机管理技能。我们决定以 windows 为目标, 因为它是广泛可用的, 而且在访问它的情况下, 可以很容易地创建虚拟机 (例如,在、VMware、平行线) 和 windows。这种操作系统的选择极大地简化了软件的安装, 通过使用易用的、command-line 的安装程序并避免了特定于不同 OSs 的 bug。
该软件只跟踪附件在2D 空间的位置。已知昆虫在3D 移动其天线, 这可能意味着当仅测量2D 坐标时, 重要信息就会丢失。虽然使用多台照相机或镜子可以帮助收集3D 本地化所需的额外信息, 但可以通过假定天线是通过使用三角关系来计算出平面位置的估计值。单线段的恒定长度, 只在摄像机平面的一侧移动。对于蜜蜂来说, 这种假设是正确的, 以获得在3D 的位置粗略估计, 但不一定是其他物种和情况的情况。
在一些不明确的情况下, 软件将无法正确检测天线和鼻尖位置。如果一个动物移动一个天线, 这样, 在视频中, 它与一个延长的喙重叠, 软件将很可能检测到天线尖端的尖吻。然而天线角度, 仍有可能被正确计算 (从不重叠部分)。同样, 如果天线尖端直接移动到动物头上方 (即,不在两侧), 则软件可能只检测到在磁头外部可见的天线部分, 或假定天线的前一个位置, 或检测到杂散视频噪声作为天线位置。在这两种情况下, 即使是人类的评分人也很难辨别出天线的触角或头部。为缓解此问题, 我们建议将3帧、对称滚动中值57筛选器应用于软件生成的原始 X 和 Y 坐标。此滤镜可消除较大的瞬态 (单) 位置波动, 并保留较长的天线位置移动。我们发现3帧筛选器的性能优于无筛选器, 而更宽的筛选器 (例如, 5、11或15帧) 降低了准确性。使用滤镜和视频教程的 R 代码示例可以在线58找到。
作为科学工具的价值:
可利用的方法迅速获得准确的昆虫附属物运动以 cost-effective 的方式有潜力开辟新的调查领域。
鼻延伸反射 (每) 是一种常用的行为反应来调查的学习和记忆的各种昆虫的59。以前的研究通常依赖于二进制的扩展或非测量, 虽然视频和肌分析显示了更复杂的结构, 以鼻部移动65,66。这里的方法允许在高时间和空间分辨率下快速定量的喙运动。
昆虫对气味的反应是很不了解的。其中一个原因是, 触角的移动速度如此之快, 以至于 cost-effective, 自动获取天线运动数据的手段还没有得到。本文提出的方法可用于在大量的条件下快速获取大量昆虫的天线运动数据。例如, 这可以帮助研究人员对各种刺激, 特别是挥发性气味的反应, 对天线运动之间的映射进行调查。使用摄像头捕捉帧在30赫兹, 该软件可以用来表征触角运动动态高达15赫兹 (奈奎斯特限制)。如果需要更高频率的特性, 可以使用具有较高捕获速率的照相机 (例如, 60 或 120 fps)。然而, 一个更快的计算机可能需要处理更高的 fps 视频在 real-time。我们推测, 气味的类, 甚至可能是一些单独的气味, 有特征的先天触角运动。如果这些类或化合物可以被发现, 未知的气味或他们的类可以发现从触角运动未经训练的昆虫。如果存在这样的映射, 那么充分的天线运动数据和艺术机器学习算法的状态的组合应该开始发现它。此外, 如何映射变化响应学习, 在开发过程中的形式, 或中断与基因干预可以提供洞察功能的嗅觉系统。最后, 这项工作可以让人们洞察气味的人工检测, 如果它揭示了在复杂环境中的气味的最佳抽样方法。
未来的工作:
在这里, 我们表明, 可以迅速获得和分析的天线运动数据: 可以从我们的软件生成的数据中检测到显著的行为响应, 并确定了一些进一步调查的领域。
对刺激诱发的天线角偏离和恢复到基线的时间过程和任何刺激-结论回弹效应及其对气味浓度的依赖性可以通过数学方法进行研究和建模。此外, 食欲或厌恶调节引起的天线运动的任何变化也可以通过软件进行评估。
还可以探索更好的气味鉴别。在这项研究中, 两种气味, 在纯净和35x 稀释的版本引起相似的反应: 天线, 平均, 似乎迅速地撤出从气味来源并且回到 pre-odor 基线在几秒钟以后。我们推测, 即使稀释的版本可能是非常强烈的嗅觉刺激的蜜蜂。如果为真, 可以使用更广泛的浓度来确定触角反应是否能区分气味。此外, 更复杂的分析可能更好地揭示触角运动的差异, 以响应不同的气味。我们已经制作了数据文件, 用于生成这份手稿中的数字 SwarmSight 网站67感兴趣的研究人员可以使用。
此外, 虽然在本手稿的范围之外, 该软件可以扩展到处理视频的动物放置在房间内的双镜子角度在45° (见图 1D例如)。这可以用来准确地定位和跟踪附件及其在3D 空间的运动。然而, 3D 跟踪的算法将是有效的: (a) 当多个天线在一面镜中可见时, (b) 对不完美的镜面角度进行校正, (c) 考虑到相机造成的失真。定位.
最后, 可以通过使用卡尔曼滤波器68来实现位置精度的额外增益, 该过滤器利用物理状态信息 (如附属物速和加速度) 来约束预测的位置。但是, 任何精确度的提高都应根据额外计算的速度的降低而进行评估。
结论:
许多昆虫利用触角在当地环境中积极取样挥发性化合物。触角运动的模式可以提供对昆虫气味的洞察, 以及它是如何受调理, 有毒化合物, 和基因改变的影响。同样, 鼻运动已经被用来评估气味知觉和它的调制。然而, 快速获得大量的高分辨率附件运动数据是困难的。在这里, 一个协议和软件被描述为自动化这样的任务。总之, 我们已经创建并演示了如何结合廉价的硬件, 一个共同的动物准备, 和开源软件可以用来迅速获得高分辨率的昆虫附属物运动数据。该软件的输出, 如何在速度和准确度上优于人类评分, 以及如何分析和可视化其输出数据。
Disclosures
作者声明他们没有竞争的金融利益。
Acknowledgments
JB、smc 和 RCG 都得到了 nih R01MH1006674 对 smc 和 nih R01EB021711 RCG 的支持。CMJ 和 BHS 的支持下, NSF 的想法实验室项目的 "破解嗅觉代码" BHS。我们感谢凯尔斯坦梅茨, 塔 Oboyle, 和雷切尔 Halby 的协助进行这项研究。
Materials
| Name | Company | Catalog Number | Comments |
| Insect harness | N/A | N/A | Use materials needed for Protocol sections 1-3.1.1 of Smith & Burden (2014) |
| Odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
| Vacuum source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
| LED connected to odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
| Low Voltage Soldering Iron | Stannol | Low Voltage Micro Soldering Iron 12V, 8W | |
| DC Power Supply | Tekpower | HY152A | |
| Tripod | AmazonBasics | 50-Inch Lightweight Tripod | Optional |
| Camera | Genius | WideCam F100 | FLIR Flea3 or another camera with manual focus can be used. |
| Camera software | Genius | N/A | Software comes with camera. On MacOS, Photo Booth app can be used to record videos. |
| Camera shutter speed software | Genius | N/A | Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/ |
| Windows Operating System | Microsoft | Windows 7 Professional | Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments. |
| SwarmSight software | SwarmSight | Appendage Tracking | Download from http://SwarmSight.org |
| R software | R Project | R 3.4.0 | Download from: https://cran.r-project.org/bin/windows/base/ |
| R Studio software | RStudio | RStudio Desktop | Download from: https://www.rstudio.com/products/rstudio/download/ |
References
- Hansson, B. S. Insect Olfaction. , Springer Science & Business Media. New York. (1999).
- Masson, C., Mustaparta, H. Chemical information processing in the olfactory system of insects. Physiol Rev. 70 (1), 199-245 (1990).
- Firestein, S. How the olfactory system makes sense of scents. Nature. 413 (6852), 211-218 (2001).
- Schneider, D. Insect antennae. Annu Rev Entomol. 9 (1), 103-122 (1964).
- Kaissling, K. Chemo-electrical transduction in insect olfactory receptors. Annu Rev Neurosci. 9 (1), 121-145 (1986).
- Nakagawa, T., Vosshall, L. B. Controversy and consensus: noncanonical signaling mechanisms in the insect olfactory system. Curr Opin Neurobiol. 19 (3), 284-292 (2009).
- Heisenberg, M. What do the mushroom bodies do for the insect brain? An introduction. Learn Memory. 5 (1), 1-10 (1998).
- Zars, T. Behavioral functions of the insect mushroom bodies. Curr Opin Neurobiol. 10 (6), 790-795 (2000).
- Heisenberg, M. Mushroom body memoir: from maps to models. Nature Rev Neurosci. 4 (4), 266-275 (2003).
- Pelletier, Y., McLEOD, C. D. Obstacle perception by insect antennae during terrestrial locomotion. Physiol Entomol. 19 (4), 360-362 (1994).
- Suzuki, H. Antennal movements induced by odour and central projection of the antennal neurones in the honey-bee. J Insect Physiol. 21 (4), 831-847 (1975).
- Wachowiak, M. All in a sniff: olfaction as a model for active sensing. Neuron. 71 (6), 962-973 (2011).
- Bruce, T. J., Wadhams, L. J., Woodcock, C. M. Insect host location: a volatile situation. Trends Plant Sci. 10 (6), 269-274 (2005).
- Lunau, K., Wacht, S. Optical releasers of the innate proboscis extension in the hoverfly Eristalis tenax L.(Syrphidae, Diptera). J Comp Physiol [A]. 174 (5), 575-579 (1994).
- Szucsich, N. U., Krenn, H. W. Morphology and function of the proboscis in Bombyliidae (Diptera, Brachycera) and implications for proboscis evolution in Brachycera. Zoomorphology. 120 (2), 79-90 (2000).
- Harder, L. D. Measurement and estimation of functional proboscis length in bumblebees (Hymenoptera: Apidae). Can J Zool. 60 (5), 1073-1079 (1982).
- Hobbs, G. A. Further studies on the food-gathering behaviour of bumble bees (Hymenoptera: Apidae). Canadian Entomol. 94 (05), 538-541 (1962).
- Krenn, H. W. Functional morphology and movements of the proboscis of Lepidoptera (Insecta). Zoomorphology. 110 (2), 105-114 (1990).
- Krenn, H. W. Feeding mechanisms of adult Lepidoptera: structure, function, and evolution of the mouthparts. Annu Rev Entomol. 55, 307-327 (2010).
- Hepburn, H. R. Proboscis extension and recoil in Lepidoptera. J Insect Physiol. 17 (4), 637-656 (1971).
- Ramírez, G., Fagundez, C., Grosso, J. P., Argibay, P., Arenas, A., Farina, W. M. Odor Experiences during Preimaginal Stages Cause Behavioral and Neural Plasticity in Adult Honeybees. Front Behav Neurosci. 10, (2016).
- Takeda, K. Classical conditioned response in the honey bee. J Insect Physiol. 6 (3), 168-179 (1961).
- Bitterman, M. E., Menzel, R., Fietz, A., Schäfer, S. Classical conditioning of proboscis extension in honeybees (Apis mellifera). J Comp Psychol. 97 (2), 107 (1983).
- Lambin, M., Armengaud, C., Raymond, S., Gauthier, M. Imidacloprid-induced facilitation of the proboscis extension reflex habituation in the honeybee. Arch Insect Biochem Physiol. 48 (3), 129-134 (2001).
- Masterman, R., Smith, B. H., Spivak, M. Brood odor discrimination abilities in hygienic honey bees (Apis mellifera L.) using proboscis extension reflex conditioning. J Insect Behav. 13 (1), 87-101 (2000).
- Rix, R. R., Christopher Cutler, G. Acute Exposure to Worst-Case Concentrations of Amitraz Does Not Affect Honey Bee Learning, Short-Term Memory, or Hemolymph Octopamine Levels. J Econ Entomol. 110 (1), 127-132 (2017).
- Urlacher, E., et al. Measurements of Chlorpyrifos Levels in Forager Bees and Comparison with Levels that Disrupt Honey Bee Odor-Mediated Learning Under Laboratory Conditions. J Chem Ecol. 42 (2), 127-138 (2016).
- Charbonneau, L. R., Hillier, N. K., Rogers, R. E. L., Williams, G. R., Shutler, D. Effects of Nosema apis, N. ceranae, and coinfections on honey bee (Apis mellifera) learning and memory. Sci Rep. 6, (2016).
- Urlacher, E., Devaud, J. -M., Mercer, A. R. C-type allatostatins mimic stress-related effects of alarm pheromone on honey bee learning and memory recall. PLOS ONE. 12 (3), e0174321 (2017).
- Eiri, D. M., Nieh, J. C. A nicotinic acetylcholine receptor agonist affects honey bee sucrose responsiveness and decreases waggle dancing. J Exp Biol. 215 (12), 2022-2029 (2012).
- Liang, C. -H., Chuang, C. -L., Jiang, J. -A., Yang, E. -C. Magnetic Sensing through the Abdomen of the Honey bee. Sci Rep. 6, (2016).
- Erber, J., Pribbenow, B., Bauer, A., Kloppenburg, P. Antennal reflexes in the honeybee: tools for studying the nervous system. Apidologie. 24, 283 (1993).
- Erber, J., Kierzek, S., Sander, E., Grandy, K. Tactile learning in the honeybee. J Comp Physiol [A]. 183 (6), 737-744 (1998).
- Erber, J., Pribbenow, B. Antennal Movements in the Honeybee: How Complex Tasks are Solved by a Simple Neuronal System. Prerational Intelligence: Adaptive Behavior and Intelligent Systems Without Symbols and Logic, Volume 1, Volume 2 Prerational Intelligence: Interdisciplinary Perspectives on the Behavior of Natural and Artificial Systems, Volume 3. , 109-121 (2000).
- McAfee, A., Collins, T. F., Madilao, L. L., Foster, L. J. Odorant cues linked to social immunity induce lateralized antenna stimulation in honey bees (Apis mellifera L). Sci Rep. 7, (2017).
- Dötterl, S., Vater, M., Rupp, T., Held, A. Ozone Differentially Affects Perception of Plant Volatiles in Western Honey Bees. J Chem Ecol. 42 (6), 486-489 (2016).
- Wang, Z., et al. Honey Bees Modulate Their Olfactory Learning in the Presence of Hornet Predators and Alarm Component. PLOS ONE. 11 (2), e0150399 (2016).
- Søvik, E., Plath, J. A., Devaud, J. -M., Barron, A. B. Neuropharmacological Manipulation of Restrained and Free-flying Honey Bees, Apis mellifera. J Vis Exp. (117), e54695 (2016).
- Fang, Y., Du, S., Abdoola, R., Djouani, K., Richards, C. Motion Based Animal Detection in Aerial Videos. Procedia Computer Science. 92, 13-17 (2016).
- Miller, B., Lim, A. N., Heidbreder, A. F., Black, K. J. An Automated Motion Detection and Reward System for Animal Training. Cureus. 7 (12), (2015).
- Birgiolas, J., Jernigan, C. M., Smith, B. H., Crook, S. M. SwarmSight: Measuring the temporal progression of animal group activity levels from natural-scene and laboratory videos. Behav Res Methods. , (2016).
- Stern, U., Zhu, E. Y., He, R., Yang, C. -H. Long-duration animal tracking in difficult lighting conditions. Sci Rep. 5, 10432 (2015).
- Macrì, S., Mainetti, L., Patrono, L., Pieretti, S., Secco, A., Sergi, I. A tracking system for laboratory mice to support medical researchers in behavioral analysis. Engineering in Medicine and Biology Society (EMBC), 2015 37th Annual International Conference of the IEEE. , 4946-4949 (2015).
- Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: a low-cost, image-based tracking system for the study of animal behavior and locomotion. PLOS ONE. 10 (9), e0136487 (2015).
- York, J. M., Blevins, N. A., McNeil, L. K., Freund, G. G. Mouse short-and long-term locomotor activity analyzed by video tracking software. J Vis Exp. (76), e50252 (2013).
- Noldus, L. P., Spink, A. J., Tegelenbosch, R. A. EthoVision: a versatile video tracking system for automation of behavioral experiments. Behav Res Methods. 33 (3), 398-414 (2001).
- Egnor, S. E. R., Branson, K. Computational Analysis of Behavior. Annu Rev Neurosci. 39 (1), 217-236 (2016).
- Cholé, H., Junca, P., Sandoz, J. -C. Appetitive but not aversive olfactory conditioning modifies antennal movements in honeybees. Learn Memory. 22 (12), 604-616 (2015).
- Shen, M., et al. Interactive tracking of insect posture. Pattern Recognit. 48 (11), 3560-3571 (2015).
- Mujagić, S., Würth, S. M., Hellbach, S., Dürr, V. Tactile conditioning and movement analysis of antennal sampling strategies in honey bees (apis mellifera l). J Vis Exp. (70), (2012).
- Shen, M., Szyszka, P., Deussen, O., Galizia, C. G., Merhof, D. Automated tracking and analysis of behavior in restrained insects. J Neurosci Methods. 239, 194-205 (2015).
- Bellard, F., Niedermayer, M. FFmpeg. , Available from: http://ffmpeg.org (2012).
- Cucchiara, R., Grana, C., Piccardi, M., Prati, A. Detecting moving objects, ghosts, and shadows in video streams. IEE Trans Pattern Anal Mach. 25 (10), 1337-1342 (2003).
- Shaw, J. R. QuickFill: An efficient flood fill algorithm. The Code Project. , (2004).
- Zhang, H., Wu, K. A vehicle detection algorithm based on three-frame differencing and background subtraction. Computational Intelligence and Design (ISCID), 2012 Fifth International Symposium on Computational Intelligence and Design. 1, 148-151 (2012).
- Elgammal, A., Harwood, D., Davis, L. Non-parametric Model for Background Subtraction. Computer Vision - ECCV 2000. , 751-767 (2000).
- Zeileis, A., Grothendieck, G. zoo: S3 infrastructure for regular and irregular time series. arXiv preprint math/0505527. , (2005).
- SwarmSight.org. Swarmsight. , Available from: http://swarmsight.org/ (2017).
- Smith, B. H., Burden, C. M. A Proboscis Extension Response Protocol for Investigating Behavioral Plasticity in Insects: Application to Basic, Biomedical, and Agricultural Research. J Vis Exp. (91), e51057 (2014).
- Abbass, H. How to split a video or audio file with VLC Player. Darktips. , Available from: https://darktips.com/split-video-audio-file/ (2012).
- SwarmSight.org. SwarmSight Appendage Tracking CSV File Column Reference. , Available from: http://swarmsight.org/Examples/Appendage%20Tracking/ColumnReference (2017).
- R Core Team. R: A Language and Environment for Statistical Computing. , R Foundation for Statistical Computing. Vienna, Austria. Available from: http://www.R-project.org/ (2014).
- Team, R. s RStudio: integrated development for R. , RStudio, Inc. Boston, MA. (2015).
- Venables, W. N., Ripley, B. D. Modern Applied Statistics with S-PLUS. , Springer Science & Business Media. New York. (2013).
- Smith, B. H., Menzel, R. An Analysis of Variability in the Feeding Motor Program of the Honey Bee; the Role of Learning in Releasing a Modal Action Pattern. Ethology. 82 (1), 68-81 (1989).
- Smith, B. H. An analysis of blocking in odorant mixtures: an increase but not a decrease in intensity of reinforcement produces unblocking. Behavioral neuroscience. 111 (1), 57 (1997).
- Birgiolas, J. SwarmSight Antenna Tracking CSV files. , Available from: https://github.com/JustasB/SwarmSight/tree/master/Examples/Appendage%20Tracking/Birgiolas%20et.%20al.%20(2015)%20JOVE%20figures/Figures%204%265/CSVs (2017).
- Kalman, R. E. A New Approach to Linear Filtering and Prediction Problems. J Basic Eng. 82 (1), 35-45 (1960).
