Name: SwarmSight: 利用共同的准备和常规硬件实时跟踪昆虫的天线运动和喙的延伸反射 (视频) | JoVE Journal
Uploaded: 2017-12-25T14:00:00.000+00:00
Duration: 8 min 13 s
Description: 了解如何使用开源SwarmSight软件和普通摄像头硬件实时追踪昆虫触角和喙部运动。该方法以蜜蜂为模型，可快速获取高分辨率的行为数据，用于研究昆虫对化学刺激的反应机制。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

JB、SMC 和 RCG 受 SMC 负责的 NIH R01MH1006674 项目及 RCG 负责的 NIH R01EB021711 项目资助。CMJ 和 BHS 受 NSF Ideas 实验室项目资助。 &#34;破解嗅觉编码&#34; 至 BHS。&#160;我们感谢 Kyle Steinmetz、Taryn Oboyle 和 Rachael Halby 在开展本研究过程中提供的协助。

1. 捕获并利用蜜蜂
<ol>
	<li>按照 Smith 和 Burden59 的方案步骤 1 至 3.1.1 进行操作。</li>
</ol>
2. 准备动物背带和摄像机
<ol>
	<li>通过在束缚装置管顶部贴上胶带，遮盖住昆虫的腿部，并从上方目视检查，确保无法看到腿部移动。</li>
	<li>通过在昆虫头部后方涂抹加热后的石蜡，固定其头部。目视检查确认头部已固定且无移动。此时，触角和下颚应是唯一可自由活动的附肢。</li>
	<li>在昆虫束缚装置下方放置一张白纸，以最大化触角与视频背景之间的对比度。为尽量减少后续对相机的调整，可在纸上标记昆虫束缚装置的位置，之后每次放置新个体时均置于相同位置。</li>
	<li>使用三脚架或网络摄像头支架固定相机位置，将相机置于昆虫头部正上方。通过相机软件预览视频画面，并放大图像以使头部占据画面，四周保留约20%至30%的边距。
	<ol>
		<li>确保相机视野中唯一移动的部分仅为触角或喙/下颚；如有必要，重新调整相机或昆虫的位置。 
		注意：SwarmSight 软件会检测头部周围像素的运动。腿部、阴影、风扇或人员等物体在头部附近引起的额外移动可能干扰软件分析，增加噪声。</li>
	</ol>
	</li>
	<li>通过调节环境光照，尽量减少触角产生的阴影。 
	注意：软件可容忍一定程度的阴影，但为获得最佳效果，应尽可能减少阴影。</li>
	<li>使用相机快门速度软件，将相机曝光时间在整个视频录制过程中保持恒定，以防止相机自动调整曝光。通过软件调节“摄像头设置”中的“曝光滑块”，调整快门速度，使画面对比度最佳（视频画面既不过亮也不过暗）。 
	注意：上述操作说明针对所使用的特定网络摄像头及软件。若使用其他型号摄像头，需相应调整设置。</li>
	<li>放置气味释放源，并通过查看相机实时画面，确保其不会遮挡视野。同时确保在相对一侧放置抽气装置，用于清除刺激性气味。</li>
	<li>在相机视野内放置一个LED灯或其他可改变亮度的视觉指示器，用于指示气味释放的时机。 
	注意：LED亮度值将被软件记录，可用于精确确定气味释放开始和结束的视频帧。</li>
</ol>
3. 在实验条件下对每个个体进行摄像
<ol>
	<li>通过分别录制每个个体测试组合，或使用视频编辑软件将一个长视频文件分割成多个较短的文件，以单独的视频文件记录每只昆虫及每种测试条件。 
	注意：该软件要求用户在每个视频中定位头部位置，并保持头部固定。如果头部发生移动，将引入额外的噪声。SwarmSight 的批量处理功能允许用户快速为多个视频设置头部位置，并假设昆虫头部在每个视频文件的整个播放过程中保持不动。有关如何分割长视频文件的说明可在线获取60。</li>
</ol>
4. 视频分析
<ol>
	<li>在线按照提供的步骤下载并安装“天线跟踪”模块58. 
	注意：该软件的使用方法视频教程也可在网站上获取。</li>
	<li>使用“浏览”按钮打开一个包含拍摄动物的视频文件。</li>
	<li>放置天线传感器和治疗传感器
	<ol>
		<li>视频加载完成后，将矩形框定位到 &#34;天线传感器&#34; 将小部件置于动物头部上方，使用旋转和缩放图标调整小部件与头部对齐（参见 图1D 例如）。</li>
		<li>将圆形 &#34;治疗传感器&#34; LED 上方的控件，用于指示气味或刺激呈现的时间。 
		注意：治疗传感器将记录每个帧中控件中心像素的亮度值。</li>
	</ol>
	</li>
	<li>开始视频处理
	<ol>
		<li>按压 &#34;播放&#34; 单击左下角的按钮（黑色三角形）以开始分析帧。 
		注意：检测到的触角和喙的可能位置点将以黄色高亮显示。黄色圆环将指示附肢末端的位置。触角的角度（0 表示正对动物前方）以及喙的伸展长度将以数值形式显示在 &#34;模型&#34; 左下角的小部件（参见 图1D）。该 &#34;主导行业&#34; 右下角的小部件将显示检测到最多天线点的五个36度扇区的相对强度。颜色最深的扇区包含的点最多，颜色最浅的扇区包含的点最少。包含最多点的扇区编号（1 - 5）将显示在小部件的下方角落（参见 图1D).</li>
	</ol>
	</li>
	<li>调整滤光片阈值并添加排除区域
	<ol>
		<li>要更改滤光片的灵敏度，请调节滑块 &#34;滤光片&#34; 右侧面板中的部分 
		注意：根据光照条件和附肢运动速度的不同，最佳的滤波器灵敏度也会有所差异。用户可通过调整参数并观察“触角传感器”小部件中高亮显示的区域来确定最佳值。当找到理想的灵敏度设置时，仅有附肢部位会被高亮显示。建议快进至视频的其他部分，以确保在这些区域滤波器灵敏度同样处于最佳状态。</li>
		<li>可选地，若要忽略无关物体，可在右侧面板中展开 &#34;天线传感器&#34; 部分，点击 &#34;添加排除区域&#34; 按钮（参见 图1D），然后单击一组点以形成一个红色多边形，该多边形内的区域将被软件忽略。 
		注意：如果视频中包含无关运动，且该运动位于天线传感器控件区域内（例如， 移动的腿部、强烈的阴影、实验室设备 等。），软件可能会误将其识别为附肢运动。可通过绘制红色多边形来忽略这些无关物体 &#34;排除区域。红色多边形内的任何区域将不用于追踪。</li>
	</ol>
	</li>
	<li>保存结果
	<ol>
		<li>在设置好滤镜和控件后，停止视频，从头开始重新播放，并完整播放至结尾。 
		注意：当整个视频播放完毕后，所有视频帧中附肢的位置信息将被存储在内存中。</li>
		<li>要将附肢位置数据保存到文件中，请展开 &#34;保存&#34; 右侧部分，然后单击 &#34;保存至 .CSV&#34; 按钮，然后选择一个文件夹以保存文件。 
		注意： &#34;保存到 .CSV&#34; 按钮将处理结果保存为 .csv 文件。默认情况下，系统会提示用户将 .csv 文件保存至与视频文件相同的文件夹中，且文件名包含日期和时间。生成的 .csv 文件包含一系列列，记录附肢位置信息，包括触角角度、主导区域，以及头部的方向和位置。各列的具体说明可在线获取。61.</li>
		<li>可选择在“保存”部分的“列(s)”和“值(s)”字段中创建一个额外的列（或多个以逗号分隔的列），用于在 .csv 文件中记录信息，例如受试者 ID 或实验条件名称。 
		注意：列（Column(s)）框中的值将显示在第一列的标题中，而值（Value(s)）框中的内容将在第一列的所有行中重复出现。</li>
	</ol>
	</li>
	<li>批量处理 
	注意：该软件可批量处理多个视频文件。但在开始批量处理前，用户必须为每个视频提供头部位置信息。
	<ol>
		<li>在右侧面板中，于 &#34;视频文件&#34; 部分，点击 &#34;批量处理&#34; 单击按钮以打开一个窗口，该窗口允许创建视频文件列表，以便软件按顺序处理。</li>
		<li>使用 &#34;向批次中添加更多视频文件&#34; 单击按钮以选择一个或多个要包含在批量列表中的视频文件。</li>
		<li>可选地，使用 &#34;CTRL&#34; 或 &#34;SHIFT&#34; 使用按键选择多个将使用相同控件参数的视频。 
		注意：适合重复使用参数的情况是同一动物在不同实验条件下未被移动时拍摄的一系列视频。</li>
		<li>通过点击来开始设置所选视频将使用的小组件参数 &#34;为选定对象设置传感器位置&#34; 按钮</li>
		<li>调整天线传感器、处理传感器、滤波器或保存部分的参数，然后单击 &#34;保存参数至批处理&#34; 完成后。</li>
		<li>选择好每个视频的参数后，单击以开始批量处理过程 &#34;开始处理&#34; 按钮 
		注意：软件将按照批量列表中视频文件的显示顺序依次加载视频，进行处理，并将对应的 .csv 文件保存至视频文件所在的同一文件夹中。在完成第一个视频处理后，顶部进度条将显示预计完成时间。</li>
	</ol>
	</li>
</ol>

作者声明不存在任何竞争性经济利益。

本文介绍的方法无需特殊的动物准备或硬件，即可实现对昆虫触角和喙的实时运动追踪。
局限性：
尽管该方法具有上述优势，但仍存在一些局限性。这些局限性包括需要限制动物头部的运动、用户必须为每段视频手动选择动物的位置和朝向、需要使用 Windows 计算机，以及该软件无法实现三维（3D）运动追踪，且在某些视觉上难以分辨的附肢位置下也无法准确追踪，如下文所述。
该软件要求动物的头部在视频拍摄过程中保持固定，不能移动。这与先前研究的准备工作类似48,49,50,51。虽然可以修改软件以实现头部旋转的自动检测，但这将消耗额外的处理时间，并引入新的误差来源。如果修改后的软件对头部旋转的检测出现错误，将会影响触角角度的计算，因为触角角度的计算是相对于头部旋转角度而言的。目前，用户只需在每个视频中手动选择一次头部方向。这种方法尽管仍可能存在人为误差，但在视频中限制头部移动的情况下，能够最大限度地减少角度计算的误差。
该软件还需要 Windows 7（或更高版本）操作系统（OS）。我们的目标是使不具备编程或高级计算机管理技能的用户也能轻松安装、设置和使用该软件。我们选择以 Windows 为目标平台，是因为其广泛可用；在访问受限的情况下，也可轻松创建带有 Windows 的虚拟机（例如，VirtualBox、VMware、Parallels）。通过使用易于操作且无需命令行的安装程序，该操作系统的选择极大地简化了软件安装过程，并避免了特定于不同操作系统的漏洞。
该软件仅在二维空间中追踪附肢的位置。已知昆虫的触角在三维空间中运动，这意味着当仅测量二维坐标时，可能会丢失重要信息。虽然使用多个相机或反射镜有助于收集三维定位所需的额外信息，但也可以通过三角关系计算出平面外位置的估计值，前提是假设触角为长度恒定的单一直线段，并且仅在相机平面的一侧运动。对于蜜蜂而言，该假设可用于获得三维位置的粗略估计，但对于其他物种或情况，这一假设未必成立。
在某些模糊情况下，软件无法准确定位触角和喙尖的位置。如果动物移动其触角，导致在视频中与伸展的喙重叠，软件可能会将触角的尖端误识别为喙的尖端。然而，触角角度仍可能被正确计算（基于未重叠的部分）。类似地，如果触角尖端直接移动到动物头部正上方，即， 不在侧面）时，软件可能仅检测到露在头部外的触角部分，或沿用触角之前的位置，或将视频中的随机噪声误判为触角位置。在这两种情况下，即使是人工评分者也难以将触角与喙或头部区分开来。为缓解此问题，我们建议采用一个3帧对称滚动中值滤波57 对软件生成的原始X和Y坐标应用滤波。该滤波可消除大幅的瞬时（单帧）位置波动，同时保留较长时间的触角位置移动。我们发现，三帧滤波的效果优于无滤波，而更宽的滤波（例如， 5、11 或 15 帧）会降低准确性。示例 R 代码（使用该滤波器）及视频教程可在线获取58.
作为科学工具的价值：
能够以低成本快速获得精确昆虫附肢运动的方法，有望开辟新的研究领域。
喙伸长反射（proboscis extension reflex, PER）是一种常用于研究多种昆虫学习与记忆行为反应的方法59。以往的研究通常依赖于PER是否伸长的二元判断指标，尽管视频分析和肌电图分析已表明喙部运动具有更为复杂的形态特征65,66。本方法可实现对喙部运动在高时间分辨率和高空间分辨率下的快速量化。
昆虫触角对气味的响应运动目前尚不明确。其中一个原因是触角运动速度极快，导致缺乏一种经济高效且自动化的手段来获取触角运动数据。本文介绍的方法可用于在多种条件下快速获取大量昆虫的触角运动数据。该方法可辅助例如研究触角在不同刺激（特别是挥发性气味）作用下运动模式的研究人员。使用每秒采集30帧图像的相机时，该软件可用来表征最高达15 Hz频率范围内的触角运动动态（奈奎斯特极限）。若需更高频率的运动特征分析，则应采用具有更高帧率的相机例如， 60 或 120 fps）也可使用，但处理更高帧率的视频可能需要更快的计算机以实现实时分析。我们推测，某些气味类别甚至部分单一气味可能具有特征性的先天触角运动模式。如果能够发现这些气味类别或化合物对应的运动特征，便有可能通过未经训练昆虫的触角运动来识别未知气味或其所属类别。如果此类映射关系确实存在，那么结合充足的触角运动数据与最先进的机器学习算法，应能逐步揭示这种关联。此外，研究该映射关系如何随学习而改变、在发育过程中如何形成，或在基因干预下如何被破坏，可为嗅觉系统的功能提供深入见解。最后，若本研究能揭示在复杂环境中对气味进行最优采样的策略，亦可为人工嗅觉检测技术的发展提供启示。
未来工作：
在此，我们展示了天线运动数据可被快速获取和分析：通过我们软件生成的数据能够检测到显著的行为响应，并确定了若干值得进一步研究的方向。
可以研究并用数学方法建模刺激引发的触角角度偏离基线、恢复至基线的时间过程，以及刺激结束后的反弹效应及其对气味浓度的依赖性。此外，该软件还可用于评估由趋利性或厌恶性条件化所诱导的触角运动的任何变化。
还可以进一步探究气味的更好区分能力。在本研究中，两种气味（纯的和稀释35倍的）均引发了相似的反应：触角平均表现为迅速远离气味源，并在数秒后恢复至气味刺激前的基线水平。我们推测，即使是稀释后的气味，对蜜蜂而言也可能构成了非常强烈的嗅觉刺激。如果这一推测成立，则可使用更广泛的浓度梯度，以确定触角反应是否能够区分不同气味。此外，采用更复杂的分析方法，可能更有效地揭示触角在不同气味刺激下的运动差异。我们已将用于生成本文图表的数据文件提供给感兴趣的科研人员，可在 SwarmSight 网站获取67。
此外，尽管超出了本文的范围，该软件还可扩展用于处理将动物置于带有两个成45°角倾斜镜面的腔室中的视频（例如参见图1D）。这种方法可用于在三维空间中精确定位并追踪附肢及其运动。然而，三维追踪算法需要高效地实现以下功能：（a）当多个触角在其中一个侧镜中可见时，能够准确区分它们；（b）校正镜面角度的不完美；（c）补偿由于相机位置引起的畸变。
最后，通过使用卡尔曼滤波器（Kalman filter）68，可能进一步提高定位精度，该滤波器通过建模并利用肢体速度和加速度等物理状态信息来约束预测位置。然而，任何精度的提升都应权衡因额外计算所导致的速度下降。
结论：
许多昆虫利用触角主动采集其周围环境中的挥发性化合物。触角运动的模式可为研究昆虫的嗅觉感知及其如何受到条件作用、有毒化合物和基因改变的影响提供线索。类似地，口器（喙）的运动也已被用于评估嗅觉感知及其调节机制。然而，快速获取大量高分辨率附肢运动数据一直存在困难。本文介绍了一种可实现该任务自动化的实验方案及配套软件。简而言之，我们开发并展示了如何结合低成本硬件、常规的动物准备方法以及开源软件，快速获取高分辨率的昆虫附肢运动数据。文中展示了该软件的输出结果，证明其在速度和准确性方面均优于人工评估，并说明了其输出数据的分析与可视化方法。

大多数节肢动物通过移动触角或其他附肢，在时间和空间上感知环境中的线索与信号。动物可利用触角探测化学挥发物、味觉和机械刺激等感觉信号，从而导航其周围环境1,2,3,4。在昆虫中，触角含有能够结合化学挥发物的感觉得体4,5,6，并通过嗅觉感觉神经元将信号传递至中枢脑区1,7,8,9。昆虫可调节触角的位置，以调控对传入气味信息的获取4,10,11。这种调节有助于昆虫主动产生基于气味及其羽流特征的行为反应12,13。
许多昆虫，包括膜翅目昆虫（例如蜜蜂和熊蜂）、鳞翅目昆虫（例如蝴蝶）以及双翅目昆虫（例如蝇类和蚊子）等，通过伸展其喙管进行取食14,15,16,17,18,19,20,21。过去，喙管伸展已被可靠地用于多种学习与记忆任务的研究22,23,24,25,26,27,28,29,30,31。类似地，以高时间与空间分辨率对触角运动进行定量评估，可能有助于揭示刺激、行为与动物内部状态之间的关系。事实上，先前的研究已表明，触角运动包含大量关于蜜蜂追踪环境的信息，并且这些运动如何随学习过程而发生变化32,33,34,35,36,37,38。
在过去十年中，高分辨率摄像机、计算机处理速度以及机器视觉算法的进步极大地推动了动物行为观测方法的发展。动物检测、计数、追踪以及位置偏好分析等任务已受益于先进的软件，这些软件能够处理动物行为视频并提取相关测量指标39,40,41,42,43,44,45,46,47。
这些技术还有助于追踪昆虫触角和喙的运动。人类评估者可以使用鼠标光标手动追踪触角的位置。然而，尽管这种方法可能具有较高的准确性，但该任务耗时较长，且人类注意力不集中和疲劳可能导致结果不可靠。可以使用特殊设备和前期准备以减少对复杂软件的依赖。例如，有研究采用高速相机并对触角尖端进行染色以追踪其运动48。也可以要求用户选择视频中的关键帧，以协助软件检测触角和喙的位置49。另一种方法通过检测两个最大的运动聚类来识别触角，但无法检测喙的位置50。还有一种软件包能够检测触角和喙的位置，但每帧需要约7.5秒的处理时间51，这对于实时或长期观察研究可能难以接受。最后，也有可能对商用软件包（e.g., EthoVision）进行定制以完成该任务46，但其授权和培训成本可能过高。
通过本文所述方法，我们在先前运动分析软件研究的基础上进行了拓展41，以实现对昆虫触角和喙的定位追踪，具体目标如下：（1）无需特殊硬件或复杂的动物准备；（2）在普通计算机上以实时速度（30 fps 或更快）处理视频帧；（3）操作简便；（4）代码开源且易于扩展。
由此开发出的新型方法及开源软件SwarmSight Appendage Tracking无需标记触角尖端，可使用普通网络摄像头录制视频，并能在常规计算机上以每秒30至60帧的速度处理视频帧（图1）。该软件以视频文件作为输入，用户需在视频中标定昆虫头部的位置，处理完成后将生成一个逗号分隔值（.csv）文件，其中包含触角和喙的位置信息。通过使用FFmpeg库，该软件能够读取数百种不同的视频格式（包括大多数数码相机生成的格式）52。
<img alt="蚂蚁追踪实验：触角分析装置，带有 (x, y, θ) 数据的示意图；视频追踪软件。" class="xfigimg" src="/files/ftp_upload/56803/56803fig1.jpg" data-altupdatedat="1788250015000" data-alt="Figure 1"> 
图1：动物装置与软件输出。（A）一只被固定在束缚装置中、头部和身体受限的蜜蜂觅食蜂。（B）在动物前方放置气味源，上方设置视频摄像头，后方连接真空抽吸装置。（C）SwarmSight 软件从视频中检测到的触角尖端与喙的位置参数。（D）用户将触角传感器定位在动物上方并调整滤波参数，软件自动识别触角与喙的位置（黄色圆环）。<a href="//cloudflare.jove.com/files/ftp_upload/56803/56803fig1large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
首先，将昆虫的身体和头部固定在固定装置中，以便于观察其触角和喙的运动（图1A）。在昆虫前方放置一个气味源，后方放置一个真空源，以清除空气中的气味，减少感觉适应的潜在影响（图1B）。在昆虫头部上方的三脚架上放置一个普通的网络摄像头。可在摄像头视野内放置一个LED灯，用于指示气味呈现的时间。
<img alt="静力平衡示意图，包含角度 θ_left、θ_right 及直角坐标系 X 和 Y。" class="xfigimg" src="/files/ftp_upload/56803/56803fig2.jpg" data-altupdatedat="1788250015000" data-alt="图2"> 
图2：天线坐标系。 X、Y 值采用视频坐标系，其中左上角为原点，向右下方移动时 X 和 Y 值增大。角度以头部前方（通常为气味源方向）为参考，单位为度。当触角鞭节所形成的直线指向动物正前方时，角度值为“0”。所有角度均为正值，除非触角指向对侧方向例如， 右鞭毛指向左侧。 <a href="//cloudflare.jove.com/files/ftp_upload/56803/56803fig2large.jpg" target="_blank">请点击此处以查看此图的放大版本。</a>
拍摄完成后，使用 SwarmSight 软件打开视频文件，用户将天线传感器控件（图 1D，黑色方框）置于昆虫头部上方，然后开始播放视频。保存结果后，生成的 .csv 文件将包含触角尖端的 X、Y 坐标、触角相对于头部前方的角度（图 2），以及喙的 X、Y 位置。此外，系统会为每根触角计算一个主导扇区指标。该指标显示围绕每根触角的五个 36 度扇区中，哪一个包含了最多被判定为触角的可能点位，在因视频噪声或其他问题导致触角位置/角度数据不可靠时，此指标可提供参考价值。
简而言之，该软件通过一组运动滤波器53和一种宽松的泛洪填充算法54实现功能。为寻找可能的触角位置点，使用了两种滤波器：三连续帧差滤波器41,55和中值背景减除滤波器56。对于喙部位置点的检测，则采用颜色距离阈值滤波器。每种滤波器所得位置点中得分最高的前10%被合并，随后通过一种可检测最多间隔2像素（px）连续区域的泛洪填充算法来定位极值点。通过并行的帧解码、处理与渲染流水线，以及对滤波器数据流的优化内存分配，实现了高性能运算。软件输出的原始x和y坐标值会进一步经过一个三帧滚动中值滤波器57进行后处理（见讨论部分）。完整的源代码下载说明可在线获取58。
以下是一种准备蜜蜂采集蜂以进行触角追踪的实验方案。类似的方案也可用于追踪其他昆虫的触角或喙的运动。在结果部分，我们描述了软件检测到的触角轨迹输出示例、软件输出结果与人工标注者追踪结果的比较，以及蜜蜂触角对五种气味物质刺激的运动反应评估。

<table><tbody><tr><td>昆虫固定装置</td><td>N/A</td><td>N/A</td><td>使用 Smith &amp; Burden (2014) 中方案第 1-3.1.1 节所需的材料</td></tr><tr><td>气味递送装置</td><td>N/A</td><td>N/A</td><td>使用 Smith &amp; Burden (2014) 中方案第 3 节所需的材料</td></tr><tr><td>真空源</td><td>N/A</td><td>N/A</td><td>使用 Smith &amp; Burden (2014) 中方案第 3 节所需的材料</td></tr><tr><td>连接至气味递送装置的 LED</td><td>N/A</td><td>N/A</td><td>使用 Smith &amp; Burden (2014) 中方案第 3 节所需的材料</td></tr><tr><td>低压焊台</td><td>Stannol</td><td>低压微型焊台 12V, 8W</td><td></td></tr><tr><td>直流电源</td><td>Tekpower</td><td>HY152A</td><td></td></tr><tr><td>三脚架</td><td>AmazonBasics</td><td>50 英寸轻型三脚架</td><td>可选</td></tr><tr><td>相机</td><td>Genius</td><td>WideCam F100</td><td>也可使用 FLIR Flea3 或其他具备手动对焦功能的相机。</td></tr><tr><td>相机软件</td><td>Genius</td><td>N/A</td><td>软件随相机提供。在 MacOS 系统中，可使用“Photo Booth”应用程序录制视频。</td></tr><tr><td>相机快门速度控制软件</td><td>Genius</td><td>N/A</td><td>Genius 相机软件支持快门速度设置。在 Mac OS 系统中，可改用 ecamm 公司的 iGlasses 软件：http://www.ecamm.com/mac/iglasses/</td></tr><tr><td>Windows 操作系统</td><td>Microsoft</td><td>Windows 7 专业版</td><td>Windows 7 及以上版本均可兼容。在 MacOS 环境中，可使用 Oracle VirtualBox、Parallels Desktop 或 VMWare Fusion 创建 Windows 虚拟机。</td></tr><tr><td>SwarmSight 软件</td><td>SwarmSight</td><td>附肢追踪</td><td>从 http://SwarmSight.org 下载</td></tr><tr><td>R 软件</td><td>R Project</td><td>R 3.4.0</td><td>下载地址：https://cran.r-project.org/bin/windows/base/</td></tr><tr><td>R Studio 软件</td><td>RStudio</td><td>RStudio Desktop</td><td>下载地址：https://www.rstudio.com/products/rstudio/download/</td></tr></tbody></table>

swarmsight：利用常规制备方法和普通硬件实时追踪昆虫触角运动与喙伸反射

SwarmSight: Real-time Tracking of Insect Antenna Movements and Proboscis Extension Reflex Using a Common Preparation and Conventional Hardware

许多具有重要科学和农业意义的昆虫利用触角来检测挥发性化学物质的存在，并在取食时伸展其喙。快速获取触角和喙自然运动的高分辨率测量数据，并评估这些运动如何响应化学、发育和遗传操作而发生变化，有助于深入理解昆虫行为。在先前研究的基础上，我们曾利用视频分析软件 SwarmSight 从自然和实验室视频中评估昆虫群体或动物群体的整体运动；在此基础上，我们开发了一种新颖的、免费且开源的软件模块——SwarmSight 附肢追踪（SwarmSight.org），可在普通计算机上利用普通网络摄像头视频逐帧追踪昆虫触角和喙的位置。该软件处理视频帧的速度约为人工的120倍，准确度优于人工操作，并且使用每秒30帧（fps）的视频时，可捕捉高达15 Hz的触角动态变化。我们利用该软件追踪了蜜蜂对两种气味的触角反应，发现气味呈现约1秒后，触角平均出现显著地向远离气味源方向的回缩。我们还观察到触角位置密度热图中簇状结构的形成，以及这些簇的分布和平均角度对气味浓度的依赖性。

下文包括由软件数据生成的触角角度示例图、软件与人工评分者在准确性和速度方面的比较，以及一项通过呈现不同气味影响蜜蜂触角运动的实验结果。分析和图形生成使用 R 软件62,63完成。用于分析和图形生成的 R 代码以及视频教程可在线获取58。
软件输出：
图3展示了软件从呈现正庚醛、正庚醇及其用35倍矿物油稀释的纯品以及洁净空气的蜜蜂视频中检测到的五条随机选取的触角角度轨迹。
<img alt="天线角度响应图；气味刺激效应；庚醇、庚醛实验；数据分析。" class="xfigimg" src="/files/ftp_upload/56803/56803fig3.jpg" data-altupdatedat="1788250015000" data-alt="图3"> 
图3：SwarmSight检测到的五条天线角度样本轨迹。 Y轴表示以度为单位的天线角度，“0”表示正对动物前方、朝向气味源的方向，数值越大表示越偏离气味源。在灰色标记的0 - 3,600毫秒时间段内，向单只蜜蜂采集蜂施加了庚醇、庚醛及其用矿物油稀释35倍的溶液，以及洁净空气。左天线以红色标记，右天线以蓝色标记。五个图中各显示一条随机选取的蜜蜂轨迹，每条来自一种实验条件。 <a href="https://cloudflare.jove.com/files/ftp_upload/56803/56803fig3large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
软件验证：
为验证该软件能否可靠地检测触角位置，将人工标注的触角位置与软件检测的位置进行了比较。两名人工评分者被要求在425个视频帧（约14秒视频）中标记触角和喙的尖端位置。一个定制的软件模块记录了评分者标记的附肢位置，自动推进视频帧，并记录完成该任务所用的时间。作为人工与软件检测结果之间一致性的示例，图4A展示了软件检测与两名人工评分者检测结果中一条触角的垂直坐标轨迹叠加图。计算两名评分者所标记触角位置之间的距离，并命名为“人-人距离”；计算软件检测的触角位置与两名人工评分者检测位置中较近者之间的距离，并命名为“软件-最近人工距离”（图4B）。
<img alt="蚂蚁追踪分析；图表中人类与软件检测准确性的对比图。" class="xfigimg" src="/files/ftp_upload/56803/56803fig4.jpg" data-altupdatedat="1788250015000" data-alt="图 4"> 
图 4：与人工标注者的对比。 （A）两名人工标注者与 SwarmSight 在 425 个视频帧中定位了触角尖端。人工标注者与软件所确定的左侧触角尖端 Y 坐标逐帧叠加显示。（B）人工标注者之间（橙色）以及软件与最接近的人工标注者结果之间（黑色）的逐帧差异（以视频像素为单位的距离）叠加图。（C）人工标注者之间的触角尖端位置差异（橙色）与软件和人工标注者之间的位置差异（黑色）。（D）人工标注者之间与软件与人工标注者之间逐帧差异距离的直方图及累积分布（虚线）。<a href="https://cloudflare.jove.com/files/ftp_upload/56803/56803fig4large.jpg" target="_blank">请点击此处查看该图的高清版本。</a>
人与人之间的距离平均为10.9像素，在95%的帧中不超过55.2像素，最大值为81.6像素。软件识别的最近人际距离平均为8.0像素，在95%的帧中不超过18.3像素，最大值为49.0像素（见图4D和图4C中的距离直方图）。5像素大约相当于一条触角的宽度。总体而言，在任务开始阶段的帧中，人与人之间的距离较小，而在任务的后半段逐渐增大。我们推测这可能是由于评分者的疲劳所致。与此同时，软件识别的最近人际距离在整个任务过程中保持稳定。
软件速度与人类评估者准确性的比较：
人类对触角尖端和喙的位置进行标注的平均速度为 0.52 帧每秒（fps）。为估算人类的标注速度，将每位人类标注的总帧数（各 425 帧）除以其完成任务所花费的总时间（分别为 873 秒和 761 秒）。该软件在双核 Windows 7 电脑上的平均处理速度为 65 fps。结合其高处理速度以及与人类标注者相当甚至更优的准确性，该软件在单位时间内可完成约 125 名人类标注者的工作量。
触角对气味反应的检测：
为了证明该方案可用于检测昆虫运动中显著的行为差异，我们对23只雌性蜜蜂暴露于两种不同的气味。分别呈现纯庚醛、庚醇、两种气味物质以矿物油35倍稀释的溶液，以及作为空白对照的洁净空气，每种刺激持续4秒（共五种条件）。按照上述方案描述的方法拍摄视频，并使用SwarmSight软件进行处理，分析触角角度（图5）。
<img alt="信息素刺激下触角角度在彩色图谱中的响应，庚醇，庚醛，实验分析。" class="xfigimg" src="/files/ftp_upload/56803/56803fig5.jpg" data-altupdatedat="1788250015000" data-alt="图 5"> 
图 5：五种气味条件下触角角度均值及密度热图。（A）热图显示了向雌性蜜蜂（n = 23）施加庚醇、空气和庚醛气味前后及期间（中间较暗区域）的触角角度密度分布。黑色曲线为每帧的平均触角角度（双侧触角）。水平线为施加气味前的平均角度（基线）。注意在纯气味条件下，触角偏好位置形成一个远离气味源的聚集区（下图中的红色聚集区），以及相应的平均触角角度变化。同时注意气味结束后出现的“反弹”聚集区，其出现时间似乎依赖于气味浓度（见其余四幅图中聚集区的位置）。密度热图的颜色标度为任意设定，但在所有条件下保持一致。（B）相对于施加气味前平均角度的变化量（误差棒表示标准误）。除空气外，所有气味引起的平均变化均具有显著性（t 检验，p &lt; 0.05）。<a href="https://cloudflare.jove.com/files/ftp_upload/56803/56803fig5large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
从视频中选取9秒的片段，包括气味开始前3秒、气味呈现期间3.6秒以及气味结束后2.4秒，将所有个体和条件下的视频帧对齐（每片段300帧）。对每种条件下的所有个体，分别计算每一帧两个触角角度的平均值，称为“平均角度”（图5A，黑色曲线）。同时计算每种条件下所有个体在气味开始前各帧的平均触角角度，称为“气味前基线”（图5A，细水平线）。
在除对照外的所有条件下，平均角度均从基线升高，并在气味开始后 750 - 1,050 毫秒内各出现一次峰值（图 5A，0 - 3,600 毫秒区域中的黑色曲线）。通过一系列单样本 t 检验，比较各条件下个体在气味呈现峰值平均角度时刻的双天线平均值与基线平均值，检验平均角度相对于基线的变化是否具有显著性（图 5B）（所有条件下的 Shapiro 正态性检验均无显著性）。相对于基线的平均角度变化值为：纯庚醛 26.9°（平均峰值出现在气味开始后 750 毫秒），0.2 M 庚醛 21.1°（990 毫秒），纯庚醇 19.6°（1,050 毫秒），0.2 M 庚醇 19.3°（780 毫秒），空气对照为 3.45°（无峰值）。除对照外，在所有条件下，相对于基线的平均角度变化均具有显著性（Holm 校正后 p &lt;0.05）。我们注意到，纯气味剂引起的平均角度恢复至基线所需时间长于稀释气味剂（低通滤波后的平均值恢复至基线的时间：纯庚醇为气味开始后 3,690 毫秒，稀释庚醇为 2,940 毫秒；庚醛分别为 4,260 毫秒和 3,000 毫秒）。
使用热图进行可视化：
为了可视化触角反应，针对每种条件生成了触角角度密度热图（图5A，蓝-红背景）。对每种条件下每个个体在10秒视频片段中的触角角度，使用高斯核进行卷积处理（R语言包MASS，kde2d函数64）。蓝色区域表示触角角度的低密度区域，红色区域表示触角角度的高密度区域。图5A底部图中纯庚醛条件下的热图展示了触角的行为特征。
该图显示，在气味呈现之前（t &lt; 0），触角角度密度在所有角度上分布相对均匀。气味开始后约1秒（t ~1,000 ms），出现一对蓝色和红色的聚集区域。红色阴影区域表示触角出现频率高于蓝色阴影区域。蓝色聚集区表明触角倾向于避开较小的角度（气味源位于0度方向），而红色聚集区则表明触角更偏好较大的角度（远离气味源方向）。随着气味持续呈现，红色聚集区逐渐消失。在气味结束约1秒后，出现另一个红色聚集区，但强度较弱。我们将第二个红色聚集区命名为“反弹聚集区”。与上述平均角度恢复时间一致，我们注意到，与纯气味相比，稀释气味的反弹聚集区似乎出现得更早，且强度更低。

本实验方案描述了使用新型软件 SwarmSight，通过普通计算机对常规网络摄像头视频中的昆虫触角和喙的位置进行逐帧追踪的步骤。该软件免费且开源，处理速度比人工快约120倍，且准确度高于人工。

SwarmSight：利用常规制备方法和普通硬件实时追踪昆虫触角运动与喙伸反射

许多具有重要科学和农业意义的昆虫利用触角来探测挥发性化学物质的存在，并伸展其喙

本实验的总体目标是利用开源的群体行为分析软件，结合常规的摄像机和计算机硬件，快速测量常见动物准备状态下昆虫触角和喙的运动。这些方法可用于快速获得触角和喙运动的高分辨率数据。应用这些技术有助于阐明触角和喙的运动如何响应化学、发育及遗传操作而发生变化。该技术的主要优势在于，它能够利用免费软件快速测量运动，且无需复杂的视频或计算机硬件。尽管该方法可为蜜蜂对气味的反应提供见解，但也可应用于其他昆虫系统。首先，使用小瓶从蜂巢入口处采集工蜂，并将小瓶短暂放入冰水混合物中。用胶带将每只蜜蜂固定在束缚管中，然后在管的顶部覆盖胶带以遮住足部。确保从束缚管顶部无法看到蜜蜂的足部。接下来，在解剖显微镜下，使用低温烙铁将加热融化的石蜡涂在每只蜜蜂头部的背面，以固定其头部。使用细杆将触角从石蜡处撑开，确保触角能够自由活动。使用网络摄像头支架将摄像头置于蜜蜂头部正上方，并利用录像软件查看视频画面，放大至头部区域。在胶带和石蜡固定完成后，通过摄像头预览画面，检查是否有任何非触角或喙部的结构发生移动或变化。然后根据需要调整胶带和石蜡。接着，使用录音软件的设置保持相机曝光恒定，并调节曝光滑块至所需值。调节对比度、亮度和锐度滑块，以增强触角的检测效果。调整环境光照以减少触角阴影。使用漫射光源，例如实验室用鹅颈灯或覆盖纸张的手电筒，以照亮蜜蜂。然后，在相机视野内放置一个LED灯，用于指示刺激性气味的递送时机。在通风橱中，准备将用于视频记录期间刺激蜜蜂的气味 cartridges。将气味输送源放置在束缚管附近，注意不要遮挡摄像机视野。在气味源的对面放置一个真空源，以清除刺激性气味，并在呈现气味前打开真空源。在蜜蜂被固定且摄像准备工作完成后，将每只蜜蜂在每种实验条件下的行为分别录制为独立的视频文件。接着，在蜂群位置触角追踪模块中，单击浏览按钮以打开一个视频文件。视频文件加载后，将触角传感器控件放置在蜜蜂头部上方。使用旋转和缩放图标调整小部件的对齐方式。小部件应覆盖蜜蜂触角的整个活动范围。接下来，将处理传感器小部件放置在 LED 指示灯上方，该指示灯用于提示刺激性气味正在释放。单击左下角的播放按钮，开始逐帧播放视频文件。天线和喙的可能位置将以黄色高亮显示，黄色圆环将指示附肢的末端。调整滤镜部分的滑块，以优化滤镜的灵敏度。当达到理想的灵敏度时，视频帧中仅应突出显示蜜蜂的附肢。快进视频的后续部分，以确保在整个视频中滤波器的灵敏度均处于最佳状态。通过拍摄一段昆虫的简短样本视频并使用软件进行分析，来测试您的设置，注意观察软件是否检测到无关的运动物体。调整场景、光照和摄像机角度，直到软件能够分离出触角和喙的运动。设置好控件和滤波器后，暂停视频，重新启动并从头到尾播放一遍。最后，展开保存选项，点击保存跟踪数据按钮，并选择一个文件夹以保存文件。为了验证附肢追踪软件的准确性，两名人工评分者在425个视频帧中标记了触角的尖端位置，随后由软件对这些位置进行分析。本图展示了两名人工评分者之间的距离，以及软件检测结果与人工标记位置之间的距离（即软件与最近人工标记之间的距离）。在视频前半段的帧中，人工评分者之间的差异较小，而在视频后半段该差异逐渐增大。在整个视频中，软件检测到的蜜蜂与人体最近距离水平保持恒定。23只雌性蜜蜂暴露于五种不同的气味条件下，并使用附肢追踪软件分析实验视频。除了对照条件外，该软件能够检测到在暴露于实验性气味条件后，蜜蜂触角平均角度变化存在显著差异。此外，触角角度密度图揭示了触角位置偏好的聚集区域。图中红色聚集区域表明，在气味出现后不久，触角倾向于远离气味源的角度；而在气味结束后的短时间内，触角则倾向于朝向气味源的角度。在进行该操作时，重要的是要记住，在录制前需仔细检查每个视频画面，以确保蜜蜂位置和光照条件达到最佳。此外，使用视觉指示器标记气味递送的时间点非常重要。完成该操作后，可进行其他方法，例如气味条件化训练。该方法还适用于探究蜜蜂及其他昆虫的先天性反应。请注意，操作蜜蜂和某些化学品可能存在危险。进行该实验时，应始终穿戴适当的个人防护装备。一旦掌握该方法，便可高效地获取大量昆虫在不同实验条件下的触角和喙部运动数据。本实验中使用的开源软件 Swarm Sight 可从 swarmsight.org 获取。

swarmsight-real-time-tracking-insect-antenna-movements-proboscis

Research

科研

JoVE Journal

Neuroscience

神经科学

SwarmSight: 利用共同的准备和常规硬件实时跟踪昆虫的天线运动和喙的延伸反射

我们描述了一种方法，可记录在光滑表面上行走的固定昆虫的运动活动，并将其与电记录的跗节接触信号进行时间同步。该方法用于研究在减少腿部通过基质产生机械相互作用影响的条件下，适应性行为的神经基础。...

研究昆虫适应性运动行为的神经基础

我们开发了一种视频速率追踪显微镜系统，能够以高分辨率和高速度记录并量化秀丽隐杆线虫（C.

C. elegans 追踪与行为学测量

我们展示了细胞外多单位记录技术的多种变体，用于表征无脊椎动物嗅觉通路前三个阶段中由气味诱发的神经反应。这些技术也可轻松适用于研究其他神经系统中的群体神经活动。...

用于表征蝗虫（Schistocerca americana）嗅觉回路中神经活动的多单元记录方法

在本实验方案中，我们展示了如何对束缚状态的蜜蜂进行触觉刺激的条件化训练，并介绍了一种二维运动捕捉技术，用于分析触角精细采样模式的运动学特征。...

触觉条件化与蜜蜂（Apis mellifera L.）触角采样策略的运动分析

我们介绍一种在烟草天蛾（Manduca...

早期变态期植入技术用于昆虫飞行行为监测

为蜜蜂（Apis mellifera）开发的 proboscis extension...

一种用于研究昆虫行为可塑性的喙伸展反应实验方案：在基础、生物医学及农业研究中的应用

我们介绍了一种将昆虫触角以自主机器人上的电触角图（EAG）形式加以应用的实验方案。我们的实验设计可在一天内实现稳定的记录，并能分辨高达10...

利用昆虫触角电位传感器在自主机器人上进行嗅觉搜索

本方案描述了构建昆虫-机器混合系统的过程，并对控制飞行昆虫转向运动所需的飞行肌进行无线电刺激。...

昆虫-机器混合系统：自由飞行甲虫（Mercynorrhina torquata）的远程无线电控制

定位气味源的能力对昆虫的生存至关重要，并有望应用于人工气味追踪。由真实蚕蛾控制的机器人能够通过机器人平台评估昆虫的气味追踪能力。...

昆虫控制机器人：用于评估昆虫嗅觉追踪能力的移动机器人平台

测量昆虫羽化模式需要精确性。现有的系统仅能实现半自动化，且样本量受限。我们通过设计一种使用微控制器的系统，精确测量大量羽化昆虫的羽化时间，解决了这些问题。...

一种用于检测昆虫羽化模式的精确自主系统

了解如何使用开源SwarmSight软件和普通摄像头硬件实时追踪昆虫触角和喙部运动。该方法以蜜蜂为模型，可快速获取高分辨率的行为数据，用于研究昆虫对化学刺激的反应机制。

SwarmSight：利用常规制备方法和普通硬件实时追踪昆虫触角运动与喙伸反射

探索更多视频