利用低成本传感器进行飞行昆虫的检测与分类

摘要

我们提出了一种系统，该系统利用廉价、非侵入性的伪声学光学传感器，根据飞行昆虫的飞行声音，自动且准确地检测、计数并分类飞行昆虫。

摘要

一种低成本、非侵入式的系统，若能准确分类飞行昆虫，将对昆虫学研究具有重要意义，并可推动医学和农业昆虫学领域中病媒与害虫控制的多种实用应用。鉴于此，过去六十年间已有大量研究致力于实现这一目标。然而迄今为止，这些研究均未产生持久影响。在本研究中，我们证明伪声学光学传感器能够产生更优越的数据；昆虫飞行行为的内在和外在特征均可被利用以提升昆虫分类性能；贝叶斯分类方法能够高效地学习对过拟合具有很强鲁棒性的分类模型；通用的分类框架可轻松整合任意数量的特征。我们通过大规模实验验证了上述发现，就所考虑的昆虫数量和物种数量而言，本实验的规模远超以往所有研究的总和。

引言

利用昆虫飞行时产生的偶然声音自动对其进行分类的想法，可以追溯到计算机和商业音频录制设备出现的早期¹。然而，在此后的几十年中，这一问题的研究进展甚微。该领域进展缓慢可归因于若干相关因素。

首先，由于缺乏有效的传感器，数据采集一直十分困难。大多数数据采集工作都采用了声学麦克风^2-5。这类设备对风噪和环境中的背景噪声极为敏感，导致所获取的数据极为稀疏且质量低下。

其次，许多研究人员试图学习非常复杂的分类模型（尤其是神经网络^6-8），这进一步加剧了数据质量问题。仅凭几十个样本就试图学习复杂的分类模型，极易导致过拟合。

第三，由于获取数据的困难，许多研究者尝试在数据极为有限的情况下构建分类模型，样本量少至300个实例⁹甚至更少。然而，已知在构建准确的分类模型时，数据量越大效果越好^10-13。

本研究解决了上述全部三个问题。可以使用光学（而非声学）传感器从数米之外记录昆虫飞行的“声音”，且完全不受风噪和环境声音的干扰。这些传感器使我们能够记录数百万个带有标签的训练样本，数据量远超以往所有研究的总和，从而有助于避免此前研究中普遍存在的过拟合问题。下文展示了一种系统化的方法，可将额外信息整合到分类模型中。这些额外信息可以日常且易于获取，例如一天中的时间，但仍能显著提升模型的准确性。最后，我们证明了所收集的海量数据使我们能够利用“数据的不合理有效性”¹⁰，构建出简单、准确且鲁棒性强的分类器。

总之，飞行昆虫分类研究已超越实验室中产生的存疑主张，现已准备投入实际应用。本研究展示的传感器与软件将为全球研究人员提供可靠的工具，以加速其科研进程。

方案

1. 昆虫种群与饲养

1. 蚊虫种群的培养与饲养
   1. 从实验室种群中饲养源自野外捕获个体的成虫，包括三带喙库蚊（Culex tarsalis）、致倦库蚊（Culex quinquefasciatus）、点斑库蚊（Culex stigmatosoma）和埃及伊蚊（Aedes aegypti）。
   2. 在标准实验室条件下（27 °C，16:8 小时光暗周期 [LD]，含 1 小时黄昏/黎明过渡期），于搪瓷盘中饲养蚊虫幼虫，并以磨碎的啮齿类动物饲料与啤酒酵母按体积比 3:1 混合的食物自由喂养（ad libitum）。
   3. 将蚊蛹收集至 200 ml 的杯子中，并转移至实验饲养箱。或者，在羽化后一周内用吸管将成蚊转移至实验饲养箱。确保每个实验饲养箱内含有 20 至 40 只同种/同性别个体。
   4. 以 10% 蔗糖水溶液自由喂养成蚊（ad libitum），每周更换食物一次。
   5. 每周两次润湿棉布毛巾并覆盖于实验饲养箱顶部，以维持笼内湿度。此外，饲养箱内应始终放置一个盛有 200 ml 自来水的杯子，以帮助维持整体湿度水平。
   6. 实验期间，将实验饲养箱维持在 16:8 小时光暗周期 [LD]、20.5–22 °C 及 30–50% 相对湿度（RH）条件下。
2. 家蝇与果蝇种群的培养与饲养
   1. 从源自野外捕获个体的实验室种群中饲养家蝇（Musca domestica）。采集野生的拟果蝇（Drosophila simulans）个体，并在实验饲养箱中进行饲养。
   2. 在标准实验室条件（12:12 小时光暗周期 [LD]，26 °C，40% RH）下，于塑料容器中饲养家蝇（Musca domestica）幼虫，饲料为水、麦麸、苜蓿粉、酵母和奶粉的混合物。在饲养箱中饲养拟果蝇（Drosophila simulans）幼虫，并以腐烂水果混合物自由喂养（ad libitum）。
   3. 在羽化后一周内，用吸管将成年家蝇（Musca domestica）转移至实验饲养箱。成年拟果蝇（Drosophila simulans）可直接在实验饲养箱中饲养。在开始数据采集前，确保每个实验饲养箱中家蝇数量不超过 10–15 只，或拟果蝇数量为 20–30 只。
   4. 以糖和低脂奶粉混合物自由喂养家蝇成虫（Musca domestica），并提供自由饮水。以腐烂水果混合物自由喂养拟果蝇成虫（Drosophila simulans ad libitum）。每周更换食物一次。
   5. 实验期间，将实验饲养箱维持在 16:8 小时光暗周期 [LD]、20.5–22 °C 及 30–50% 相对湿度（RH）条件下。

2. 在实验舱内记录飞行声音

1. 实验腔室设置
   注：文中“实验舱”指本实验室设计的笼具，用于记录数据。该传感器成本较低，批量生产时，整套装置的制造成本可低于10美元。
   1. 构建一个实验腔室，尺寸可选择较大的规格：67 cm 长 × 22 cm 宽 × 24.75 cm 高，或较小的规格：30 cm 长 × 20 cm 宽 × 20 cm 高。实验腔室由一个光电晶体管阵列和一束指向该光电晶体管阵列的激光线组成。
      注意：此外，该实验舱由经过改装的Kritter Keeper组成，改装内容包括安装传感器装置，以及连接一段PVC管的套管，以便接触昆虫。
   2. 将光电晶体管阵列连接至电子电路板。该电子电路板的输出端接入数字录音设备，并以MP3格式记录为音频数据。参见传感器的逻辑设计示意图 图1.II 以及该腔室的物理版本 图1.I.
   3. 用一块网纱布固定在实验舱盖子内侧，以防止昆虫逃逸。
      注意：当昆虫飞过激光束时，其翅膀会部分遮挡光线，导致微小的光强波动。光电晶体管阵列将这些光强波动捕获为电流变化，信号随后由定制设计的电子电路板进行滤波和放大。
2. 建立系统以记录飞行昆虫产生的声音
   1. 将实验腔室连接至电源。打开电源。
   2. 在实验腔室上找到激光光源和光电阵列。将激光光源与光电阵列对准。为实现准确对准，调节实验腔室外侧的磁铁，这些磁铁对应于腔室内侧固定在光电阵列上的磁铁，逐步调整直至激光光斑在所有单个光电二极管上居中。
   3. 进行两次合理性检查，以确保系统已正确设置。
      注意：第一步是确保系统已通电，所有线路正确连接，且激光束指向光电阵列。第二步是对激光对准进行进一步检查，以确保其能够捕捉昆虫翅振的声音。
      1. 将耳机（而非录音设备）插入音频插孔。将手快速伸入和抽出实验腔室，靠近光电阵列位置，以多次穿过激光光束平面。确保激光已开启（可见一束红光），并用手多次切断光束路径。注意聆听手进出光束时声音强度的变化。若能听到明显的声音差异，说明传感器能够捕捉大物体移动所产生的信号。若测试成功，则进入下一个完整性检查；若未成功，请检查耳机是否连接牢固，以及激光是否准确对准光电阵列。适当调整光电阵列的位置，直至能够清晰听到手进出实验腔室时的声音变化。
      2. 将一根细电线连接到电动牙刷上。打开牙刷电源，使电线在靠近光阵列的实验腔内反复进出。确保激光光束在电线移动时能够照射到其表面。当电线穿过激光光束平面时，若能检测到可听见的频率变化，则表明系统已准备就绪，可捕捉微小物体运动所产生的声音。 即，昆虫发出的声音。如果未察觉明显的听觉差异，请返回步骤 2.2.2 重新校准激光光源和光电阵列。
   4. 系统正确设置后，关闭盖子并加入昆虫。
3. 数据采集：记录飞行昆虫产生的声音
   1. 打开记录仪并进行语音注释，内容包括：实验舱内物种名称、昆虫龄期、日期和时间、当前环境室温（RT）及相对湿度。暂停录音。
   2. 通过音频线将录音设备连接至系统，并继续录音。让录音设备持续记录3天后，停止录音。
   3. 将数据从记录仪下载到电脑上的一个新文件夹中。通过删除数据清空记录仪。
   4. 重复上述记录过程，直至剩余的昆虫全部死亡，笼中存活昆虫不超过5只。

3. 飞行昆虫产生声音的传感器数据处理与检测

1. 使用软件检测飞行昆虫产生的声音
   注意：该软件（检测算法）的运行速度远快于实时处理，耗时少于3 小时 处理一次录音会话， 即，三天的数据，使用配备 Intel(R) Core™ CPU（2.00 GHz）和 8 GB RAM 的标准机器。
   1. 对于每个包含录音会话数据的文件夹，运行检测软件以识别昆虫声音。运行该软件时，打开 MATLAB，然后输入“circandian_wbf”dataDir）”在命令窗口中，其中 dataDir 是记录数据的目录。然后按“Enter”键开始。
      注意：下载检测软件 昼夜节律水生生物测定 来自参考文献#16。
   2. 等待算法终止后，检查检测结果。该算法会将所有检测到的昆虫声音输出到一个名为“dataDir_extf”，其中 dataDir 与上一步相同。每个声音文件均为一段1秒长的音频片段，最初从原始录音中提取，并应用数字滤波器以去除噪声。每个检测到的声音的发生时间均保存在一个名为“dataDir“_time.mat”。观察检测到的昆虫声音示例 图2.
2. 检测算法
   1. 使用 0.1 秒 长滑动窗口沿记录滑动，窗口从记录的起始位置开始。对每个窗口，执行以下步骤。
      1. 计算当前窗口的基本频率。
      2. 如果基频在 100 Hz 至 1,200 Hz 范围内，则执行以下操作：
         1. 提取1秒 以当前窗口为中心的长音频片段从录音中提取；应用数字滤波器去除该片段中的噪声，并将滤波后的音频保存至文件夹“dataDir_extf”
         2. 将当前窗口的出现时间保存到文件中dataDir时间
         3. 将滑动窗口移至已提取音频片段之后的紧邻位置。
      3. 如果基频不在 100 Hz 至 1,200 Hz 范围内，则将滑动窗口移动 0.01 秒 正向
   2. 重复该过程，直至滑动窗口到达记录的末端。

4. 昆虫分类

1. 仅利用飞行声音进行贝叶斯分类
   注：贝叶斯分类器是一种基于概率的分类器，用于分类 将对象归类至其最可能的类别。
   1. 声音特征计算
      1. 对每种昆虫声音，使用离散傅里叶变换（DFT）计算其声音的频率谱。将频率谱截断，仅保留对应于100 Hz至2,000 Hz频率范围的数据点。截断后的频率谱将作为该昆虫声音的“代表性”特征用于分类。
         注意：离散傅里叶变换（DFT）是一种将时域信号转换为频域信号的算法。它在大多数编程库中均为内置函数，只需一行代码即可在程序中调用。
   2. 训练贝叶斯分类器
      1. 使用kNN密度估计方法¹⁴ 利用声音特征学习后验概率分布。在kNN方法中，训练阶段的目标是构建一个训练数据集。
         1. 从每种昆虫所收集的数据中随机抽取一定数量的昆虫声音。
         2. 按照第4.1.1节中的步骤操作，计算每个采样声音的截断频率谱。将截断频谱与样本的类别标签（昆虫物种名称）共同组成训练数据集。
   3. 使用贝叶斯分类器对未知昆虫进行分类
      1. 计算未知昆虫声音的截断频率谱。
      2. 计算未知物体截断谱与训练数据集中所有截断谱之间的欧氏距离。
      3. 找到顶部 k (k = 8）个最近邻样本。将未知昆虫声音属于某一类别的后验概率计算为：在最近邻中属于该类别的样本所占的比例 k 标记为类别的最近邻
      4. 将未知对象分类至后验概率最高的类别。
2. 为分类器添加特征：昆虫  昼夜节律
   1. 学习昆虫声音出现时间的类别条件分布，即  每种昆虫的昼夜节律
      1. 从检测结果中获取每个声音的发生时间（参见第3.2节）。
      2. 为每个物种构建昆虫发声出现时间的直方图。
      3. 将直方图归一化，使其总面积为1。归一化后的直方图即为  该物种的昼夜节律。它表示在特定时间段内观察到该物种昆虫处于飞行状态的概率。
   2. 通过将“昆虫声音”与 昼夜节律
      1. 根据未知昆虫声音发生的具体时间点，获取基于该时间观察到某一类昆虫的几率 昼夜节律
         注意： 昼夜节律是一种概率分布。它是一个数组，用于指定在一天中特定时间检测到由某种特定昆虫产生的声音的概率。因此，一旦给定一个时间点，便可直接查询该数组以获得相应的概率。
      2. 按照第4.1.2节中的步骤，利用声音特征计算未知声音属于该类别的后验概率。将该后验概率与前一步骤的结果相乘，得到新的后验概率。
      3. 将“未知声音”归类到具有最高新后验概率的类别中。
3. 为分类器添加一个新特征：昆虫地理分布
   1. 了解目标物种的地理分布情况，可通过查阅历史记录或相关文献中的已发表数据，或直接向野外技术人员/生物学家获取第一手资料。为演示目的，可使用如图所示的地理分布模拟图。 图7.
   2. 使用“飞行声音”及另外两个附加特征对“未知昆虫声音”进行分类。
      1. 根据昆虫声音被截获的地理位置，利用物种的地理分布图计算在该特定位置观察到属于该类别的昆虫的概率。
         1. 按照第4.2.2节中的步骤操作，利用声音特征和以下内容计算“未知声音”属于该类别的后验概率 昼夜节律。将此步骤的结果与前一步骤的结果相乘，以获得新的后验概率。
      2. 将“未知声音”归类到具有最高新后验概率的类别中。
4. 添加功能的通用框架
   1. 考虑使用声音特征作为主分类器的贝叶斯分类器。请按照以下步骤向该分类器添加新特征。
      1. 在训练阶段，学习新特征的类别条件密度函数。
      2. 在分类阶段，给定“未知声音”的新特征，利用上一步学习到的概率密度函数，计算在该类别中观测到该特征的概率。将该新概率与此前基于奇数特征计算得到的“未知声音”属于该类别的后验概率相乘，得到新的后验概率。将未知对象分类至具有最高新后验概率的类别。

结果

本文展示了两个实验。这两个实验所用的数据均从包含超过10万个对象的数据集中随机抽样获得。

第一个实验展示了所提出的分类器准确分类不同物种/性别的昆虫的能力。由于分类准确率取决于待分类的昆虫种类，因此单一的绝对准确率数值无法使读者对系统性能形成直观理解。因此，本研究并未报告分类器在固定昆虫集合上的准确率，而是将分类器应用于物种数量逐步增加的数据集，从而使得分类难度随之递增。

该数据集最初仅包含2种昆虫；随后在每一步中依次增加一个物种（或一个具有性别二态性的物种的单一性别），并使用分类器对不断增加的物种数量（即新的数据集）进行分类。总共考虑了十类昆虫（同一物种的不同性别计为不同类别），每类包含5,000个样本。

分类器在分类过程中同时使用了昆虫声音（频率谱）和截获时间。 表1展示了每一步测得的分类准确率以及在该步骤中添加的相关类别。

...

讨论

本文所述的传感器/分类框架可实现对飞行昆虫的低成本、可扩展分类。该系统能达到的准确度足以支持商业产品的开发，并可成为昆虫学研究中的有用工具。

利用低成本、非侵入式传感器准确且自动地对飞行昆虫进行分类，将对昆虫学研究产生重大影响。例如，通过在野外部署该系统以计数和分类昆虫媒介，系统可提供目标物种的实时数量，生成可用于规划干预或防控措施以对抗疟疾的实时信息。此外，该系统能够自动区分昆虫的性别，因此可用于帮助从事昆虫不育技术¹⁵研究的昆虫学家摆脱手动鉴定昆虫性别的繁琐且耗时的工作。

使用该系统时，最关键的步骤是正确设置传感器以进行数据采集。如果激光器与光电阵列未正确对准，所获得的数据将含有大量噪声。昆虫放入笼内后，应始终利用笼体外部的磁铁对光电阵列进行微调。请注意，闪烁的灯光、相机闪光灯以及笼体附近的振动都会引入噪声。因此，为获得清晰的数据，应将笼体置于暗室中，并在必要时于笼体下方放置干燥的毛巾，以降低振动水平。

本研究中提出的分类器仅使用了两个额外的特征...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
录音设备：ICD-PX312	索尼	4-267-065-11(2)	配备 8 GB microSD 额外存储卡
昆虫饲养室	Lee's Aquarium & Pet Products.	20088 HerpHaven®, 大号矩形	长 14 1/2" × 宽 8 3/4" × 高 9 3/4"。经改造用于饲养昆虫。
激光线发生器，650 nm（红色）	Apinex（www.apinex.com）	LN60-650	5 mW。此为低功率激光器，类似于教师用激光笔
光电二极管阵列	VISHAY SEMICONDUCTOR  TEFD4300  PIN PHOTODIODE, 650NM, 20DEG, T1	TEFD4300	我们自行制作了一个由 15 个此类光电二极管并联组成的定制阵列。
模数转换器集成电路	本实验室自制		该项目由我们自行制作，但市面上易得的商用产品 Gino PCF8591 AD/DA 转换器可提供相同功能。