飞行昆虫检测与分类用便宜的传感器

Summary

我们提出了使用廉价的，非侵入性的伪声光感应器可以自动，准确地检测，计数和分类飞基于他们的飞行昆虫的声音系统。

Abstract

一种廉价的，非侵入性的系统，可以准确分类飞虫会对昆虫学研究的重要意义，并允许用于医疗和农业昆虫学的载体和病虫害防治许多有用的应用程序的开发。鉴于此，在过去60年看过致力于这项工作的许多研究工作。迄今为止，但是，没有这种研究产生了深远的影响。在这项工作中，我们表明，伪声光传感器能产生优良的数据;该附加的特征，这两个内在的和外在的昆虫的飞行特性，可以被利用来改善昆虫分类;一个贝叶斯分类方法允许有效地学习分类模型是非常强劲的过度拟合，和一般的分类框架，允许轻松地将功能任意数字。我们证明了这一切相形见绌以前的作品COMBI大规模的实验结果奈德，如由昆虫的数目，并考虑物种的数量来衡量。

Introduction

利用其飞行附带声音自动分类的昆虫的想法可以追溯到计算机和初期市售录音设备^1。然而，很少取得了进展在这个问题上，在中间的几十年。进展的这种追求，缺乏可归结为几个相关的因素。

第一，缺乏有效的传感器取得数据收集困难。大多数收集数据的努力已经用声麦克风^2-5。这样的装置是极其敏感的风噪声和环境噪声的环境中，从而导致非常稀疏的，低质量的数据。

第二，配合这些数据质量问题的事实是，许多研究者试图学习非常复杂的分类模型，尤其是神经网络^6-8。试图了解复杂的分类模型，用仅有的几十例，是秘方过拟合。

第三，获得的数据的困难意味着许多研究者试图建立分类模型具有非常有限的数据，少至300实例⁹或更小。然而，已知的是用于构建准确的分类模式，更多的数据是更好^10-13。

这项工作涉及的所有三个问题。光学（而不是声 ）传感器可用于录制的“声音”从米昆虫的飞行距离，拥有完整的不变性风噪声和周围的声音。这些传感器都允许的百万标记的训练实例，比以前的所有努力结合更多的数据的记录，并因此有助于避免过度拟合一直困扰以前的研究工作。如下所示是有原则的方法允许更多的信息到分类模型的结合。这种额外的信息可以作为司空见惯，并为易于获得的时间 - 日期的，但仍然产生显著收益模型的准确性。最后，它被证明数据，我们收集了巨额允许我们以“ 数据的不合理有效性 ^”10优势，以产生简单，准确和鲁棒的分类器。

综上所述，飞行昆虫的分类已经超越了研究实验室创建的可疑索赔，现在准备实际部署。在这项工作中提出的传感器和软件将提供全球研究人员强大的工具来加速他们的研究。

Protocol

1，昆虫群体和饲养

1. 蚊子殖民地和饲养
   1. 背面淡色tarsalis，致倦库蚊，淡色stigmatosoma和埃及伊蚊成虫从实验室的殖民地，它源于野生捕捞的个体。
   2. 在标准实验室条件下，搪瓷锅背面蚊子幼虫（27℃，16：8小时光照：黑暗[LD]周期1小时黄昏/黎明时期），并喂它们随意在地面啮齿动物饲料混合物，啤酒酵母（3:1​​，体积比）。
   3. 收集蚊蛹入200ml杯，并将其放置在试验室。另外，吸出成蚊成实验室1周之内出现。确保各实验腔室含有相同的物种/性别的20到40个人。
   4. 饲料成蚊随意在10％的蔗糖和水的混合物。更换食品周刊。
   5. 棉花浸湿毛巾每周两次和PL王牌他们的实验室顶到笼子内保持湿度。此外，放置杯子的自来水200毫升在腔室在任何时候，以帮助保持整体的湿度水平。
   6. 保持试验室上在16：8小时光照：黑暗[LD]周期，20.5-22℃，30-50％RH的条件下的实验的持续时间。
2. 家蝇和果蝇群体和饲养
   1. 从实验室的殖民地后方家蝇 ，从野外捕获而得的个体。钓野生果蝇拟黄的个人和后他们在实验室。
   2. 在塑料桶的标准实验室条件下后方家蝇幼虫（12时12小时光照：黑暗[LD]循环，26℃，40％相对湿度）的水，米糠粕，苜蓿，酵母和奶粉的混合物。在饲养室后部拟黄果蝇幼虫喂它们自由采食腐烂的混合物水果。
   3. 吸成人家蝇到1周之内出现的实验室。成年果蝇拟黄可直接饲养在实验室。此前的数据收集，确保每个实验室包含不超过10-15个人家蝇或20-30个人果蝇拟黄。
   4. 喂成年家蝇自由采食对糖和低脂肪奶粉的混合物，自由饮水。饲料成年果蝇拟黄随意腐烂水果的混合物。更换食品周刊。
   5. 保持试验室在16：8小时光照：黑暗[LD]循环，20.5-22℃，30〜50％RH的实验时间。

2，记录飞行声音实验钱伯斯

1. 试验室设置
   注：“实验çhamber“指设计在我们的实验室笼，其中，所述数据被记录。该传感器是相当便宜的。当内置大容量，一组最多可以制造不到10美元。
   1. 建构一个实验室，无论是大尺寸的67厘米（长）X 22厘米宽x24.75厘米H或更小尺寸：30厘米（长）×20厘米（W）×20厘米H的实验室由一个光电晶体管阵列和中激光线指向光电晶体管阵列。
      注意：另外，该腔室包括被修改为包括所述传感器装置以及安装于一块PVC管道，以允许进入昆虫的套筒Kritter拾得的。
   2. 光电晶体管阵列连接到一个电子板。电子板的输出馈入数字录音机，并记​​录为MP3格式的音频数据。看到图1.II传感器和图1.I腔的物理版本的逻辑设计。
   注：当昆虫飞行穿越激光束，它的翅膀部分遮挡光线，导致小光的波动。光波动是由光电晶体管阵列作为电流变化的捕捉，以及该信号被滤波和放大由设计的电子电路板的定制。
2. 设置系统由飞行昆虫制作录制声音
   1. 试验室连接到电源。打开电源。
   2. 在试验室中，发现激光灯和photoarray。调整激光灯的photoarray。为了实现适当的对准，调整使用的磁铁对实验室的外面相对应的附连到photoarray在腔室内部的磁体，直到激光光的中心在所有的个体photodiod的photoarrayES。
   3. 执行两个完整性检查，以确保系统的设置是否正确。
      注意：第一个步骤是，以确保该系统的电源，所有电线都正确地连接以及激光指向的照片阵列。第二个步骤是进行进一步的检查对激光对准，以确保它能够捕捉昆虫的wingbeats的声音。
      1. 将耳机（而非记录器）插入到音频插孔。沉浸手进出试验室，邻近photoarray，打破了激光的平面。确保激光灯亮（这将是光的红色光束），并且你打破光平面几次用你的手。听的变化噪声电平作为你的手进入和退出光束。如果检测可听差，传感器能够捕获由大物体运动产生的声音。如果成功的话，就移动到下一个完整性检查，否则，请检查耳机是否连接正确，无论是激光指着photoarray。调整photoarray相应地，直到手的声音进出实验室可以听到。
      2. 附上一块薄薄的电线到自动牙刷。打开的牙刷，并沉浸在布线和移出试验室靠近phototarray的。确保激光射到一块布线的，因为它移动。如果检测到的频率的可听变化，当片布线的断裂激光的平面，系统就准备好捕捉由细小的物体， 即 ，昆虫声音的运动所产生的声音。如果没有检测到有声的差异，回到步骤2.2.2重新调整激光灯和photoarray。
   4. 在系统的设置是否正确，盖上盖子，并添加了昆虫。
3. 数据采集​​：通过飞行昆虫制作录制声音
   1. 打开录音机，并作出voicË注解，包括以下信息：该物种在实验室的名称，昆虫，日期和时间，当前环境室温和相对湿度的年龄。暂停录制。
   2. 记录器连接到该系统中，通过音频电缆，并且恢复记录。离开记录器来记录3天，然后停止录制。
   3. 从记录的数据下载到PC上的一个新文件夹。通过删除数据清空记录。
   4. 重复上述的记录处理，直到剩余的昆虫死亡关闭并有不大于5的昆虫在笼活着。

3，传感器数据处理和检测声音由飞行昆虫产生的

1. 用软件来检测声音由飞行昆虫产生的。
   注意：软件（检测算法）比实时更快。整个过程不到3个小时来处理记录会话，DAT的即三天A，A标机采用英特尔（R）酷睿™CPU以2.00 GHz和8 GB的RAM上。
   1. 对于包含从记录会话数据的每个文件夹，运行检测软件来检测昆虫的声音。运行软件，打开MATLAB，然后键入“circandian_wbf（DATADIR）”，在命令窗口，DATADIR是记录数据的目录。然后按“Enter”键开始。
      注：从引用＃16下载检测软件circadian_wbf。
   2. 等到算法终止，再检查的检测结果。该算法输出所有检测到的昆虫声音在名为“DATADIR _extf”的新文件夹，其中DATADIR是一样的，在前面的步骤。每个声音文件是一个1秒长的音频剪辑最初提取从原始的记录，用数字滤波器来去除噪声。每个检测到的声音的发生时间将被保存在一个名为“DATADIR _time.mat及文件＃8221 ;.观察图2中的检测到的昆虫声音的例子。
2. 检测算法
   1. 用0.1秒长的滑动窗口滑动通过录音。滑动窗口开始从记录的开始。对于每一个窗口，按照下面的步骤。
      1. 计算当前窗口的基本频率。
      2. 如果基波频率为100赫兹到1200赫兹的范围内，则执行下列操作：
         1. 提取1秒长的音频剪辑的中心从记录当前的窗口;应用数字滤波以去除在该剪辑中的噪声，并保存滤波的音频到文件夹“DATADIR _extf”。
         2. 保存当前窗口的出现时间到文件“DATADIR _时间”。
         3. 移动滑动窗口对紧跟在提取的音频剪辑的点。
      3. 如果根本FRequency不是100赫兹到1200赫兹的范围内，只需将滑动窗口0.01秒前进。
   2. 重复该过程，直到滑动窗口到达记录的结尾。

4，昆虫分类

1. 贝叶斯分类仅使用飞音
   注：贝叶斯分类器是一个概率分类器的目的是其最有可能的阶级划分。
   1. 声音特征计算
      1. 对于每个昆虫的声音，计算使用离散傅立叶变换（DFT）的声音的频谱。截断的频谱只包括对应于频率范围的那些数据点：100赫兹到2000赫兹。截短的频谱，然后在分类为“代表”的昆虫声音使用。
         注：该DFT是一种算法，其将时域信号转换到频域。这是一个BUILT-函数在大多数编程库，可以在程序中调用，只需一行代码。
   2. 训练贝叶斯分类器
      1. 使用k近邻密度估计方法¹⁴学习用声音特征的后验概率分布。与邻近法，训练阶段是建立一个训练集。
         1. 随机抽取的一些昆虫的声音从收集各种昆虫的数据。
         2. 按照第4.1.1节中的步骤和计算截断频谱每个采样声音。被截断的频谱连同样本的类标签（昆虫名）组成的训练集。
   3. 使用贝叶斯分类到一个未知的昆虫分类
      1. 计算的未知昆虫声音的截断频率的频谱。
      2. 计算未知的截光谱之间的欧几里德距离n对象，并在训练数据集中的所有截断的频谱。
      3. 找到相关的前k（K = 8在本文中）中的训练数据集的未知物体的最近邻居。计算属于一类作为其标记为类中的前k近邻的部分未知的昆虫声音的后验概率。
      4. 分类的未知物体以具有最高的后验概率的类。
2. 添加一个功能，该分类：昆虫昼夜节律
   1. 学习的昆虫声音的发生时间，即，昼夜节律对每个物种的昆虫类制冷分布。
      1. 取得从检测结果中的每个声音（CF 3.2节）的发生时间。
      2. 对于每一个物种，打造的昆虫声音发生时间的直方图。
      3. 归一化的直方图，使得直方图的面积为1。正常美化版直方图是在给定物种的昼夜节律。它讲述了一个特定的时间周期内观察昆虫，该物种的，在飞行的概率。
   2. 通过结合“昆虫声音”与昼夜节律分类未知的“昆虫声音”
      1. 给定时刻，其中未知昆虫的声音发生的特定点，获得观测类的基于类的昼夜节律昆虫的概率。
         注：昼夜节律是一个概率分布。这是一个数组，指定检测健全，昆虫的特定物种所产生的概率，在一天中的特定时间。因此，一旦时间被定，可以简单地检查阵列得到的概率。
      2. 按照第4.1.2节中的步骤来计算使用的声音的功能，对未知的声音属于类的后验概率。相乘后验概率的结果来回米上一步中得到新的后验概率。
      3. 分类“未知的声音”，以拥有最高新的后验概率的类。
3. 增加一个功能的分类：昆虫地理分布
   1. 了解该物种的地理分布的利益，无论是从公布的历史数据记录，相关文献，或者干脆从现场技术人员/生物学家收集第一手资料。出于演示的目的，使用模拟的图形分布， 如图7。
   2. 分类“未知的昆虫声音”用“飞声”和两个附加功能。
      1. 定所述地理位置，其中昆虫声音被截获，计算使用物种的图形分布在观察从类昆虫在该特定位置的概率。
         1. 按照第4.2.2步骤次计算采用的声音特点和生理节奏的“未知的声音”属于类的后验概率。相乘的这个步骤，以从先前的步骤的结果的结果，以获得新的后验概率。
      2. 分类“未知的声音”，以拥有最高新的后验概率的类。
4. 总体框架中添加功能
   1. 请考虑使用刚刚的声音特点作为主要分类贝叶斯分类器。按照下面的步骤来添加新的功能分类。
      1. 在训练阶段，学习新功能的类空调的密度函数。
      2. 在分类阶段，考虑到“未知的声音”的新功能，通过计算在上一步中了解到的密度函数观测要素类的概率。乘新概率公关对应于“未知声音”属于类基于刚刚奇数的特点，分别计算evious后验概率，以获得新的后验概率。分类未知对象具有最高的新的后验概率的类。

Representative Results

两个实验都在这里呈现。对于这两个实验中，所使用的数据，随机从包含超过10万个对象的数据集进行采样。

第一个实验表明所提出的分类准确分类，昆虫的不同物种/性别的能力。作为分类精度依赖于昆虫进行分类，分类精度单个绝对值不会让读者对系统的性能有良好的直觉。代替，而不是报告于一组固定的昆虫的分类器的精确度，该分类器被应用到数据集的递增增加数种，并因此增加了分类困难。

该数据集开始只有2种昆虫;然后在每一步中，多了一个品种（或单一性别的性别二态性的物种），并分类来划分增加物种的数目（即新数据集）。总共有10类昆虫（来自同一物种的计数为不同类别不同性别）进行了审议，5000典范每班。

分类器中使用两种昆虫的声音 （频谱）和时间的截距为分类如表1所示，在每个步骤中，并在该步骤中加入的相关类测量的分类精度。

根据表1中，分类器实现分类时不超过5种昆虫，超过20％的准确度的预设速率显著高超过96％的准确度。即使在类的数量考虑增加至10时，分类准确率比79％的人从未低，再比10％的违约率显著高。注意，10类不容易分离，即使通过人工检查。其中的10种，其中8家还有蚊子，机智ħ六他们从相同属之中。

第二个实验是用来说明如何准确的系统可以性别飞虫，具体地，涉及从女性区别雄性埃及伊蚊的蚊子。在实验的第一部分，假设误分类男性为女性的“误分类成本”是相同的误分类的女性与男性的成本。用这一假设，分类结果示于表2。我 。分类精度性别埃及伊蚊约99.4％。

用于实验的第二部分，承担的费用是不对称的， 即 ，女性与男性的分类错误是不是相反更加昂贵。用这一假设，该分类器的判决阈值改变为降低高成本错误分类的数量。与阈值适当调整，分类结果在表2中。二是实现了。 2000昆虫在实验中，22名男性和女性的零被错误分类。

图1（i）一种用于收集数据的实验笼子。（二）传感器安装与注解的组件的逻辑版本。 请点击这里查看该图的放大版本。

图2：（一）含有“飞行昆虫的声音”，由传感器产生1秒的音频剪辑的一个例子。声音是由女性Cx的。stigmatosoma生产。在樱雪克拉声音在红色/粗体突出显示。（Ⅱ）的“昆虫声音”，这已被清洁，并保存到1秒长的音频剪辑由定心昆虫信号和填充与别处的0（Ⅲ）的频率的频谱昆虫的声音，用离散傅立叶变换得到。 请点击这里查看该图的放大版本。

图3：使用一个单一的功能进行分类贝叶斯网络。

图4是采用两个独立的特性classificat贝叶斯网络离子

图5 Cx的昼夜节律。 stigmatosoma（女），Cx的。 tarsalis（男）， 和AE。伊蚊 （女），教训的基础上通过收集超过1个月时间，该传感器产生的意见。 请点击这里查看该图的放大版本。

图6：使用三个独立的功能进行分类贝叶斯网络。

G“/>
图7各虫种和传感器的位置，在模拟的地理分布的假设来说明使用位置，拦截的功能分类中的有效性。 请点击这里查看该图的放大版本。

图8：使用n个特征进行分类，其中n为正整数的一般贝叶斯网络， 请点击这里查看该图的放大版本。

步骤	规格IES新增	分类准确度		步骤	新增品种	分类准确度
1	AE。伊蚊 ♂	不适用		6	CX。倦 ♂	92.69％
2	家蝇	98.99％		7	CX。 stigmatosoma♀	89.66％
3	AE。伊蚊 ♀	98.27％		8	CX。 tarsalis♂	83.54％
4	CX。 stigmatosoma♂	97.31％		9	CX。倦 ♀	81.04％
5	<EM> Cx的。 tarsalis♀	96.10％		10	拟黄果蝇	79.44％

表1分类精度随班级数。

		预测类					预测类
I（对称成本）		女	男		二 （非对称成本）		女	男
实际的类	女	993	7		实际的类	女	千	0
	男 5	995		男		22	978

表2（一）混淆矩阵阂的性别歧视。 伊蚊的蚊子与为女性设定为0.5（ 即 ，相同的成本假设）的判决门限。（二）混淆性矩阵相同的蚊子，与决策门槛为女性设置为0.1。

Discussion

这里描述的传感器/分类框架允许飞虫的廉价和可扩展的分类。该精度达到由系统不够好，让商业产品的开发，并可能在昆虫学研究的有用工具。

使用廉价的，非侵入性的传感器能​​够准确，自动分类飞虫的能力将会对昆虫学研究显著影响。例如，通过部署在系统中的字段进行计数和分类，昆虫媒介，该系统可提供的目标物种的实时计数，产生可用于计划介入/抑制方案来防治疟疾的实时信息。此外，该系统能自动分离的昆虫通过性，因此它可用于免费昆虫学家工作的不育昆虫技术¹⁵从手动性别鉴定的昆虫的繁琐和耗时的任务。</ P>

在使用本系统时，最重要的步骤是适当地设置了传感器，用于数据收集。如果激光和光电阵列没有正确对齐，数据将是非常嘈杂。后的昆虫被放置在笼中，光阵列应始终是微调用磁铁在笼子的外侧。需要注意的是闪烁的灯光，照相机闪光灯和振动靠近笼子会引入噪声的数据。因此，为了获得干净的数据，放在笼在一个黑暗的房间，并在必要时，放置在笼子里的干毛巾，以减少振动水平。

在这项工作中提出的分类仅仅使用两个额外的功能。然而，可能有几十个额外的功能，可帮助提高分类性能。作为潜在功能域和特定应用中，用户可以选择基于他们的特定需要或应用程序的功能。在CL的总体框架assifier允许用户方便地添加新功能来分类，提高分类性能。

为了鼓励我们的想法采纳和推广，我们正在免费提供在加州大学河滨分校昆虫学计算^16-17页的所有代码，数据和传感器的原理图。此外，我们的预算范围之内，我们将继续给予一个完整的系统（ 如图1），以任何研究的昆虫学家谁要求1的做法。

Materials

Name	Company	Catalog Number	Comments
Audio recorder: ICD-PX312	Sony	4-267-065-11(2)	With a 8 GB microSD extra memory
Insectary	Lee's Aquarium & Pet Products.	20088 HerpHaven®, Large Rectangle	14 1/2" long x 8 3/4" wide x 9 3/4" high. Modified to house insects.
Laser line generator, 650 nm (red)	Apinex (www.apinex.com)	LN60-650	5 mW. This is a low powered laser, similar to a teacher's laser pointer
Photodiode array	VISHAY SEMICONDUCTOR  TEFD4300  PIN PHOTODIODE, 650NM, 20DEG, T1	TEFD4300	We made a custom array of 15 of these photodiodes wired in parallel.
Analogue to digital convertor integrated circuit	Custom made in our lab		We made this item ourselves, but an easily available commercial product, Gino PCF8591 AD/DA Converter, provides the same functionality.