安価なセンサで昆虫の検出と分類をフライング

Abstract

正確に飛翔昆虫を分類できた安価な、非侵襲的なシステムは、昆虫学の研究にとって重要な意味を持っており、両方の医療や農業昆虫学のためのベクトルと害虫駆除の多くの有用なアプリケーションの開発を可能にするであろう。この与えられた、最後の60年は、このタスクを対象とした数多くの研究努力を見てきました。しかし、今日まで、本研究のいずれも、持続的な影響を与えなかった。本研究では、擬似的な音響光学センサは、優れたデータを生成できることを示している。昆虫の飛行動作に内因性および外因性の両方その追加機能には、昆虫分類を改善するために利用することができます。ことは、ベイジアン分類アプローチは、効率的にオーバーフィッティングに非常に堅牢である分類モデルを学習することができ、そして一般的な分類の枠組みを簡単に特徴の任意の数を組み込むことができます。私たちは、以前のすべての作品のコンビを矮小大規模実験での知見を実証昆虫の数と見なさ種の数によって測定されるように、定義さ。

Introduction

自動的に飛行の付帯音を使って昆虫を分類する考え方は、最も初期のコンピュータの時代と市販のオーディオ録音機器¹にさかのぼる。しかし、ほとんど進展は、介在十年でこの問題について説明した。この追求の進展の欠如は、いくつかの関連する要因に起因することができます。

まず、有効なセンサの欠如は、データ収集が困難になった。データを収集するためのほとんどの努力は、音響マイクロフォン^2-5を使用している。このようなデバイスは、非常にまばらな、低品質のデータで、その結果、環境中のノイズや周囲の騒音を巻くことは非常に敏感である。

第二に、これらのデータ品質の問題を配合することは、多くの研究者が非常に複雑な分類モデル、特にニューラルネットワーク^6-8を学習することを試みてきたという事実である。例の単なる十で、複雑な分類モデルを学習しようとすると、オーバーフィッティングのためのレシピです。

第三に、データ取得の困難は、多くの研究者は300のインスタンス⁹以下のように少数のように、非常に限られたデータに分類モデルを構築することを試みていることを意味している。しかし、正確な分類モデルを構築するために、より多くのデータが^10-13優れていることが知られている。

この作品は、すべての3つの問題に対処します。オプティカル（ではなく音響 ）センサーは、ノイズや周囲の音を巻くために、完全な不変性で、数メートル先から昆虫の飛行の"音"を記録するために使用することができます。これらのセンサは、以前のすべての努力よりもはるかに多くのデータを組み合わせて、ラベルされた訓練事例の数百万の記録を許可されたため、以前の研究努力を悩ませてきた、オーバーフィッティングを回避している。原則に基づいた方法は、その分類モデルへの追加的な情報の取り込みを可能にするの下に表示されます。この追加情報は、日常のようにようにすることができ時刻などから入手しやすいが、その場合でも、モデルの精度が大幅に利益を生み出す。最後に、私たちが収集した膨大な量のデータは、私たちは、シンプル、正確かつ堅牢な分類子を生成するために" データの不当な有効性 ^」10を利用できるようにすることが実証されている。

要約すると、飛ぶ昆虫の分類は研究室で作成した怪しげな主張を越えて移動し、現在、現実の展開のための準備ができています。この作品で提示センサーとソフトウェアは、世界中の研究を加速するための強力なツールを研究者に提供します。

Protocol

1昆虫コロニー、飼育

1. モスキートコロニー、子育て
   1. 野生に由来リアイエカ足根骨の、ネッタイイエカ、アカイエカstigmatosoma、とラボコロニーからネッタイシマカ大人、個人を捉えました。
   2. リア標準実験室条件下でエナメルパンにおける蚊の幼虫（27℃、16：8時間明：1時間夕暮れ/夜明け期間が濃い[LD]サイクル）、および接地げっ歯類飼料およびビール酵母の混合物を自由摂取彼らを養う（3：1、V：V）。
   3. 200ミリリットルカップに蚊蛹を集め、実験室に配置します。代わりに、出現の1週間以内に実験室に大人の蚊を吸引除去する。各実験室は同じ種/性別の20から40の個人が含まれていることを確認します。
   4. 10％のスクロースおよび水の混合物を餌大人の蚊不断 。食料を毎週交換してください。
   5. plの週2回綿のタオルを湿らせケージ内の湿度を維持するために、実験室の上にそれらをエース。また、全体的な湿度レベルを維持するために常時チャンバ内で水道水200mlのカップを置く。
   6. 実験期間中、暗所[LD]サイクル、20.5から22℃、30〜50％RH：8時間明：16についての実験室を維持します。
2. イエバエとフルーツフライコロニー、子育て
   1. 野生から派生ラボコロニーからのリアイエバエは 、個人を捉えました。実験チャンバーにおける野生ショウジョウバエオナジ個人やリアそれらをキャッチ。
   2. 標準的な実験室条件下でのプラスチック浴槽内リアイエバエの幼虫（12時12時間の明：暗所[LD]サイクル、26℃、40％RH）水、ふすま粉、アルファルファ、酵母、および粉ミルクの混合物中。飼育室でのリアショウジョウバエオナジ幼虫と腐敗の混合物上に自由に摂取を養うフルーツ。
   3. 出現の1週間以内に実験室に吸引し、成人イエバエ 。大人のショウジョウバエオナジ直接実験チャンバーで飼育することができます。データ収集の前に、各実験室はせいぜい10〜15の個別イエバエまたは20〜30の個別ショウジョウバエオナジが含まれていないことを確認してください。
   4. 水に自由にアクセスさせて、砂糖と低脂肪ドライミルクの混合物を、成人イエバエを自由にフィード。果物を腐敗との混合物を、大人のショウジョウバエオナジ不断フィード 。食料を毎週交換してください。
   5. 実験期間中、暗所[LD]サイクル、20.5から22℃、30〜50％RH：8時間明：16実験チャンバーを維持します。

2。実験チャンバー内のレコードのフライングサウンド

1. 実験室内のセットアップ
   注：「実験的Chamber」は、データが記録された私たちの研究室で設計ケージを意味する。センサは、かなり安価である。バルクに建てられたときは、セットアップは10ドル未満のために製造することができた。
   1. 67センチメートルL×22センチメートル幅x 24.75センチメートルHは、以下のサイズ：30センチメートルL×20センチメートル幅×20センチHの実験室はフォトトランジスタアレイとから構成され、実験室、大きなサイズのいずれかを構築フォトトランジスタ·アレイを指し示すレーザーライン。
      注：さらに、チャンバーは、センサ装置だけでなく、昆虫へのアクセスを許可するように塩ビ配管の一部に取り付けられたスリーブを含むように変更されているKritterキーパーで構成されています。
   2. 電子基板へのフォトトランジスタ·アレイを接続します。電子基板の出力は、デジタル音声レコーダに供給し、MP3形式のオーディオデータとして記録される。 図1.IIセンサの論理設計図1.Iチャンバーの物理的なバージョンを見る。
   注：昆虫は、レーザビームを横切って飛ぶと、その翼は、部分的に、光を閉塞する小さな光の変動を引き起こす。光変動は電流の変化としてフォトトランジスタ·アレイによって捕捉され、信号は、カスタム設計された電子ボードによってフィルタリングされ、増幅される。
2. 飛翔昆虫プロデュースを録音する音にシステムの設定
   1. 電源に実験室を接続します。電源をオンにします。
   2. 実験室では、レーザ光やフォトアレイを見つける。フォトアレイへのレーザ光の位置を合わせます。適切な位置合わせを達成するために、レーザ光がすべての個別photodiodを中心とするまで、チャンバの内部にフォトアレイに取り付けられた磁石に対応する実験室の外側に磁石を用いたフォトアレイを調整するエス。
   3. システムが適切に設定されていることを確認する2健全性チェックを実行します。
      注：最初のステップは、システムが電源が入っている、すべての配線が正しく接続されており、レーザーフォトアレイを指していることを確認することです。第二のステップは、虫 'wingbeatsの音をキャプチャすることができます確保するために、レーザーの位置合わせの詳細検査を実施することである。
      1. オーディオジャックに（むしろレコーダーより）ヘッドフォンを接続します。レーザー光の平面を破るために、フォトアレイの近くに、実験室の内外手プランジ。レーザー光がオンになっている（それは光の赤色光になる）と、あなたの手で光の面を数回を破ることを確認してください。あなたの手がで、光ビームの外に出るようにノイズレベルの変化を聞いてください。もし可聴差を検出する場合、センサは、大きな物体の動きによって生成される音を取り込むことができる。成功した場合、ヘッドホンが正しく接続されているかどうかを確認、それ以外の場合は、次の健全性チェックに移動し、レーザーはフォトアレイを指しているかどうか。実験室の内外運針の音が聞こえるまで、それに応じてフォトアレイを調整します。
      2. 自動歯ブラシに電気配線の薄い部分を取り付けます。歯ブラシの電源を入れ、phototarrayに近く、実験室の内外配線が急落。それが動くように、レーザ光が配線の一部に当たっていることを確認してください。もし周波数の音の変化を検出した場合、配線の一部が、レーザ光 ​​の平面を遮断するとき、システムは次に、小さな物体の移動によって生成さ音、 すなわち 、昆虫の音をキャプチャする準備ができている。あなたは音の違いを検出しない場合には、レーザ光やフォトアレイを再整列させるために2.2.2に戻ってください。
   4. システムが適切に設定された後、蓋を閉じて虫を追加します。
3. データ収集：飛翔昆虫プロデュースを録音サウンド
   1. レコーダーの電源を入れ、VOICを作る以下の情報を含む電子注釈：実験室における種名、昆虫、日時、現在の周囲RT、および相対湿度の年齢。録音を一時停止します。
   2. オーディオケーブルを使って、システムにレコーダーを接続し、録音を再開。録音を停止する、3日間記録してレコーダーにしておきます。
   3. PC上で新しいフォルダに記録計からデータをダウンロードしてください。データを削除することでレコーダーを空にします。
   4. 残りの昆虫がオフに死亡し、ケージの中で生き残された5つ以上の昆虫がなくなるまで、上記の記録処理を繰り返します。

3センサデータ処理と飛翔昆虫プロデュース音の検出

1. 飛翔昆虫プロデュース音を検出するためのソフトウェアを使用してください。
   注：ソフトウェア（検出アルゴリズム）は、リアルタイムよりもはるかに高速である。それは、DATの3日間、 すなわち 、記録セッションを処理するために3時間未満のかかりA、2.00 GHzの8 GBのRAMでのインテル（R）コア™の​​CPUを搭載した標準的なマシンで。
   1. レコーディング·セッションからのデータを含む各フォルダには、昆虫の音を検出するための検出ソフトウェアを実行します。ソフトウェア、オープンMATLABを実行し、DATADIRは 、記録データのディレクトリですコマンドウィンドウで「circandian_wbf（DATADIR）」を 、入力します。その後、開始するには "Enter"を押してください。
      注：参照番号16から検出ソフトウェアのcircadian_wbfをダウンロードしてください。
   2. アルゴリズムが終了するまで、検出結果をチェックした後、待ってください。アルゴリズムはDATADIRは、前の手順と同じです」DATADIRの _extf」という名前の新 ​​しいフォルダに検出されたすべての昆虫の音を出力します。各サウンドファイルは、もともと生の記録から抽出された1秒長いオーディオクリップで、デジタルフィルタでノイズを除去するために適用。各検出された音の発生時間」という名前のファイルに保存されDATADIR _time.mat＆＃8221 ;. 図2で検出された虫の音の例を観察します。
2. 検出アルゴリズム
   1. 記録を通ってスライドするように0.1秒長いスライディングウィンドウを使用します。スライディングウィンドウは、記録の最初から始まります。各ウィンドウには、次の手順に従ってください。
      1. 現在のウィンドウの基本周波数を計算します。
      2. 基本周波数が1200ヘルツ、100ヘルツの範囲内にある場合は、次の操作を行います。
         1. レコーディングから現在のウィンドウを中心と1秒の長いオーディオクリップを抽出します。クリップ内のノイズを除去し、フォルダ「DATADIRの _extf」に濾過オーディオを保存するためにデジタルフィルタを適用します。
         2. ファイル"DATADIRの _time」に現在のウィンドウの発生時刻を保存します。
         3. すぐに抽出されたオーディオクリップを、以下の点にスライディングウィンドウを移動します。
      3. 根本的なFRの場合equencyは単に転送スライディングウィンドウを0.01秒に移動、1200 Hzの100Hzの範囲内ではありません。
   2. スライディングウィンドウは録画の最後に到達するまで、このプロセスを繰り返します。

4。昆虫の分類

1. ただフライングサウンドを使用して、ベイズ分類
   注：ベイズ分類は、最も可能性の高いクラスにオブジェクトを分類する確率的分類器である。
   1. サウンド機能の計算
      1. 各昆虫音、離散フーリエ変換（DFT）を用いて、音の周波数スペクトルを計算する。 2000 Hzの100ヘルツ：周波数範囲に対応するだけのデータ点を含むように周波数スペクトルを切り捨てる。切り捨てられた周波数スペクトルは、その後昆虫音の「代表」としての分類に使用される。
         NOTE：DFT周波数領域、時間領域の信号に変換するアルゴリズムである。それは、BUIですLT-におけるほとんどのプログラミングライブラリ内の関数であり、は、たった1行のコードを使用してプログラムで呼び出すことができます。
   2. ベイズ分類器を訓練
      1. サウンド機能を使用して事後確率分布を学習するのkNN密度推定法^14を使用してください。 kNNのアプローチでは、トレーニング段階は、訓練データセットを構築することである。
         1. ランダム昆虫のそれぞれの種のために収集されたデータから虫の音の数をサンプリングする。
         2. 4.1.1項の手順に従って、各サンプリングした音のために切り捨てられた周波数スペクトルを計算する。一緒にサンプルを「クラスラベル（昆虫種名）を持つ切り捨てられたスペクトルは、トレーニングデータセットを作曲。
   3. 未知の昆虫を分類するためにベイズ分類器を使用して、
      1. 未知の昆虫音の切断周波数スペクトルを計算する。
      2. unknowの切断スペクトルとの間のユークリッド距離を計算nのオブジェクトとトレーニングデータセット内のすべての切り捨てスペクトル。
      3. 上位k（本論文ではk = 8）のトレーニングデータセット内の未知のオブジェクトの最も近い隣人を検索します。クラスとしてラベル付けされる上位k最近傍の割合としてクラスに属する未知の昆虫音の事後確率を計算します。
      4. 最も高い事後確率を持つクラスに未知の物体を分類します。
2. 昆虫概日リズム：クラシファイアに機能を追加
   1. 、昆虫のそれぞれの種のための概日リズムである昆虫の音の発生時間、クラス付き分布は、こちらをご覧ください。
      1. 検出結果から各音（のCF 3.2節）の発生時刻を取得します。
      2. それぞれの種、昆虫音発生時間のヒストグラムを構築する。
      3. ヒストグラムの面積が1になるようにヒストグラムを正規化​​します。通常の化されたヒストグラムは、所定の種の概日リズムである。これは、特定の期間内飛行中、その種の昆虫を観測する確率を伝える。
   2. 「昆虫の音」と概日リズムを組み合わせることで、未知の「昆虫の音を」分類
      1. 未知の昆虫の音が発生した特定の時点を考えると、クラスの概日リズムに基づいて、クラスの昆虫を観察する確率を得る。
         注：概日リズムが確率分布である。それは、一日の特定の時間に、昆虫の特定の種によって生成される音を検出する確率を指定する配列です。時間が与えられた後、それで、人は単に確率を得るために、配列を確認することができます。
      2. 未知の音は、サウンド機能を使用して、クラスに属する事後確率を計算するためのセクション4.1.2の手順に従います。あちこちに結果を事後確率を掛け新しい事後確率を得るために、前の手順をメートル。
      3. 最高の新しい事後確率を持つクラスを "未知の音」を分類します。
3. クラシファイアにワン·モア·フィーチャーを追加します。昆虫地理分布
   1. 、いずれの史料で出版されたデータから、対象の種の地理的分布を学ぶ関連文献、または単に現場の技術/生物学者から最初の手の知識を収集します。 図7に示すように、デモのために、グラフィック分布のシミュレーションを使用しています。
   2. 「フライング音」2つの追加機能を使用して「未知の虫の音」を分類します。
      1. 昆虫の音が傍受された地理的位置を考えると、種のグラフィックディストリビューションを使用して、特定の場所でクラスから昆虫を観察する確率を計算する。
         1. セクション4.2.2 Aの手順に従ってくださいndは「未知の音が「音の機能と概日リズムを使用したクラスに属する事後確率を計算する。新しい事後確率を得るために、前のステップからの結果は、このステップの結果を乗算する。
      2. 最高の新しい事後確率を持つクラスを "未知の音」を分類します。
4. 機能を追加するための一般的なフレームワーク
   1. 主な分類子としてだけで音機能を使用していますベイズ分類を考えてみましょう。分類器に新しい機能を追加するには、以下の手順に従ってください。
      1. トレーニング段階では、新機能のクラス付き密度関数を学習。
      2. 分類段階では、「未知の音」の新機能で与えられた、前のステップで学習した密度関数を使用してクラスに特徴を観測する確率を計算する。 PRに新しい確率を掛け新しい事後確率を得るために、単に奇数の機能に基づいて計算されたクラスに所属する「未知の音」に対応するevious事後確率。最高の新しい事後確率を持つクラスに未知の物体を分類します。

Materials

Name	Company	Catalog Number	Comments
Audio recorder: ICD-PX312	Sony	4-267-065-11(2)	With a 8 GB microSD extra memory
Insectary	Lee's Aquarium & Pet Products.	20088 HerpHaven®, Large Rectangle	14 1/2" long x 8 3/4" wide x 9 3/4" high. Modified to house insects.
Laser line generator, 650 nm (red)	Apinex (www.apinex.com)	LN60-650	5 mW. This is a low powered laser, similar to a teacher's laser pointer
Photodiode array	VISHAY SEMICONDUCTOR  TEFD4300  PIN PHOTODIODE, 650NM, 20DEG, T1	TEFD4300	We made a custom array of 15 of these photodiodes wired in parallel.
Analogue to digital convertor integrated circuit	Custom made in our lab		We made this item ourselves, but an easily available commercial product, Gino PCF8591 AD/DA Converter, provides the same functionality.