Vliegende Insect Detectie en classificatie met goedkope sensoren

Samenvatting

We stelden een systeem dat goedkope, niet-invasieve pseudo-akoestische optische sensoren gebruikt om automatisch en nauwkeurig te detecteren, te tellen en classificeren vliegende insecten op basis van hun vliegende geluid.

Samenvatting

Een goedkope, niet-invasieve systeem dat nauwkeurig kan classificeren vliegende insecten zouden belangrijke implicaties voor entomologische onderzoek hebben, en zorgen voor de ontwikkeling van vele nuttige toepassingen in vector-en ongediertebestrijding voor zowel de medische en agrarische entomologie. Gezien dit, hebben de afgelopen zestig jaar veel onderzoek inspanningen met betrekking tot deze taak gezien. Tot op heden echter niets van dit onderzoek heeft een blijvende invloed gehad. In dit werk wordt aangetoond dat pseudo-akoestische optische sensoren superieure data kan produceren; die extra functies, zowel intrinsieke en extrinsieke naar vlieggedrag van het insect, kan worden benut om insecten classificatie te verbeteren; dat een Bayesiaanse classificatie aanpak maakt het mogelijk om efficiënt te leren classificatie modellen die zeer robuust zijn om over-montage, en een algemeen klassement raamwerk maakt het mogelijk om willekeurig aantal functies gemakkelijk op te nemen. We tonen de bevindingen met grootschalige experimenten die dwerg alle eerdere werken combined, zoals gemeten door het aantal insecten en het aantal soorten beschouwd.

Inleiding

Het idee van het automatisch classificeren van insecten met behulp van het incidentele geluid van hun vlucht gaat terug tot de vroegste dagen van de computers en de handel verkrijgbare audio-opname-apparatuur ^1. Er is echter weinig vooruitgang geboekt op dit probleem in de tussenliggende decennia. Het gebrek aan vooruitgang in dit streven kan worden toegeschreven aan een aantal gerelateerde factoren.

Ten eerste is het gebrek aan effectieve sensoren verzamelen gegevens bemoeilijkt. De meeste inspanningen om gegevens te verzamelen zijn akoestische microfoons ^2-5 gebruikt. Dergelijke apparaten zijn uiterst gevoelig voor ruis en omgevingsgeluid wind in het milieu, wat resulteert in zeer schaars en lage kwaliteit van de gegevens.

Tweede compounding deze databank kwaliteitsproblemen is dat veel onderzoekers hebben geprobeerd zeer gecompliceerd classificatiemodellen, vooral neurale netwerken ^6-8 leren. Proberen om te leren ingewikkelde indeling modellen, met slechts tientallen voorbeelden,is een recept voor over-fitting.

Ten derde, de moeilijkheid van het verkrijgen van gegevens heeft ertoe geleid dat veel onderzoekers hebben geprobeerd om de indeling modellen te bouwen met zeer beperkte gegevens, zo weinig als 300 exemplaren ⁹ of minder. Het is echter bekend dat voor het bouwen accurate classificatiemodellen meer gegevens beter ^10-13.

Dit werk richt zich op alle drie punten. Optische sensoren (in plaats van akoestische) kan worden gebruikt om op te nemen van de "sound" van insecten vlucht vanuit meter afstand, met volledige onveranderlijkheid van lawaai en ambient geluiden wind. Deze sensoren hebben toegelaten dat de opname van miljoenen gelabeld training gevallen, veel meer gegevens dan alle eerdere inspanningen gecombineerd, en zo helpen voorkomen dat de over-fitting die is geplaagd eerdere onderzoeksinspanningen. Een principiële methode wordt hieronder getoond dat maakt de integratie van aanvullende informatie in de classificatie-model. Deze extra informatie kan net zo alledaags en alsgemakkelijk te verkrijgen als de tijd van de dag, maar produceren nog steeds aanzienlijke winst in nauwkeurigheid van het model. Tenslotte is aangetoond dat de enorme hoeveelheden data die we verzameld kunnen we gebruik maken van de "onredelijke effectiviteit van data" ¹⁰ eenvoudige, nauwkeurige en robuuste classifiers produceren.

Samengevat heeft vliegend insect indeling buiten de dubieuze vorderingen gemaakt in het onderzoek lab verplaatst en is nu klaar voor de echte wereld inzet. De sensoren en software die in dit werk zal onderzoekers wereldwijd bieden krachtige hulpmiddelen om hun onderzoek te versnellen.

Protocol

1 Insect Kolonie en Steigerend

1. Mosquito Kolonie en Steigerend
   1. Achter Culex tarsalis, Culex quinquefasciatus, Culex stigmatosoma en Aedes aegypti volwassenen uit lab kolonies, die afkomstig is uit het wild gevangen individuen.
   2. Achter muggenlarven in emaille pannen onder standaard laboratorium omstandigheden (27 ° C, 16: 8 uur licht: donker [LD] cyclus met 1 hr dusk / dawn periodes), en voer ze ad libitum op een mengsel van gemalen knaagdieren chow en biergist (3: 1, v: v).
   3. Verzamel mug poppen in 200 ml bekers, en plaats ze in de experimentele kamers. Als alternatief, zuigen de volwassen muggen in experimentele kamers binnen 1 week na opkomst. Zorg ervoor dat elke experimentele kamer bevat 20 tot 40 individuen van dezelfde soort / geslacht.
   4. Feed volwassen muskieten ad libitum op een 10% sucrose en water mengsel. Vervang voedsel per week.
   5. Bevochtig katoenen handdoeken twee keer per week en place deze naar de experimentele kamers om vochtigheid in de kooi te houden. Daarnaast plaatst u een kopje van 200 ml kraanwater in de kamer te allen tijde te helpen de algehele luchtvochtigheid op peil te houden.
   6. Handhaaf de experimentele kamers op een 16: 8 uur licht: donker [LD] gaan, 20,5-22 ° C en 30-50% RV gedurende de duur van het experiment.
2. Huisvlieg en Fruit Fly Kolonie en Steigerend
   1. Achter Musca domestica uit een lab kolonie, afkomstig van in het wild gevangen individuen. Vangen wilde Drosophila simulans individuen en achter hen in de experimentele kamers.
   2. Tandwiel Musca domestica larven in plastic kuipjes onder standaard laboratoriumomstandigheden (12:12 uur licht: donker [LD] cyclus, 26 ° C, 40% RV) in een mengsel van water, zemelen, alfalfa, gist, en melkpoeder. Achter Drosophila simulans larven in een steigerend kamer en voer ze ad libitum op een mengsel van rottendfruit.
   3. Zuig volwassen Musca domestica in experimentele kamers binnen 1 week na opkomst. Adult Drosophila simulans kan direct worden gefokt in de experimentele kamers. Voorafgaand aan het verzamelen van gegevens, zorg ervoor dat elke experimentele kamer bevat niet meer dan 10-15 individuele Musca domestica of 20-30 individuele Drosophila simulans.
   4. Feed volwassen Musca domestica ad libitum op een mengsel van suiker en magere melkpoeder, met vrije toegang tot water. Feed volwassen Drosophila simulans ad libitum op een mengsel van rottend fruit. Vervang voedsel per week.
   5. Aanvullen experimentele kamers op een 16: 8 uur licht: donker [LD] gaan, 20,5-22 ° C en 30-50% RV gedurende de duur van het experiment.

2 Record Flying Sounds in Experimental Chambers

1. Experimentele Kamer Setup
   Opmerking: een "experimentele cHamber "duidt de kooi gemaakt in ons laboratorium, waarin de gegevens zijn opgenomen. De sensor is vrij goedkoop. Wanneer gebouwd in bulk, kan een set worden vervaardigd voor minder dan $ 10.
   1. Construct een experimentele kamer, een van de grotere omvang: 67 cm L x 22 cm B x 24.75 cm H, of de kleinere omvang: 30 cm L x 20 cm B x 20 cm H. Het experimentele kamer bestaat uit een fototransistor array en een laserlijn wijzend op de fototransistor array.
      OPMERKING: Daarnaast is de kamer uit Kritter houders die daar aangepast aan de sensor inrichting en een huls aan een stuk PVC leidingen toegang tot de insecten mogelijk zijn.
   2. Sluit de fototransistor array om een ​​elektronisch bord. De output van de elektronische kaart feeds in een digitale geluidsrecorder en wordt geregistreerd als audio data in het MP3-formaat. Zie het logisch ontwerp van de sensor in figuur 1, deel II en een fysieke versie van de kamer in figuur 1.Ik.
   3. Wijzig de deksels van de experimentele kamers met een stuk gaas doek bevestigd aan de binnenzijde om ontsnapping van de insecten te voorkomen.
      OPMERKING: Wanneer een insect vliegt over de laserstraal, zijn vleugels gedeeltelijk af te sluiten het licht, waardoor kleine lichte schommelingen. De lichte schommelingen worden opgevangen door de fototransistor-array als veranderingen in de huidige, en het signaal wordt gefilterd en versterkt door de op maat ontworpen elektronische kaart.
2. Het systeem heeft ingesteld om Record Sounds Geproduceerd door vliegende insecten
   1. Sluit de experimentele kamer op een voeding. Schakel de stroom in.
   2. Op de experimentele kamer, vind het laserlicht en photoarray. Lijn de laser lichten om de photoarray. Om de juiste uitlijning te bereiken, past het photoarray met de magneten op de buitenzijde van de experimentele kamer die overeenkomen met de magneten aan de photoarray het inwendige van de kamer tot het laserlicht is gericht op alle individuele photodiodes.
   3. Voer twee sanity checks om te zorgen dat het systeem goed is ingesteld.
      Opmerking: De eerste stap is om ervoor te zorgen dat het systeem is ingeschakeld, alle kabels goed zijn aangesloten en de laser is niet goed op de foto array. De tweede stap is om verdere controles uit te voeren op de laser uitlijning om ervoor te zorgen dat u het geluid van de vleugelslagen van de insecten te vangen.
      1. Plug hoofdtelefoons (in plaats van de recorder) aan op de audio-aansluiting. Dompel hand in en uit de experimentele kamer, bij photoarray, aan het vlak van het laserlicht breken. Zorg ervoor dat het laserlicht is op (het zal een rode lichtstraal te zijn) en dat je het vlak van licht breken een paar keer met je hand. Luister voor veranderingen in geluidsniveau als je hand gaat in en uit van de lichtbundel. Als u een hoorbare verschil detecteert de sensor geschikt is signalen geproduceerd door de beweging van grote voorwerpen. Als dat lukt, ga dan naar de volgende sanity check, anders is, controleer dan of de hoofdtelefoon goed is aangesloten enof de laser is wijzend op de photoarray. Pas de photoarray dienovereenkomstig tot het geluid van de hand in en uit van de experimentele kamer kan worden gehoord.
      2. Bevestig een dun stuk van elektrische bedrading om een ​​automatische tandenborstel. Zet de tandenborstel en dompelen de bedrading in en uit de experimentele kamer dichtbij de phototarray. Zorg ervoor dat het laserlicht wordt het raken van het stuk van de bedrading als het beweegt. Als u een hoorbare verandering in frequentie te detecteren, wanneer het stuk bedrading breekt het vlak van laserlicht, het systeem is dan klaar om de door de beweging van kleine objecten, dus, insect geluiden geluiden vast te leggen. Als je niet een hoorbaar verschil te ontdekken, ga dan terug naar stap 2.2.2 opnieuw uitlijnen van de laser verlichting en de photoarray.
   4. Nadat het systeem goed is ingesteld, sluit het deksel en voeg de insecten.
3. Data Collection: Record Sounds Geproduceerd door vliegende insecten
   1. Schakel de recorder en maak een voice annotatie dat de volgende informatie bevat: naam van de soort in de experimentele kamer, leeftijd van de insekten, datum en tijd, de huidige omgevingstemperatuur RT, en de relatieve vochtigheid. Pauzeer de opname.
   2. Sluit de recorder aan het systeem, via de audio-kabel, en de opname te hervatten. Laat de recorder om op te nemen voor 3 dagen, dan is de opname te stoppen.
   3. Download de gegevens van de recorder in een nieuwe map op een pc. Leeg de recorder door het verwijderen van de gegevens.
   4. Herhaal het bovenstaande opnameproces, totdat de resterende insecten zijn afgestorven en er niet meer dan 5 insecten in leven in de kooi.

3 Sensor Data Processing en Detectie van Sounds Geproduceerd door vliegende insecten

1. Gebruik Software om Sounds Geproduceerd door vliegende insecten waar.
   Opmerking: De software (algoritme) is veel sneller dan real-time. Het duurt minder dan 3 uur om een opnamesessie te verwerken, dat wil zeggen, drie dagen van DATeen, op een standaard machine met Intel (R) Core ™ processor op 2,00 GHz en 8 GB RAM.
   1. Voor elke map met gegevens uit een opnamesessie, voert u de detectie software om insecten geluiden detecteren. Om de software open MATLAB Uitvoeren en typ "circandian_wbf (datadir)" in het commando venster, waar datadir is de directory van de opgenomen gegevens. Klik vervolgens op "Enter" om te beginnen.
      OPMERKING: Download de detectie software circadian_wbf van referentie # 16.
   2. Wacht tot het algoritme wordt beëindigd, controleer dan de detectie resultaten. Het algoritme uitgangen alle gedetecteerde insect geluiden in een nieuwe map "datadir _extf", waarbij datadir is hetzelfde als in de vorige stap. Elk geluidsbestand is een 1 sec lang geluidsfragment oorspronkelijk gewonnen uit de ruwe opname, met een digitaal filter toegepast om ruis te verwijderen. Het optreden tijd van elke gedetecteerde geluid wordt opgeslagen in een bestand met de naam "datadir _time.mat &# 8221 ;. Neem het voorbeeld van een gedetecteerde insect geluid in figuur 2.
2. Detection Algorithm
   1. Gebruik een 0,1 sec lang schuifraam te glijden door de opname. Het schuifraam start vanaf het begin van de opname. Voor elk raam, volg de onderstaande stappen.
      1. Bereken de fundamentele frequentie van het huidige venster.
      2. Als de fundamentele frequentie binnen het bereik van 100 Hz tot 1200 Hz, doe dan het volgende:
         1. Pak de 1-sec lang geluidsfragment centreren op het huidige venster van de opname; toepassing van een digitaal filter om de ruis in de clip te verwijderen en op te slaan het gefilterde geluid in de map "DATADIR _extf".
         2. Spaar het optreden van het huidige venster in het bestand "DATADIR _time".
         3. Verplaats het schuifraam tot het punt dat het gewonnen audiofragment onmiddellijk volgt.
      3. Als de fundamentele frequency is niet binnen het bereik van 100 Hz tot 1200 Hz, zet u eenvoudig met het schuifraam 0.01 sec vooruit.
   2. Herhaal dit proces tot de schuifvenster het einde van de opname bereikt.

4 Insect Classificatie

1. Bayesiaanse classificatie met alleen de Flying Sound
   Opmerking: Bayesian classifier is een probabilistische classifier dat een voorwerp classificeert haar meest waarschijnlijke klasse.
   1. Sound Feature Berekening
      1. Voor elk insect geluid berekenen het frequentiespectrum van het geluid met de Discrete Fourier Transformatie (DFT). Maak het frequentiespectrum uitsluitend de gegevens die corresponderen met een frequentiebereik onder 100 Hz tot 2000 Hz. De afgeknotte frequentiespectrum wordt dan gebruikt in de classificatie als "vertegenwoordiger" van het insect geluid.
         OPMERKING: De DFT is een algoritme die signalen omzet in tijdsdomein naar het frequentiedomein. Het is een built-functie in de meeste programmeertalen bibliotheken, en kan worden genoemd in het programma met slechts een regel code.
   2. Train een Bayesian classifier
      1. Gebruik de KNN dichtheid ramingsaanpak ¹⁴ naar de achterste kansverdeling met behulp van het geluid functie te leren. Met de KNN aanpak, de trainingsfase is om een ​​training dataset op te bouwen.
         1. Willekeurig genieten van een aantal insecten geluiden uit de verzamelde voor elke soort van insecten gegevens.
         2. Volg de stappen in paragraaf 4.1.1 en bereken de afgeknotte frequentiespectrum per bemonsterde geluid. De afgeknotte spectra samen met klasse labels de monsters '(insect soortnaam) bestaat de training dataset.
   3. Gebruik de Bayesiaanse classifier tot een onbekende insect classificeren
      1. Bereken de afgeknotte frequentiespectrum van de onbekende insect geluid.
      2. Bereken de Euclidische afstand tussen de afgeknotte spectrum van de onbekenden bezwaar en alle afgeknotte spectra in de training dataset.
      3. Vind de top k (k = 8 in deze paper) naaste buren van het onbekende object in de training dataset. Bereken de latere kans van het onbekende geluid insecten behoren tot een klasse als de fractie van de top k buren die volgens het klasse.
      4. Classificeren het onbekende object aan de klas die het hoogste posterior kans heeft.
2. Voeg een functie om de classifier: Insect circadiaanse ritmes
   1. Leer de klasse voorziene verdelingen van de tijd optreden van insecten geluid, dat is, het circadiane ritme voor elke soort insecten.
      1. Verkrijgen van het optreden tijd van elk geluid uit de detectie resultaten (zie paragraaf 3.2).
      2. Voor elke soort, het bouwen van een histogram van het insect geluid voorval tijd.
      3. Normaliseren van de histogram zodat het gebied van het histogram is een. De normaleseerd histogram is het circadiane ritme van de betrokken soort. Het vertelt de waarschijnlijkheid om een ​​insect, van die soort, in de vlucht binnen een bepaalde periode.
   2. Classificeren een onbekende "insect geluid" door het combineren van de "insect sound" en het circadiane ritme
      1. Gezien de specifieke tijdstip waarop de onbekende insect geluid voorgedaan, krijgen de waarschijnlijkheid om een ​​insect klasse gebaseerd op het circadiane ritme klasse.
         OPMERKING: Het circadiaan ritme is een kansverdeling. Het is een matrix waarin de waarschijnlijkheid dat een geluid geproduceerd door een bepaald soort van insecten, op een bepaald tijdstip. Dus eens een tijd wordt gegeven, kan men eenvoudig controleren van de array om de kans te krijgen.
      2. Volg de stappen in paragraaf 4.1.2 aan de posterior kans dat het onbekende geluid behoort tot de klasse met het geluid functies te berekenen. Vermenigvuldig de latere kans om de resultaten weerm de vorige stap aan de nieuwe latere kans krijgen.
      3. Classificeren van de "onbekende geluid" aan de klas die de hoogste nieuwe posterior kans heeft.
3. Voeg nog een voorziening om de classifier: Insect Geografische Distributie
   1. Leer de geografische spreiding van de soorten van belang zijn, hetzij van gegevens die zijn gepubliceerd in historische documenten, relevante literatuur, of gewoon de eerste hand kennis te verzamelen van technici / biologen. Ter demonstratie, gebruik een simulatie van de grafische verdeling, zoals weergegeven in figuur 7.
   2. Classificeren van een "onbekend insect sound" met behulp van "vliegende geluid" en de twee extra functies.
      1. Gezien de geografische locatie waar de insect geluid werd onderschept, bereken de waarschijnlijkheid om een ​​insect uit de klas op die specifieke locatie met behulp van de grafische verspreiding van soorten.
         1. Volg de stappen in paragraaf 4.2.2 eennd berekenen de latere kans dat de 'onbekende geluid "behoort tot de klasse met het geluid functies en de circadiane ritmes. Vermenigvuldig het resultaat van deze stap om de resultaten van de vorige stap, teneinde de nieuwe latere kans krijgen.
      2. Classificeren van de "onbekende geluid" aan de klas die de hoogste nieuwe posterior kans heeft.
4. Een algemeen kader voor het toevoegen van functies
   1. Denk aan de Bayesiaanse classifier die net geluid functies gebruikt als de primaire classifier. Volg de onderstaande stappen om nieuwe functies toe te voegen aan de classifier.
      1. In de trainingsfase, leren dichtheidsfuncties de klasse van airconditioning van de nieuwe functie.
      2. In de classificatie fase, gezien de nieuwe functie van het "onbekende geluid" bereken de waarschijnlijkheid om de functie in klasse met de functie dichtheid geleerd in de vorige stap. Vermenigvuldig de nieuwe kans om de previous latere kans overeenkomt met de "onbekende geluid" uit categorie die zijn berekend op basis van alleen de eigenaardigheden, de nieuwe latere kans krijgen. Classificeren het onbekende object naar de klasse die hoogste nieuwe posterior kans heeft.

Resultaten

Twee experimenten worden hier gepresenteerd. Voor beide experimenten werden de gegevens gebruikt worden willekeurig getrokken uit een dataset die meer dan 100.000 objecten bevat.

Het eerste experiment toont het vermogen van de voorgestelde classifier nauwkeurig classificeren verschillende soorten / geslacht insecten. Omdat de nauwkeurigheid classificatie is afhankelijk van de insecten worden ingedeeld, zal een enkele absolute waarde voor de nauwkeurigheid classificatie niet de lezer een goed...

Discussie

De sensor / klassificatiekader hier beschreven maakt het goedkoop en schaalbaar classificatie van vliegende insecten. De nauwkeurigheden bereikt door het systeem zijn goed genoeg om de ontwikkeling van commerciële producten toe en als een bruikbaar entomologisch onderzoek zou zijn.

De mogelijkheid om goedkope, niet-invasieve sensoren gebruiken om nauwkeurig en automatisch classificeren vliegende insecten zou aanzienlijke gevolgen hebben voor de entomologische onderzoek. Bijvoorbeeld door inv...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Audio recorder: ICD-PX312	Sony	4-267-065-11(2)	Met een 8 GB microSD extra geheugen
Insectary	Lee's Aquarium & Pet Products.	20088 HerpHaven®, Large Rectangle	14 1/2" lang x 8 3/4" breed x 9 3/4" hoog. Gewijzigd om insecten te huisvesten.
Laser lijn generator, 650 nm (rood)	Apinex (www.apinex.com)	LN60-650	5 mW. Dit is een laag vermogen laser, vergelijkbaar met een laserpointer van een leraar
Fotodiode array	VISHAY SEMICONDUCTOR  TEFD4300  PIN FOTODIODE, 650NM, 20DEG, T1	TEFD4300	We hebben een aangepaste array gemaakt van 15 van deze fotodioden, parallel bedraad.
Analoge naar digitale convertor geïntegreerde schakeling	Op maat gemaakt in ons lab		We hebben dit item zelf gemaakt, maar een gemakkelijk verkrijgbaar commercieel product, Gino PCF8591 AD/DA Converter, biedt dezelfde functionaliteit.