Denne protokollen beskriver trinnene for bruk av romanen programvaren, SwarmSight, frame-by-frame spore insekt antenne og Snabel posisjoner fra konvensjonelle web kamera videoer med konvensjonelle datamaskiner. Den gratis, åpen kildekode programvaren behandler rammer omtrent 120 ganger raskere enn mennesker og utfører på bedre enn menneskelig nøyaktighet.
Mange vitenskapelig og agriculturally viktig insekter bruk antenner å oppdage tilstedeværelsen av flyktige kjemiske forbindelser og forlenge deres snabel under mating. Muligheten til å raskt få høyoppløselige målinger av naturlige antenne og Snabel bevegelser og vurdere hvordan de endrer svar på kjemisk, utviklingsmessige og genetisk manipulasjoner kan hjelpe forståelsen av insekt atferd. Ved å utvide vår tidligere arbeid på vurdere samlet insekt sverm eller dyr gruppe bevegelser fra naturlige og laboratoriet videoer med video analyseprogramvare SwarmSight, utviklet vi en roman, gratis og åpen kildekode modul, SwarmSight Appendage Sporing (SwarmSight.org) for frame-by-frame sporing av insekt antenne og Snabel posisjoner fra konvensjonelle web kamera videoer med konvensjonelle datamaskiner. Programmet behandler rammer omtrent 120 ganger raskere enn mennesker utfører på bedre enn menneskelig nøyaktighet og, med 30 rammens per andre (fps) videoer, kan fange antennal dynamics opptil 15 Hz. Programvaren ble brukt til å spore antennal svar honning bier til to lukt og funnet betydelige mener antennal retractions fra lukt kilde ca 1 s etter lukt presentasjon. Vi observerte antenne posisjon tetthet varme kart klynge dannelse og cluster og mener vinkel avhengighet av lukt konsentrasjon.
De fleste leddyr flytte antenner eller andre appendage prøve miljømessige stikkordene og signaler i tid og rom. Dyrene kan bruke antenner for å navigere miljøet ved å registrere sensoriske stikkordene som kjemisk flyktige og gustatory og mekanisk stimuli1,2,3,4. I insekter inneholde antennene sensoriske reseptorer som binder seg til kjemiske flyktige4,5,6 og overføre signalet via olfactory sensoriske neurons til sentrale hjernen regioner1,7 ,8,9. Insekter kan justere antenner posisjoner å modulere informasjon om innkommende lukt4,10,11. Denne modulering Letter aktivt informert atferdsmessige responser til lukt og sine fjær12,13.
Mange insekter, inkludert Hymenopterans (f.eks honning bier og Humler), Lepidopterans (f.eks sommerfugler) og Dipterans (f.eks fluer og mygg), blant annet feed ved å utvide deres snabel14 , 15 , 16 , 17 , 18 , 19 , 20 , 21. snabel forlengelsen pålitelig er brukt i siste for en rekke læring og hukommelse oppgaver22,23,24,25,26, 27,28,29,30,31. Tilsvarende kan kvantitativ vurdering av antenner bevegelse med høy timelige og romlig oppløsning gi innsikt i forholdet mellom stimulans, atferd og interne tilstanden til dyret. Faktisk tidligere arbeid har vist hvor antennal bevegelser inneholder rik mengde informasjon om honey bee sporing av miljøet og hvordan bevegelser endres lære32,33,34, 35,36,37,38.
I det siste tiåret, har metoder for å observere dyr atferd blitt betraktelig ved fremskritt i høy oppløsning videokameraer, databehandling hastigheter og maskinen visjon algoritmer. Oppgaver som animalsk deteksjon, telling, sporing og sted preferanse analyser har blitt hjulpet med sofistikert programvare som kan behandle videoer av dyr opptreden og ekstrakt relevante måler39,40, 41,42,43,44,45,46,47.
Disse teknologiene har også hjulpet sporing av insekt antenne og Snabel bevegelser. Det er mulig for menneskelig raters å bruke en markøren manuelt spore plasseringen av antennene. Men mens denne metoden kan være nøyaktig, oppgaven er tidkrevende, og menneskelig uoppmerksomhet og tretthet kan medføre upålitelige resultater. Spesialutstyr og forberedelser kan brukes til å redusere behovet for innviklet programvare. For eksempel, ettall setup brukes et høyhastighets kamera og malt tips av antenner å spore antenne bevegelse48. Brukere kan også bli bedt om å velge nøkkel-rammer videoer å hjelpe programvaren oppdager antenne og Snabel plassering49. En annen tilnærming oppdaget to største bevegelse klynger for å identifisere antenner, men det gjenkjenner ikke snabel beliggenhet50. En annen programvarepakke kan oppdage antenne og Snabel steder, men krever ca 7.5 s behandling tid per ramme51, som kan være uoverkommelige for sanntid eller langsiktig observasjon studier. Til slutt, det kan være mulig å tilpasse reklamen programvarepakker (f.eks EthoVision) for å utføre oppgaven46, men lisensiering og trening kostnadene være uoverkommelige.
Med metoden beskrevet her vi utvidet våre tidligere arbeid på bevegelse analyse programvare41 spore plasseringen av insekt antenner og Snabel med følgende mål: (1) ingen behov for spesiell maskinvare eller komplekse dyr forberedelse, (2). ramme behandlingen i sanntid (30 fps eller raskere) på en vanlig datamaskin, (3) brukervennlighet bruk, og (4) åpen-kildekode, lett utvides koden.
Den resulterende romanen metoden og åpen kildekode programvare, SwarmSight Appendage sporing, krever ikke maleri av antenner tips, kan bruke en forbruker webkamera for å fange video og prosesser videobilder på 30-60 fps på en tradisjonell ( Figur 1). Programmet tar video-filer som inndata. Du finner plasseringen av insekt hodet i videoen, og etter behandling, en kommadelt fil (CSV) er produsert med plassering av antenner og Snabel. Programvaren er i stand til å lese hundrevis av forskjellige videoformater (inkludert produseres av de fleste digitale kameraer) ved hjelp av FFmpeg biblioteket52.
Figur 1: dyr oppsett og programvare utgang. (A) A honey bee forager med hodet og kroppen restriktiv sele. (B) lukt kilde er plassert foran dyret, et videokamera er plassert over, og en vakuum kilde er plassert bak dyret. (C) antennen tips og Snabel variabler oppdaget av SwarmSight fra videoen. (D) brukeren plasserer antennen sensoren over dyrene og justerer parameterne filter. Programvaren registrerer antenne og Snabel stillingene (gul ringer).Klikk her for å se en større versjon av dette tallet.
Først er et insekt kropp og hodet hindret i en sele slik at antennen og Snabel bevegelser er lett observeres (figur 1A). En lukt kilde er plassert foran insekt, med vakuum kilde plassert bak, fjerne lukt fra luften og minimere mulige effekter av sensoriske tilpasning (figur 1B). Et vanlig webkamera er plassert over insekt hodet på et stativ. En LED kan plasseres i kameraets visningen som indikerer når lukten blir presentert.
Figur 2: antenne koordinatsystem. X, Y-verdier bruker video koordinatsystem, der øvre venstre hjørne er opprinnelse og X og Y verdier øker når du flytter mot nederst til høyre. Vinklene er uttrykt i grader i forhold til forsiden av hodet (vanligvis lukt kilden). En “0” verdi betyr at linjen av antenne flagell peker rett foran dyret. Alle vinkler er positiv, bortsett fra når en antenne peker til den motsatte retningen (f.eks rett flagell poeng til venstre). Klikk her for å se en større versjon av dette tallet.
Etter innspillingen og åpnes videofilen med SwarmSight programvaren, der brukeren plasserer antennen Sensor widgeten (figur 1 d, svarte firkanten) i hodet av insekter, og starter videoavspilling. Når resultatene lagres, CSV-filen inneholder X, Y posisjoner av antennen tips, antenne vinkler i forhold til forsiden av hodet (figur 2), og Snabel X, Y-posisjon. I tillegg beregnes en dominerende sektor beregning for hver antenne. Metrisk viser hvilke av de fem 36 graders sektorene rundt hver antenne inneholdt mest poeng anses trolig bli antennene, og kan være nyttig hvis antennen posisjon/vinkel beregningene ikke er pålitelig på grunn av støy eller ellers problematisk videoer.
Kort, programvaren fungerer ved hjelp av en rekke bevegelse filtre53 og en avslappet flom fyll algoritmen54. Du finner sannsynligvis antenne poeng, to filtre brukes: en 3-rad-ramme forskjellen filter41,55 og filtere median-bakgrunn subtraksjon56 . Avstand terskelen fargefilter brukes for snabel punktet deteksjon. De 10% av punktene for hvert filter kombineres, og en flom fyll algoritme som undersøker sammenhengende poeng med hull til 2 piksler (px) finner ytterpunkter. Parallelle ramme dekoding, behandling, og rørledninger og optimert hukommelse tildeling av filteret dataflyten oppnår høy ytelse. Rå x- og y-koordinaten verdiene produsert av programvaren er etter behandlet med en 3-ramme rullende median filter57 (se diskusjon). Instruksjonene for å laste ned hele kildekoden finner online58.
Nedenfor er en protokoll for å forberede en honey bee forager antenne sporing. En lignende protokoll kan brukes til å spore antenne/snabel bevegelsene til noen andre insekt. I delen resultater beskriver vi et eksempel antenne Sporingsutdata som oppdages av programvaren, sammenligning av programvare utgang til sporing av menneskelig raters og vurdering av antenner bevegelse svar på fem odorants.
Metoden som presenteres her gjør at sanntid sporing av insekt antenne og Snabel bevegelser uten spesielle dyr forberedelser eller maskinvare.
Begrensninger:
Til tross for disse fordelene er det noen begrensninger i metoden. Disse inkluderer kravet at leder av dyret er begrenset fra bevegelsen, behovet for brukeren å velge og dreie av dyr hver video, kravet om å ha tilgang til en Windows-maskin og programvaren manglende evne til å spore bevegelse i tre dimensjoner (3D) og noen visuelt uklare appendage posisjoner beskrevet nedenfor.
Programvaren krever at leder av dyret er fast og ikke går under videoen. Dette ligner på forberedelsene til tidligere arbeid48,49,50,51. Det er mulig å endre programvaren slik at automatisk gjenkjenning av hodet rotasjoner, men dette konsumerer ekstra behandlingstid og introdusere en ny kilde til feil. Hvis den endrede programvaren oppdage hodet rotasjon feil, vil dette påvirke antennene anglerne, utregningen er i forhold til hodet rotasjonsvinkelen. Foreløpig velger brukeren hodet retningen hver video. Denne tilnærmingen, minimerer mens ikke uten menneskelige feil, vinkel beregningsfeil når hodet ikke er tillatt å flytte under videoen.
Programvaren krever også en Windows 7 (eller senere)-operativsystemet (OS). Målet var å gjøre programvaren lett å installere, konfigurere og bruke av brukere uten programmering eller sofistikert datamaskin administrasjon ferdigheter. Vi besluttet å målrette Windows fordi det er allment tilgjengelig, og i tilfeller der tilgang til det begrenses virtuelle maskiner (f.eks VirtualBox, VMware, parallell) med Windows kan lett bli opprettet. Dette valget av OS sterkt forenkler installasjon av programvare ved hjelp av en lett-å-bruke, kommandolinje-line-fri installasjon og unngår feil gjelder for ulike OSs.
Programvaren registrerer bare plasseringen av vedheng i 2D-plass. Insekter er kjent for å flytte sine antenne i 3D, som kan bety at viktig informasjon går tapt når bare 2D-koordinater måles. Mens bruken av flere kameraer eller speil kan hjelpe i å samle ytterligere informasjon som kreves i 3D lokalisering, er det mulig å beregne, med bruk av trigonometriske relasjoner, en beregnet ut-av-flyet posisjon ved forutsatt at de er enkelt linjesegmenter konstant lengden og bare flytte på siden av kameraet flyet. For honning bier, forutsetningen gjelder å få grovt anslag for posisjon i 3D, men ikke nødvendigvis ville være tilfelle for andre arter og situasjoner.
Programvaren vil ikke riktig oppdage antenner og Snabel tips steder i noen tvetydig situasjoner. Hvis et dyr flytter antenne slik at videoen, det overlapper en utvidet snabel, vil programvaren sannsynligvis oppdage spissen av antennen som spissen av snabel. Antenne vinkelen imidlertid vil fremdeles sikkert beregnes riktig (fra delen ikke-overlappende). Tilsvarende, hvis antennen tips flytter direkte over hodet av dyret (dvs. ikke på sidene) deretter programvaren kan bare oppdage delen av antennen som er synlig utenfor hodet, antar den forrige plasseringen av antennen eller oppdage falske videostøy som antennen er plassert. I begge situasjoner har engang menneskelig raters problemer med kresne antennen på snabel eller hodet. For å løse dette problemet, anbefaler vi at du bruker et 3-ramme, symmetrisk rullende median57 filter på rå X- og Y koordinatene produsert av programvaren. Dette filteret fjerner store forbigående (single-ramme) posisjon svingninger, og beholder lengre antenne posisjon bevegelser. Vi har funnet at 3-ramme filteret utført bedre enn ingen filter, mens bredere filtre (f.eks, 5, 11 eller 15 rammer) redusert nøyaktighet. Eksempelkoden R som bruker filteret og en videodemonstrasjon kan finnes online58.
Verdi som et vitenskapelig verktøy:
Tilgjengeligheten av en metode for å raskt få nøyaktig insekt appendage bevegelser på en kostnadseffektiv måte har potensial til å åpne opp nye områder for undersøkelse.
Snabel forlengelsen reflex (PER) er vanlige atferdsdata Svar å undersøke læring og hukommelse av en rekke insekter59. Tidligere studier har generelt stolt på en binær utvidet-eller-ikke mål PER, selv om video- og electromyographic analyser har vist mye mer kompleks topologier til snabel bevegelser65,66. Metoden her gir rask kvantifisering av snabel bevegelser i høy timelige og romlig oppløsning.
Insekt antenne bevegelser svar på lukt er dårlig forstått. En årsak til dette er at antenner tendens til å bevege seg så raskt at en kostnadseffektive, automatiske betyr å få antenne bevegelse data ikke er tilgjengelig. Metoden som presenteres her kan brukes å raskt få antenne bevegelse data for store tall av en rekke forhold. Dette kan for eksempel hjelpe forskere undersøker tilordningen mellom antenne bevegelser i respons på ulike stimuli, spesielt flyktige lukt. Bruker kameraer som ta bilder på 30 Hz, programvaren kan brukes til å beskrive antennal bevegelse dynamics opptil 15 Hz (Nyquist grense). Hvis karakteristikk i høyere frekvenser er nødvendig, kunne kameraer med høyere fangst priser (f.eks 60 eller 120 fps) brukes. Men må en raskere datamaskin behandle høyere fps videoer i sanntid. Vi spekulere at klasser av lukt, og muligens noen personlige lukt, har karakteristiske medfødte antennal bevegelser. Hvis disse klasser eller forbindelser kan være oppdaget, ukjent lukt eller klasse ble oppdaget fra antennal bevegelse av utrente insekter. Hvis det finnes slike en tilordning, skal deretter kombinasjonen av nok antenne bevegelse data og toppmoderne maskin læring algoritmer begynne å avdekke. Også hvordan den kartleggingen endringer i svaret til læring, skjemaer under utvikling, eller avbrytes med kunne genetisk tiltak tilby innblikk i funksjonene i olfactory systemet.Til slutt, dette arbeidet kan gi innsikt i kunstig påvisning av lukt hvis det avslører optimal Prøvetaking metoder for lukt i komplekse miljøer.
Videre arbeidet:
Her vi viste at antennen bevegelse kan raskt innhentet og analysert: betydelige atferd svar kan oppdages fra data generert av vår programvare, og flere områder av videre undersøkelser ble identifisert.
Tiden kurs av stimulus-skapte antenne vidvinkel avvik fra og gjenoppretting til grunnlinjen og stimulans konklusjon etterpå effekter og forholdet til lukt konsentrasjon kan bli undersøkt og modellert matematisk. I tillegg, endringer av antenne bevegelser indusert av appetitive eller aversive condition også kan vurderes med programvaren.
Dele lukt kan også utforskes. I denne studien både lukt, i ren og 35 x utvannet versjoner skapte lignende svar: antenner, gjennomsnittlig syntes å raskt trekke deg fra lukt og returnere pre lukt grunnlinjen etter noen sekunder. Vi spekulere at selv utvannet versjonene kan ha vært sterkt olfactory stimuli for honning bier. Hvis sann, kan et bredere spekter av konsentrasjoner brukes til å bestemme om antennal svarene skille lukt. I tillegg kan mer avanserte analyser bedre avdekke forskjeller i antennal bevegelser svar på forskjellige lukter. Vi har gjort datafilene brukes til å generere tall i dette manuskriptet tilgjengelig for interesserte forskere på SwarmSight nettsted67.
Videre mens du er utenfor omfanget av dette manuskriptet, kan programvaren utvides for å behandle videoer av dyr plassert i kammer med to speil vinkel på 45° (se figur 1 d for eksempel). Dette kan brukes til nøyaktig lokalisere og spore lemmer og deres bevegelse i 3D-rom. Imidlertid algoritmer for 3D spore ville være nødvendig å effektivt: (a) skille mellom flere antenner når de vises i en av sidespeil, (b) riktig for feil i speilet vinkler, og (c) står for forstyrrelser på grunn av kameraet posisjonering.
Endelig ytterligere gevinst i posisjon nøyaktighet kan realiseres ved bruk av et Kalman filter68, hvilke modeller og benytter fysisk tilstandsinformasjon appendage hastighet og akselerasjon å begrense spådd steder. Imidlertid bør eventuelle gevinster i nøyaktighet vurderes mot reduksjoner i fart på grunn av ytterligere beregninger.
Konklusjon:
Mange insekter bruk antenner aktivt prøve flyktige forbindelser i lokale miljøer. Mønstre i antennal bevegelser kan gi innsikt i insekt lukt oppfatning og hvordan den påvirkes av condition, giftige forbindelser og genetiske endringer. Tilsvarende har snabel bevegelser blitt brukt til å vurdere lukt oppfatning og dens modulering. Imidlertid har raskt å skaffe store mengder høyoppløselig appendage bevegelse data vært vanskelig. En protokoll og programvare er her beskrevet som automatiserer slik oppgave. I sammendraget, har vi skapt og vist hvordan kombinasjonen av billig maskinvare, en felles dyr forberedelse og åpen kilde-programvare kan brukes til å raskt få høyoppløselige insekt appendage bevegelse data. Resultatet av programvaren, hvordan det overgår menneskelig raters i hastighet og nøyaktighet, og hvordan dens utdataene kan analysert og visualisert ble vist.
The authors have nothing to disclose.
JB, SMC og RCG ble støttet av NIH R01MH1006674 til SMC og NIH R01EB021711 til RCG. CMJ og BHS ble støttet av NSF ideer lab prosjektet på “knekke olfactory koden” til BHS. Vi takker Kyle Steinmetz Taryn Oboyle og Rachael Halby for deres hjelp i å gjennomføre denne forskningen.
Insect harness | N/A | N/A | Use materials needed for Protocol sections 1-3.1.1 of Smith & Burden (2014) |
Odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
Vacuum source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
LED connected to odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
Low Voltage Soldering Iron | Stannol | Low Voltage Micro Soldering Iron 12V, 8W | |
DC Power Supply | Tekpower | HY152A | |
White sheet of paper | Georgia-Pacific | 998606 | Any white sheet of paper can be used as alternative |
Tripod | AmazonBasics | 50-Inch Lightweight Tripod | Optional |
Camera | Genius | WideCam F100 | FLIR Flea3 or another camera with manual focus can be used. |
Camera software | Genius | N/A | Software comes with camera. On MacOS, Photo Booth app can be used to record videos. |
Camera shutter speed software | Genius | N/A | Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/ |
Windows Operating System | Microsoft | Windows 7 Professional | Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments. |
SwarmSight software | SwarmSight | Appendage Tracking | Download from http://SwarmSight.org |
R software | R Project | R 3.4.0 | Download from: https://cran.r-project.org/bin/windows/base/ |
R Studio software | RStudio | RStudio Desktop | Download from: https://www.rstudio.com/products/rstudio/download/ |