Denne protokol beskriver trin for at bruge den nye software, SwarmSight, til frame-by-frame sporing af insekt antenne og Snabel positioner fra konventionel web kamera videoer ved hjælp af konventionelle computere. Den gratis, open source software behandler rammer omkring 120 gange hurtigere end mennesker og udfører på bedre end menneskelige nøjagtighed.
Mange videnskabeligt og landbrugsmæssigt vigtigt insekter bruger antenner til påvisning af tilstedeværelse af flygtige kemiske forbindelser og udvide deres Snabel under fodring. Evnen til hurtigt at opnå høj opløsning målinger af naturlige antenne og Snabel bevægelser og vurdere, hvordan de ændrer svar på kemiske, udviklingsmæssige og genetiske manipulationer kan støtte forståelsen af insekt adfærd. Ved at udvide vores tidligere arbejde på vurderingen af samlede insekt sværm eller animalske gruppe bevægelser fra naturlige og laboratorium videoer via video analyse software SwarmSight, udviklede vi en roman, gratis og open source software-modul, SwarmSight vedhæng Tracking (SwarmSight.org) til frame-by-frame sporing af insekt antenne og Snabel positioner fra konventionel web kamera videoer ved hjælp af konventionelle computere. Softwaren behandler rammer omkring 120 gange hurtigere end mennesker, udfører på bedre end menneskelige nøjagtighed og, ved hjælp af 30 frames per second (fps) videoer, kan fange antennal dynamics op til 15 Hz. Softwaren blev brugt til at spore de antennal svar af honningbier til to lugte og fundet betydelige betyder antennal forbehold fra lugt kilde omkring 1 s efter lugt præsentation. Vi observerede antenne holdning tæthed varme kort klynge dannelse og klynge og betyde vinkel afhængighed lugt koncentration.
De fleste leddyr flytte antenner eller andre vedhæng til prøve miljømæssige stikord og signaler i tid og rum. Dyrene kan bruge antenner til at navigere deres miljø ved at afsløre sensoriske signaler som kemiske flygtige og gustatoriske og mekaniske stimuli1,2,3,4. I insekter indeholder følehornene sensoriske receptorer, der binder til kemiske flygtige4,5,6 og videresende dette signal via olfaktoriske sensoriske neuroner til centrale hjernen regioner1,7 ,8,9. Insekter kan tilpasse antenner positioner for at modulere oplysninger om indgående lugte4,10,11. Denne graduering letter aktivt informeret adfærdsmæssige reaktioner på lugte og deres faner12,13.
Mange insekter, herunder Hymenopterans (fx honningbier og humlebier), Lepidopterans (fx sommerfugle) og Dipterans (fx, fluer og myg), blandt andre, foder ved at udvide deres Snabel14 , 15 , 16 , 17 , 18 , 19 , 20 , 21. Snabel udvidelse har været pålideligt anvendes i fortiden for en bred vifte af indlæring og hukommelse opgaver22,23,24,25,26, 27,28,29,30,31. Tilsvarende kan kvantitative vurdering af antenner bevægelse med høj tidsmæssige og rumlige opløsning give indsigt i forholdet mellem stimulus, adfærd og indre tilstand af dyret. Faktisk tidligere arbejde har vist, hvordan antennal bevægelser indeholder en rig mængde af information om honey bee sporing af miljøet og hvordan bevægelser ændrer sig med læring32,33,34, 35,36,37,38.
I det sidste årti, har metoder til observation dyrs adfærd været stærkt accelereret af forskud i høj opløsning video kameraer, edb-behandling hastigheder, og maskinen vision algoritmer. Opgaver som animalske påvisning, tælle, sporing og sted præference analyser har været hjulpet med avanceret software, der kan behandle videoer af dyrs adfærd og ekstrakt relevante måler39,40, 41,42,43,44,45,46,47.
Disse teknologier har også hjulpet sporing af insekt antenne og Snabel bevægelser. Det er muligt for menneskelige raters at bruge en musemarkøren til manuelt spore placeringen af antenner. Denne metode kan være præcis, opgaven er tidskrævende, og menneskelige uopmærksomhed og træthed kan resultere i upålidelige resultater. Specialudstyr og forberedelse kan bruges til at reducere behovet for komplekse software. For eksempel, en opsætning bruges et højhastighedskamera og malet tips af antenner til at spore antenne bevægelse48. Brugere kan også blive bedt om at markere nøglen-rammer af videoer til at hjælpe softwaren til at opdage den antenne og Snabel placering49. En anden tilgang fundet de to største bevægelse klynger for at identificere antenner, men det betyder ikke afsløre Snabel beliggenhed50. En anden softwarepakke kan registrere antenne og Snabel placeringer, men kræver ca 7.5 s behandlingstid pr. ramme51, som kunne være uoverkommelige for real-time eller langsigtet observation undersøgelser. Endelig kan det muligt at tilpasse kommerciel softwarepakker (f.eks. EthoVision) til at udføre opgaven46, men deres licenser og uddannelse omkostninger kan være uoverkommelige.
Med metoden beskrevet her, udvidede vi vores tidligere arbejde på bevægelse analyse software41 at spore placeringen af insekt antenner og Snabel med følgende mål: (1) ingen krav til speciel hardware eller komplekse animalske forberedelse, (2). ramme forarbejdning på real-time (30 fps eller hurtigere) på en konventionel computer, (3) lethed af brug og (4) open-source, nemt forlænges kode.
Den resulterende roman metode og open source software, SwarmSight vedhæng Tracking, kræver ikke maleri af antenner tips, kan bruge en forbruger webkamera til at optage videoer og processer videobilleder på 30-60 fps på en konventionel computer ( Figur 1). Softwaren tager video filer som input. Brugeren lokaliserer holdning af insekt hovedet i videoen, og efter behandling, et komma semikolonseparerede værdier (.csv) fil er produceret med placeringen af antenner og Snabel. Softwaren er i stand til at læse hundredvis af forskellige video formater (herunder formater produceret af de fleste digitale kameraer) ved hjælp af FFmpeg bibliotek52.
Figur 1: animalsk Setup og software output. (A) A honey bee forager med sit hoved og kroppen spændt fast i en sele. (B) lugt kilde er placeret foran dyret, et videokamera er placeret over, og et vakuum kilde er placeret bag dyret. (C) antennen tip og Snabel variabler opdaget af SwarmSight software fra videoen. (D) brugeren placerer antennen sensor over dyret og justerer filterparametre. Softwaren registrerer antenne og Snabel positioner (gule ringe).Venligst klik her for at se en større version af dette tal.
Først, et insekt kroppen og hovedet er tilbageholdende i en sele, så antennen og Snabel bevægelser er let observeret (figur 1A). En lugt kilde er placeret foran insekt, med en vakuum kilde placeret bag, til at fjerne lugt fra luften og minimere mulige effekter af sensorisk tilpasning (figur 1B). En konventionel webkamera er placeret over insekt hoved på et stativ. Et LED kan placeres inden for kameravisning angiver, når lugt bliver præsenteret.
Figur 2: antenne koordinatsystem. X, Y værdier bruger video koordinatsystemet, hvor øverste venstre hjørne er oprindelse og X og Y værdier stigning når man bevæger sig mod nederste højre hjørne. Vinklerne udtrykkes i grader med hensyn til forreste del af hovedet (normalt lugt kilden). Et “0” værdi betyder, at linjen dannet af antenne fimrehår peger direkte foran dyret. Alle vinkler er positive, undtagen når en antenne peger i den modsatte retning (f.eks. højre fimrehår point til venstre). Venligst klik her for at se en større version af dette tal.
Efter optagelserne, er video-fil åbnet med SwarmSight software, hvor brugeren placerer widget’en antenne Sensor (figur 1 d, sorte firkant) over lederen af insekt, og starter den video playback. Når resultaterne gemmes, .csv-filen indeholder X, Y positioner antennen tips, antenne vinkler i forhold til forrest del af hovedet (figur 2), og at Snabel X, Y position. Derudover er en dominerende sektor metrikværdi beregnet for hver antenne. Den metriske viser, hvilke af de fem 36-graders sektorer omkring hver antenne indeholdt flest point anses for sandsynligt, at være antenner, og kan være nyttigt, hvis antennen holdning/vinkel målinger ikke er pålidelige på grund af støjende eller ellers problematiske videoer.
Kort, software fungerer ved hjælp af et sæt af motion filtre53 og en afslappet flood fill algoritme54. For at finde sandsynlige antenne point, to filtre anvendes: en 3-træk-frame forskellen filter41,55 og en median-baggrund subtraktion56 filter. En farve afstand tærskel filter bruges til Snabel punkt påvisning. De øverste 10% af punkterne i hvert filter er kombineret, og en oversvømmelse fyld algoritme, der undersøger, sammenhængende punkter med huller op til 2 pixel (px) lokaliserer yderpunkter. Parallel ramme afkodning, forarbejdning, og rendering rørledninger og optimeret hukommelse tildeling af filter dataflow opnår høj ydeevne. Rå x og y koordinere værdier produceret af softwaren er efterbehandlet med en 3-frame rullende median filter57 (Se diskussion). Instruktionerne for at downloade den fulde kildekode kan findes online58.
Nedenfor er en protokol til at forberede en honey bee forager til antenne sporing. En lignende protokol kan bruges til at spore antenne/Snabel bevægelser af nogen andre insekt. I afsnittet resultater beskriver vi en stikprøve antenne sporingsoutput, der er registreret af softwaren, sammenligning af software output til sporing udføres af menneskelige raters og vurdering af antenner bevægelse i svar på fem duftstoffer.
Metoden præsenteres her muliggør real-time tracking af insekt antenne og Snabel bevægelser uden særlige animalske præparater eller hardware.
Begrænsninger:
På trods af disse fordele er der nogle begrænsninger i metoden. Disse omfatter kravet om, at lederen af dyret er begrænset fra bevægelse, behovet for brugeren at vælge den placering og orientering af dyr for hver video, kravet om at have adgang til en Windows-computer, og softwarens evne til at spore bevægelse i tre dimensioner (3D) og i nogle visuelt tvetydige vedhæng positioner beskrevet nedenfor.
Softwaren kræver, at lederen af dyret er fast på plads og ikke bevæger sig under videoen. Dette er lignende til at forberede tidligere arbejde48,49,50,51. Det er muligt at ændre softwaren, hvis du vil tillade automatisk detektion af hoved rotationer, men dette ville forbruge ekstra behandlingstid og indføre en ny kilde til fejl. Hvis den ændrede software skulle opdage hoved rotation forkert, vil dette påvirke antenner vinkler, som deres beregning er i forhold til hoved rotationsvinklen. I øjeblikket vælger brugeren den hoved orientering én gang pr. video. Denne tilgang, minimerer mens ikke uden menneskelige fejl, vinkel beregningsfejl når hovedet ikke er tilladt at flytte under videoen.
Softwaren kræver også en Windows 7 (eller senere) operativsystem (OS). Målet var at gøre softwaren nemt at installere, opsætning og brug af brugere uden programmering eller avancerede computer administration færdigheder. Vi besluttede at målet Windows, fordi det er bredt tilgængelige, og i tilfælde, hvor adgang til det begrænsede, virtuelle maskiner (fx VirtualBox, VMware, Parallels) med Windows let kan oprettes. Dette valg af OS højlig forenkler installation af software ved hjælp af en let at bruge, gratis kommando linje installer og undgår bugs specifikke for forskellige OS’er.
Softwaren spor kun placeringen af vedhæng i 2D rummet. Insekter er kendt for at flytte deres antenne i 3D, hvilket kan betyde, at vigtig information går tabt, når kun 2D-koordinater måles. Mens brugen af flere kameraer eller spejle kunne støtte i at indsamle de ekstra oplysninger, der kræves for 3D lokalisering, er det muligt at beregne, med brugen af trigonometriske forbindelser, en anslået ud af flyet position af antages det, at antenner er enkelt linjesegmenter af konstant længde og kun bevæge på den ene side af kameraet flyet. For honningbier, denne antagelse holder stik at opnå groft skøn for position i 3D, men ville ikke nødvendigvis være tilfældet for andre arter og situationer.
Softwaren vil ikke korrekt afsløre antenner og Snabel tip steder i nogle tvetydige situationer. Hvis et dyr flytter en antenne, så at i videoen, det overlapper en udvidet Snabel, registrere softwaren sandsynligvis spidsen af antennen som spidsen af Snabel. Antenne vinkel vil dog stadig sandsynligvis beregnes korrekt (fra den ikke-overlappende del). Ligeledes, hvis antennen tips flytte direkte over hovedet af dyret (dvs. ikke på siderne) derefter softwaren kan kun opdage del af den antenne, der er synlige uden for hovedet, antager den forrige placering af antennen eller detektere falske video støj som Antennens placering. I begge situationer har endda menneskelige raters svært kræsne antenne fra Snabel eller hovedet. For at afhjælpe dette problem, anbefaler vi anvender en 3-frame, symmetrisk rullende median57 filter på rå X og Y koordinater produceret af softwaren. Dette filter fjerner store forbigående (single-frame) position udsving, og bevarer længere antenne holdning bevægelser. Vi har fundet, at filteret 3-frame klaret sig bedre end intet filter, mens bredere filtre (f.eks. 5, 11 eller 15 frames) reduceret nøjagtighed. R eksempelkode, der bruger filteret og en video tutorial kan findes online58.
Værdi som et videnskabeligt redskab:
Tilgængeligheden af en metode til hurtigt opnå nøjagtig insekt vedhæng bevægelser på en omkostningseffektiv måde har potentiale til at åbne nye områder af undersøgelsen.
Snabel udvidelse refleks (PER) er et almindeligt anvendte adfærdsmæssige reaktion at undersøge indlæring og hukommelse af en lang række insekter59. Tidligere undersøgelser har generelt stolet på en binær udvidet eller ikke foranstaltning af PER, selvom video og Elektromyografi analyser har vist meget mere komplekse topologier til Snabel bevægelser65,66. Metoden her giver mulighed for hurtig kvantificering af Snabel bevægelser i høje tidsmæssige og rumlige opløsninger.
Insekt antenne bevægelser i svar til lugt er dårligt forstået. En af grundene til dette er, at følehornene tendens til at bevæge sig så hurtigt, en omkostningseffektiv, automatiseret måde at opnå antenne bevægelse data ikke er tilgængelige. Metoden præsenteres her kunne bruges til hurtigt få antenne bevægelse data for stort antal insekter i et stort antal betingelser. Dette kunne støtte, for eksempel forskere undersøger tilknytningen mellem antenne bevægelser i respons på forskellige stimuli, navnlig flygtige lugte. Ved hjælp af kameraer, der fange rammer på 30 Hz, softwaren kan bruges til at karakterisere antennal bevægelse dynamics op til 15 Hz (Nyquist grænsen). Hvis karakterisering i højere frekvenser er nødvendig, kunne kameraer med højere fange satser (fx 60 eller 120 fps) udnyttes. Dog kan en hurtigere computer være nødvendigt at behandle højere fps videoer i realtid. Vi spekulere, at klasser af lugt, og måske endda nogle enkelte lugte, har karakteristiske medfødte antennal bevægelser. Hvis disse klasser eller forbindelser kunne være opdaget, ukendt kunne lugte eller deres klasse påvises fra antennal bevægelse af utrænede insekter. Hvis sådan en tilknytning findes, bør så kombinationen af tilstrækkelige antenne bevægelse data og topmoderne machine learning algoritmer begynde at afdække det. Også, hvordan denne kortlægning ændringer som reaktion til at lære, formularer under udvikling, eller er afbrudt med genetiske indgreb kunne tilbyde indsigt i funktioner af de olfaktoriske system.Endelig, dette arbejde kunne give indblik i kunstige påvisning af lugte hvis det afslører optimal prøveudtagningsmetoder for lugte i komplekse miljøer.
Fremtidige arbejde:
Her, vi viste at antenne bevægelse data kan opnås hurtigt og analyseret: betydelig adfærd svar kan registreres fra de data genereret af vores software, og flere områder af yderligere undersøgelser blev identificeret.
Tidsforløbet af stimulus-fremkaldte antenne vinkel afvigelser fra og tilbagebetaling til baseline og enhver stimulus-konklusion rebound effekter og dens afhængighed af lugt koncentration kan undersøges og modelleret matematisk. Derudover eventuelle ændringer af antenne bevægelser induceret af appetitive eller afskrækningsmiddel conditioning kan også vurderes med softwaren.
Bedre differentiering af lugte kan også undersøges. I denne undersøgelse, både lugte, i ren og 35 x fortyndede versioner fremkaldt lignende svar: antenner, gennemsnitligt, syntes at hurtigt trække fra lugt kilde og vende tilbage til før lugt basislinjer efter et par sekunder. Vi spekulere, at selv de fortyndede versioner kan have været meget stærk olfaktoriske stimuli for honningbier. Hvis sand, kan en bredere vifte af koncentrationer bruges til at bestemme, hvis de antennal svar differentiere lugte. Derudover kan mere sofistikeret analyse bedre afsløre forskelle i antennal bevægelser som svar på forskellige lugte. Vi har lavet de datafiler bruges til at generere tal i dette håndskrift, der er tilgængelige for interesserede forskere på SwarmSight hjemmeside67.
Endvidere, mens uden for anvendelsesområdet for dette manuskript, softwaren kunne udvides til også for at behandle videoer af dyr placeret i kamre med dobbelte spejle vinklet på 45° (Se figur 1 d for eksempel). Dette kunne bruges til præcist lokalisere og spore vedhæng og deres bevægelse i 3D-rum. Men algoritmerne for 3D inddeling ville være forpligtet til at effektivt: a skelne mellem flere antenner når de er synlige i en af de side spejle, (b) korrekt for defekter i spejl vinkler, og (c) tegner sig for forvridninger, der skyldes kamera positionering.
Endelig, yderligere gevinster i position nøjagtighed kan realiseres via brugen af et Kalman filteret68, hvilke modeller og udnytter tilstandsform oplysninger som vedhæng hastighed og acceleration begrænse forudsagte steder. Men eventuelle gevinster i nøjagtighed bør evalueres mod nogen reduktion i hastighed på grund af yderligere beregninger.
Konklusion:
Mange insekter bruger antenner til aktivt prøve flygtige forbindelser i deres lokale miljøer. Mønstre i antennal bevægelser kan give indsigt i insekt lugt perception og hvordan det påvirkes af conditioning, giftige forbindelser og genetiske ændringer. Snabel bevægelser har ligeledes anvendt til at vurdere lugt perception og dets graduering. Dog har hurtigt at opnå store mængder af høj opløsning vedhæng bevægelse data været vanskeligt. Her, er en protokol og software beskrevet der automatiserer denne opgave. Sammenfattende har vi lavet og demonstreret, hvordan kombinationen af billig hardware, en fælles animalske forberedelse og open source-software kan bruges til hurtigt opnå høj opløsning insekt vedhæng bevægelse data. Produktionen af softwaren, hvordan det udkonkurrerer menneskelige raters i hastighed og nøjagtighed, og hvordan dens outputdata kan analyseres og visualiseret blev vist.
The authors have nothing to disclose.
JB, SMC og Risikokapital blev støttet af NIH R01MH1006674 til SMC og NIH R01EB021711 til retningslinjerne for Risikokapital. CMJ og BHS blev støttet af NSF ideer lab projekt på “sprængning olfaktoriske koden” til BHS. Vi takker Kyle Steinmetz, Taryn Oboyle og Rachael Halby for deres bistand i denne forsker.
Insect harness | N/A | N/A | Use materials needed for Protocol sections 1-3.1.1 of Smith & Burden (2014) |
Odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
Vacuum source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
LED connected to odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
Low Voltage Soldering Iron | Stannol | Low Voltage Micro Soldering Iron 12V, 8W | |
DC Power Supply | Tekpower | HY152A | |
White sheet of paper | Georgia-Pacific | 998606 | Any white sheet of paper can be used as alternative |
Tripod | AmazonBasics | 50-Inch Lightweight Tripod | Optional |
Camera | Genius | WideCam F100 | FLIR Flea3 or another camera with manual focus can be used. |
Camera software | Genius | N/A | Software comes with camera. On MacOS, Photo Booth app can be used to record videos. |
Camera shutter speed software | Genius | N/A | Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/ |
Windows Operating System | Microsoft | Windows 7 Professional | Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments. |
SwarmSight software | SwarmSight | Appendage Tracking | Download from http://SwarmSight.org |
R software | R Project | R 3.4.0 | Download from: https://cran.r-project.org/bin/windows/base/ |
R Studio software | RStudio | RStudio Desktop | Download from: https://www.rstudio.com/products/rstudio/download/ |