Summary
Vi använder en sluten fly-maskin-gränssnitt för att utreda de allmänna principerna i neuronala kontrollen.
Abstract
Den icke-stationära natur och variation av neuronala signaler är ett grundläggande problem i hjärnan-maskin gränssnitt. Vi utvecklade en hjärna-maskin-gränssnitt för att bedöma robustheten i olika kontroll-lagarna tillämpas på ett slutet kretslopp bildstabilisering uppgift. Dra nytta av de väldefinierad flyga visuomotor väg vi den elektriska aktiviteten från ett identifierat, rörelsekänsliga neuron, H1, för att kontrollera gir rotation av ett tvåhjuligt robot. Roboten är utrustad med två snabba kameror som ger visuell rörelse underlag till en fluga placerad framför 2 CRT datorskärmar. Aktiviteten av H1 neuron anger riktningen och relativa hastighet robotens rotation. Den neural aktivitet filtreras och matas tillbaka in i styrsystemet för roboten med hjälp av proportionella och proportionell / adaptiv kontroll. Vårt mål är att testa och optimera prestanda för olika kontroll lagar under slutna förutsättningar för en bredare tillämpning även i andra gränssnitt hjärnan maskin.
Protocol
1. Fly Förberedelser
- Det första steget i att starta experimenten innebär förbereda flyga så att ingen ofrivillig rörelse korrumperar stabiliteten i neuronala inspelningar och att chefen för flugan är på rätt håll med visuell stimulans utrustningen. Till att börja förbereda flyga, låt det svalna på is och sedan använda trubbiga cocktail pinnar för att hålla vingarna ner och fixa baksidan av flyga till en bit dubbelhäftande-tejp på ett objektglas.
- Sedan använder en elektro-etsande nål gälla bivax att fästa vingarna på glaset och även för att blockera effekten av flygningen motorn. Detta steg kräver snabb och säker hantering så att flugan inte värma upp under förfarandet.
- Nu under mikroskop, håll varje ben med pincett och använda ett par små sax för att klippa dem vid lederna närmast kroppen. Upprepa detta för snabel. För att förhindra att flyga från uttorkning, måste hålen tätas med vax.
- Därefter skär en av vingarna av och slå sedan flyga på sin sida. Ta bort eventuella återstående bitar av vingen, samtidigt som calyptra täcker halteres, och försegla hålet med vax. Upprepa proceduren för den andra vingen.
- För att stimulera ett mål neuron i ett definierat sätt har flugans huvud stämma väl överens med datorskärmar. För att göra detta behöver du en anpassad hållare som har ett brett utrymme för flugans kropp och ett bihang i ena änden med ett hack klipp där flugan hals kommer att placeras.
- Placera flugan på hållaren med sin hals i skåran och tryck ner den medan limning buken på plats. Placera nu flyger hållare i en monter så att du kan se framsidan av flugans huvudet genom mikroskop.
- Visa flyga med rött ljus, som kallas ett optiskt fenomen pseudo-elev kan ses i varje öga. Den pseudo-elev ger en referensram som kan användas för att anpassa flugans huvud med den stimulans (Franceschini 1975). Om den pseudo-eleven förutsätter en viss form, vilket framgår av bilden in nedan och inriktningen på flugans huvud är perfekt definierade.
- Använd en mikromanipulator att korrekt orientera flugans huvud, och sedan använda vax för att limma fast den på hållaren.
- Sedan trycker du på bröstkorgen ner platt och vax det till innehavaren. Detta gör att den bakre huvudet kapseln ska öppnas, så att elektroder kan föras in i farten hjärnan.
- Använd en mikro skalpell eller en fin injektionsnål för att noggrant skära ett fönster in nagelbanden av rätten huvudet kapsel. Var noga med att inte klippa nervvävnad höger under nagelbanden. När bit av nagelband tas bort, tillsätt några droppar av Ringer lösning.
- Använd pincett för att avlägsna flytande hår, fettdepåer, eller muskel vävnad som kan täcka lobula plattan. Den lobula plattan kan identifieras med en karakteristisk förgrening mönster av silverfärgade luftstrupen som täcker dess bakre yta.
- Skär ett litet hål i nagelbanden på vänster bak huvudet kapsel för att positionera en referenselektrod. Med fluga förberedda, kan se hur att placera inspelningen elektroden.
2. Placering av inspelning elektrod
- Med fluga förberedda, låt oss gå vidare till att lokalisera och registrera signaler från H1 neuron. Inspelningen elektroden måste placeras i närheten av H1 neuron. H1 neuron reagerar främst horisontella back-to-front rörelse presenterade sina receptiva fält (Krapp et al. 2001).
- Att placera inspelningen elektroden, använd luftstrupen som en visuell landmärke. Initialt placera elektroden mellan de översta luftstrupen.
- Det hjälper att använda en förstärkare för att konvertera det inspelade elektriska potentialer i akustiska signaler. Varje enskild spik förvandlas till en karakteristisk klickande ljud. Ju närmare elektroden får en enskild neuron, desto klarare klickande ljud blir.
- För att identifiera H1 neuron med hjälp av dess rörelse preferens, stimulera den med rörelse i horisontell riktning. Med inspelningen elektroden på plats, kan gå vidare till visuell stimulans och inspelningar.
3. Visuell stimulans och Inspelningar
- Den slutna experiment är inställda så att så att stimulering av H1 neuron resultat i roboten kompensera för förflyttning av vrid-bordet. Till att börja placera en fluga framför två CRT-bildskärmar. Eftersom flugan visuella systemet är 10 gånger snabbare än människans, måste Bildskärmar visar 200 bilder per sekund. Den bildskärmar och annan elektrisk utrustning måste elektromagnetiskt skärmade för att minimera yttre störningar i den uppmätta neuronala signaler.
- Placera centra i monitorer på + / - 45 grader i förhållande till flugans orientering. Som framgår av flugans öga ekvatorn, sträcker sig varje bildskärm en vinkel på + / -25 grader i horisontalplanet och +/ -19 Grader i det vertikala planet.
- Synkroniserad bidrag till datorskärmar tillhandahålls av två videokameror monterade på en liten, två hjul ASURO robot som har modifierats för experimentet.
- Placera roboten på en turn-tabell i en cylindrisk yta vars väggar är klädda med ett mönster av vertikalt orienterad, svarta och vita ränder. Genom att rotera turn-tabellen i horisontalplanet, är rörelser av roboten begränsad till bara en grad av frihet.
- Inledningsvis både turn-bordet och roboten är i vila. När turn-tabellen börjar röra sig, bär sin rotation roboten, i samma riktning och videokameror spela in den relativa rörelsen mellan roboten och randigt mönster av arenan.
- Den batteridrivna videokameror på roboten är monterade på en inriktning på + / - 45 grader. De fångar 200 bilder per sekund för att matcha bildhastighet på datorskärmar framför flugan.
- Logga in bilderna presenteras för datorskärmar på 200 bilder per sekund med en upplösning på 640 x 480 (gråskala).
- Medan flyga är att titta på rörelser i randigt mönster, spela in bandet-passerade filtreras (till exempel mellan 300 och 2 kHz) elektriska signaler med en digital Förvärv styrelse med en samplingshastighet på minst 10 kHz.
- Ett tröskelvärde tillämpas på bandet-passerade filtreras elektriska signaler att skilja spikar från bakgrunden verksamheten. Ett orsakssamband, halv-gaussiska filtret är convolved med taggarna för att få en smidig uppskattning tillsatta aktivitet för H1 cellen.
- För att stänga slingan i hjärnan maskin, är en kontroll algoritm som används för att konvertera spetsen procentsatsen för H1 cell till en robot hastighet som matas tillbaka via en Bluetooth-gränssnitt för att styra två DC-motorer som driver hjulen på roboten.
- Rena sinusvågor väljs som hastighet profiler för turn-bordet. Sinus vågor har en DC-offset så att tur-tabellen endast roterar i den riktning som stimulerar H1 neuron längs dess önskad riktning. Stimulering av H1 neuron resultat i roboten kompensera för förflyttning av vrid-bordet.
Figur 1: Closed loop setup. I vår inställning är tillsatta aktiviteten i vänstra H1 cellen används för att styra rörelsen hos en robot monterad på en skivspelare. Visuell bild rörelse genereras som ett resultat av relativa rörelsen mellan roboten och turn-table fångas via höghastighets-kameror och visas på två CRT-skärmar framför flugan. H1 tillsatta aktivitet från den vänstra hjärnhalvan används för att uppskatta realtid spik takt som sedan använder en kontroll lag för att beräkna en ersättning hastighet för roboten. Roboten motrotation stabiliserar den visuella bilden rörelser observeras av flyga under closed-loop kontroll.
4. Representant Utfall och resultat
- När korrekt inställd, är visuell stabilisering uppnås när motrotation av roboten matchar rotation av tur-bordet, vilket resulterar i liten eller ingen mönster rörelse på datorskärmar. Det samlade resultatet av systemet beror på kontroll algoritm som används för att stänga slingan.
- Den första algoritmen vi testar är en proportionell regulator (figur 2) där den uppdaterade roboten hastigheten är proportionell mot skillnaden i vinkel hastigheter mellan robot, ωr och turn-table, ωp. Olika värden för statisk förstärkning, KP, och frekvenser ingång för turn-table-signal, ωp har valt att testa prestanda regulatorn.
Figur 2: proportionell regulator. (A) Relativ rörelse mellan roboten och turn-tabellen i önskad riktning stimulerar H1 cellen för att ge spiken ränta, är F. Detta spik takt omvandlas till en hastighet fel, E, och en proportionell regulator används för att uppskatta uppdaterad robot hastighet, VR (t +1). Spetsen ränta, F, omvandlas till den hastighet felet, E, beroende på om det är mindre än eller större än den spontana spiken takt Fspont. Spetsen kurs som varvtalsavvikelsen konvertering sker genom att projicera F över en cosinus (intervallet [π, 0]) ska redovisa tillsatta olinjäriteter takt tröskel. Konstanterna 70 och 150 används för att matcha 8-bitars ingående varvtal av roboten till den lägsta och högsta kantiga hastigheter i tur-bordet. (B) Blockschema som visar slutet kretslopp med en proportionell regulator. Ingången till systemet är en sinosuidal modulering av turn-table vinkelhastighet är ωp (t), och motsvarande roboten svar ωr (t +1) registreras. - Exempel på spår för ω p och ω r visas här för K p = 1 och en ingång frekvens av 0,6 Hz för ω P (se figur 3). Roboten (i grönt) följer turn-tabellen (i blått) med en viss eftersläpningoch en mindre topp-amplitud. Den horisontella delen av mönstret rörelse som stimulerar H1 cellen visas nedan (i rött).
Figur 3: Closed loop svar. (A) Vinkelupplösning hastigheter för turn-tabellen (blå), ωp och robot (grön), ωr, på ingång frekvens = 0,6 Hz. (B) Horisontell optisk flödet visas som beräknas från loggat bilder (röd). Pyramidal Lucas Kanade metod (3 pyramiden nivåer) används för att beräkna den optiska strömningsfältet mellan efterföljande bildrutor. Horisontell vinkelhastighet beräknas genom att summera projektionerna av enskilda vektorer i flödet fält på den horisontella enhetsvektor i. Horisontell back-to-front rörelser som väcker H1 cellen kallas PD (önskad riktning) medan horisontella front-to-back rörelse som hämmar H1 cellen kallas ND (null riktning). - Ingång frekvenser för turn-table-signal, ωp, väljs mellan 0,03-3 Hz och motsvarande roboten signalen, ωr, spelas in. Båda signalerna omvandlas till frekvensplanet med Fast Fourier Transform (se figur 4) och amplitud och fas värden beräknas vid ingången frekvens.
Figur 4: Frekvensomfång Vinkelhastighet signaler för sväng-bord, ωp och robot, ωr, omvandlas till frekvensplanet med hjälp av den snabba Fouriertransformen (FFT) metod för att beräkna amplitud och komponenter fas vid ingången frekvens.. Fas komponenter i FFT visas inte i figuren. - Den Bode storleksordning tomten för proportionell regulator med K p = 1 visar svaret från systemet under de testade ingång frekvenserna (se figur 5-A). Utförandet av regulatorn minskar generellt med högre frekvenser. Den något ökade vinsten på 1 Hz till följd av svängningar i roboten signalen beror på att bara använda en H1-cell vars dynamiska (output) intervall i huvudsak omfattar horisontella back-to-front rörelse.
Figur 5: proportionell regulator prestanda. De Bode magnitud och fas tomter för proportionell regulator (medelvärde över 8 flugor), statisk förstärkning Kp = 1,0 (a) bådar omfattning handlingen ungefär följer ett lågpassfilter egenskap. Den något ökade vinsten på 1 Hz till följd av svängningar i roboten signalen, ωr, på grund av att bara använda en H1-cell vars dynamiska (output) intervall i huvudsak omfattar horisontella bakfram rörelse. Antalet svängningar i roboten signalen, ωr, minskar med ökande ingång frekvenser som leder till en något ökad vinst på dessa frekvenser. (B) Bode fasen tomten är mindre än 180 ° för ingång frekvenser ≤ 1 Hz och metoder instabilitet vid 3 Hz. Bortom en viss input frekvensen blir regulatorn instabil på grund av kinematik av roboten. Denna instabilitet uppstår bara bortom de kända optimala svaret utbud av flugan visuella systemet (Warzecha et al. 1999). - Den Bode fasen plot (se figur 5-B) visar en regulator fasförskjutningen mindre än Π för inmatning frekvenser <0,6 Hz. Detta visar att regulatorn är stabilt för frekvenser <0,6 Hz och instabil för inmatning frekvenser ≥ 1 Hz.
- Utförandet av proportionell regulator med en statisk Kp (i blått) jämfördes med en adaptiv regulator (i rött), där värdet för K p uppdateras var 50 ms baserat på toppen spiken ränta, F max, beräknat över tidsintervall [t-500ms - t] (se figur 6). Som ett resultat av den stora integrationen tidsfönstret utför proportionell regulator bättre än adaptiv regulator för de testade parametern intervallet (se figur 7-A). Den inledande tiden integrationen fönster på 500 ms valdes av tekniska skäl relaterade till roboten plattform vi använder. Den adaptiva regulatorn hade en liknande fas egenskap som proportionell regulator (se figur 7-B).
Figur 6: Adaptiv regulator vinning. Den proportionell regulator använder en statisk förstärkning, KP, medan det adaptiva regulatorn beräknar vinsten kontinuerligt under sluten styrning. Den dynamiska vinna, Kp, är omvänt proportionell mot den högsta spiken ränta, Fmax, över intervallet t-500ms ≤ τ ≤ t. Figuren visar tre fall där Fmax beräknas över tiden. Baserat på uppskattade värden på Fmax är Kp högst under tidsfönstret 2 (grön) och lägst under tidsfönstret 3 (orange).
Figur 7: Proportionellt vs adaptiv regulator. Bode magnitud och fas tomter för den proportionella (Kp = 1) och adaptiv regulator(A) den adaptiva regulatorn uppdateras värdet av Kp varje 50ms baserad på topp spiken takt uppskattning Fmax under de senaste 500 ms. Den proportionella regulatorns förstärkning plot (blå) är högre än den adaptiva regulatorn (röd) visar att det fungerar bättre på alla ingående frekvenser. (B) Bode fasen tomter för båda regulatorer är lika med en signifikant skillnad vid f = 0,3 Hz. Båda styrenheter tillvägagångssätt instabilitet vid 3 Hz. Signifikant olika förstärkning och fas värden markeras med en asterisk (Wilcoxon rank summan metod, p = 0,05). - Gallret mönster runt skivspelaren togs bort och labbmiljö användes som en tillnärmning av naturalistiska visuell input till flugan H1-cell. I genomsnitt Bode magnitud plot (se figur 8-a) för den naturalistiska visuell input (i blått) visade något högre vinst än den med galler visuell ingång (i rött) förmodligen för att det större utbudet av rumsliga frekvenser i naturalistiska visuella bilder utnyttjas. Den Bode fasen tomten egenskaper för rivning vs naturalistiska visuella ingångar var liknande (se figur 8-B).
Figur 8: Stripped mönster vs labbmiljö. De Bode storlek och tomter fas för proportionell regulator när du presenteras med avskalade mönster (röd) vs labbmiljö (blå) visuella bilder under sluten slinga (a) Bode magnituden tomten när labbmiljö bilder används är marginellt högre än när avskalade mönstret används (utom vid f = 0,1 Hz) som visar bättre resultat under sådana stimulans. (B) Bode fasen tomten under båda synförhållanden följer samma mönster, med både närmar instabilitet vid 3 Hz. Signifikant olika förstärkning och fas värden markeras med en asterisk (Wilcoxon rank summan metod, p = 0,05).
Discussion
- Fly dissekering måste genomföras noggrant och se till att vi riktigt orientera flugan med avseende på datorskärmar.
- Separera taggarna från H1 neuron från spikar från alla andra nervceller för att få en bra signal-brusförhållande som sedan kan användas för att styra roboten tillförlitligt sätt.
- Försiktighet bör vidtas för att förhindra nervvävnad från att torka ut under försöket.
- Kamerorna är anslutna till datorer med en Ethernet-kabel. Försiktighet bör iakttas så att de inte är över-såret under experimentet som skulle påverka rotationen av roboten.
- För närvarande använder vi spetsen aktiviteten av en H1 för att ställa en stabilisering uppgift i bara en riktning gir rotation. Vi kan lägga till en andra elektrod för att få signaler från både vänster och höger H1 är så att vi kan studera algoritmer stabilisering kontroll i båda riktningarna gir rotation.
- Vi kan ta bort den arena som innehåller de vertikalt orienterade svarta och vita ränder och använda labbmiljö som visuell stimulans för att flyga. Detta ger oss möjlighet att studera slutna prestanda med naturalistiska bilder.
- Roboten kan tas bort från sekelskiftet-tabellen och får flytta runt i labbmiljö medan styr-och reglerutrustning. Detta ger oss möjlighet att undersöka styralgoritmer inblandade i kollisioner.
- Ledningarna som förbinder kameror till datorer kan tas bort genom att implementera en trådlös överföring system, vilket ger oss en helt ohämmad robot setup.
- Vilka åtgärder som de olika regleralgoritmer kommer att ge oss en förståelse för hur olika strategier kan hantera icke-stationära och rörliga neuronala signaler. Denna kunskap kan sedan tillämpas på olika kliniska och prekliniska hjärn-maskin gränssnitt.
- Denna experimentuppställning är det första steget mot inspelning neuronala signaler från att agera djur. Vårt mål är att placera flugan på roboten och använda sina neural aktivitet för återkopplande reglersystem. I en sådan konfiguration, skulle vi kunna spela in neural aktivitet från flugan medan den är emot flera sinnen stimulans som en följd av förslaget om roboten.
- Spela bara signaler från en cell. I konfigurationen bör vi dig, skulle den mest lämpliga cellen H1-cellen. Isolera svaren på H1 neuron från andra nervceller med liknande receptiva fält, t.ex. H2, är viktigt att upprätthålla en bra signal-brus-förhållandet för den neuronala inspelningar. Svaren på H1 och H2 nervceller kan diskrimineras genom att notera att H2 är karakteristiskt lägre spontan och menar standardtillsatser takt än H1 neuron. Nervceller kan också vara diskriminering på grund av sin morfologi (Krapp et al. 2001).
- Vårt system tillåter oss att jämföra slutna vinna genom våra fly-roboten gränssnitt på en bildstabilisering uppgift och att jämföra dess prestanda med slutna optomotor vinster som observerats i tidigare experiment på flugor (Bender & Dickinson 2006, Warzecha et al . 1996, Heisenberg & Wolf, 1990). Dessutom ger det oss att undersöka state-beroende förändringar av visuell information bearbetning under slutna förhållanden (Chiappe et al. 2010, Maimon et al. 2010, Longden & Krapp 2009, Longden & Krapp 2010).
Acknowledgments
K. Peterson fick stöd av en doktorand vid institutionen för bioteknik och finansiering från US Air Force Research Labs.
N. Ejaz stöddes av en doktorand från Higher Education Commission Pakistan och finansiering från US Air Force Research Labs.
Materials
| Name | Company | Catalog Number | Comments |
| RosetteSep® human T cell enrichment cocktail | Stem Cell Technologies | 15061 | |
| RosetteSep® density medium | Stem Cell Technologies | 15705 | |
| RPMI 1640 medium w/glutamine/HEPES | Fisher Scientific | SH3025501 | |
| Fetal calf serum | Omega Scientific | FB-01 | |
| GlutaMAX™-I | Invitrogen | 35050 | |
| RPMI 1640 vitamin solution | Sigma-Aldrich | 7256 | |
| RPMI 1640 amino acids solution | Sigma-Aldrich | R7131 | |
| Sodium pyruvate | Sigma-Aldrich | S8636 | |
| β-Mercapt–thanol | Sigma-Aldrich | M7522 | |
| BAPTA | Sigma-Aldrich | A4926 | |
| Poly-l-lysine hydrobromide | Sigma-Aldrich | P2636 | |
| Thapsigargin | Calbiochem | 586005 | |
| Sylgard® 184 silicon elastomer kit | Dow Corning | 3097358-1004 | |
| HIPEC® R6101 semiconductor protective coating | Dow Corning | ||
| EPC 10 patch clamp amplifier | HEKA Instruments | ||
| Motorized micromanipulator | Sutter Instrument Co. | MP-285 | |
| Olympus 1X71 inverted microscope with 40X oil immersion objective | Olympus Corporation | 1X71 | |
| Patch pipette puller | Sutter Instrument Co. | P-97 | |
| Borosilicate tubing with filament (O.D.: 1.5 mm and I.D.: 1.10 mm) | Sutter Instrument Co. | BF150-110-7.5 | |
| Microforge | Narishige International | MF-830 | |
| Silicon O-rings | McMaster-Carr | 111 S70 | |
| Microscope cover glass | Fisher Scientific | 12-545-102 25 mm 25CIR-1 | |
| Pulse software | HEKA Instruments | ||
| Origin scientific graphing and analysis software | OriginLab | ||
|
|||
References
- Chiappe, E. M., Seelig, J. D., Reiser, M. B., Jayaraman, V. Walking modulates speed sensitivity in Drosophila motion vision. Curr. Biol. 20, 1470-1475 (2010).
- Franceschini, N. Sampling of the visual environment by the compound eye of the fly: fundamentals and applications. Photoreceptor optics. Snyder, A. W., Menzel, R. , Springer. Berlin Heidelberg New York. 98-125 (1975).
- Karmeier, K., Tabor, R., Egelhaaf, M., Krapp, H. G. Early visual experience and the receptive-field organization of optic flow processing interneurons in the fly motion pathway. Vis. Neurosci. 18, 1-8 (2001).
- Krapp, H. G., Hengstenberg, B., Hengstenberg, R. Dendritic structure and receptive-field organization of optic flow processing interneurons in the fly. Jour. of Neurophys. 79, 1902-1917 (1998).
- Krapp, H. G., Hengstenberg, R., Egelhaaf, M. Binocular contributions to optic flow processing in the fly visual system. Jour. of Neurophys. 85, 724-734 (2001).
- Longden, K. D., Krapp, H. G. Octopaminergic modulation of temporal frequency coding in an identified optic-flow processing interneuron. Frontiers in Systems Neuroscience. 4, 153-153 (2010).
- Bender, J. A., Dickinson, M. H. A comparison of visual and haltere-mediated feedback in the control of body saccades in Drosophila melanogaster. J. Exp. Bio. 209, 4597-4606 (2006).
- Longden, K. D., Krapp, H. G. State-dependent performance of optic flow-processing interneurons. J. Neurophysiol. 102, 3606-3618 (2009).
- Maimon, G., Straw, A. D., Dickinson, M. H. Active flight increases the gain of visual motion processing in. 13, 393-399 (2010).
- Petrovitz, R., Dahmen, H., Egelhaaf, M., Krapp, H. G. Arrangement of optical axes and spatial resolution in the compound eye of the female blowfly Calliphora. J Comp Physiol A. 186, 737-746 (2000).
- Warzecha, A. K., Horstmann, W., Egelhaaf, M. Temperature-dependence of neuronal performance in the motion pathway of the blowfly Calliphora Erythrocephala. J Exp Biology. 202, 3161-3170 (1999).
