Een experimenteel platform op de Closed-loop prestaties van Brain-machine-interfaces Study

Summary

We maken gebruik van een closed-loop fly-machine-interface aan algemene principes te onderzoeken in neuronale controle.

Abstract

De niet-stationaire karakter en de variabiliteit van neuronale signalen is een fundamenteel probleem in de hersenen-machine interfacing. We ontwikkelden een brain-machine interface naar de robuustheid van verschillende controle-wetten toegepast op een closed-loop beeldstabilisatie taak te beoordelen. Profiteren van de goed gekarakteriseerde fly visuomotorische pad we de elektrische activiteit opnemen van een geïdentificeerde, bewegingsgevoelige neuron, H1, de yaw rotatie van een twee-wielen robot controle. De robot is uitgerust met twee high-speed video-camera's leveren visuele beweging input voor een fly geplaatst voor twee CRT-beeldschermen. De activiteit van de H1 neuron geeft de richting en de relatieve snelheid van de rotatie van de robot. De neurale activiteit is gefilterd en teruggekoppeld naar de besturing van de robot door middel van proportionele en proportionele / adaptieve controle. Ons doel is om te testen en optimaliseren van de prestaties van verschillende wetten inzake de controle onder closed-loop voorwaarden voor een ruimere toepassing ook in andere hersengebieden machine interfaces.

Protocol

1. Fly Voorbereiding

1. De eerste stap in het opzetten van de experimenten is het voorbereiden van de vlieg, zodat er geen onwillekeurige beweging corrumpeert de stabiliteit van de neuronale opnamen en dat het hoofd van de vlieg op de juiste manier met de visuele stimulatie apparatuur. Om te beginnen de voorbereiding van de vlieg, koel af op ijs en vervolgens met stompe cocktailprikkers om de vleugels ingedrukt te houden, en bevestig de achterkant van het vliegen naar een stukje dubbelzijdige tape op een microscoopglaasje.
2. Gebruik daarna een electro-verbranden naald in bijenwas van toepassing op de vleugels hechten aan de dia en ook de actie van de vlucht motorblok. Deze stap vereist een snelle en accurate afhandeling, zodat de vlieg niet warm tijdens de procedure.
3. Nu onder de microscoop, houdt elke poot met een pincet en gebruik een paar kleine schaar om ze af te snijden in de gewrichten die het dichtst bij het lichaam. Herhaal dit voor de proboscis. Om te voorkomen dat de vlieg tegen uitdroging, moeten de gaten worden afgesloten met wax.
4. Daarna, snijd een van de vleugels uit en zet de vlieg op zijn kant. Verwijder eventuele resterende stukken vleugel, terwijl de calyptra voor de halters, en verzegel het gat met was. Herhaal deze procedure voor de andere vleugel.
5. Het stimuleren van een doel neuron in een bepaalde manier, de vlieg het hoofd moet goed worden afgestemd op de computer monitors. Om dit te doen, moet je een op maat gemaakte houder die een brede ruimte voor het lichaam van de vlieg en een aanhangsel heeft op het ene uiteinde een inkeping waar de vlieg de nek zal worden geplaatst.
6. Plaats de vlieg op de houder met zijn nek in de inkeping en druk het naar beneden, terwijl het lijmen van de buik op zijn plaats. Plaats nu de vlieg houder in een standaard, zodat u de voorkant van de kop van de vlieg zien door de microscoop.
7. Bekijken van de vliegen met rood licht, een optisch verschijnsel dat de pseudo-leerling kan worden gezien in elk oog. De pseudo-leerling zorgt voor een referentiekader dat kan worden gebruikt om het vliegen het hoofd af te stemmen op de stimulus (Franceschini 1975). Als de pseudo-leerling gaat uit van een bepaalde vorm, zoals blijkt uit de onderstaande afbeelding wilt invoegen, dan is de oriëntatie van het hoofd van de vlieg is perfect gedefinieerd.
   
   
   
8. Gebruik een micromanipulator correct te oriënteren van de vlieg hoofd, en vervolgens met wax te lijmen aan de houder.
9. Druk vervolgens op de borstkas plat en was het aan de houder. Hierdoor kan de achterste kop capsule moet worden geopend zodat de elektroden kunnen worden ingevoegd in-the-fly hersenen.
10. Gebruik een micro-scalpel of een boete injectienaald om een ​​venster te voorzichtig gesneden in de cuticula van de rechter hoofd capsule. Wees voorzichtig dat u de neurale weefsel juiste snit onder de nagelriem. Zodra het stuk van de cuticula is verwijderd, voeg een paar druppels van Ringer-oplossing.
11. Gebruik een tang om een ​​drijvend haren, vet of spierweefsel, dat de lobula plaat kan te verwijderen. De lobula plaat kan worden geïdentificeerd door een karakteristiek patroon van vertakking zilveren luchtpijp dat zijn achterste oppervlakte bestrijkt.
12. Snij een klein gaatje in de cuticula van de linker achterste kop capsule voor het plaatsen van een referentie-elektrode. Met de vlieg voorbereid, laat zien hoe u de registratie-elektrode positie.

2. Plaatsing van de registratie-elektrode

1. Met de vlieg voorbereid, laten we overgaan tot het lokaliseren en het opnemen van signalen uit de H1 neuron. De registratie-elektrode moet worden geplaatst in de nabijheid van de H1 neuron. De H1 neuron reageert vooral om horizontale back-to-front motie ingediend om zijn receptieve veld (Krapp et al.. 2001).
2. Om de positie van de registratie-elektrode, gebruik maken van de luchtpijp als visueel herkenningspunt. In eerste instantie, plaats de elektrode tussen de bovenste luchtpijp.
3. Het helpt om een ​​audio-versterker te gebruiken om de opgenomen elektrische potentialen te zetten in akoestische signalen. Elke individuele spike wordt omgezet in een karakteristiek klikkend geluid. Hoe dichter de elektrode krijgt om een ​​individueel neuron, hoe duidelijker het klikkend geluid wordt.
4. Het identificeren van de H1 neuron door middel van haar ontwerpresolutie voorkeur, te stimuleren met beweging in de horizontale richting. Met de registratie-elektrode op zijn plaats, laat gaan om visuele stimulatie en opnames.

3. Visuele Stimulatie en Recordings

1. De closed-loop experimenten zijn installatie zodanig dat een dergelijke, dat stimulatie van de H1 neuron resultaten in de robot te compenseren voor de beweging van de turn-table. Om te beginnen, plaats een vlieg in de voorkant van twee CRT-beeldschermen. Omdat de vlieg visuele systeem is 10 keer sneller dan de mens, moet het monitoren 200 frames per seconde. De monitoren en andere elektrische apparatuur moet elektromagnetisch worden afgeschermd om externe geluiden in het gemeten signaal neuronale te minimaliseren.
2. Plaats de centra van de monitors op + / - 45 graden ten opzichte van oriëntatie van de vlieg. Gezien vanaf het oog van de vlieg evenaar, elke monitor subtends een hoek van + / -25 graden in het horizontale en +/ -19 Graden in het verticale vlak.
3. Gesynchroniseerd input voor de computerschermen wordt verzorgd door twee videocamera's gemonteerd op een kleine, tweewielige ASURO robot die is aangepast voor het experiment.
4. Plaats de robot op een turn-tabel in een cilindrische ruimte waarvan de wanden zijn bekleed met een patroon van verticaal georiënteerd, zwarte en witte strepen. Door het roteren van de turn-tafel in het horizontale vlak, zijn de bewegingen van de robot beperkt tot slechts een graad van vrijheid.
5. In eerste instantie zowel de turn-table en de robot in rust. Als de draaitafel begint te bewegen, de rotatie draagt ​​de robot, in dezelfde richting en de video camera's de relatieve beweging tussen de robot en de gestreepte patroon van de arena.
6. De batterij-aangedreven video camera's op de robot worden gemonteerd op een oriëntatie van + / - 45 graden. Ze vangen 200 beelden per seconde om de frame rate van de computer monitoren wedstrijd in de voorkant van de vlieg.
7. Log de beelden aan de computerschermen op 200 frames per seconde bij een resolutie van 640 x 480 (grijs-schaal).
8. Terwijl de vlieg is het kijken naar de bewegingen van de gestreepte patroon, neem dan de band-gepasseerd gefilterd (bijvoorbeeld tussen 300 en 2 kHz) elektrische signalen met een digitale acquisitie board met behulp van een sampling rate van minimaal 10 kHz.
9. Een drempel wordt toegepast op de band-gepasseerd gefilterd elektrische signalen om de spikes te scheiden van de achtergrond activiteit. Een causaal, half-Gaussiaans filter is convolved met de spikes om een ​​vlotte stekelige activiteit raming voor de H1 cel te krijgen.
10. Voor het sluiten van de lus van de hersenen machine interface, is een controle-algoritme wordt gebruikt om de spike tarief van de H1 cel om te zetten in een robot snelheid die wordt teruggevoerd via een Bluetooth-interface om de twee DC-motoren te besturen besturen van de wielen van de robot.
11. Pure sinusgolven worden gekozen als snelheid profielen voor de turn-table. De sinus golven hebben een DC-offset zodanig dat de turn-tabel alleen draait in de richting die de H1 neuron stimuleert langs de gewenste richting. Stimulatie van de H1 neuron resultaten in de robot te compenseren voor de beweging van de turn-table.
    
    
    Figuur 1: Gesloten loop setup. In onze opstelling, is het pieken activiteit van de linker H1 cel die gebruikt wordt om de beweging van een robot gemonteerd op een draaitafel te controleren. Visuele beeld beweging gegenereerd als gevolg van de relatieve beweging tussen de robot en de turn-tabel wordt vastgelegd via high-speed camera's en weergegeven op twee CRT monitoren in de voorkant van de vlieg. H1 pieken activiteit van de linker hersenhelft wordt gebruikt om de real-time spike rate, die vervolgens gebruik maakt van een controle recht op een vergoeding snelheid te berekenen voor de robot te schatten. De robot contra-rotatie stabiliseert het visuele beeld beweging waargenomen door de fly tijdens de closed-loop controle.
    
    

4. Representatieve uitkomst en de resultaten

1. Bij het correct ingesteld, is visueel stabilisatie bereikt wanneer de contra-rotatie van de robot de rotatie van de turn-table wedstrijden, wat resulteert in weinig of geen patroon beweging op de computer monitors. De algemene prestaties van het systeem hangt af van de controle-algoritme wordt gebruikt om de lus te sluiten.
2. De eerste algoritme we test is een proportionele regelaar (figuur 2) waar de bijgewerkte robot snelheid is evenredig met het verschil in hoeksnelheden tussen de robot, ωr, en de turn-table, ωp. Verschillende waarden voor de statische versterking, Kp, en input frequenties voor de turn-table-signaal, ωp, worden gekozen om de prestaties van de controller te testen.
   
   
   
   Figuur 2: Proportionele controller. (A) Relatieve beweging tussen de robot en de turn-tafel in de gewenste richting van de H1-cel stimuleert te geven de spike tarief, is F. Deze spike tarief omgezet in een snelheid fout, E, en een proportionele regelaar wordt gebruikt om de schatting geactualiseerd robot snelheid, vr (t +1). De piek tarief, F, wordt omgezet in de snelheid fout, E, gebaseerd op de vraag of het minder is dan of groter dan de spontane piek tarief, Fspont. De piek tarief fout conversie snelheid wordt gedaan door het projecteren van F over een cosinus (interval [π, 0]) om rekening te houden stekelige tarief drempel van niet-lineariteiten. De constanten 70 en 150 worden gebruikt om de 8-bit ingaande toerental van de robot af te stemmen op de minimale en maximale hoeksnelheden van de turn-table. (B) blokdiagram dat closed-loop systeem met behulp van een proportionele regelaar. De input in het systeem is een sinosuidal modulatie van de turn-table hoeksnelheid, is ωp (t), en de bijbehorende robot reactie ωr (t +1) opgenomen.
   
   
3. Voorbeeld sporen voor ω _p en ω _r zijn hier weergegeven voor K _p = 1 en een ingang frequentie van 0,6 Hz voor ω _p (zie figuur 3). De robot (in groen) volgt de turn-table (in blauw) met een vertragingen een kleinere piek-amplitude. De horizontale component van het patroon beweging die de H1 cel stimuleert is hieronder weergegeven (in rood).
   
   
   
   Figuur 3: Gesloten lus reacties. (A) hoeksnelheden voor de turn-table (blauw), ωp, en robot (groen), ωr, aan de ingang frequentie = 0,6 Hz. (B) Horizontale optic flow wordt weergegeven zoals berekend uit ingelogd beelden (rood). Piramidale Lucas Kanade methode (3 piramide niveaus) wordt gebruikt om de optic flow veld berekenen tussen de opeenvolgende beelden frames. Horizontale hoeksnelheid wordt berekend door optelling van de projecties van de individuele vectoren in de flow velden op het horizontale eenheidsvector i. Horizontale back-to-front beweging die de H1 cel prikkelt wordt aangeduid als PD (bij voorkeur richting), terwijl horizontale front-to-back beweging die de H1 cel remt wordt aangeduid als ND (null richting).
   
   
4. Ingang frequenties voor de turn-table-signaal, ωp, worden gekozen tussen de 0.03-3 Hz en de bijbehorende robot signaal, ωr, wordt opgenomen. Beide signalen worden omgezet in de frequentie domein door een snelle Fourier transform (zie figuur 4) en de amplitude en fase waarden worden berekend aan de ingang frequentie.
   
   
   
   Figuur 4: Frequentie Hoeksnelheid signalen voor de turn-table, ωp, en robot, ωr, worden omgezet in het frequentiedomein met behulp van de Fast Fourier Transform (FFT) methode om amplitude en fase componenten te berekenen op de input frequentie.. Fase componenten van FFT worden niet weergegeven in de figuur.
   
   
5. De Bode grootte perceel voor de proportionele regelaar met K _p = 1 geeft de respons van het systeem over de geteste ingang frequenties (zie figuur 5-a). De prestaties van de controller neemt in het algemeen met toenemende frequentie. De licht verhoogde reflectiewaarde bij 1 Hz is als gevolg van schommelingen in de robot-signaal door het gebruik van slechts een H1-cel waarvan de dynamische (output) range omvat hoofdzakelijk horizontale back-to-front beweging.
   
   
   
   Figuur 5: Proportionele controller prestaties. De Bode omvang en fase van kavels voor de proportionele regelaar (gemiddeld over 8 vliegen), statische versterking Kp = 1,0 (a) de omvang bode plot ongeveer een low pass filter dat karakteristiek volgt. De licht verhoogde reflectiewaarde bij 1 Hz is als gevolg van schommelingen in de robot signaal, ωr, door het gebruik van slechts een H1-cel waarvan de dynamische (output) range omvat hoofdzakelijk horizontale achter naar voor beweging. Het aantal trillingen in de robot signaal, ωr, afnemen met een toenemende inbreng frequenties leidt tot licht verhoogd te krijgen op deze frequenties. (B) de Bode fase plot is minder dan 180 ° voor de input frequentie ≤ 1 Hz en benaderingen instabiliteit op 3 Hz. Boven een bepaalde frequentie-ingang, de regelaar wordt instabiel als gevolg van de kinematica van de robot. Deze instabiliteit treedt alleen buiten de bekende optimale meetgebied van de vlieg visuele systeem (Warzecha et al.. 1999).
   
   
6. De Bode fase plot (zie figuur 5-b) toont een controller faseverschuiving minder dan Π voor de input frequentie <0,6 Hz. Dit toont aan dat de controller stabiel is voor frequenties <0,6 Hz en onstabiel voor de input frequentie ≥ 1 Hz.
7. De prestaties van de proportionele regelaar met een statische Kp (in blauw) werd vergeleken met een adaptieve controller (in rood), waar de waarde voor K _p is iedere 50 ms bijgewerkt op basis van de piek piek tarief, C _max, berekend over het tijdsinterval [t-500ms - t] (zie figuur 6). Als gevolg van de grote integratie tijdvenster, de proportionele controller beter presteert dan de adaptieve controller voor de geteste parameter bereik (zie figuur 7-a). De initiële time integratie venster van 500 ms is gekozen om technische redenen die verband houden met de robot platform dat we gebruiken. Het adaptieve regelaar had een soortgelijke fase karakteristiek van de proportionele controller (zie figuur 7-b).
   
   
   
   Figuur 6: Adaptive controller te krijgen. De proportionele controller maakt gebruik van een statisch te krijgen, Kp, terwijl de adaptieve regelaar schat de winst continu tijdens de closed-loop controle. De dynamische gain, Kp, is omgekeerd evenredig met de maximale piek tarief, Fmax, over het interval t-500ms ≤ τ ≤ t. Figuur toont drie gevallen waarin Fmax wordt geschat in de tijd. Op basis van geschatte waarden van Fmax, Kp is het hoogst in de tijd van venster 2 (groen) en het laagst in de tijd van venster 3 (oranje).
   
   
   
   Figuur 7: Proportionele vs adaptieve controller. Bode magnitude en fase percelen voor de proportionele (Kp = 1) en adaptieve controller(A) de adaptieve regelaar werkt de waarde van de Kp elke 50ms op basis van de piek piek tarief schatten Fmax de afgelopen 500ms. De proportionele regelaar versterking perceel (blauw) is hoger dan die van de adaptieve controller (rood) die aangeeft dat het beter presteren op alle invoer frequenties. (B) de Bode fase percelen voor beide controllers zijn vergelijkbaar met een significant verschil bij f = 0,3 Hz. Beide controllers aanpak instabiliteit op 3 Hz. Significant verschillende gain en fase waarden zijn aangegeven met een asterisk (Wilcoxon rank sum-methode, p = 0,05).
   
   
8. Het rooster patroon rond de draaitafel werd verwijderd en de lab-omgeving werd gebruikt als een aanpassing van de naturalistisch visuele input voor de fly H1-cel. Gemiddeld is de omvang Bode plot (zie figuur 8-a) voor de naturalistische visuele input (in blauw) toonde iets hogere winsten dan degene met rooster visuele input (in rood) waarschijnlijk omdat het breder scala van ruimtelijke frequenties in naturalistische visuele beelden wordt geëxploiteerd. De Bode fase plot kenmerken voor het raspen vs naturalistische visuele inputs waren vergelijkbaar (zie figuur 8-b).
   
   
   
   Figuur 8: Stripped patroon vs lab-omgeving. De Bode omvang en fase van kavels voor de proportionele controller wanneer voorgesteld met gestript patronen (rood) vs lab-omgeving (blauw) visuele beelden in closed loop (a) de Bode plot omvang voor als lab-omgeving beelden worden gebruikt is iets hoger dan wanneer gestript patroon wordt gebruikt (behalve bij f = 0,1 Hz) geeft betere prestaties onder deze stimulus. (B) de Bode fase plot onder zowel visuele voorwaarden volgen hetzelfde patroon, waarbij beide benaderen instabiliteit op 3 Hz. Significant verschillende gain en fase waarden zijn aangegeven met een asterisk (Wilcoxon rank sum-methode, p = 0,05).
   
   

Discussion

1. Vliegen dissectie moet zorgvuldig worden uitgevoerd om ervoor te zorgen dat we goed oriënteren de vlieg met betrekking tot de computer monitors.
2. Scheiden van de spikes van de H1 neuron van de spikes van alle andere neuronen om een ​​goede signaal-ruisverhouding te krijgen die vervolgens kunnen worden gebruikt om de robot betrouwbaar te sturen.
3. Zorg moeten worden genomen om zenuwweefsel niet uitdrogen in de loop van het experiment.
4. De camera's zijn aangesloten op computers met een Ethernet-kabel. Voorzichtigheid is geboden, zodat ze niet over-wond tijdens het experiment want dat zou de rotatie van de robot beïnvloeden.
5. Momenteel zijn we met behulp van de piek activiteit van een H1 tot een stabilisatie taak setup in slechts een richting van de gieren draaien. Kunnen we een tweede elektrode op de signalen van zowel de linker-en rechterkant H1 is zo dat we kunnen stabiliseren besturingsalgoritmen onderzoek in beide richtingen van de gieren draaien te krijgen.
6. We kunnen verwijderen van de arena met de verticaal zwart-witte strepen en het gebruik maken van de lab-omgeving als de visuele stimulans voor de vlieg. Dit zal ons toelaten om closed-loop prestaties studie met naturalistische beelden.
7. De robot kan worden verwijderd uit de draai-tafel en mag rond de lab-omgeving te verplaatsen, terwijl in closed-loop controle. Dit zal ons toelaten om de controle algoritmes die betrokken zijn bij het voorkomen van botsingen onderzoeken.
8. De draden aansluiten van de camera's op de computers kunnen worden verwijderd door het implementeren van een draadloze transmissie systeem, geeft ons een volledig ongeremde robot setup.
9. De prestaties maatregelen van de verschillende controle-algoritmen zal ons een inzicht in hoe verschillende strategieën zijn in staat om te gaan met niet-stationaire en variabele neuronale signalen. Deze kennis kan vervolgens worden toegepast op verschillende klinische en niet-klinische brain-machine interfaces.
10. Deze experimentele opstelling is de eerste stap op weg naar het opnemen van neuronale signalen uit gedragen dieren. Ons doel is om de vlieg op de robot en de neurale activiteit te gebruiken voor closed-loop controle. In een dergelijke setup, zouden we in staat zijn om neurale activiteit op te nemen van de vlieg terwijl het ontvangt multisensorische stimulatie als gevolg van de beweging van de robot.
11. Record alleen signalen van de ene cel. In de configuratie moeten we u, zou de meest geschikte cel van de H1-cel. Isoleren van de reacties van de H1 neuron van andere neuronen met vergelijkbare receptieve velden, bijvoorbeeld H2, is het belangrijk om een ​​goed signaal-ruis verhouding te behouden voor de neuronale opnames. De reacties van de H1 en H2 neuronen onderscheiden kunnen worden door op te merken dat de H2 is karakteristiek lagere spontane en de gemiddelde stekelige tempo dan de H1 neuron. De neuronen kunnen ook worden gediscrimineerd op basis van hun morfologie (Krapp et al.. 2001).
12. Ons systeem stelt ons in staat het vergelijken van de closed-loop gain bereikt door onze fly-robot interface op een beeldstabilisatie taak, en om zijn prestaties te vergelijken met closed-loop optomotor winsten waargenomen in eerdere experimenten op vliegt (Bender & Dickinson 2006, Warzecha et al. . 1.996, Heisenberg & Wolf, 1990). Daarnaast is het stelt ons in staat om state-afhankelijke veranderingen te onderzoeken in de visuele informatieverwerking onder closed-loop omstandigheden (Chiappe et al.. 2.010, Maimon et al.. 2.010, Longden & Krapp 2009, Longden & Krapp 2010).

Materials