Closed-loop Neuro-robot Experimenten om Test computationele eigenschappen van neuronale netwerken

Summary

In this paper, an experimental framework to perform closed-loop experiments is presented, in which information processing (i.e., coding and decoding) and learning of neuronal assemblies are studied during the continuous interaction with a robotic body.

Abstract

Information coding in the Central Nervous System (CNS) remains unexplored. There is mounting evidence that, even at a very low level, the representation of a given stimulus might be dependent on context and history. If this is actually the case, bi-directional interactions between the brain (or if need be a reduced model of it) and sensory-motor system can shed a light on how encoding and decoding of information is performed. Here an experimental system is introduced and described in which the activity of a neuronal element (i.e., a network of neurons extracted from embryonic mammalian hippocampi) is given context and used to control the movement of an artificial agent, while environmental information is fed back to the culture as a sequence of electrical stimuli. This architecture allows a quick selection of diverse encoding, decoding, and learning algorithms to test different hypotheses on the computational properties of neuronal networks.

Introduction

Veel functies van de hersenfunctie zijn nog onmogelijk te repliceren in een kunstmatig systeem. De hersenen het vermogen om complexe sensorische informatie snel te verwerken en te genereren, in reactie, nauwkeurige motor commando's is op zich al verder dan de huidige state-of-the-art. Maar zijn vermogen aan te passen aan verschillende omstandigheden door te leren van ervaringen uit het verleden maakt het zo veel beter dan controlesystemen-menselijke ontwikkeld. Tot nu toe probeert te repliceren of te exploiteren deze plasticiteit hebben weinig succes ontmoet, en het begrip van de innerlijke werking van de hersenen is de greep van onderzoekers ontgaan. Een van de belangrijkste problemen tijdens het onderzoeken van de relatie tussen hersenen en gedrag is het onvermogen om alle variabelen in het systeem goed openen: idealiter zou een optimale experimentele opstelling gelijktijdige opname en stimulatie laat een groot aantal neuronen, stabiliteit op lange termijn , monitoring van synapsen posities en gewichten, en controleerbare bi-directional interactie met de omgeving. De moeilijkheid bij het ​​volgen van alle variabelen tegelijkertijd geleid tot het onderzoek van de hersenen-gedrag relatie op twee verschillende schalen: hetzij gedragen dieren, zonder fijnregelen proefomstandigheden ^1-7 of met kleine, afzonderlijke onderdelen, zoals porties neuronaal weefsel, zonder overzicht van het systeem ^8. In het laatste geval, terwijl er geen ontwikkeld experimentele opstelling laat de volledige controle van alle bij de werking van zelfs een eenvoudige neuraal netwerk parameters, wordt een goede trade-off door gedissocieerde neuronen gegroeid Micro-Electrode Arrays (MEA) ^9. Deze apparaten, geboren eind jaren 70 ^10, hebben verschillende voordelen boven traditionele elektrofysiologie technieken: ten eerste de mogelijkheid van opname en stimuleren van een neuraal netwerk op verschillende plaatsen tegelijk (meestal 60 elektroden). Bovendien is de koppeling van MEA met cellen vrijwel niet-invasieve, Zodat de controle van hetzelfde netwerk voor langere tijd, tot enkele maanden ^11. De fysiologische effecten van elektrische stimulering op gedissocieerde kweken zijn uitgebreid bestudeerd door deze apparaten, onthullen dat veel objecten waargenomen bij hogere schalen (zoals, bijvoorbeeld, plasticiteit en simpele geheugenprocessen ^12-14) zijn geconserveerd, ondanks het verlies van de architectuur. Tijdens de groei cultuur, die netwerken beginnen met spontane activiteit op ongeveer 7 dagen in vitro (DIV) ^15,16. Netwerkactiviteit heeft de neiging om radicaal te veranderen met de verdere groei; eerst als enig spikes verzamelen in bursts (tegen het eind van de tweede week) ^17, later als het overgaat in een zeer complex patroon van gesynchroniseerde niet-periodieke uitbarstingen netwerk ^18, dat de volwassen toestand van een netwerk representeert. Er is gesuggereerd ¹⁹ dat deze synchroon gedrag, enigszins vergelijkbaar met die waargenomen bij in vivo opnemenring met slapende dieren wordt veroorzaakt door het ontbreken van sensorische input.

Een andere benadering geprobeerd een beter begrip van informatie codering is genomen door het uitvoeren closed-loop-experimenten, waarin verschillende signalen werden gebruikt voor het stimuleren van het neuronale netwerk zelf ^11,20-23 versterkingsregeling. In deze experimenten werd een extern middel dat in staat interactie met de omgeving gebruikt om zintuiglijke informatie toegevoerd aan het neurale netwerk, dat op zijn beurt geproduceerd motor opdrachten voor een effector mechanisme genereren. Dit liet waarnemingen hoe en adaptieve eigenschappen van neurale systemen ontstaan ​​als reactie op geïnduceerde veranderingen in de omgeving.

Een setup uit te voeren 'belichaamde neurofysiologie' experimenten werd ontwikkeld, waarbij een verrijdbaar sensor platform (een fysieke robot of haar virtuele model) gaat over in een arena en zijn snelheid profielen worden bepaald door de activiteit van een neuronalesysteem (dat wil zeggen, een bevolking van neuronen rat gekweekt over een MEA). De robot wordt gekenmerkt door de snelheidsprofielen van de twee onafhankelijk bestuurde wielen en de huidige waarden van de afstandssensoren. De precieze aard van de afstand sensoren is niet relevant; ze kunnen actieve of passieve optische sensoren of ultrasone sensoren zijn. Het is duidelijk dat dit probleem niet van toepassing bij virtuele robots, waarbij sensoren ontworpen zijn met elke gewenste eigenschap.

In de experimenten die hierin beschreven, de robot gebruikte altijd de virtuele uitvoering met 6 afstandssensoren wijzend op 30 °, 60 ° en 90 ° van de robot kop in beide richtingen. De activiteit van de drie linker en rechter sensoren gemiddeld en de activiteit van de biologische kweek wordt aangedreven door de door dergelijke "super-sensoren (die alleen zal worden aangeduid als" links "en sensoren direct in de rest verzameld van dit werk). De protocol beschreven kan zelfs worden toegepast op de fysieke robot met vrij kleine aanpassingen. De door de robot (fysiek of virtueel) verzamelde informatie wordt gecodeerd in een reeks van stimuli die worden gebruikt om de activiteit van het Neuraal netwerk, dat fysiek gescheiden is van de robot manipuleren. De stimuli zelf zijn allemaal identiek en dus geen informatie te coderen. Wat van belang is is hun frequentie: stimulatie toeneemt wanneer de robot benadert een obstakel, met verschillende leveringslocaties codering zintuiglijke informatie van de linker en rechter 'ogen' van de robot. Het neurale netwerk verschillende reacties presenteren aan de inkomende trein van stimulaties: de taak van de decodeeralgoritme is het resulterende netwerkactiviteit vertalen in commando's gebruikt om de wielen van de robot te besturen. Krijgt een 'perfect' netwerk gedrag (dwz, met betrouwbare en volledig gescheiden reacties op stimuli van verschillende elektroden), zou dit Result in de robot rijden in zijn arena zonder te raken obstakels. De meeste netwerken onderhavige gedrag heel anders ideality derhalve een eenvoudige leren protocol wordt geïntroduceerd: indien geactiveerd, tetanische stimulatie (korte perioden van hoogfrequente stimulatie, 20 Hz stimulatie 2 seconden, geïnspireerd door protocollen ^24,25 beschreven) na een botsing met een obstakel wordt geleverd. Indien de tetanische stimulatie resulteert in een lokale versterking van netwerkconnectiviteit, zal dit resulteren in een geleidelijke verhoging van de navigatie mogelijkheden van de robot.

HyBrainWare2 een verbeterde versie van de aangepaste software gepubliceerd ^26, is de kern architectuur ontwikkeld om de controle van de verschillende inrichtingen van het systeem (stimulator, data acquisitie, verwerking en visualisatie, robot communicatie of simulatie) behandelen. Deze software is ontwikkeld in ons lab en is vrij beschikbaar op aanvraag. Deze software biedt de interface metde data-acquisitie board: zodra de gebruiker data-acquisitie begint vanaf de GUI, de software regelt de overname van Commissarissen aan de bemonstering en de A / D-conversie van gegevens afkomstig van de registratie-elektroden starten. Deze gegevens kunnen vervolgens worden opgeslagen, weergegeven op het scherm of in real-time geanalyseerd om pieken op te sporen, op basis van de door de gebruiker ingestelde opties (zie Procedure sectie voor details). Verder binnen de software, de definitie van codering (vertaling van zintuiglijke informatie in een elektrische stimulatie) en decoderen (vertaling van de opgenomen activiteit in motorische commando's voor de robot) algoritmen moet worden opgegeven. Vooral onze opstelling is relatief gebruiksvriendelijk dan vergelijkbare systemen ontworpen in de afgelopen ^27, omdat bijna alle variabelen zijn toegankelijk voor de gebruiker vlak voor het eigenlijke experiment, terwijl alle geregistreerde informatie automatisch wordt opgeslagen in een formaat dat compatibel met een neuraal data-analyse toolbox ^28.

De volgende procedure beschrijft een gedeelte learning experiment gedissocieerde rat hippocampale kweken: alle kweken en experimentele parameters voor dit specifieke preparaat en moet worden aangepast als een ander biologisch substraat worden gebruikt. Ook de beschreven experiment maakt gebruik van de gesloten-lus architectuur het leereffect van tetanische stimulatie onderzoeken, maar de architectuur zelf is flexibel genoeg om te worden gebruikt in de studie van verschillende kenmerken van gedissocieerde neurale netwerken. Bekende varianten van de voorgestelde experiment worden nader toegelicht in het hoofdstuk discussie.

Protocol

1. Voorbereiding van neuronale Cultuur over een MEA

1. Plate neuronale culturen MEA chips, zoals beschreven ^29. De beschrijving van een soortgelijke procedure wordt tevens ⁹ en in het discussie.
2. Draai het MEA verwarming van 5-10 minuten voordat de opname om de thermische spanning ervaren door de cellen te minimaliseren: ingestelde temperatuur doelstelling van de temperatuurregelaar 37 ° C en schakel de verwarmingsplaat onder de MEA zelf (die in de meeste commerciële MEA) en, indien beschikbaar, een verwarmde deksel om verdamping aanzienlijk te verminderen.
3. Steriliseren gasdoorlatend doppen voor elk gebruik in een autoclaaf met vochtige warmte (30 min, 130 ° C). Om verdamping te voorkomen en veranderingen in osmolariteit te voorkomen, houdt de culturen bedekt met kappen tijdens het opnemen.
4. Plaats de neuronale cultuur in de versterker 30 min voordat daadwerkelijk starten van de opname.
   OPMERKING: Gewoon verplaatsen van de culturen uit de incubator naar de versterker zal aanzienlijk verstoren spontane activiteit voor ongeveer een half uur. Gedurende deze tijd zullen kweekmedium temperatuur te stabiliseren.
5. Als carbair circuit beschikbaar is, start circulatie van carbair (een mengsel van 5% _CO2 en 95% _O2 + _N2) voor experimenten langer dan een paar uur: culturen zal vereisen om zowel zuurstof en pH te handhaven stabiel.

2. Selectie van Recording Parameters voor MEA Acquisitie

1. Selecteer software filterbandbreedte om spikes te sporen (dwz, Multi-Unit Activiteit - MUA) ^30: in de RawDataDisplay vorm markeer het selectievakje '300 Hz-3 kHz'.
2. Start de overname van gegevens: druk op de knop 'Start' in de RawDataDisplay vorm.
3. Set Drempel Gain voor spike detectie in de RawDataDisplay tot 7.
   OPMERKING: Afhankelijk van de gewenste specificiteit / selectiviteit afweging en over de aangenomen detecterenion algoritme, kan deze drempel ingesteld tussen 6 en 10 maal de standaardafwijking berekend.
4. Stel Threshold geheugen tot 2 sec en druk op de 'Lock' knop wanneer er geen stekelige activiteit is zichtbaar op het display (beide commando's zijn in de RawDataDisplay vorm). Markeer de 'Schat SD van mediaan' ruis standaarddeviatie berekenen van de mediaan van de absolute waarde van het waargenomen signaal ^31,32, als het moeilijk is om zelfs korte tijd ramen bieden zonder stekelige activiteit. Verwijder het vinkje bij deze optie als u op de 'Lock' knop, omdat de onderliggende algoritme is computationeel intensief en zou ertoe leiden dat de PC aan lag.
5. Schakel spike detectie routine ('Spike Detection "checkbox in de RawDataDisplay vorm). Als spike detectie al actief is (dat wil zeggen, is het selectievakje al gemerkt), gooi spikes gedetecteerd tot op dit ogenblik door te klikken op de knop 'Reset' in de gegevensregistratie vorm.

3. Selectie van MEA Elektroden aan de neuronale Cultuur en Response Kaart Computation Stimuleer

1. Record spontane activiteit van de neuronale cellen gekweekt over de MEA 30 min: data op te slaan naar een bestand door te klikken op de knop 'Record' in het vak 'Spikes' van de datarecording vorm, nadat de gewenste hoeveelheid tijd is verstreken (30 min, in dit geval).
2. Identificeren van de 10 meest actieve kanalen (dat wil zeggen, 10 kanalen met de hoogste piek telling), selecteer vervolgens de kanalen in een van de MEA-outs (hetzij in het coderen, decoderen of Connection Kaart formulieren) door te slepen met de muis cursor over de gewenste gebieden. Zodra de kanalen worden geselecteerd, klik met de rechtermuisknop ergens op de MEA lay-out en selecteer 'Toevoegen aan links zintuiglijke gebied' in het pop-up menu: deze elektroden zal worden gebruikt om elektrische stimulatie te leveren in stap 3.5.
3. Controleer of stimulator en MEA versterker correct zijn aangesloten: alle configuraties require twee draden per gewenste stimulatie kanaal, terwijl een extra coaxiale kabel nodig zal zijn om het synchroon signaal te dragen (zie de handleidingen van de specifieke instrumenten voor de aansluitschema's). Ga vervolgens naar de stimulator te schakelen.
4. Definieer Stimulusparameters in de Connection Kaart formulier. Alle geleverd aan de cultuur stimulations zijn tweefasige rechthoekige spanning golven. Stel halve looptijd tot 300 usee en amplitude tot 1,5 V _pp ^33.
   OPMERKING: Stimuli groot genoeg om betrouwbaar te roepen neurale reacties zal zeer waarschijnlijk compromis de opname van de activiteit van dezelfde sites. In de rest van het papier moeten elektroden voor stimulatie bezorging niet worden geselecteerd voor het maken relevante informatie.
5. Record reactie op stimulatie: druk op de knop Start in de ConnectionMap vorm. Een reeks van 30 stimuli, met een interval van 5 sec op zijn beurt automatisch afgegeven uit elk van de geselecteerde elektroden, terwijl responsen opnemened van de resterende 59 elektroden.
6. Bereken verbinding map (bijvoorbeeld, de waarschijnlijkheid om in een reactie van een elektrode binnen een tijdvenster na levering van stimulus uit een andere elektrode) voor elk stimulatiekanaal via een wiskundige software of SpyCode een applicatie ontwikkeld in het verleden (en vrij beschikbaar op aanvraag) om berekeningen uit te voeren op neurale gegevens ^28.
7. Van de verbinding kaarten, selecteert beste elektroden: verwerp alle stimulatie-elektroden die geen respons hadden op te roepen (dat wil zeggen in het tijdvenster na stimulatie, vuren tarieven zijn niet significant hoger dan bij spontane afvuren).
   1. Selecteer onder de overige elektroden, het paar met de minste springen over in de reacties. Specifiek voor elk prikkelelektrode Bereken de gemiddelde piek telling per registratie-elektrode, dan berekent het verschil tussen overeenkomstige elektroden voor alle stimulatie-elektroden paren. Selecteer het paar voor which de som van de absolute waarden van de respons verschillen over alle opname-kanalen het hoogst is.
8. Selecteer één van deze elektroden om zintuiglijke informatie te coderen vanaf de linkerkant van de robot en de andere om lezingen te coderen van de rechterkant: om dit te doen, sleept u de muiscursor op een elektrode, klik met de rechtermuisknop op de MEA layout selecteer 'Voeg toe aan zintuiglijke gebied links' (of 'Toevoegen aan rechts zintuiglijke gebied').

4. Interfacing de neuronale Cultuur met de Robot: Selectie van coderen en decoderen Schemes

1. Set 'Codering Type' in de Coding vorm te Linear.
2. Definieer minimale en maximale stimulatie tarieven in de Coding vorm. Gebruik het standaard bereik van 0,5-2 Hz.
3. Stel de parameter 'Jitter' in de Coding formulier in op 0.
4. Stel de decodeeralgoritme parameters in de Decoding Form (gewicht en extinctiecoëfficiënt) op 1, voor een matig actieve cultuur (~ 1 spike / sec per channel). Definieer een nieuwe parameter paar als afvuren tarieven sterk en voortdurend afwijken van deze waarde. Zie de bespreking voor de exacte functie van het decoderen parameters.
5. Stel de decodeeralgoritme barsten parameters in het Decoderen formulier. Stel het gewicht in op 0 (decay tijd is dan niet relevant), tenzij onderscheid tussen spikes en uitbarstingen is het onderwerp van studie.
   OPMERKING: De waarden voorgesteld in stap 4.4 zal glad robot bewegingen en snelheden compatibel met robot reactietijden voor matig actieve rat primaire culturen te produceren. De burst parameters hebben dezelfde functie als in de stap 4.4 beschreven, maar de activerende gebeurtenis de detectie van een burst plaats van een piek: de werkelijke snelheid van elk wiel is eenvoudigweg de som van de bijdragen van de gedetecteerde pieken en uitbarstingen.

5. Ontwerp van Navigatie Arena voor de Robot

1. In de Virtual Arena Designer vorm, kiezen tussen begrensd (de grenzen van de arena zijn zichtbaar voor de robot en impassable) of onbegrensde (indien de robot verlaat ene zijde van de arena, zal onmiddellijk opnieuw invoeren van de tegenover) arena en stel de arena grootte in pixels.
   1. Heeft begrensde arena's kleiner dan 100 x 100 pixels, niet gebruiken om significante beweging mogelijk. Geen belemmeringen te gebruiken met een straal kleiner dan 5 pixels als ze gewoon kunnen vallen tussen de zichtlijnen van de robot.
   2. Houd in gedachten dat zeer grote arena maten kunnen veroorzaken prestaties van de computer te degraderen: als een grote arena nodig is, testsoftware prestaties met de gewenste arena voordat moeilijk te herhalen experimenten.
2. Stel robot uitgangspositie handmatig (klik op de 'Manual Selection' knop in de Virtual Arena Designer vorm, dan is de gewenste locatie) of door het specificeren van de coördinaten van de robot bij experiment te starten in de velden 'Robot Positie starten'.
3. Voeg een willekeurig aantal onbegaanbaar obstakels binnen de arena. Ofwel leg ze manually in de arena na het klikken op de knop 'Obstacle toevoegen Handmatig' of stel het aantal en grootte.
4. Klik op de button 'Genereer Arena' om de arena met de geselecteerde functies te genereren. Geen veranderingen zullen optreden, totdat deze knop wordt ingedrukt.
5. Sla het ontworpen arena en laadt de relatieve bestand, voor gebruik in een experiment, met het commando knoppen in het onderste deel van de Virtual Arena Designer formulier.

6. Selectie van MEA Elektroden aan Record neuronale activiteit van de Cultuur

1. Selecteer als tijdelijke opname elektroden die waarop verschillende reacties, in stap 3.8, zijn waargenomen: elektroden die groter reacties na stimulatie van de 'links' (of 'rechts') elektrode zal vormen van de 'links' toonde (of 'rechts') registratie-elektroden. Gebruik geen elektroden die geen significante responsen heeft laten zien om ofwel stimulerende elektrode naar de robot te besturen gebruiken. From het pop-up menu MEA lay-out, selecteer 'Toevoegen aan links motorische gebied' (of 'Toevoegen aan rechter motor gebied') om de opname elektroden te definiëren.
2. Bepaalde functies om op te nemen in de Experiment Manager vorm. In dit stadium, aren en stimulatie tijdstempels de enige relevante informatie.
3. Voer een 10 min proefrit: start de robot uitvoeren door op de Start-knop Experiment in het Experiment Manager vorm, klik nogmaals na 10 minuten zijn verstreken.
   OPMERKING: Zodra alle parameters zijn ingesteld (coderen en decoderen, robot arena, stimulerende en registratie-elektroden, beschikt om op te nemen), zal een bestandsnaam selectie vragen om opgenomen bestanden naam en bestemming, dan is de robot zal beginnen te bewegen in zijn arena, na de gedefinieerde regels. Alle geselecteerde functies worden automatisch opgeslagen in real time.
4. Herhaal de stappen 3.6 en 6.1 op de gegevens verkregen in stap 6.3, met het oog op de opname elektroden van gegevens tijdens een echte robot run verzameld selecteren (zie BESPREKIn voor de rationale van deze benadering in twee stappen).

7. Het uitvoeren van een Neuro-robot Experiment

1. Selecteer in het Experiment Manager vormen de gegevens die moeten worden opgenomen: markeer de Spike, Robot en Stimuli gegevens checkboxes.
2. Lanceer een pre-learning robot run: klik op de knop 'Start Experiment' in het Experiment Manager vorm. Selecteer nieuwe bestandsnamen voor data-bestanden als daarom wordt gevraagd. Wanneer 30 minuten zijn verstreken, klikt u nogmaals op de knop 'Start Experiment' om de robot run te stoppen.
3. Schakel op het leren protocol (markeren de 'Deliver Tetanische Stimulatie na hit' check box aan de Experiment Manager vorm) en het uitvoeren van de training robot run, van dezelfde lengte als de pre-training fase (dwz, 30 min). Vergeet niet om input verschillende bestandsnamen wanneer u wordt gevraagd om het overschrijven van gegevens uit stap 7.2 te voorkomen.
4. Schakel het leren protocol weer (niet markeren de 'Deliver Tetanische Stimulatie na hit' vakje) En het uitvoeren van de post-learning robot run. Nogmaals, vergeet niet om bestandsnamen te voorkomen dat het overschrijven veranderen.

8. Tweede Response Kaart Berekening

1. Herhaal de stappen 3,1-3,6. Gebruik van gegevens uit deze opnamen om te testen of er wijzigingen zijn veroorzaakt, hetzij in de spontane of opgewekte activiteit patronen door het leren protocol.

Results

De ontwikkelde experimentele kader stelde het testen of een uitwisseling van informatie tussen een cultuur van neuronen en de virtuele realisatie van een fysieke robot mogelijk ^34. Figuur 1 toont verscheidene voorbeelden van verkregen pad afgelegd door een virtuele robot in 20 min experimenten onder verschillende omstandigheden : van links naar een goede closed-loop-experiment, een 'lege MEA' robot experiment (geen cellen worden uitgeplaat op de MEA voor deze controle-experiment) en een open-loop robot experiment rechts (stimulatie constant is in plaats van het coderen van de sensor informatie) vertegenwoordigd zijn. De representatieve sporen bevestigen dat een bidirectionele interactie tussen neuronale en kunstmatige elementen noodzakelijk om goede navigatie prestaties van de robot verkrijgen. Toch is de robot ervaart meerdere treffers tegen de obstakels.

In figuur 2, de navigatieprestaties van de robot, expressed als pixels bezocht tussen opeenvolgende treffers wordt weergegeven in verschillende omstandigheden. De eerste twee kolommen geven de verdeling van de afgelegde afstanden in de bovenstaande ('lege MEA' en open-loop configuraties) genoemde controle-experimenten, terwijl de derde en vierde kolom van de prestaties weer te geven zonder en met, respectievelijk, de levering van tetanische stimulatie na elke sloeg tegen een obstakel. De introductie van de tetanische stimulatie (Zie Procedure, punt 7.2) verbetert aanzienlijk de afgelegde afstand tussen twee opeenvolgende hits, waardoor de navigatie-prestaties van de robot ³⁵ te verbeteren.

In figuur 3 wordt de navigatie prestaties van een robot met verschillende decodering voorwaarden gepresenteerd. Daartoe heeft een andere arena configuratie is aangenomen. Dit hielp om de succesvolle navigatie van de robot in de arena ³⁶ kwantificeren: zoals beschreven in stap 4.1 van de procedure, de robotpresenteerde een reeks van korte nummers. Het slagingspercentage is eenvoudig de verhouding van het aantal succesvolle gekruiste tracks via aantal ingediende tracks. Vooral tijdens de experimenten real time identificatie van barsten en geïsoleerde pieken werd uitgevoerd. Het decoderen paradigma verschillen van elkaar door de relatieve gewichten van barst en geïsoleerde pieken (vgl Procedure punten 3,5-3,6 en discussie).

Figuur 1: een neuronaal netwerk en een robot een bidirectionele gegevensuitwisseling Deze figuur toont drie representatieve wegen afgelegd door de robot over 20 minuten experiment.. In het bijzonder, licht groene gebieden zijn gratis voor de robot om in te trekken, terwijl donkergroen pixels vertegenwoordigen onoverbrugbare obstakels die de robot kan waarnemen door zijn afstand sensoren. In beide onderzoeken, begint de robot in de linker gedeelte van de arena en reist naar zijn uiteindelijke positie, afgebeeld als een grote roze stip. De kleinere zwarte stippen vertegenwoordigen treffers tegen een obstakel, terwijl de kleurgecodeerde pad geeft een indicatie van de tijd die de evolutie van de robot beweging. De kleurenbalk rechts tot expressie verstreken tijd vanaf het begin van het experiment in minuten. (A) pad gevolgd tijdens een gesloten experiment. (B) pad gevolgd tijdens een "lege" MEA experiment (geen cellen worden gekweekt op de MEA oppervlak). (C) Path gevolgd tijdens een open-loop-experiment (stimulatie constant is gedurende het experiment). Klik hier om een grotere versie van de afbeelding te bekijken.

Figuur 2: Prestatie resultaten worden beïnvloed door gesloten-loop en tetanische stimulatie. Deze grafiek meldt de verdelingen van de afstanden die door de robot tussen opeenvolgende hits in verschillende omstandigheden. Met name de eerste twee distributies controleproeven (voor lege voor opnamen zonder neuronen uitgeplaat op de MEA, "Open lus" (OL) voor experiment met een 'blinde' robot). De laatste twee kolommen geven de 'closed loop' voorwaarde zonder (CL) en met (CL + TS) het leren protocol geïmplementeerd via Tetanische Stimulation (TS), om de cultuur volgende treffers tegen een obstakel wordt geleverd. In elk vak, de centrale horizontale segment vertegenwoordigt de mediaan van de verdeling, de lege plein de gemiddelde waarde, de centrale balk strekt zich uit tot de eerste en derde kwartiel en de snorharen uitstrekken tot de 5 ^e en 95 ^e percentiel. Uitschieters zijn vertegenwoordigd als diamanten. Statistieken zijn uitgevoerd met behulp van de Kruskall-Wallis één weg variantie-analyseop gelederen: de Student-Newman-Keuls paarsgewijze vergelijking blijkt dat alle mediane waarden zijn significant verschillend bij p <0,05.

Figuur 3: Decoding beïnvloedt robotachtig performance De bovenstaande grafiek vertegenwoordigt de waarschijnlijkheid, voor een gegeven decodeeralgoritme van de robot met succes navigeren door een korte baan in een beperkte tijd.. Identificatie van barst en geïsoleerde pieken wordt uitgevoerd in real time tijdens het experiment zelf. In het eerste geval ("Spikes) beschrijft alle gedetecteerde pieken dezelfde relatieve gewicht van de tweede en derde verdelingen gewicht van 0 vastgesteld op respectievelijk geïsoleerde pieken en spikes behoren tot een uitbarsting. De laatste twee kolommen geven de verkregen wanneer alle spikes verantwoord resultaten, maar met een verschillende relatieve gewicht overeenkomstig hun plaats.Vooral in de vierde kolom geïsoleerde aren werden in hogere relatieve gewicht dan barsten gebeurtenissen, terwijl de weging omgekeerd gedurende het decoderen ten opzichte van de vijfde kolom gegevens. In elke grafiek, de centrale lijn de mediaan van de verdeling, de lege plein de gemiddelde waarde, terwijl de centrale balk strekt zich uit tot de eerste en derde kwartiel en de snorharen uitstrekken tot de 5 ^e en 95 ^e percentiel. Statistieken zijn uitgevoerd met behulp van de Kruskall-Wallis één weg variantie-analyse op gelederen. De paarsgewijze vergelijking (Student-Newman-Keuls methode) blijkt dat significante verschillen (p <0,05) kan worden waargenomen tussen de kolommen 1 en 4, 2 en 4, 2 en 5, 2 en 3.

Discussion

In dit document een neuro-robot architectuur gebaseerd op een neuraal controller (dwz een netwerk van neuronen uit de cortex en de hippocampus van embryonale ratten), bidirectioneel verbonden met een virtuele robot wordt gepresenteerd. De robot, welke sensoren en wielen heeft, wordt gedwongen te bewegen in een statische arena hindernissen en de taak bestaat uit het vermijden van botsingen.

De eerste en wellicht meest kritische aspect van de beschreven werkwijze is de bereiding van de kweken zelf als de uitval zal eerder groot zelfs in de beste van specificaties. Een gedetailleerde beschrijving van kweekmethoden is echter buiten het kader van de onderhavige werk. Als algemene regel dient de opnames plaatsvinden wanneer het netwerk vuursnelheid bereikt een stabiel niveau, meestal na 3 weken in vitro. Een ruwe indicatie van gezonde culturen is de aanwezigheid van spontane elektrofysiologische activiteit in verschillende opname Channels (minstens 20 kanalen dan 60 beschikbaar). Dergelijke kweken worden gekenmerkt door een hoge mate van neuronale interconnectiviteit. Onder dergelijke omstandigheden, meestal neurale activiteit wordt sterk gesynchroniseerd en, soms, het toont epileptiforme evenementen, met intense stekelige gevolgd door minuten durende stille periodes ^37. Beide kenmerken vormen een probleem: overmatig synchronisatie zal het onmogelijk maken om reacties op stimuli van verschillende elektroden te onderscheiden, terwijl culturen vertonen epileptische activiteit zal reageren op de eerste stimulus gepresenteerd met een lange uitbarsting van activiteit, gevolgd door een stille periode, ongeacht elke opeenvolgende stimuli geleverd. Beide problemen kunnen sterk worden verbeterd door de toepassing van patroon culturen ^35, waarbij de neurale populatie wordt gesplitst in twee of zwakker verbonden subgroepen.

Een ander probleem is dat de neurale reacties sterk afhankelijk van de verdeling van de binnenkomende stimuli ^38,39. In een gesloten experiment geleverde stimulatie is een functie van de sensorwaarden die op hun beurt, een gevolg van de robotbeweging en dus van de neurale respons zelf. Dit betekent dat er geen gemakkelijke manier is vooraf wat responsen tijdens de eigenlijke experiment worden waargenomen. Bijgevolg moet de selectie van input-output elektroden afhankelijk opeenvolgende benaderingen. In het beschreven protocol, twee stappen (namelijk stap 5.5 en 6.4) wordt uitgevoerd om te proberen om te bepalen verbinding kaart. In de eerste stap wordt een regelmatige opeenvolging van stimulaties geleverde reacties op dergelijke stimuli worden gehanteerd om een ​​eerste verbinding kaart en een tijdelijke reeks opneemkanalen. Deze configuratie wordt vervolgens gebruikt om de test drive in stap 6.4 beschreven, en selecteer de opname kanalen die tijdens het eigenlijke experiment gecontroleerd.

Bij de Resultaten, een vertegenwoordiger navigatie-result en de onmiddellijke verbeteringen tot stand gebracht door de invoering van een leerparadigma worden gepresenteerd. Het hele protocol beschrijving, zijn verschillende andere mogelijke experimentele varianten genoemd. Bijvoorbeeld, de twee belangrijkste codeersystemen in HyBrainWare2 uitgevoerd (lineaire en stochastische) wanneer ze op de precieze rol van temporele ingang variabiliteit van de neurale code ³⁸ onderzoeken. In het lineaire geval momentane stimulatiesnelheid is een functie van de gebruiker gedefinieerde parameters en robot sensoren opnames. In het stochastische geval telkens bijvoorbeeld een bepaalde waarschijnlijkheid worden gekozen om een ​​stimulus te leveren. Een dergelijke kans wordt automatisch berekend door HyBrainWare2 zodat de verwachte stimulatie tarieven overeenkomen met die van het eerste geval. De mogelijkheid om jitter aan lineaire codering zorgt voor een vloeiende overgang tussen de twee gevallen hierboven beschreven. Op dezelfde wijze ontdekken verschillende combinaties van parameters in het decodeerdeel kan helpen licht werpen op het precise rol van barsten in in vitro neurale netwerken. De snelheid van elk wiel van de robot evenredig toeneemt met de parameter gewicht telkens wanneer een gebeurtenis wordt gedetecteerd in het corresponderende uitgangsgebied, terwijl de extinctiecoëfficiënt aangegeven hoeveel tijd, in seconden, één van de bijdragen neemt tot 50% van zijn waarde verliest . Het verval is een simpel exponentieel. Deze varianten zijn reeds rekening gehouden in het huidige ontwerp van HyBrainWare2, maar veel meer onderzoek mogelijkheden open als aanvullende modificaties in de software of experimentele opstelling kan worden ingebracht.

Een nogal belangrijke beperking van de hier beschreven protocol is de eis van de ontwikkelde software op maat, HyBrainWare2 (op aanvraag beschikbaar gesteld voor alle geïnteresseerde gebruikers). Deze software is ontworpen voor een set van apparaten (stimulator, acquisitie boord, MEA versterker) van een specifiek model en de fabrikant. Het is weliswaar mogelijk om aan te passen om te werken aan different setups, zal de conversie enige programmering vaardigheid te nemen. Ook de meegeleverde opties dekken slechts een beperkte set van alle experimentele vragen die konden worden onderzocht door middel van een dergelijke setup. Zo wordt de piek algoritme in de gepresenteerde architectuur geïmplementeerd (precieze tijd spike detectie ⁴⁰⁾ volledig bepaald door verscheidene hard gecodeerde parameters die moeten worden veranderd als het onderwerp registratie erg verschillend van gedissocieerde neurale netwerken (bijvoorbeeld hartcellen of schijven). Tenslotte, het leren protocol bestaat uit het leveren van een korte, hoge frequentie (2 sec van 20 Hz stimulatie, elke stimulus puls is dezelfde als die sensorische informatie coderen) stimulatie na elke hindernis hit. Als de robot een obstakel stoot met zijn rechterzijde, is de tetanische stimulatie geleverd aan de elektrode die meestal codes voor rechterzijde informatie en hetzelfde geldt voor de linkerkant hits. Dit protocol is hard gecodeerd en kan niet be door de gebruiker gewijzigd zonder wijziging van het verlaten van de software.

Terwijl de setup hier gepresenteerde is niet de eerste embodied systeem voor hybride, closed-loop experimenten ^{20,23,27,41,42,} waren degenen ontworpen in het verleden gericht op een enkel proefschrift wordt ondersteund door gegevens uit een beperkt aantal analoge bereidingen . Anderzijds heeft de beschreven opstelling is gebruikt voor een groot aantal experimenten (meer dan 100 cultures geregistreerd sinds 2012) met verschillende preparaten voor modulariteit en herkomst, terwijl de experimenten zelf behandelden diverse aspecten (bijvoorbeeld het effect van tetanische stimulatie en relevantie van barsten, zoals aangegeven in de resultaten). In de nabije toekomst worden nieuwe experimentele sessies gepland voor de blijvende gevolgen van zowel tetanische en closed-loop stimulatie en de relatie tussen stimulatie regelmaat te verifiëren en waargenomen reacties. Een ander probleem dat moet worden aangepakt is de link tussen spontane en geobserveerde activiteit, methet idee van uitbreiding decodering algoritme dat rekening houdt met de geschiedenis van eerdere activiteit en stimulatie ^43.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Stimulus Generator 4002	Multi Channel Systems
MEA1060-Inv-BC	Multi Channel Systems
TC02	Multi Channel Systems
NI 6255 Acquisition Card	National Instruments
Microsoft Visual Studio 2008	Microsoft
2078P Multichannel System-National Instruments adapter board	Developed at University of Genova (Italy)
Matlab 2010	Mathworks
HyBrainWare2			HyBrainWare2: Contact Information