In this paper, an experimental framework to perform closed-loop experiments is presented, in which information processing (i.e., coding and decoding) and learning of neuronal assemblies are studied during the continuous interaction with a robotic body.
Information coding in the Central Nervous System (CNS) remains unexplored. There is mounting evidence that, even at a very low level, the representation of a given stimulus might be dependent on context and history. If this is actually the case, bi-directional interactions between the brain (or if need be a reduced model of it) and sensory-motor system can shed a light on how encoding and decoding of information is performed. Here an experimental system is introduced and described in which the activity of a neuronal element (i.e., a network of neurons extracted from embryonic mammalian hippocampi) is given context and used to control the movement of an artificial agent, while environmental information is fed back to the culture as a sequence of electrical stimuli. This architecture allows a quick selection of diverse encoding, decoding, and learning algorithms to test different hypotheses on the computational properties of neuronal networks.
Veel functies van de hersenfunctie zijn nog onmogelijk te repliceren in een kunstmatig systeem. De hersenen het vermogen om complexe sensorische informatie snel te verwerken en te genereren, in reactie, nauwkeurige motor commando's is op zich al verder dan de huidige state-of-the-art. Maar zijn vermogen aan te passen aan verschillende omstandigheden door te leren van ervaringen uit het verleden maakt het zo veel beter dan controlesystemen-menselijke ontwikkeld. Tot nu toe probeert te repliceren of te exploiteren deze plasticiteit hebben weinig succes ontmoet, en het begrip van de innerlijke werking van de hersenen is de greep van onderzoekers ontgaan. Een van de belangrijkste problemen tijdens het onderzoeken van de relatie tussen hersenen en gedrag is het onvermogen om alle variabelen in het systeem goed openen: idealiter zou een optimale experimentele opstelling gelijktijdige opname en stimulatie laat een groot aantal neuronen, stabiliteit op lange termijn , monitoring van synapsen posities en gewichten, en controleerbare bi-directional interactie met de omgeving. De moeilijkheid bij het volgen van alle variabelen tegelijkertijd geleid tot het onderzoek van de hersenen-gedrag relatie op twee verschillende schalen: hetzij gedragen dieren, zonder fijnregelen proefomstandigheden 1-7 of met kleine, afzonderlijke onderdelen, zoals porties neuronaal weefsel, zonder overzicht van het systeem 8. In het laatste geval, terwijl er geen ontwikkeld experimentele opstelling laat de volledige controle van alle bij de werking van zelfs een eenvoudige neuraal netwerk parameters, wordt een goede trade-off door gedissocieerde neuronen gegroeid Micro-Electrode Arrays (MEA) 9. Deze apparaten, geboren eind jaren 70 10, hebben verschillende voordelen boven traditionele elektrofysiologie technieken: ten eerste de mogelijkheid van opname en stimuleren van een neuraal netwerk op verschillende plaatsen tegelijk (meestal 60 elektroden). Bovendien is de koppeling van MEA met cellen vrijwel niet-invasieve, Zodat de controle van hetzelfde netwerk voor langere tijd, tot enkele maanden 11. De fysiologische effecten van elektrische stimulering op gedissocieerde kweken zijn uitgebreid bestudeerd door deze apparaten, onthullen dat veel objecten waargenomen bij hogere schalen (zoals, bijvoorbeeld, plasticiteit en simpele geheugenprocessen 12-14) zijn geconserveerd, ondanks het verlies van de architectuur. Tijdens de groei cultuur, die netwerken beginnen met spontane activiteit op ongeveer 7 dagen in vitro (DIV) 15,16. Netwerkactiviteit heeft de neiging om radicaal te veranderen met de verdere groei; eerst als enig spikes verzamelen in bursts (tegen het eind van de tweede week) 17, later als het overgaat in een zeer complex patroon van gesynchroniseerde niet-periodieke uitbarstingen netwerk 18, dat de volwassen toestand van een netwerk representeert. Er is gesuggereerd 19 dat deze synchroon gedrag, enigszins vergelijkbaar met die waargenomen bij in vivo opnemenring met slapende dieren wordt veroorzaakt door het ontbreken van sensorische input.
Een andere benadering geprobeerd een beter begrip van informatie codering is genomen door het uitvoeren closed-loop-experimenten, waarin verschillende signalen werden gebruikt voor het stimuleren van het neuronale netwerk zelf 11,20-23 versterkingsregeling. In deze experimenten werd een extern middel dat in staat interactie met de omgeving gebruikt om zintuiglijke informatie toegevoerd aan het neurale netwerk, dat op zijn beurt geproduceerd motor opdrachten voor een effector mechanisme genereren. Dit liet waarnemingen hoe en adaptieve eigenschappen van neurale systemen ontstaan als reactie op geïnduceerde veranderingen in de omgeving.
Een setup uit te voeren 'belichaamde neurofysiologie' experimenten werd ontwikkeld, waarbij een verrijdbaar sensor platform (een fysieke robot of haar virtuele model) gaat over in een arena en zijn snelheid profielen worden bepaald door de activiteit van een neuronalesysteem (dat wil zeggen, een bevolking van neuronen rat gekweekt over een MEA). De robot wordt gekenmerkt door de snelheidsprofielen van de twee onafhankelijk bestuurde wielen en de huidige waarden van de afstandssensoren. De precieze aard van de afstand sensoren is niet relevant; ze kunnen actieve of passieve optische sensoren of ultrasone sensoren zijn. Het is duidelijk dat dit probleem niet van toepassing bij virtuele robots, waarbij sensoren ontworpen zijn met elke gewenste eigenschap.
In de experimenten die hierin beschreven, de robot gebruikte altijd de virtuele uitvoering met 6 afstandssensoren wijzend op 30 °, 60 ° en 90 ° van de robot kop in beide richtingen. De activiteit van de drie linker en rechter sensoren gemiddeld en de activiteit van de biologische kweek wordt aangedreven door de door dergelijke "super-sensoren (die alleen zal worden aangeduid als" links "en sensoren direct in de rest verzameld van dit werk). De protocol beschreven kan zelfs worden toegepast op de fysieke robot met vrij kleine aanpassingen. De door de robot (fysiek of virtueel) verzamelde informatie wordt gecodeerd in een reeks van stimuli die worden gebruikt om de activiteit van het Neuraal netwerk, dat fysiek gescheiden is van de robot manipuleren. De stimuli zelf zijn allemaal identiek en dus geen informatie te coderen. Wat van belang is is hun frequentie: stimulatie toeneemt wanneer de robot benadert een obstakel, met verschillende leveringslocaties codering zintuiglijke informatie van de linker en rechter 'ogen' van de robot. Het neurale netwerk verschillende reacties presenteren aan de inkomende trein van stimulaties: de taak van de decodeeralgoritme is het resulterende netwerkactiviteit vertalen in commando's gebruikt om de wielen van de robot te besturen. Krijgt een 'perfect' netwerk gedrag (dwz, met betrouwbare en volledig gescheiden reacties op stimuli van verschillende elektroden), zou dit Result in de robot rijden in zijn arena zonder te raken obstakels. De meeste netwerken onderhavige gedrag heel anders ideality derhalve een eenvoudige leren protocol wordt geïntroduceerd: indien geactiveerd, tetanische stimulatie (korte perioden van hoogfrequente stimulatie, 20 Hz stimulatie 2 seconden, geïnspireerd door protocollen 24,25 beschreven) na een botsing met een obstakel wordt geleverd. Indien de tetanische stimulatie resulteert in een lokale versterking van netwerkconnectiviteit, zal dit resulteren in een geleidelijke verhoging van de navigatie mogelijkheden van de robot.
HyBrainWare2 een verbeterde versie van de aangepaste software gepubliceerd 26, is de kern architectuur ontwikkeld om de controle van de verschillende inrichtingen van het systeem (stimulator, data acquisitie, verwerking en visualisatie, robot communicatie of simulatie) behandelen. Deze software is ontwikkeld in ons lab en is vrij beschikbaar op aanvraag. Deze software biedt de interface metde data-acquisitie board: zodra de gebruiker data-acquisitie begint vanaf de GUI, de software regelt de overname van Commissarissen aan de bemonstering en de A / D-conversie van gegevens afkomstig van de registratie-elektroden starten. Deze gegevens kunnen vervolgens worden opgeslagen, weergegeven op het scherm of in real-time geanalyseerd om pieken op te sporen, op basis van de door de gebruiker ingestelde opties (zie Procedure sectie voor details). Verder binnen de software, de definitie van codering (vertaling van zintuiglijke informatie in een elektrische stimulatie) en decoderen (vertaling van de opgenomen activiteit in motorische commando's voor de robot) algoritmen moet worden opgegeven. Vooral onze opstelling is relatief gebruiksvriendelijk dan vergelijkbare systemen ontworpen in de afgelopen 27, omdat bijna alle variabelen zijn toegankelijk voor de gebruiker vlak voor het eigenlijke experiment, terwijl alle geregistreerde informatie automatisch wordt opgeslagen in een formaat dat compatibel met een neuraal data-analyse toolbox 28.
De volgende procedure beschrijft een gedeelte learning experiment gedissocieerde rat hippocampale kweken: alle kweken en experimentele parameters voor dit specifieke preparaat en moet worden aangepast als een ander biologisch substraat worden gebruikt. Ook de beschreven experiment maakt gebruik van de gesloten-lus architectuur het leereffect van tetanische stimulatie onderzoeken, maar de architectuur zelf is flexibel genoeg om te worden gebruikt in de studie van verschillende kenmerken van gedissocieerde neurale netwerken. Bekende varianten van de voorgestelde experiment worden nader toegelicht in het hoofdstuk discussie.
In dit document een neuro-robot architectuur gebaseerd op een neuraal controller (dwz een netwerk van neuronen uit de cortex en de hippocampus van embryonale ratten), bidirectioneel verbonden met een virtuele robot wordt gepresenteerd. De robot, welke sensoren en wielen heeft, wordt gedwongen te bewegen in een statische arena hindernissen en de taak bestaat uit het vermijden van botsingen.
De eerste en wellicht meest kritische aspect van de beschreven werkwijze is de bereiding van de kweken zelf als de uitval zal eerder groot zelfs in de beste van specificaties. Een gedetailleerde beschrijving van kweekmethoden is echter buiten het kader van de onderhavige werk. Als algemene regel dient de opnames plaatsvinden wanneer het netwerk vuursnelheid bereikt een stabiel niveau, meestal na 3 weken in vitro. Een ruwe indicatie van gezonde culturen is de aanwezigheid van spontane elektrofysiologische activiteit in verschillende opname Channels (minstens 20 kanalen dan 60 beschikbaar). Dergelijke kweken worden gekenmerkt door een hoge mate van neuronale interconnectiviteit. Onder dergelijke omstandigheden, meestal neurale activiteit wordt sterk gesynchroniseerd en, soms, het toont epileptiforme evenementen, met intense stekelige gevolgd door minuten durende stille periodes 37. Beide kenmerken vormen een probleem: overmatig synchronisatie zal het onmogelijk maken om reacties op stimuli van verschillende elektroden te onderscheiden, terwijl culturen vertonen epileptische activiteit zal reageren op de eerste stimulus gepresenteerd met een lange uitbarsting van activiteit, gevolgd door een stille periode, ongeacht elke opeenvolgende stimuli geleverd. Beide problemen kunnen sterk worden verbeterd door de toepassing van patroon culturen 35, waarbij de neurale populatie wordt gesplitst in twee of zwakker verbonden subgroepen.
Een ander probleem is dat de neurale reacties sterk afhankelijk van de verdeling van de binnenkomende stimuli 38,39. In een gesloten experiment geleverde stimulatie is een functie van de sensorwaarden die op hun beurt, een gevolg van de robotbeweging en dus van de neurale respons zelf. Dit betekent dat er geen gemakkelijke manier is vooraf wat responsen tijdens de eigenlijke experiment worden waargenomen. Bijgevolg moet de selectie van input-output elektroden afhankelijk opeenvolgende benaderingen. In het beschreven protocol, twee stappen (namelijk stap 5.5 en 6.4) wordt uitgevoerd om te proberen om te bepalen verbinding kaart. In de eerste stap wordt een regelmatige opeenvolging van stimulaties geleverde reacties op dergelijke stimuli worden gehanteerd om een eerste verbinding kaart en een tijdelijke reeks opneemkanalen. Deze configuratie wordt vervolgens gebruikt om de test drive in stap 6.4 beschreven, en selecteer de opname kanalen die tijdens het eigenlijke experiment gecontroleerd.
Bij de Resultaten, een vertegenwoordiger navigatie-result en de onmiddellijke verbeteringen tot stand gebracht door de invoering van een leerparadigma worden gepresenteerd. Het hele protocol beschrijving, zijn verschillende andere mogelijke experimentele varianten genoemd. Bijvoorbeeld, de twee belangrijkste codeersystemen in HyBrainWare2 uitgevoerd (lineaire en stochastische) wanneer ze op de precieze rol van temporele ingang variabiliteit van de neurale code 38 onderzoeken. In het lineaire geval momentane stimulatiesnelheid is een functie van de gebruiker gedefinieerde parameters en robot sensoren opnames. In het stochastische geval telkens bijvoorbeeld een bepaalde waarschijnlijkheid worden gekozen om een stimulus te leveren. Een dergelijke kans wordt automatisch berekend door HyBrainWare2 zodat de verwachte stimulatie tarieven overeenkomen met die van het eerste geval. De mogelijkheid om jitter aan lineaire codering zorgt voor een vloeiende overgang tussen de twee gevallen hierboven beschreven. Op dezelfde wijze ontdekken verschillende combinaties van parameters in het decodeerdeel kan helpen licht werpen op het precise rol van barsten in in vitro neurale netwerken. De snelheid van elk wiel van de robot evenredig toeneemt met de parameter gewicht telkens wanneer een gebeurtenis wordt gedetecteerd in het corresponderende uitgangsgebied, terwijl de extinctiecoëfficiënt aangegeven hoeveel tijd, in seconden, één van de bijdragen neemt tot 50% van zijn waarde verliest . Het verval is een simpel exponentieel. Deze varianten zijn reeds rekening gehouden in het huidige ontwerp van HyBrainWare2, maar veel meer onderzoek mogelijkheden open als aanvullende modificaties in de software of experimentele opstelling kan worden ingebracht.
Een nogal belangrijke beperking van de hier beschreven protocol is de eis van de ontwikkelde software op maat, HyBrainWare2 (op aanvraag beschikbaar gesteld voor alle geïnteresseerde gebruikers). Deze software is ontworpen voor een set van apparaten (stimulator, acquisitie boord, MEA versterker) van een specifiek model en de fabrikant. Het is weliswaar mogelijk om aan te passen om te werken aan different setups, zal de conversie enige programmering vaardigheid te nemen. Ook de meegeleverde opties dekken slechts een beperkte set van alle experimentele vragen die konden worden onderzocht door middel van een dergelijke setup. Zo wordt de piek algoritme in de gepresenteerde architectuur geïmplementeerd (precieze tijd spike detectie 40) volledig bepaald door verscheidene hard gecodeerde parameters die moeten worden veranderd als het onderwerp registratie erg verschillend van gedissocieerde neurale netwerken (bijvoorbeeld hartcellen of schijven). Tenslotte, het leren protocol bestaat uit het leveren van een korte, hoge frequentie (2 sec van 20 Hz stimulatie, elke stimulus puls is dezelfde als die sensorische informatie coderen) stimulatie na elke hindernis hit. Als de robot een obstakel stoot met zijn rechterzijde, is de tetanische stimulatie geleverd aan de elektrode die meestal codes voor rechterzijde informatie en hetzelfde geldt voor de linkerkant hits. Dit protocol is hard gecodeerd en kan niet be door de gebruiker gewijzigd zonder wijziging van het verlaten van de software.
Terwijl de setup hier gepresenteerde is niet de eerste embodied systeem voor hybride, closed-loop experimenten 20,23,27,41,42, waren degenen ontworpen in het verleden gericht op een enkel proefschrift wordt ondersteund door gegevens uit een beperkt aantal analoge bereidingen . Anderzijds heeft de beschreven opstelling is gebruikt voor een groot aantal experimenten (meer dan 100 cultures geregistreerd sinds 2012) met verschillende preparaten voor modulariteit en herkomst, terwijl de experimenten zelf behandelden diverse aspecten (bijvoorbeeld het effect van tetanische stimulatie en relevantie van barsten, zoals aangegeven in de resultaten). In de nabije toekomst worden nieuwe experimentele sessies gepland voor de blijvende gevolgen van zowel tetanische en closed-loop stimulatie en de relatie tussen stimulatie regelmaat te verifiëren en waargenomen reacties. Een ander probleem dat moet worden aangepakt is de link tussen spontane en geobserveerde activiteit, methet idee van uitbreiding decodering algoritme dat rekening houdt met de geschiedenis van eerdere activiteit en stimulatie 43.
The authors have nothing to disclose.
De auteurs willen dankzij Ph.D. student Marta Bisio voor het kweken en onderhouden van neuronale netwerken op micro-elektrode arrays en Dr. Marina Nanni en Dr. Claudia Chiabrera van NBT-IIT voor de technische bijstand voor de dissectie en dissociatie procedures. Het onderzoek leidde tot deze resultaten heeft de financiering van het zevende kaderprogramma van de Europese Unie ontvangen (ICT-FET FP7 / 2007-2013, FET Young Explorers regeling) onder subsidieovereenkomst n ° 284.772 BRAIN BOW ( www.brainbowproject.eu ). De auteurs willen ook Silvia Chiappalone bedanken voor haar hulp bij het produceren van de graphics gebruikt in de inleiding.
Name of Reagent/Material | Company |
Stimulus Generator 4002 | Multi Channel Systems |
MEA1060-Inv-BC | Multi Channel Systems |
TC02 | Multi Channel Systems |
NI 6255 Acquisition Card | National Instruments |
Microsoft Visual Studio 2008 | Microsoft |
2078P Multichannel System-National Instruments adapter board | Developed at University of Genova (Italy) |
Matlab 2010 | Mathworks |