In this paper, an experimental framework to perform closed-loop experiments is presented, in which information processing (i.e., coding and decoding) and learning of neuronal assemblies are studied during the continuous interaction with a robotic body.
Information coding in the Central Nervous System (CNS) remains unexplored. There is mounting evidence that, even at a very low level, the representation of a given stimulus might be dependent on context and history. If this is actually the case, bi-directional interactions between the brain (or if need be a reduced model of it) and sensory-motor system can shed a light on how encoding and decoding of information is performed. Here an experimental system is introduced and described in which the activity of a neuronal element (i.e., a network of neurons extracted from embryonic mammalian hippocampi) is given context and used to control the movement of an artificial agent, while environmental information is fed back to the culture as a sequence of electrical stimuli. This architecture allows a quick selection of diverse encoding, decoding, and learning algorithms to test different hypotheses on the computational properties of neuronal networks.
Mange funktioner i hjernens funktion er i øjeblikket umuligt at kopiere i en kunstig system. Hjernens evne til hurtigt at behandle komplekse sensorisk information og skabe, som svar, præcise motoriske kommandoer er i sig selv allerede ud over den nuværende state-of-the-art. Men dens evne til at tilpasse sig forskellige betingelser ved at lære af tidligere erfaringer gør det så langt overlegen i forhold til human udviklede kontrolsystemer. Hidtil har forsøg på at replikere eller udnytte denne plasticitet har mødt ringe succes, og forståelsen af de indre funktioner i hjernen har unddraget den forståelse af forskere. Et af de vigtigste problemer, mens undersøgelsen af forholdet mellem hjerne og adfærd er den manglende evne til korrekt adgang til alle de variabler i systemet: ideelt set ville et optimalt forsøgsopstilling tillade samtidig optagelse og stimulering til et stort antal neuroner, langsigtet stabilitet , overvågning af synapser positioner og vægte og kontrollerbar bi-directional interaktion med omgivelserne. Vanskeligheden i at spore alle disse variabler samtidigt ført til undersøgelse af hjernen-adfærd forholdet på to forskellige skalaer: enten opfører dyr uden fin kontrol over eksperimentelle betingelser 1-7 eller med små, isolerede dele, såsom dele af neuronal væv, med ingen samlet overblik over systemets 8. I sidstnævnte tilfælde, mens der ikke udtænkt forsøgsopstilling giver fri kontrol med alle de involverede i arbejdet i selv en simpel neuralt netværk parametre, er en god studehandel fra dissocierede neuroner vokset Micro-elektrode Arrays (MEA) 9. Disse enheder, der er født i slutningen af 70'erne 10, har flere fordele frem for traditionelle elektrofysiologi teknikker: for det første muligheden for optagelse og stimulere et neuralt netværk i mange forskellige steder på én gang (normalt 60 elektroder). Desuden koblingen af multilaterale miljøaftaler med celler er næsten ikke-invasiv, Så observation af det samme netværk i længere tid, op til flere måneder 11. De fysiologiske virkninger af elektrisk stimulering på dissocierede kulturer er blevet grundigt undersøgt på grund af de anordninger, der afslører, at mange egenskaber observeret ved højere vægte (såsom for eksempel, plasticitet og simpelt memory processer 12-14) er konserveret på trods af tabet af arkitekturen. Under væksten kultur, disse net begynde at vise spontan aktivitet på ca. 7 dage in vitro (DIV) 15,16. Netværk aktivitet tendens til at ændre sig radikalt med yderligere vækst; først som enkelte spidser samles i bursts (slutningen af den anden uge) 17, senere som det skifter til et yderst komplekst mønster af synkroniseret, ikke-periodisk netværk bursts 18, som repræsenterer den modne tilstand af et netværk. Det er blevet foreslået 19, at denne synkrone adfærd, noget der ligner den, der observeres i in vivo rekordheder på sover dyr, skyldes manglen på sanseindtryk.
En anden tilgang forsøgt at få en bedre forståelse af information kodning er taget ved at udføre lukkede kredsløb eksperimenter, hvor forskellige typer signaler blev brugt til at styre stimulation af den neuronale netværk selve 11,20-23. I disse forsøg har en ydre middel er i stand til interaktion med miljøet er blevet anvendt til at generere sensorisk information tilføres til det neurale netværk, som til gengæld, produceret motordrevne kommandoer til en effektormekanisme. Dette gav observationer af, hvordan dynamiske og adaptive egenskaber neurale systemer udviklet som reaktion på inducerede ændringer i miljøet.
En opsætning til at udføre "legemliggjort neurofysiologi eksperimenter blev udviklet, hvor et hjul sensor platform (en fysisk robot eller dens virtuelle model) bevæger sig omkring i en arena og dens profiler hastighed bestemmes af aktiviteten af en neuronalsystemet (dvs. en befolkning på rotte neuroner dyrket over en MEA). Robotten er kendetegnet ved hastighedsprofiler sine to uafhængigt styrede hjul og af de nuværende aflæsninger af sensorerne distance. Den nøjagtige karakter af afstandssensorerne er ikke relevant; de kan være aktive eller passive optiske sensorer eller ultralydssensorer. Det er klart, er dette spørgsmål ikke anvendelse i tilfælde af virtuelle robotter, hvor sensorer kan udformes med enhver ønsket funktion.
I de heri beskrevne forsøg, robotten anvendes altid den virtuelle gennemførelse med 6 afstandssensorer peger på 30 °, 60 ° og 90 ° fra robotten position i begge retninger. Aktiviteten af de tre venstre og højre sensorer gennemsnit og aktiviteten af det biologiske kultur er drevet af oplysninger indsamlet af sådanne »super-sensorer" (som vil bare blive benævnt 'left' og 'rigtige' sensorer i resten af dette arbejde). Protocol beskrevet faktisk kan anvendes til den fysiske robot med forholdsvis mindre justeringer. Den information, der indsamles af robotten (enten fysisk eller virtuel) kodes i en række stimuli, der anvendes til at manipulere aktiviteten af biologiske neurale netværk, der er fysisk adskilt af robotten. De stimuli selv er alle identiske og dermed ikke kode nogen oplysninger. Det afgørende er deres hyppighed: stimulation stiger, når robotten nærmer sig en forhindring, med forskellige leveringstider sites kodning sensorisk information fra venstre og højre øjne "af robotten. Det neurale netværk vil præsentere forskellige svar på indkommende tog af stimulationer: opgave dekodningsalgoritmen er at omsætte den resulterende netværksaktivitet i kommandoer anvendes til at styre hjulene på robotten. Givet en 'perfekt' netværk adfærd (dvs. med pålidelig og helt adskilt reaktioner på stimuli fra forskellige elektroder), ville dette Result i robotten køre i sin arena uden at ramme nogen forhindringer. De fleste netværk til stede en adfærd er meget forskellige fra idealitet, derfor en simpel læring protokol indført: når den aktiveres, tetanisk stimulation (korte perioder med højfrekvente stimulation, 20 Hz stimulation i 2 sekunder, inspireret af protokoller, der er beskrevet i 24,25) efter en kollision med en forhindring er leveret. Hvis tetaniske stimulering resulterer i en lokal styrkelse af netværksforbindelse, vil dette resultere i en gradvis stigning i de navigationsmæssige kapaciteter af robotten.
HyBrainWare2, en forbedret version af den brugerdefinerede software udgives i 26 er kernen arkitektur udviklet til at håndtere kontrollen af de forskellige enheder i systemet (stimulator, dataopsamling, bearbejdning og visualisering, robot kommunikation eller simulering). Denne software er udviklet på vores laboratorium og er frit tilgængelig på anmodning. Denne software giver grænsefladen meddatafangstsystemet bord: Når brugeren starter dataopsamling fra GUI, styrer softwaren købet bord for at starte prøveudtagning og A / D-konvertering af data fra optagelsen elektroder. Disse data kan derefter optages, vises for at screene eller analyseres i realtid til påvisning af pigge, i henhold til de muligheder, der er fastsat af brugeren (se afsnittet Procedure for detaljer). Endvidere i softwaren, definitionen af kodning (oversættelse af sensorisk information til et elektrisk stimulation) og afkodning (oversættelse af registreret aktivitet i motoriske kommandoer til robotten) algoritmer skal angives. Især vores setup er forholdsvis brugervenlig sammenlignet med lignende systemer beregnet i fortiden 27, da næsten alle variabler kan tilgås af brugeren lige før du starter den egentlige eksperiment, mens alle de registrerede oplysninger automatisk gemmes i et format kompatibelt med et neuralt dataanalyse værktøjskasse 28.
Følgende procedure afsnit beskriver en lærerig eksperiment på dissocieret rotte hippocampus kulturer: alle dyrkningen og eksperimentelle parametre til dette særlige forberedelse og skal måske ændres, hvis en anden biologisk substrat skal bruges. Tilsvarende beskrevne eksperiment drager fordel af lukket sløjfe arkitektur at undersøge læring virkning tetanisk stimulation, men arkitekturen er fleksibel nok til at blive anvendt i studiet af forskellige funktioner på dissocierede neurale netværk. Større varianter af den foreslåede forsøg forklares yderligere i Discussion afsnit.
I dette papir en neuro-robotic arkitektur baseret på et neuralt controller (dvs. et netværk af neuroner fra cortex eller hippocampus af embryonale rotter), tovejs forbundet til en virtuel robot, er præsenteret. Robotten, der har sensorer og hjul, er tvunget til at bevæge sig i en statisk arena med forhindringer og dets opgave består i at undgå kollisioner.
Den første og måske mest kritiske aspekt af den beskrevne procedure er forberedelsen af kulturer selv, da den fejlrate vil have tendens til at være væsentlig, selv i de bedste af de tekniske forhold. En detaljeret beskrivelse af dyrkningsteknikker er imidlertid uden for omfanget af den foreliggende arbejde. Som en generel retningslinje bør optagelser forekomme når netværket skudhastighed når et stabilt niveau, normalt efter 3 uger in vitro. En grov indikation af sunde kulturer er tilstedeværelsen af spontan elektrofysiologisk aktivitet i flere optagelse kanaliEls (mindst 20 kanaler over 60 tilgængelig). Sådanne kulturer er kendetegnet ved en høj grad af neuronal sammenkobling. Under sådanne betingelser, som regel neurale aktivitet bliver stærkt synkroniseret og til tider, viser den epilepsilignende begivenheder, med intens spiking efterfulgt af minutter lange stille perioder 37. Begge disse funktioner udgør et problem: overdreven synkronisering vil gøre det umuligt at skelne reaktioner på stimuli fra forskellige elektroder, mens kulturer udviser epileptiforme aktivitet vil reagere på det første stimulus præsenteret for en lang udbrud af aktivitet, efterfulgt af en tavs periode, uanset enhver successive stimuli leveret. Begge disse spørgsmål kan kraftigt forbedres ved ansættelse af mønstrede kulturer 35, hvor det neurale befolkning er opdelt i to eller flere svagt forbundne undergrupper.
Et andet problem er, at neurale reaktioner stærkt afhænge af fordelingen af indgående stimuli 38,39. I en lukket sløjfe eksperiment leveret stimulation er en funktion af føleraflæsninger, hvilket igen er en konsekvens af robotten bevægelse og derfor af de neurale reaktioner selv. Dette indebærer, at der ikke er nogen nem måde at etablere forhånd, hvad svarene vil blive observeret under selve forsøget. Som følge heraf skal valget af input-output-elektroder stole på hinanden følgende tilnærmelser. I den beskrevne protokol, en to-trins proces (dvs. trin 5.5 og 6.4) er implementeret til at forsøge at bestemme en forbindelse kort. I det første trin, leveres en regelmæssig sekvens af stimulationer og reaktioner på sådanne stimuli anvendes til at udlede et første forbindelse kort og en midlertidig sæt optagelse kanaler. Denne konfiguration bruges derefter til at udføre testen drev beskrevet i trin 6.4, og vælg optagelsen kanaler, vil blive overvåget i løbet af selve eksperimentet.
I afsnittet Resultater, en repræsentativ navigation resULT og de umiddelbare forbedringer som følge af indførelsen af en lærende paradigme præsenteres. I hele protokollen beskrivelse er flere andre mulige eksperimentelle varianter nævnt. For eksempel at de to store kodning systemer implementeret i HyBrainWare2 (lineære og stokastiske), hvor der er udviklet undersøge den nøjagtige rolle af tidsmæssige variation indgang på neurale kode 38. I den lineære tilfælde, øjeblikkelige stimulation er en funktion af brugerdefinerede parametre og robot sensorer optagelser. I den stokastiske tilfælde, hver gang eksempel har en given sandsynlighed for at blive valgt til at levere en stimulus. En sådan sandsynlighed automatisk beregnet af HyBrainWare2 så de forventede stimulering satser matche den tidligere sag. Muligheden for at tilføje jitter til lineær kodning giver en jævn overgang mellem de to sager, der er beskrevet ovenfor. På samme måde kan udforske forskellige kombinationer af parametre i afkodning sektion hjælpe kaste lys over PreciSE rolle bursting in vitro neurale netværk. Hastigheden af hvert hjul af robotten stiger proportionalt med vægten parameter, hver gang en hændelse detekteres i tilsvarende output området, mens ekstinktionskoefficienten angiver, hvor meget tid, i sekunder, et af bidragene tager at tabe 50% af sin værdi . Den henfald er en simpel eksponentiel. Der er allerede taget de varianter i betragtning i den nuværende udformning af HyBrainWare2, men mange flere forsknings muligheder åbne, hvis der kan indføres yderligere ændringer i softwaren eller forsøgsopstillingen.
En temmelig betydelig begrænsning af protokollen beskrevet her er kravet af den udviklede tilpassede software, HyBrainWare2 (frit tilgængelig på anmodning til alle interesserede brugere). Denne software er designet til en række komponenter (stimulator, erhvervelse bord, MEA forstærker) af en bestemt model og producent. Selv om det faktisk er muligt at tilpasse det til at virke på different opsætninger, vil konverteringen tage nogen programmering færdigheder. Tilsvarende de inkluderede muligheder dækker kun et begrænset sæt af alle de eksperimentelle spørgsmål, kunne undersøges gennem en sådan opsætning. For eksempel er spike detektionsalgoritmen implementeret i præsenteret arkitektur (præcise tidspunkt spike detektion 40) helt defineret af flere fastkodede parametre, som skal ændres, hvis genstand for registrering er meget forskellig fra dissocierede neurale netværk (f.eks hjerteceller eller skiver). Endelig indlæring protokol består af levering af en kort, høj frekvens (2 sek 20 Hz stimulering, hver stimulus impuls er den samme som dem, der anvendes til at kode sensorisk information) stimulation efter hver hindring hit. Hvis robotten rammer en forhindring med sin højre side, er det tetanisk stimulation leveret til elektroden, der normalt koder for højre side information og det samme gælder for venstre side hits. Denne protokol er hard-kodet og kan ikke be ændres af brugeren uden at ændre spændende software.
Mens opsætningen præsenteres her er ikke den første kropslige system til hybrid, lukkede kredsløb eksperimenter 20,23,27,41,42, var dem designet i fortiden fokuseret på en enkelt afhandling understøttes af data fra et begrænset antal analoge præparater . På den anden side har den beskrevne opsætning blevet anvendt til et stort antal forsøg (mere end 100 kulturer er blevet registreret siden 2012) med præparater afviger for modulopbygning og oprindelse, mens selve forsøgene forskellige spørgsmål (f.eks virkningen af tetanisk stimulation og relevans for sprængning, som præsenteres i resultaterne). I den nærmeste fremtid, er nye eksperimentelle sessioner planlagt til at kontrollere de varige virkninger af både tetanisk og lukkede kredsløb stimulation og forholdet mellem stimulation regelmæssighed og observerede reaktioner. Et andet spørgsmål, der skal behandles, er forbindelsen mellem spontan og observerede aktivitet, medtanken om at tilføje en ny dekodning algoritme, der tager hensyn til historien om tidligere aktiviteter og stimulering 43.
The authors have nothing to disclose.
Forfatterne ønsker at takke Ph.D. studerende Marta Bisio til dyrkning og vedligeholdelse af neuronale netværk end Micro-elektrode arrays og Dr. Marina Nanni og Dr. Claudia Chiabrera fra NBT-IIT for teknisk bistand til dissektion og dissociation procedurer. Den forskning, der fører til disse resultater, er udført med støtte fra Den Europæiske Unions syvende rammeprogram (ICT-FET FP7 / 2007-2013 FET Young Explorers ordning) under tilskudsaftale n ° 284772 BRAIN BOW ( www.brainbowproject.eu ). Forfatterne vil også gerne takke Silvia Chiappalone for hendes hjælp i produktion af grafik, der anvendes i indledningen.
Name of Reagent/Material | Company |
Stimulus Generator 4002 | Multi Channel Systems |
MEA1060-Inv-BC | Multi Channel Systems |
TC02 | Multi Channel Systems |
NI 6255 Acquisition Card | National Instruments |
Microsoft Visual Studio 2008 | Microsoft |
2078P Multichannel System-National Instruments adapter board | Developed at University of Genova (Italy) |
Matlab 2010 | Mathworks |