In this paper, an experimental framework to perform closed-loop experiments is presented, in which information processing (i.e., coding and decoding) and learning of neuronal assemblies are studied during the continuous interaction with a robotic body.
Information coding in the Central Nervous System (CNS) remains unexplored. There is mounting evidence that, even at a very low level, the representation of a given stimulus might be dependent on context and history. If this is actually the case, bi-directional interactions between the brain (or if need be a reduced model of it) and sensory-motor system can shed a light on how encoding and decoding of information is performed. Here an experimental system is introduced and described in which the activity of a neuronal element (i.e., a network of neurons extracted from embryonic mammalian hippocampi) is given context and used to control the movement of an artificial agent, while environmental information is fed back to the culture as a sequence of electrical stimuli. This architecture allows a quick selection of diverse encoding, decoding, and learning algorithms to test different hypotheses on the computational properties of neuronal networks.
Mange av funksjonene i hjernens funksjon er for tiden umulig å gjenskape i et kunstig system. Hjernens evne til raskt å behandle komplekse sensorisk informasjon og til å generere, som svar, er presise motoriske kommandoer av seg selv allerede utover dagens state-of-the-art. Men dens evne til å tilpasse seg ulike forhold ved å lære av tidligere erfaringer gjør det så enormt mye bedre menneske utviklet kontrollsystemer. Så langt, forsøker å gjenskape eller utnytte dette plastisitet har møtt liten suksess, og forståelsen av den interne driften av hjernen har unngikk forståelse av forskere. Ett av de viktigste spørsmålene mens han etterforsker forholdet mellom hjerne og atferd er manglende evne til å skikkelig få tilgang til alle variablene i systemet: ideelt sett ville en optimal eksperimentelt oppsett tillate samtidig opptak og stimulering til et stort antall nerveceller, langsiktig stabilitet , overvåking av synapser stillinger og vekter, og kontrollerbar bi-directional samspill med miljøet. Vanskeligheten i å spore alle disse variablene samtidig førte til studiet av hjerne-atferd forhold ved to svært forskjellige skalaer: enten med oppfører dyr, uten god kontroll over forsøksbetingelsene 1-7 eller med små, isolerte deler, for eksempel deler av nervevev, med ingen samlet oversikt over systemet 8. I sistnevnte tilfelle, mens ingen utviklet eksperimentelle oppsettet lar den komplette overvåking av alle parametrene som er involvert i arbeidet i enda en enkel nevrale nettverk, er en god avveining levert av dissosiert nevroner vokst i løpet Micro-elektrode Arrays (måle) 9. Disse enhetene, født på slutten av 70-tallet 10, har flere fordeler i forhold til tradisjonelle elektrofysiologiske teknikker: for det første, muligheten for opptak og stimulere et nettverk på mange forskjellige steder på en gang (vanligvis 60 elektroder). Videre er nesten ikke-invasiv koblingen av MEAs med cellene, Tillater observasjon av det samme nettverket for lange perioder, opp til flere måneder 11. De fysiologiske virkninger av elektrisk stimulering for dissosierte kulturer er blitt grundig studert, takket være disse anordninger, avslører at mange egenskaper sett ved høyere vekter (slik som, for eksempel, plastisitet og enkel minne prosesser 12-14) er konservert til tross for tap av arkitektur. Under kultur vekst, disse nettverkene begynne å vise spontan aktivitet på ca 7 dager in vitro (DIV) 15,16. Nettverksaktivitet tendens til å endre seg radikalt med ytterligere vekst; først som enkle pigger samles i blokker (mot slutten av den andre uken) 17, som senere går over til et meget komplekst mønster av synkronisert, ikke-nettverks periodisk bryter 18, som representerer moden tilstand av et nettverk. Det har blitt foreslått 19 at dette synkron oppførsel, noe som ligner den som ble observert i in vivo registreringninger om sovende dyr, er forårsaket av mangel på sanseinntrykk.
En annen tilnærming har forsøkt å få en bedre forståelse av informasjon som koder er blitt tatt ved å utføre lukket-sløyfe eksperimenter, der forskjellige typer av signaler ble brukt til å styre stimulering av neuronal nettverket selv 11,20-23. I disse eksperimentene, har en ytre middel i stand til interaksjon med omgivelsene blitt brukt til å generere sensorisk informasjon tilføres til det neurale nettverk, som i sin tur fremmotorkommandoer for en effektor mekanisme. Dette tillot observasjoner av hvordan dynamiske og tilpasningsdyktige egenskaper av nervesystemer utviklet som svar på induserte endringer i miljøet.
Et oppsett for å utføre 'nedfelt nevrofysiologi' eksperimenter ble utviklet, der et hjul sensorplattform (en fysisk robot eller sin virtuelle modell) beveger seg rundt på en arena og dens hastighetsprofiler bestemmes av aktiviteten til en neuronalsystem (dvs. en befolkning på rotte nevroner dyrket over en MEA). Roboten er kjennetegnet ved de hastighetsprofilene for de to uavhengig styrte hjul, og ved den aktuelle avlesninger av avstandsfølere. Det nøyaktige innholdet i avstandssensorer ikke er relevant; de kan være aktive eller passive optiske sensorer eller ultralydsensorer. Åpenbart har dette problemet ikke gjelder i tilfelle av virtuelle roboter, hvor sensorer kan være utformet med hvilken som helst ønsket egenskap.
I forsøkene som her er beskrevet, er roboten brukes alltid den virtuelle gjennomføring, med seks avstandssensorer som peker på 30 °, 60 ° og 90 ° fra robotens posisjon i begge retninger. Aktiviteten av de tre venstre og høyre sensorene blir midlet og aktiviteten av den biologiske kultur er drevet av informasjonen som samles inn ved hjelp av slike "Super-sensorenes (som bare vil bli referert til som" venstre "og" høyre "sensorer i resten av dette arbeidet). Protocol beskrevet kan faktisk anvendes på den fysiske robot med relativt små justeringer. Den informasjon som samles av robot (enten fysisk eller virtuelt) kodes i en rekke stimuli som brukes til å manipulere aktivitet av biologisk neuralt nettverk, som er fysisk adskilt av roboten. Stimuli selv er alle identiske og dermed ikke kode noe informasjon. Hva er relevant er deres frekvens: stimulering renteøkninger når roboten nærmer en hindring, med forskjellige leveringssteder koding sensorisk informasjon fra venstre og høyre øyne "av roboten. Det nevrale nettverket vil presentere forskjellige responser til den innkommende tog av stimuleringer: oppgaven med dekodealgoritmen er å omsette det resulterende nettverket aktivitet inn kommandoer som brukes for å styre hjulene på roboten. Gitt en "perfekt" nettverk atferd (dvs. med pålitelig og helt atskilt svar på stimuli fra ulike elektroder), ville dette Result i roboten kjører i sin arena uten å treffe noen hindring. De fleste nettverk stede en atferd svært forskjellige fra ideality, derfor en enkel læring protokollen er innført: når aktivert, tetanic stimulering (korte perioder med høy frekvens stimulering, 20 Hz stimulering i 2 sek, inspirert av protokoller som er beskrevet i 24,25) etter en kollisjon med en hindring er levert. Hvis tetanic stimulering resulterer i en lokal styrking av nettverkstilkobling, vil dette resultere i en progressiv økning i navigasjons egenskapene til roboten.
HyBrainWare2, en forbedret versjon av tilpasset programvare utgitt i 26, er kjernearkitektur som er utviklet for å håndtere kontroll av de ulike enhetene i systemet (stimulator, datainnsamling, prosessering og visualisering, robot kommunikasjon eller simulering). Denne programvaren er utviklet ved vår lab og er fritt tilgjengelig på forespørsel. Denne programvaren inneholder grensesnittet meddatainnsamling bord: en gang brukeren starter datainnsamling fra GUI, styrer programvare oppkjøpet styret å starte prøvetaking og A / D-konvertering av data som kommer fra opptaks elektroder. Denne informasjonen kan deretter bli registrert, vises til skjerm eller analyseres i sanntid for å oppdage pigger, i henhold til de alternativene som er definert av brukeren (se Prosedyre seksjon for detaljer). Videre i programvaren, definisjonen av koding (oversettelse av sensorisk informasjon til en elektrisk stimulering) og dekoding (oversettelse av registrert aktivitet i motoriske kommandoer for roboten) algoritmer må spesifiseres. Spesielt er vårt oppsett relativt brukervennlig sammenlignet med lignende systemer designet i det siste 27, siden nesten alle variabler kan nås av brukeren rett før du starter selve eksperimentet, mens all den registrerte informasjonen blir automatisk lagret i et format som er kompatibelt med en neural dataanalyse verktøykasse 28.
Følgende prosedyre delen beskriver en lærings eksperiment på dissosiert rotte hippocampus kulturer: all dyrking og eksperimentelle parametre er gitt for denne spesielle forberedelser og kanskje må endres hvis en annen biologisk substrat skal brukes. Likeledes tar den beskrevne eksperiment fordel av lukket-sløyfe-arkitektur for å undersøke effekten av læring tetanic stimulering, men arkitekturen i seg selv er fleksibel nok til å bli brukt i studiet av ulike funksjoner i dissosiert nevrale nettverk. Hovedvarianter av foreslått forsøk er nærmere forklart i diskusjonen delen.
I denne artikkelen en nevro-robotarkitektur basert på et nevralt kontrolleren (dvs. et nettverk av nerveceller som kommer fra cortex eller hippocampus av embryoniske rotter), begge veier koblet til en virtuell robot, er presentert. Roboten, som har sensorer og hjul, er tvunget til å bevege seg i en statisk arena med hindringer og dens oppgave består av å unngå kollisjoner.
Den første og muligens mest kritiske aspekt ved den beskrevne fremgangsmåten er fremstillingen av kulturene seg selv, da den feilraten vil ha en tendens til å være betydelig, selv i de beste tekniske forhold. En detaljert beskrivelse av dyrking teknikker er imidlertid utenfor omfanget av den foreliggende arbeid. Som en generell rettesnor, skal opptak oppstå når nettverket skuddtakt når et stabilt nivå, vanligvis etter 3 uker in vitro. En grov indikasjon på sunne kulturer er tilstedeværelsen av spontan elektrofysiologisk aktivitet i flere opptak flaels (minst 20 kanaler over 60 tilgjengelig). Slike kulturer er preget av en høy grad av nevronale inter-tilkobling. Under slike forhold, nevrale aktiviteten vanligvis blir sterkt synkronisert og, til tider, viser den epileptiske hendelser, med intens spiking fulgt av minutter lange stille perioder 37. Begge disse funksjonene presentere et problem: dreven synkronisering vil gjøre det umulig å skille respons på stimuli fra forskjellige elektroder, mens kulturer som oppviser epileptiform aktivitet vil reagere på den første stimulus presentert med et langt utbrudd av aktivitet, etterfulgt av en stille periode, uansett noen påfølgende stimuli levert. Begge disse problemene kan være sterkt bedres ved ansettelse av mønstrede kulturer 35, der det nevrale befolkningen er delt i to eller flere svakt sammenknyttede undergrupper.
En annen sak er at nevrale responser sterkt avhengig av fordelingen av innkommende Stimuljeg 38,39. I et lukket eksperimentet, er det leverte stimulering en funksjon av sensoravlesninger, som i sin tur er en konsekvens av robotens bevegelse og dermed av de nevrale responser selv. Dette innebærer at det ikke er noen lett måte å etablere forhånd hva responser vil bli observert under selve forsøket. Som et resultat, må valget av kryssløps elektroder er avhengige av suksessive approksimasjoner. I den beskrevne protokoll, en to-trinns prosess (nemlig trinn 5.5 og 6.4) er implementert for å prøve å finne en sammenheng kart. I det første trinn blir en fast rekkefølge av stimuler levert og svar på slike stimuli blir brukt til å utlede en første forbindelse kart og et midlertidig sett med opptakskanaler. Denne konfigurasjonen blir så brukt til å utføre prøvekjøring beskrevet i trinn 6.4 og velge opptakskanaler som vil bli overvåket under selve forsøket.
I delen resultater, en representant navigasjons result og de umiddelbare forbedringer forårsaket av innføringen av en lærings paradigme blir presentert. Gjennom hele beskrivelsen protokollen, er flere andre mulige varianter eksperimentelle nevnt. For eksempel til de to store koding systemer implementert i HyBrainWare2 (lineære og stokastiske) hvor utviklet undersøke eksakte rolle timelig innspill variasjon på det nevrale kode 38. I den lineære tilfellet er momentant stimulering hastighet en funksjon av brukerdefinerte parametere og robot sensorer innspillinger. I den stokastiske tilfellet har hver gang eksempelvis en gitt sannsynlighet for å bli valgt for å levere et stimulus. Slik sannsynlighet blir automatisk beregnet av HyBrainWare2 slik at de forventede stimulerings prisene matche den tidligere saken. Muligheten for å legge til jitter lineær koding gir en jevn overgang mellom de to tilfeller som er beskrevet ovenfor. På samme måte kan utforske ulike kombinasjoner av parametere i dekoding seksjon hjelpe belyse PreciSE rolle sprengning i in vitro nevrale nettverk. Hastigheten på hvert hjul av roboten øker proporsjonalt med vekten parameter hver gang en hendelse er detektert i det tilsvarende utgangsområdet, mens ekstinksjonskoeffisienten indikerer hvor mye tid, i sekunder, en av de bidrag som trengs for å miste 50% av sin verdi . Forfallet er en enkel eksponentiell. Disse variantene har allerede blitt tatt hensyn til i den nåværende utformingen av HyBrainWare2, men mange flere forskningsmuligheter er åpne om kan innføres ytterligere endringer i programvaren eller eksperimentelle oppsettet.
En ganske betydelig begrensning av protokollen her beskrevet er kravet til den utviklet tilpasset programvare, HyBrainWare2 (fritt tilgjengelig ved forespørsel til alle interesserte brukere). Denne programvaren er utviklet for et sett av enheter (stimulator, anskaffelse brett, MEA forsterker) av en bestemt modell og produsent. Mens det er faktisk mulig å tilpasse det til å fungere på different oppsett, vil konverteringen ta litt programmering dyktighet. Tilsvarende de inkluderte alternativene dekker kun et begrenset sett av alle de eksperimentelle spørsmål som kan bli undersøkt gjennom et slikt oppsett. For eksempel er pigg algoritme implementert i den presenterte arkitektur (presis tid pigg deteksjon 40) fullstendig definert av flere hardkodet parametere som må endres hvis motivet for registrering er svært forskjellig fra dissosiert nevrale nettverk (f.eks hjerteceller eller skiver). Endelig består lærings protokollen for levering av en kort, høy frekvens (2 sek på 20 Hz stimulering, er hver stimulus puls det samme som de som brukes til å kode sensorisk informasjon) stimulering etter hvert hinder hit. Hvis roboten treffer et hinder med sin høyre side, er det tetanic stimulering levert til elektroden som vanligvis koder for høyre side informasjon og det samme gjelder for venstre side treff. Denne protokollen er hardkodet og kan ikke be endres av brukeren uten å endre spennende programvare.
Mens oppsettet presenteres her er ikke den første nedfelt system for hybrid, lukket-sløyfe eksperimenter 20,23,27,41,42, ble de utformet i det siste fokusert på en enkelt avhandling støttes av data fra et begrenset antall analoge forberedelser . På den annen side har den beskrevne oppsettet vært brukt i et stort antall forsøk (mer enn 100 kulturer har vært registrert siden 2012) med forberedelsene ulik for modularitet og opprinnelse, mens forsøkene selv adressert ulike problemstillinger (f.eks virkningen av tetanic stimulering og relevans for sprengning, som presenteres i resultatene). I nær fremtid, er nye eksperimentelle økter forutsett å verifisere de varige effekter av både tetanic og lukket stimulering og forholdet mellom stimulering regularitet og observerte responser. En annen sak som skal behandles er linken mellom spontane og observerte aktiviteten, medideen om å legge en ny dekoding algoritme som tar hensyn til historien om tidligere aktivitet og stimulering 43.
The authors have nothing to disclose.
Forfatterne ønsker å takk Ph.D. student Marta Bisio for dyrking og vedlikehold av nevrale nettverk enn Micro-elektrode Arrays og Dr. Marina Nanni og Dr. Claudia Chiabrera fra NBT-IIT for teknisk assistanse for disseksjon og dissosiasjon prosedyrer. Forskningen fører til disse resultatene har mottatt støtte fra EUs syvende rammeprogram (IKT-FET FP7 / 2007-2013, FET Young Explorers ordning) under tilskuddsavtalen n ° 284772 BRAIN BOW ( www.brainbowproject.eu ). Forfatterne vil også gjerne takke Silvia Chiappalone for hennes hjelp i å produsere grafikk som brukes i innledningen.
Name of Reagent/Material | Company |
Stimulus Generator 4002 | Multi Channel Systems |
MEA1060-Inv-BC | Multi Channel Systems |
TC02 | Multi Channel Systems |
NI 6255 Acquisition Card | National Instruments |
Microsoft Visual Studio 2008 | Microsoft |
2078P Multichannel System-National Instruments adapter board | Developed at University of Genova (Italy) |
Matlab 2010 | Mathworks |