Closed-loop Neuro-robot Experimenten om Test computationele eigenschappen van neuronale netwerken

Het algemene doel van het volgende experiment is om de bidirectionele interactie tussen een biologisch netwerk van gedissocieerde neuronen en een kleine robot te onderzoeken. De continue dialoog kan de computationele eigenschappen van het neuronale systeem wijzigen, waardoor een vorm van leren wordt geïnduceerd. Dit wordt bereikt door een neuronale cultuur voor te bereiden op een micro-elektrode-array om een experimentele sessie van enkele uren mogelijk te maken zonder de celactiviteit in gevaar te brengen.

Als tweede stap wordt een responscalmap van de cultuur berekend, wat de selectie van stimulerende elektroden voor het feitelijke closed-loop experiment mogelijk maakt. Vervolgens worden coderings- en decoderingsparameters gedefinieerd om de uitwisseling van informatie tussen biologische en elektronische systemen mogelijk te maken. De resultaten tonen een significante toename in de navigatiecapaciteiten van de robotische agent, gebaseerd op de vergelijking van de gemiddelde afgelegde afstand tussen botsingen onder verschillende controlecondities.

Deze methode kan ons helpen bij het beantwoorden van belangrijke vragen binnen ons vakgebied van de engineering, zoals: kunnen we tot een woordenboek komen om de taal van neuronen te vertalen naar de taal van machines en vice versa? Over het algemeen zullen personen die nieuw zijn met deze methode moeite hebben vanwege de technologische complexiteit van de experimentele opstelling en de softwarearchitectuur. De procedure zal worden gedemonstreerd door Martha Bizo, PhD-student in mijn laboratorium.

De eerste stap is het voorbereiden van een micro-elektrode-array of MEA-chip met 60 elektroden die gebruikt kunnen worden voor het stimuleren of registreren van het neurale netwerk. Na het uitplaten van neuronale culturen op de MEA-chips wordt ongeveer drie weken gewacht tot het neurale netwerk is gerijpt. Voorafgaand aan het experiment wordt het MEA-verwarmingssysteem vijf tot 10 minuten voorverwarmd door de temperatuurregelaar op 37 °C in te stellen en de verwarmingsplaat onder de MEA zelf in te schakelen.

Gebruik daarnaast een verwarmde afdekking om verdamping te beperken; gebruik hiervoor autoclaaf-gesteriliseerde gasdoorlatende doppen om de culturen af te dekken, zodat verdamping wordt beperkt en veranderingen in de osmolariteit tijdens de opname worden voorkomen. Laat nu car bear over de cultuur circuleren om zowel stabiele zuurstof- als pH-waarden te handhaven. Laat de cultuur 30 minuten rusten. Registreer na de rustperiode gedurende 30 minuten de spontane activiteit van de neuronale cellen.

Sla de gegevens vervolgens op in een bestand door op de opnameknop in het spikes-vak van het gegevensregistratieformulier te klikken. Identificeer in het formulier voor de weergave van ruwe gegevens de 10 kanalen met het hoogste aantal spikes. Selecteer deze kanalen vervolgens in een van de MEA-lay-outs.

Het coderingsformulier wordt hier getoond door met de muisaanwijzer over de gewenste gebieden te slepen. Zodra de kanalen zijn geselecteerd, klikt u met de rechtermuisknop ergens op de MEA-layout en selecteert u 'add to left sensory area' in het pop-upmenu. Deze elektroden zullen in een volgende stap worden gebruikt om elektrische stimulatie toe te dienen.

Verifieer vervolgens of de stimulator en de MEA-versterker correct zijn aangesloten. Alle configuraties vereisen twee draden per gewenste stimulatiekanaal, terwijl een extra coaxkabel nodig is voor het synchronisatiesignaal. Schakel de stimulator in zodra u klaar bent.

De volgende stap is het definiëren van de stimulusparameters in het formulier van de verbindingskaart. Alle stimulaties die aan de cultuur worden toegediend, gebeuren via fasische vierkante spanningsgolven. Stel de halve duur in op 300 microseconds en stel de amplitude in op 1.5 peak tope voltage.

Start de registratie van de respons op de stimulatie door op de startknop te drukken. In de verbindingskaart wordt automatisch een reeks van 30 stimuli bij 0,2 hertz toegediend vanuit een van de eerder geselecteerde stimulatie-elektroden. Terwijl deze elektrode fungeert als stimulatie-elektrode, worden de responsen geregistreerd via de resterende 59 elektroden op de MEA-chip.

Vervolgens worden, met een interval van vijf seconden tussen de series, de series van 30 stimuli om de beurt herhaald op elk van de overige negen geïdentificeerde stimulatie-elektroden, terwijl er opnamen worden gemaakt van de resterende 59 elektroden. Daarna wordt per stimulerend kanaal een connectiviteitskaart opgesteld met behulp van spy code, een applicatie die berekeningen uitvoert op neurale data. Verwijder uit de connectiviteitskaarten alle stimulerende elektroden die geen respons opriepen uit verdere analyses.

Selecteer vervolgens uit de overgebleven elektroden het paar met de minste overlap in responsen, zoals beschreven in het tekstprotocol. Kies een van deze elektroden om sensorische informatie van de linkerkant van de robot te coderen en de andere voor de metingen van de rechterkant. Om dit te doen, sleept u de muiscursor over één elektrode, klikt u met de rechtermuisknop op de MEA-indeling en selecteert u 'add to left sensory area'. Sleep vervolgens de cursor over de andere elektrode.

Klik met de rechtermuisknop en selecteer 'voeg toe aan rechter sensorisch gebied'. Selecteer vervolgens in het codeerformulier het coderingsschema door het coderingstype in te stellen op lineair. Definieer daarna de minimale en maximale stimulatiesnelheden door het standaardbereik van 0,5 tot 2 Hz te gebruiken en stel de jitterparameter in op nul.

Stel vervolgens in het decoderingsformulier de parameters van het decoderingsalgoritme in. Zet de parameters voor de snelheidsverandering en de tijdconstante van het verval op één voor een matig actieve cultuur met ongeveer één spike per seconde per kanaal. Stel daarna de burst-parameters van het decoderingsalgoritme in het decoderingsformulier in op nul.

De vervaltijd is irrelevant als de snelheidsverandering nul is. Selecteer in het formulier van de experimentmanager de gegevens die moeten worden geregistreerd door de selectievakjes voor het opslaan van spikegegevens, robotgegevens en stimulusgegevens aan te vinken. Start nu een robotrun voorafgaand aan het leerproces door op de knop start experiment in het formulier van de experimentmanager te klikken.

Select wanneer daarom gevraagd wordt nieuwe bestandsnamen voor de gegevensbestanden. Laat het experiment 30 minuten lopen. Klik vervolgens op de knop om het experiment te stoppen om de run van de robot te beëindigen.

Schakel vervolgens het leerprotocol in door 'deliver to 10 stimulation after' te markeren. Vink dit aan in het formulier van de experimentmanager. Klik daarna opnieuw op de knop 'start experiment' om de trainingsrun van de robot opnieuw gedurende 30 minuten uit te voeren.

Tijdens deze leerfase verandert de stimulatie van de robot van onregelmatig naar Titanic-stimulatie. Wanneer de robot een obstakel raakt, wordt de Titanic-stimulatie gebruikt om het neurale netwerk te trainen. Schakel na het opslaan van de gegevens het leerprotocol opnieuw uit door het vinkje bij 'lever Titanic-stimulatie' te verwijderen.

Vink het vakje aan en klik vervolgens op 'start experiment' om een robotrun van 30 minuten na het leren uit te voeren. Vergeet niet, zoals eerder vermeld, de bestandsnamen te wijzigen om overschrijving te voorkomen. Naast de eerder getoonde virtuele robot kan dezezelfde set trainingsruns worden gebruikt met een neuraal netwerk en een fysieke robot.

Hier wordt het pad getoond dat een virtuele robot volgde tijdens een 20 minuten durend experiment met een lege MEA. Voor dit controle-experiment waren er geen cellen op de MEA geplaatst. De lichtgroene gebieden zijn vrij voor de robot om in te bewegen, en de donkergroene cirkels stellen onpasseerbare obstakels voor die de robot kan waarnemen via zijn afstandssensoren.

In elke trial begint de robot in het linkerbovengedeelte van de arena en verplaatst deze zich naar de eindpositie, weergegeven als een grote roze stip. De kleinere zwarte stippen representeren botsingen met een obstakel. De kleurgecodeerde paden geven de verstreken tijd aan.

In dit experiment zonder neuraal netwerk werd de robot gestopt door het eerste obstakel dat het tegenkwam. Hier wordt het pad van een virtuele robot getoond tijdens een open-loop-experiment waarin de robot in feite blind is. In plaats van sensorische informatie te coderen, zijn de stimulatietreinen die aan het neurale netwerk worden toegediend simpelweg reguliere sequenties.

Hier wordt het pad getoond dat een virtuele robot volgde tijdens een gesloten-lusexperiment van 20 minuten, waarbij het neurale netwerk somatische feedback ontving nadat de robot een obstakel raakte. Merk op dat deze robot, in tegenstelling tot het open-lusexperiment, succesvol om vele obstakels navigeerde. Dit geeft aan dat een bidirectionele interactie tussen de neuronale en kunstmatige elementen noodzakelijk is om goede navigatieprestaties van de robot te verkrijgen.

Deze grafiek toont de navigatieprestaties van de robot, uitgedrukt als het aantal afgelegde pixels tussen opeenvolgende botsingen. De eerste twee kolommen tonen de distributie van de afgelegde afstanden van twee controle-experimenten: de lege MEA en de open-loop configuraties. De derde en vierde kolommen tonen de prestaties zonder en met de toediening van Titanic-stimulatie.

Na elke botsing met een obstakel verbetert de introductie van de Titanic-stimulatie aanzienlijk. De afgelegde afstand tussen twee opeenvolgende botsingen neemt toe, waardoor de navigatieprestaties van de robot verbeteren. Deze grafiek geeft de waarschijnlijkheid weer dat de robot met een bepaald decodeeralgoritme binnen een beperkte tijd succesvol door een kort parcours navigeert.

De decoderingsparadigma's verschillen van elkaar vanwege de relatieve gewichten van bursts en geïsoleerde spikes. Na de ontwikkeling heeft deze techniek de weg vrijgemaakt voor URG's op het gebied van neurorobotica en neuroprosthetics om te onderzoeken hoe hersenen en machines kunnen worden verbonden om de prestaties van moderne neurale interfaces te verbeteren. Na het bekijken van deze video zou u een goed begrip moeten hebben van hoe u een hybride experiment plant en uitvoert om de computationele eigenschappen van een belichaamd biologisch neuraal netwerk te onderzoeken.