Closed-loop Neuro-Roboter-Experimente zur Computational Eigenschaften Neuronale Netze Testen

Summary

In diesem Artikel wird ein experimenteller Rahmen zur Durchführung von Closed-Loop-Experimenten vorgestellt, in dem die Informationsverarbeitung (d.h. Codierung und Dekodierung) und das Lernen neuronaler Anordnungen während der kontinuierlichen Interaktion mit einem Roboterkörper untersucht werden.

Abstract

Die Informationskodierung im Zentralnervensystem (ZNS) ist noch unerforscht. Es gibt immer mehr Hinweise darauf, dass die Repräsentation eines bestimmten Stimulus selbst auf einem sehr niedrigen Niveau vom Kontext und der Geschichte abhängen kann. Wenn dies tatsächlich der Fall ist, können bidirektionale Interaktionen zwischen dem Gehirn (oder gegebenenfalls einem reduzierten Modell davon) und dem sensomotorischen System Aufschluss darüber geben, wie die Kodierung und Dekodierung von Informationen durchgeführt wird. Hier wird ein experimentelles System vorgestellt und beschrieben, in dem die Aktivität eines neuronalen Elements (d.h. eines Netzwerks von Neuronen, das aus embryonalen Säugetier-Hippocampi extrahiert wurde) in einen Kontext gesetzt und zur Steuerung der Bewegung eines künstlichen Agenten verwendet wird, während Umweltinformationen als Sequenz von elektrischen Reizen an die Kultur zurückgespielt werden. Diese Architektur ermöglicht eine schnelle Auswahl verschiedener Kodierungs-, Dekodierungs- und Lernalgorithmen, um verschiedene Hypothesen zu den Recheneigenschaften neuronaler Netze zu testen.

Introduction

Viele Funktionen der Hirnfunktion sind derzeit nicht möglich, ein künstliches System replizieren. Die Fähigkeit des Gehirns, um schnell zu verarbeiten komplexe sensorische Informationen und zur Erzeugung, in der Antwort, ist präzise motorische Befehle an sich bereits über die aktuelle state-of-the-art. Aber seine Fähigkeit, unterschiedlichen Bedingungen durch das Lernen aus den Erfahrungen der Vergangenheit anzupassen, macht es so weit überlegen menschliche entwickelten Steuerungssysteme. Bisher versucht zu replizieren oder nutzen diese Plastizität haben wenig Erfolg, und das Verständnis für das Innenleben des Gehirns hat das Verständnis der Forscher entgangen. Eines der Hauptprobleme bei der Untersuchung der Beziehung zwischen Gehirn und Verhalten ist die Unfähigkeit, richtig greifen alle Variablen im System: im Idealfall eine optimale Versuchsaufbau würde gleichzeitige Aufnahme und Stimulation zu einer großen Anzahl von Nervenzellen ermöglichen, langfristige Stabilität , Überwachung von Synapsen Positionen und Gewichte, und kontrollierbar bi-directional Wechselwirkung mit der Umgebung. Die Schwierigkeit bei der gleichzeitigen Verfolgung all diese Variablen führte zur Untersuchung von Gehirn-Verhalten Beziehung zu zwei sehr unterschiedlichen Skalen: entweder mit lebenden Tier, ohne eine genaue Kontrolle über Versuchsbedingungen ^1-7 oder mit kleinen, isolierten Teile, wie Teile der neuronales Gewebe, ohne Gesamtansicht des Systems ^8. Im letzteren Fall, wenn kein entwickelt Versuchsaufbau ermöglicht die komplette Überwachung aller in der Arbeitsweise auch ein einfaches neuronales Netz beteiligten Parameter, ein guter Kompromiss wird von dissoziierten Neuronen über Micro-Elektroden Arrays (MEAs) ⁹ gewachsen ist. Diese Geräte am Ende der 70-er ¹⁰ geboren haben mehrere Vorteile gegenüber herkömmlichen Elektrotechniken: erstens die Möglichkeit der Aufzeichnung und Stimulieren einer neuralen Netzwerk an vielen verschiedenen Stellen auf einmal (gewöhnlich 60 Elektroden). Außerdem ist die Kopplung von MEAs mit Zellen fast nicht invasiveUnd ermöglicht die Beobachtung des gleichen Netzes für längere Zeiträume bis zu mehreren Monaten ^11. Die physiologischen Wirkungen der elektrischen Stimulation auf dissoziierte Kulturen wurden ausgiebig dank dieser Vorrichtungen untersucht und zeigt, daß viele Eigenschaften bei höheren Skalen beobachtet (wie beispielsweise Plastizität und einfache Speicher verarbeitet ^12-14) sind trotz des Verlustes von Architektur erhalten. Während der Kulturwachstum, beginnen diese Netzwerke, die Spontanaktivität bei etwa 7 Tage in vitro (DIV) ^15,16. Netzwerkaktivität eher radikal mit weiterem Wachstum zu ändern; zunächst als Einzelspitzen sammeln nicht in Bursts (gegen Ende der zweiten Woche) ^17, der später als sie sich ändert in ein hoch komplexes Muster synchronisiert ist, nicht-periodische Netzwerk Bursts ^18, die das reife Zustand eines Netzwerks darstellt. Es wurde vorgeschlagen, ^19, dass diese Synchron-Verhalten, ähnlich dem in in vivo Aufzeichnung beobachtetIngs auf schlafenden Tiere wird durch den Mangel an Sinnes verursacht.

Ein anderer Ansatz versucht, ein besseres Verständnis des Informationscodierung wird durch Ausführen einer Closed-Loop-Experimente, in denen verschiedene Arten von Signalen verwendet, um die Stimulation der neuronalen Netzwerk selbst ^11,20-23 Steuerung übernommen gewinnen. In diesen Experimenten wurde ein externes Mittel, das zur Wechselwirkung mit der Umgebung verwendet worden ist, um sensorische Information an das neuronale Netz, die wiederum hergestellten Kraftbefehlen für einen auslösenden Mechanismus gespeist erzeugen. Dies ermöglichte Beobachtungen, wie dynamische und adaptive Eigenschaften neuronaler Systeme als Antwort auf induzierte Veränderungen in der Umwelt entwickelt.

Ein Setup ausführen "verkörpert Neurophysiologie Experimente entwickelt, wo eine Sensorplattform mit Rädern (eine physische Roboter oder virtuellen Modell) bewegt sich in einer Arena und ihre Geschwindigkeitsprofile werden durch die Aktivität eines neuronalen bestimmtSystem (dh, eine Bevölkerung von Rattenneuronen über eine MEA kultiviert). Der Roboter wird durch die Geschwindigkeitsprofile der zwei unabhängig gesteuerte Räder und durch die Strommesswerte der Abstandssensoren sind. Die genaue Art der Abstandssensoren ist nicht relevant; sie können aktive oder passive optische Sensoren oder Ultraschallsensoren sein. Es ist klar, tritt dieses Problem nicht im Fall der virtuelle Roboter, in dem Sensoren können mit einer beliebigen Funktion ausgelegt werden gelten.

In den Experimenten, die hier beschrieben wird, ist der Roboter verwendet immer die virtuelle Umsetzung mit 6 Abstandssensoren, der auf 30 °, 60 ° und 90 ° von der Roboter Position in beiden Richtungen. Die Aktivität der drei linken und rechten Sensoren gemittelt wird und die Aktivität der biologischen Kultur wird durch die von solchen "Super-Sensoren (die nur als" links "und" rechts "Sensoren im Rest bezeichnet wird gesammelten Informationen angetrieben dieser Arbeit). Die Protocol beschrieben tatsächlich in die physische Roboter mit relativ geringfügigen Anpassungen verwendet werden. Die von dem Roboter (entweder physisch oder virtuell) gesammelten Informationen werden in einer Reihe von Stimuli, die verwendet werden, um die Aktivität des biologischen neuronalen Netzwerk, die physikalisch von dem Roboter getrennten manipulieren kodiert. Die Reize selbst sind alle identisch und somit keine Informationen zu codieren. Entscheidend ist ihre Häufigkeit: Stimulationsfrequenz erhöht sich, wenn der Roboter auf ein Hindernis nähert, mit unterschiedlichen Liefer Websites Codierung sensorischer Information aus dem linken und rechten "Augen" des Roboters. Das neuronale Netz wird unterschiedliche Antworten auf den ankommenden Zug von Reizen präsentiert: Die Aufgabe des Decodierungsalgorithmus, um die resultierende Netzwerkaktivität in Befehle verwendet, um die Räder des Roboters steuern, umzusetzen. Bei einer "perfekten" Netzwerkverhalten (dh mit einer zuverlässigen und völlig getrennt von Reaktionen auf verschiedene Reize Elektroden), würde dies Result in der Roboterfahr in seiner Arena, ohne auf jedes Hindernis. Die meisten Netzwerke vorhanden ein Verhalten sehr verschieden von Idealität, also eine einfache Lern Protokoll wird eingeführt: wenn aktiviert, tetanische Stimulation (kurze Phasen der Hochfrequenzstimulation, 20 Hz-Stimulation für 2 Sekunden, inspiriert von in ^24,25 beschriebenen Protokolle) im Anschluss an eine Kollision mit einem Hindernis wird ausgeliefert. Wenn die tetanische Stimulation führt zu einer lokalen Verstärkung der Netzwerkverbindung, führt dies zu einer Progression der Navigationsfähigkeiten des Roboters führen.

HyBrainWare2, eine verbesserte Version der kundenspezifische Software in ²⁶ veröffentlicht wurde, ist die Core-Architektur entwickelt, um die Steuerung der verschiedenen Geräte des Systems (Stimulator, Datenerfassung, Verarbeitung und Visualisierung, Kommunikation oder Robotersimulation) zu behandeln. Diese Software wurde in unserem Labor entwickelt und ist auf Anfrage frei verfügbar. Diese Software stellt die Schnittstelle mitdie Datenerfassungskarte: sobald der Benutzer beginnt die Datenerfassung von der GUI steuert die Software die Erfassungskarte, die Probenahme und A / D-Wandlung der Daten, die von den Aufzeichnungselektroden starten. Diese Daten können dann aufgezeichnet, angezeigt Bild oder in Echtzeit analysiert, um Spannungsspitzen zu erkennen, entsprechend den vom Benutzer eingestellten Optionen (siehe Vorgehensweise Abschnitt). Weiterhin in der Software, die Definition Codierung (Übersetzung von sensorischer Information in ein elektrisches Stimulations) und Decodieren (Übersetzen von Aktivität in Kraftbefehle für den Roboter) Algorithmen angegeben werden. Insbesondere ist unser Setup relativ benutzerfreundlich im Vergleich zu ähnlichen Systemen in der Vergangenheit ²⁷ ausgebildet ist, da fast alle Variablen können vom Anwender aufgerufen werden kurz vor Beginn der eigentlichen Experiment, während alle aufgezeichneten Informationen werden automatisch in einem Format mit kompatiblen gespeichert ein neuronales Datenanalyse-Toolbox ^28.

Der folgende Abschnitt beschreibt ein Verfahren Lernversuch dissoziierten Ratten-Hippocampus-Kulturen: alle die Kultivierung und Versuchsparameter sind für dieses bestimmte Zubereitung zur Verfügung gestellt und kann geändert werden müssen, wenn eine andere biologische Substrat verwendet werden soll. In ähnlicher Weise erfolgt die beschriebene Experiment Vorteil der closed-loop-Architektur, um den Lerneffekt tetanische Stimulation untersucht, aber die Architektur selbst ist flexibel genug, um bei der Untersuchung der verschiedenen Funktionen von dissoziierten neuronalen Netzwerken verwendet werden. Hauptvarianten des vorgeschlagenen Experiments sind weiter in der Diskussion Abschnitt erklärt.

Protocol

1. Vorbereitung der neuronalen Kultur über einen MEA

1. Platte neuronalen Kulturen auf MEA-Chips, wie beschrieben ^29. Die Beschreibung eines ähnlichen Verfahrens ist ebenfalls vorhanden ⁹ und im Diskussionsabschnitt.
2. Drehen Sie den MEA-Heizung Anlage auf 5-10 Minuten vor Beginn der Aufnahme, um die thermische Belastung durch die Zellen, zu minimieren: Solltemperatur Ziel der Temperaturregler auf 37 ° C und schalten Sie die Heizplatte unter dem MEA selbst (in den meisten kommerziellen bereitgestellt MEA-Systeme) und, falls vorhanden, eine beheizte Abdeckung, um die Verdunstung signifikant reduzieren.
3. Sterilisieren gaspermeable Kappen vor jedem Gebrauch in einem Autoklaven mit feuchter Hitze (30 min, 130 ° C). Um Verdunstung zu vermeiden und Veränderungen in der Osmolarität zu verhindern, während der Aufnahme der Kulturen mit Kappen abgedeckt halten.
4. Legen Sie die neuronale Kultur im Verstärker 30 min vor dem eigentlichen Beginn der Aufzeichnung.
   HINWEIS: Einfach das Bewegen der Kulturen vom incubator zum Verstärker wird erheblich stören spontane Aktivität für etwa eine halbe Stunde. Während dieser Zeit wird Kulturmedium Temperatur zu stabilisieren.
5. Wenn ein carbair Schaltung verfügbar ist, starten Zirkulation carbair (eine Mischung aus 5% CO ₂ und 95% O ₂ + N ₂₎ für Experimente länger als ein paar Stunden: Kulturen wird es um die beiden Sauerstoff- und pH-Werte zu erhalten benötigen stabil.

2. Auswahl der Aufnahmeparameter für MEA Acquisition

1. Wählen Sie die Software-Filterbandbreite, um Spitzen zu erkennen (dh Mehrgeräteaktivität - MUA) ^30: in der RawDataDisplay Form kennzeichnen die "300 Hz-3 kHz" Kontrollkästchen.
2. Starten Sie die Erfassung von Daten: Drücken Sie die Schaltfläche "Start" in der RawDataDisplay Form.
3. Set Threshold Verstärkung für Spike-Erkennung in der RawDataDisplay bis 7.
   HINWEIS: Je nach der gewünschten Spezifität / Selektivität Kompromiss und auf der angenommenen erkennenIonen-Algorithmus kann diese Schwelle zwischen 6 und 10 Mal die berechnete Standardabweichung festgelegt werden.
4. Stellen Sie Threshold Speicher bis 2 sec und drücken Sie die "Lock" -Taste, wenn keine Spikeaktivität auf dem Display sichtbar ist (beide Befehle im RawDataDisplay Form). Markieren Sie den "Schätzen von SD Median" Rauschstandardabweichung vom Mittelwert der Absolutwert des beobachteten Signals ^31,32 zu berechnen, wenn es schwierig ist, selbst kurze Zeitfenster ohne spiking Aktivität liefern. Entfernen Sie das Häkchen aus dieser Möglichkeit nach dem Drücken der "Lock" -Taste, da der zugrunde liegende Algorithmus ist sehr rechenintensiv und kann dazu führen, den PC zurückbleiben.
5. Schalten Sie Spike Erkennungsroutine ("Spike-Erkennung" Checkbox in der RawDataDisplay Form). Wenn Spike-Erkennung wird bereits ausgeführt (dh, das Kontrollkästchen bereits markiert ist), zu verwerfen Spitzen bis zu diesem Zeitpunkt festgestellt, indem Sie auf die "Reset" -Taste in der Datenaufzeichnung Form.

3. Auswahl der MEA-Elektroden, um die neuronale Kultur und Antwortkarte Computation Stimulieren

1. Nehmen Sie spontane Aktivität der Nervenzellen über die MEA 30 min kultiviert: Speichern von Daten, indem Sie die "Record" Schaltfläche Datei, in das Feld der Datenaufzeichnung als "Spikes", nachdem die gewünschte Menge an Zeit (30 Minuten vergangen sind, in diesem fall).
2. Identifizieren Sie die 10 aktivsten Kanäle (dh 10 Kanäle mit der höchsten Spitze Zahl), dann wählen Sie die Kanäle in einer der MEA-Layouts (entweder in der Kodierung, Dekodierung oder Anschluss Karte Formen), indem Sie den Mauszeiger über die gewünschten Bereiche. Wenn die Kanäle ausgewählt werden, der rechten Maustaste irgendwo auf den MEA-Layout und wählen Sie "In den sensorischen Bereich verlassen 'im Popup-Menü: diese Elektroden verwendet werden, um elektrische Stimulation in Schritt 3.5 zu liefern.
3. Überprüfen Sie, ob Stimulator und MEA-Verstärker richtig angeschlossen sind: alle Konfigurationen require zwei Drähte pro gewünschte Stimulationskanal, während ein zusätzliches Koaxialkabel erforderlich, um die Synchronität Signalübertragung (bitte in den Anleitungen für den spezifischen Instrumente für die Anschlusspläne beziehen) werden. Gehen Sie dann zu den Stimulator einzuschalten.
4. Definieren Reizparameter in der Verbindungskarte Form. Alle zu der Kultur zuge Stimulationen zweiphasigen Rechteckspannungswellen. Stellen Halbzeit zu 300 & mgr; s und Amplitude auf 1,5 V _pp ^33.
   HINWEIS: Stimuli groß genug, um zuverlässig zu evozieren neuronalen Reaktionen sehr wahrscheinlich Kompromiss die Aufnahme der Tätigkeit von den gleichen Stellen. Im Rest des Papiers sollte Elektroden zur Stimulation Abgabe verwendet nicht zum Aufzeichnen relevante Informationen ausgewählt werden.
5. Nehmen Reaktion auf die Stimulation: drücken Sie die Schaltfläche Start in der ConnectionMap Form. Eine Reihe von 30 Stimuli mit einem Intervall von 5 Sekunden wird wiederum automatisch aus jeder der ausgewählten Elektroden geliefert, während Reaktionen Datensatzaus den verbleibenden 59 Elektroden ed.
6. Berechnen einer Verbindungsabbildung (dh die Wahrscheinlichkeit der Beobachtung einer Antwort von einer Elektrode, die innerhalb eines Zeitfensters nach der Lieferung von Stimulus aus einer anderen Elektrode) für jeden Kanal durch die Stimulierung jedem Mathematik Software oder SpyCode, eine Anwendung in der Vergangenheit entwickelt (und frei verfügbar auf Anfrage), um Berechnungen auf neuronalen Daten ²⁸ durchzuführen.
7. Von den Anschlusskarten, wählen Sie am besten Elektroden: werfen Sie alle Stimulationselektroden, die keine Reaktionen hervorrufen haben (dh in dem Zeitfenster nach der Stimulation, Feuerraten sind nicht wesentlich höher als beim spontanen Feuer).
   1. Wählen Sie unter den übrigen Elektroden, das Paar mit der geringsten overleap in Antworten. Speziell für jede Stimulationselektrode, berechnen die durchschnittliche Spitze Zahl in jeder Aufzeichnungselektrode, dann berechnen Sie die Differenz zwischen den entsprechenden Elektroden für alle Stimulationselektroden-Paaren. Wählen Sie das Paar für which die Summe der absoluten Werte der Differenzen über die Reaktion aller Aufzeichnungskanäle am höchsten ist.
8. Wählen Sie eine dieser Elektroden auf sensorische Informationen von der linken Seite des Roboters und der anderen, um Messwerte von der rechten Seite Code Code: Um dies zu tun, ziehen Sie den Mauszeiger über eine Elektrode mit der rechten Maustaste auf den MEA-Layout wählen 'In den sensorischen Bereich verlassen "(oder" nach rechts sensorischen Bereich hinzufügen ").

4. Anbindung der neuronalen Kultur mit der Robot: Auswahl von Coding and Decoding Schemes

1. Set 'Kodierung-Art "im Coding Formular Linear.
2. Legen Sie minimale und maximale Stimulationsraten im Coding Form. Verwenden Sie den Standardbereich von 0,5 bis 2 Hz.
3. Stellen Sie die "Jitter" Parameter in der Codierung Form auf 0.
4. Festlegen der Dekodieralgorithmus Parameter bei der Decodierung Form (Gewicht und Extinktionskoeffizient) bis 1 für eine mäßig aktive Kultur (~ 1 Spitze / sec pro channel). Definieren Sie eine neue Parameterpaar, wenn Feuerraten stark und ständig von diesem Wert abweichen. Siehe Diskussion für die genaue Funktion der Parameter für die Decodierung.
5. Stellen Sie den Decodieralgorithmus platzen Parameter in der Decoding-Formular. Stellen Gewicht auf 0 (Abklingzeit ist dann irrelevant), es sei denn, zwischen Spikes und Bursts ist das Thema der Studie.
   HINWEIS: Die in Schritt 4.4 vorgeschlagenen Werte glatt Roboterbewegungen und Geschwindigkeiten kompatibel mit Roboterreaktionszeiten für mäßig aktive Ratte Primärkulturen zu produzieren. Die Burst-Parameter haben genau dieselbe Funktion wie jene in dem Schritt 4.4 beschrieben, aber das Auslöseereignis die Erfassung eines Burst anstelle einer Spitze: die Ist-Geschwindigkeit von jedem Rad ist einfach die Summe der Beiträge der detektierten Spitzen und platzt.

5. Entwurf der Navigation Arena für den Roboter

1. Im virtuellen Bereich Designer bilden zwischen begrenzt (die Grenzen der Arena sichtbar für den Roboter und i wählen,mpassable) oder unbegrenzte (wenn der Roboter Ausgänge von einer Seite der Arena, es wird sofort neu eingeben von der gegenüberliegenden) Arena und den Arena Größe in Pixel.
   1. Verwenden Sie keine beschränkte Arenen kleiner als 100 x 100 Pixel, um eine signifikante Bewegung zu ermöglichen. Verwenden Sie keine Hindernisse mit einem Radius kleiner als 5 Pixel, wie sie können einfach zwischen den Sichtlinien des Roboters zu fallen.
   2. Beachten Sie, dass sehr große Arena Größen kann dazu führen, die Leistung des Computers zu beeinträchtigen: wenn eine große Arena ist erforderlich, Test-Software die Leistung mit der gewünschten Arena vor Beginn schwer Wiederholungsversuchen.
2. Set Roboterstartposition entweder manuell (klicken Sie auf die 'Manuelle Auswahl' in der virtuellen Arena Designer Form, dann die gewünschte Stelle) oder durch Angabe der Koordinaten des Roboters an Experiment starten in der "Robot Startposition" Felder.
3. Fügen Sie beliebig viele unpassierbare Hindernisse in der Arena. Entweder legen Sie sie Menschenduell in der Arena nach Anklicken des "Obstacle hinzufügen Manuell-Taste oder stellen Sie Anzahl und Größe Bereich.
4. Klicken Sie auf die 'Gene Arena', um die Arena mit den ausgewählten Funktionen zu generieren. Es werden keine Änderungen auftreten, bis diese Taste gedrückt wird.
5. Speichern Sie die entworfen Arena und laden Sie die relativen Datei, vor der Verwendung in einem Experiment mit den Schaltflächen im unteren Teil des virtuellen Arena Designer Form.

6. Auswahl MEA Elektroden zum Treffer neuronale Aktivität von der Kultur

1. Wählen Sie als temporäre Aufzeichnungselektroden derjenigen, auf denen unterschiedliche Reaktionen, die in Schritt 3.8, wurden beobachtet: Elektroden, die größer Antworten nach Stimulation von der "linken" (oder "rechts") Elektrode bilden die "linke" zeigte (oder "rechts") Aufzeichnungselektroden. Verwenden Sie keine Elektroden, die keine signifikanten Reaktionen nicht zeigen entweder Stimulationselektrode zur Steuerung des Roboters. From die MEA Layout Pop-up-Menü wählen Sie "In den linken Motorbereich" (oder "nach rechts Motorbereich hinzufügen"), um Aufzeichnungselektroden zu definieren.
2. Wählen Sie die Funktionen, die in der Experiment-Manager Form aufzuzeichnen. In dieser Phase, Spannungsspitzen und Stimulation Zeitmarken sind das einzige relevante Informationen.
3. Führen Sie eine 10 Minuten Testfahrt: Beginn der Roboter, indem Sie auf die Start-Schaltfläche Experiment im Experiment-Manager Form auszuführen, klicken Sie noch einmal nach 10 Minuten vergangen sind.
   HINWEIS: Wenn alle Parameter eingestellt sind (Kodierung und Dekodierung, Roboter-Arena, anregend und Aufzeichnungselektroden, verfügt über den Rekord), wird ein Dateiname für Namen und Ziel aufgenommenen Dateien fragen, dann wird der Roboter in Bewegung in der Arena, nach den definierten Regeln. Alle ausgewählten Funktionen werden automatisch in Echtzeit gespeichert.
4. Wiederholen Sie die Schritte 3.6 und 6.1 auf die in Schritt 6.3 gewonnenen Daten, um die Aufzeichnungselektroden von Daten, die während einer tatsächlichen Roboterlauf gesammelt wählen (siehe Discussion für das Grundprinzip dieser zweistufigen Ansatz).

7. Durchführen eines Neuro-Roboter-Experiment

1. Wählen Sie in der Experiment-Manager die Daten aufgezeichnet werden sollen bilden: markieren Sie den Spike, Roboter und Stimuli Datenkontrollkästchen.
2. Starten Sie eine pre-Learning-Roboter Lauf: Klicken Sie auf die "Start Experiment 'in der Experiment-Manager Form. Wählen Sie neue Dateinamen für Dateien, wenn Sie dazu aufgefordert. Wenn 30 Minuten lang sind, klicken Sie auf die Schaltfläche "Start Experiment" erneut, um den Roboter Lauf zu stoppen.
3. Schalten Sie den Lernprotokoll (markieren Sie die "Deliver tetanische Stimulation Nach Hit" Kontrollkästchen in der Experiment-Manager Form) und führen Sie die Schulungsroboter Lauf, der die gleiche Länge wie die Pre-Workout Phase (dh, 30 min). Denken Sie daran, Eingang unterschiedliche Dateinamen, wenn aufgefordert, das Überschreiben von Daten aus Schritt 7.2 zu vermeiden.
4. Schalten Sie den Lernprotokoll wieder (deaktivieren Sie das Kontrollkästchen "Deliver tetanische Stimulation Nach Hit ') Und führen Sie die Post-Lernroboter laufen. Wieder einmal daran denken, Dateinamen zu überschreiben, um zu verhindern, ändern.

8. Zweite Antwort Karte Computation

1. Wiederholen Sie die Schritte 3,1-3,6. Verwenden Sie die Daten aus diesen Aufnahmen, um zu testen, ob alle Änderungen entweder in den spontanen oder Aktivitätsmuster hervorgerufen durch den Lernprotokoll induziert worden.

Results

Das entwickelte experimentelle Rahmen erlaubt das Testen, ob ein Austausch von Informationen zwischen einer Kultur von Neuronen und die virtuelle Realisierung einer physikalischen Roboters möglich ist ^34. 1 zeigt mehrere Proben erhalten Pfade durch einen virtuellen Roboter 20 min Experimente unter verschiedenen Bedingungen gereist : von links, um eine ordnungsgemäße Closed-Loop-Experiment, eine "leere MEA" Roboter-Experiment (keine Zellen auf der MEA für diese Kontrollexperiment vernickelt) und eine Open-Loop-Roboter Experiment rechts (Stimulationsrate ist statt Programmierung Sensorinformationen konstant) vertreten sind. Die repräsentativen Spuren bestätigen, daß eine bidirektionale Interaktion zwischen den Neuronen und künstliche Elemente notwendig, um eine gute Navigation Leistungen des Roboters erhalten. Dennoch erfährt der Roboter mehrere Treffer gegen die Hindernisse.

In Abbildung 2 ist die Navigationsleistung des Roboters, eals Pixel zwischen aufeinanderfolgenden Treffern reiste xpressed wird unter verschiedenen Bedingungen gezeigt. Die ersten beiden Spalten zeigen die Verteilung der Abstände in den oben ("leere MEA 'und Open-Loop-Konfigurationen) genannten Kontrollexperimenten gereist, während die dritte und vierte Spalte zeigt die Leistung, ohne und mit bzw. die Lieferung der tetanischen Stimulation nach jedem treffen auf ein Hindernis. Die Einführung der tetanischen Stimulation (Vgl Ordnung, Punkt 7.2) deutlich verbessert die zurückgelegte Strecke zwischen zwei aufeinanderfolgenden Treffern und verbessert so die Navigation Leistungen des Roboters ^35.

In Abbildung 3 wird die Navigationsleistung eines Roboters mit unterschiedlichen Decodierbedingungen dargestellt. Zu diesem Zweck wurde eine andere Arena-Konfiguration festgestellt. Dies trug dazu bei, um die erfolgreiche Navigation des Roboters in der Arena ³⁶ quantifizieren, wie in Schritt 4.1 des Verfahrens beschrieben wurde, ist der Roboterpräsentiert eine Reihe von kurzen Strecken. Die Erfolgsrate ist einfach das Verhältnis der Anzahl der erfolgreich überquerten Spuren, auf die Anzahl der dargestellten Spuren. Insbesondere bei den Versuchen ein Echtzeit-Identifizierung des Burst und isoliert Spitzen durchgeführt wurde. Die Decodierung Paradigmen voneinander unterscheiden aufgrund der relativen Gewichte von Bursts und isoliert Spikes (Vgl Verfahren weist 3,5-3,6 und Diskussion).

Abbildung 1: Ein neuronales Netzwerk und ein Roboter einen bidirektionalen Informationsaustausch Diese Figur zeigt drei repräsentative Pfade durch den Roboter über 20 Minuten des Experiments gereist.. Insbesondere sind hellgrün Bereichen kostenlos für den Roboter zu bewegen, während die dunkelgrünen Pixeln darstellen unpassierbare Hindernisse, dass der Roboter durch seine Distanz-Sensoren wahrnehmen. In jedem Versuch startet i der Robotern das links oben auf der Arena und fährt auf seine endgültige Position, da ein großer rosa Punkt dargestellt. Die kleineren schwarzen Punkte stellen Zugriffe auf ein Hindernis, wobei die farbcodierten Pfad stellt eine Anzeige der Zeitentwicklung der Roboterbewegung. Der Farbbalken auf der rechten Seite drückt Zeit vom Beginn des Experiments in Minuten vergangen. (A) Pfad während einer Closed-Loop-Experiment gefolgt. (B) Pfad während einer "leeren" MEA Experiment gefolgt (keine Zellen auf der MEA kultiviert werden Oberfläche). (C) Pfad folgen während einer Open-Loop-Experiment (Stimulationsfrequenz während des gesamten Experiments konstant ist). Bitte klicken Sie hier, um eine größere Version der Abbildung zu sehen.

Abbildung 2: Die Performance-Ergebnisse werden von geschlossenen betroffen-loop und tetanische Stimulation. Diese Grafik gibt die Verteilung der Strecken durch den Roboter zwischen aufeinander folgenden Hits in verschiedenen Bedingungen abgedeckt. Insbesondere stellen die ersten beiden Distributionen Kontrollexperimente ("Empty" für Aufnahmen ohne Neuronen auf der MEA, "Open Loop" (OL) für Versuch mit einem "blinden" Roboter vernickelt). Die letzten beiden Spalten den Zustand "Closed-Loop" darstellen, ohne (CL) und mit (CL + TS) die durch tetanische Stimulation (TS) implementiert Learning-Protokoll, an der Kultur folgende Treffer gegen ein Hindernis geliefert. In jeder Box, die zentrale Horizontalsegment entspricht dem Median der Verteilung, den leeren Platz der Mittelwert erstreckt sich die zentrale Bar mit dem ersten und dem dritten Quartil und die Barthaare an den ^5. und ^95. Perzentile zu erweitern. Ausreißer werden als Rauten dargestellt. Die Statistik wurde unter Verwendung des Kruskal-Wallis-Varianzanalyseauf den Plätzen: der Student-Newman-Keuls paarweisen Vergleich zeigt, dass alle Mittelwerte signifikant mit p <0,05 sind.

Abbildung 3: Die Dekodierung beeinflusst Roboterleistung Die obige Grafik stellt die Wahrscheinlichkeit für einen bestimmten Decodieralgorithmus, der der Roboter erfolgreich über eine kurze Strecke in einer begrenzten Zeit zu navigieren.. Identifizierung von Bursts und isolierte Spitzen wird in Echtzeit während des Experiments selbst ausgeführt. Im ersten Fall ("Spikes") präsentieren alle erkannten Spitzen die gleiche relative Gewicht, für den zweiten und dritten Distributionen ein Gewicht von 0 wurde für jeweils gesetzt, isoliert Stacheln und Dornen auf einen Burst gehört. Die beiden letzten Spalten die in dem Fall, wo alle die Spitzen berücksichtigt erhaltenen Ergebnisse, jedoch mit einer unterschiedlichen relativen Gewichts entsprechend ihrer Position.Insbesondere in der vierten Spalte isoliert Spitzen wurden höhere relative Gewicht als Burst Ereignisse gegeben, während die Gewichtung für die Dekodierung in bezug auf das fünfte Spaltendaten invertiert. In jedem Diagramm die Mittellinie stellt den Median der Verteilung, den leeren Platz der Mittelwert, während die zentrale Bar erstreckt sich auf die erste und dritte Quartil und die Barthaare an den ^5. und ^95. Perzentile zu erweitern. Die Statistik wurde unter Verwendung der Kruskall-Wallis Varianzanalyse an Rängen. Die paarweisen Vergleich (Student-Newman-Keuls-Verfahren) zeigt, dass signifikante Unterschiede (p <0,05) zwischen den Spalten 1 und 4, 2 und 4, 2 und 5, 2 und 3 beobachtet werden.

Discussion

In diesem Artikel wird eine Neuro-Architektur Roboter auf einem neuronalen Steuerung (dh ein Netz von Neuronen aus dem Kortex oder des Hippokampus von embryonalen Ratten) bidirektional an einen virtuellen Roboter verbunden basiert, wird vorgestellt. Der Roboter, der Sensoren und Räder hat, ist gezwungen, in einem statischen Arena mit Hindernisse bewegen und ihre Aufgabe besteht darin, Vermeidung von Kollisionen.

Der erste und vielleicht wichtigste Aspekt des beschriebenen Verfahrens ist die Herstellung der Kulturen selbst, da die Fehlerrate dazu neigen, signifikant sogar in den besten technischen Bedingungen. Eine detaillierte Beschreibung der Techniken, die Kultivierung wird jedoch außerhalb des Umfangs der vorliegenden Arbeit. Als allgemeine Regel sollte die Aufnahmen auf, wenn die Netzwerk-Feuerungsrate erreicht einen stabilen Pegel, in der Regel nach 3 Wochen in vitro. Eine grobe Angabe der gesunden Kulturen ist das Vorhandensein von spontanen elektrophysiologische Aktivität in mehreren Aufnahme channels (mindestens 20 Kanäle über 60 verfügbar). Solche Kulturen sind durch einen hohen Grad der neuronalen Interkonnektivität gekennzeichnet. Unter solchen Bedingungen wird die neuronale Aktivität in der Regel wird stark synchronisiert und in Zeiten, zeigt es epileptiforme Ereignissen, mit intensiven spiking gefolgt von Minuten langen Ruheperioden ^37. Beide Funktionen stellen ein Problem: exzessive Synchronisation wird es unmöglich machen, Reaktionen auf Reize aus verschiedenen Elektroden zu unterscheiden, während Kulturen epileptiforme Aktivität zeigt, wird auf den ersten Reiz mit einer langen Ausbruch von Aktivität vorgestellt, gefolgt von einer Ruhephase zu reagieren, unabhängig davon, jede aufeinanderfolgende Impulse geliefert. Beide diese Probleme stark durch die Verwendung von gemusterten Kulturen ^35, in welcher das neuronale Population in zwei oder mehrere schwach miteinander verbundenen Untergruppen aufgeteilt gelindert werden.

Ein weiteres Problem ist, dass neuronale Reaktionen hängen stark von der Verteilung eingehender stimuli ^38,39. In einem Closed-Loop-Experiment wird die gelieferten Stimulations eine Funktion der Sensorwerte, die ihrerseits eine Folge von Roboterbewegung und damit der neuronalen Antworten selbst. Dies impliziert, daß es keine einfache Möglichkeit, vorab festzustellen, was Antworten werden während des eigentlichen Experiments beobachtet werden. Infolgedessen muss die Auswahl des Eingabe-Ausgabe-Elektroden auf sukzessive Approximationen verlassen. In dem beschriebenen Protokoll kann ein zweistufiges Verfahren (nämlich die Schritte 5.5 und 6.4) durchgeführt wird, um zu versuchen, eine Verbindung der Karte zu bestimmen. Im ersten Schritt wird eine reguläre Folge von Stimulationen geliefert und Antworten auf solche Stimuli verwendet, um eine erste Verbindungskarte und eine temporäre Menge von Aufzeichnungskanälen abzuleiten. Dann wird diese Konfiguration verwendet, um die in Schritt 6.4 beschrieben Probefahrt durchführen und wählen Sie die Aufnahmekanäle, die während des eigentlichen Experiments überwacht wird.

Im Ergebnisbereich, ein Vertreter Navigations result und die sofortige Verbesserungen durch die Einführung eines Lernparadigma gebracht werden vorgestellt. Während der Protokollbeschreibung sind mehrere andere mögliche Versuchsvarianten erwähnt. Zum Beispiel können die in HyBrainWare2 implementiert zwei Haupt Codiersysteme (linear und stochastische) wobei entwickelt die genaue Rolle der zeitlichen Eingangs Variabilität auf dem neuronalen Code ³⁸ zu untersuchen. Im linearen Fall, erfolgt sofort Stimulationsrate in Abhängigkeit von benutzerdefinierten Parametern und Robotersensoren Aufnahmen. In der stochastischen Fall wird jedes Mal, beispielsweise eine vorgegebene Wahrscheinlichkeit, gewählt, um einen Anreiz zu liefern. Solchen Wahrscheinlichkeit wird automatisch durch HyBrainWare2 berechnet, so dass die erwarteten Stimulationsraten übereinstimmen, für den ersten Fall. Die Möglichkeit, Jitter in den linearen Codierung bietet einen reibungslosen Übergang zwischen den beiden oben beschriebenen Fällen. In der gleichen Weise, sich mit verschiedenen Kombinationen von Parametern in der Decodierabschnitt helfen könnte Aufschluss über die precise Rolle platzt in in vitro neuronale Netze. Die Geschwindigkeit von jedem Rad des Roboters erhöht sich proportional zur Gewichtsparameter jedesmal, wenn ein Ereignis in dem entsprechenden Ausgangsbereich erfaßt wird, während der Extinktionskoeffizient zeigt an, wie viel Zeit in Sekunden, die einer der Beiträge nimmt auf 50% seines Wertes verlieren . Der Zerfall ist eine einfache Exponentialfunktion. Diese Varianten wurden bereits berücksichtigt in das aktuelle Design der HyBrainWare2 genommen worden, aber viele weitere Forschungsmöglichkeiten sind offen, wenn weitere Änderungen in der Software oder Versuchsaufbau eingebracht werden kann.

Ein ziemlich erhebliche Einschränkung der hier beschriebene Protokoll ist die Forderung der entwickelt kundenspezifische Software, HyBrainWare2 (auf Anfrage frei verfügbar für alle interessierten Nutzer). Diese Software wurde für eine Reihe von Geräten (Stimulator, Erfassungskarte, MEA-Verstärker) an ein bestimmtes Modell und Hersteller konzipiert. Zwar ist es möglich, passen sie auf di arbeitenfferent Setups, wird die Konvertierung einige Programmierkenntnisse zu nehmen. Ebenso decken die enthaltenen Optionen nur eine begrenzte Menge aller experimentellen Fragen, die durch ein solches Setup untersucht werden konnte. Beispielsweise wird die Spitzendetektionsalgorithmus in der dargestellten Architektur implementiert (genaue Zeit Spitzendetektions ⁴⁰⁾ vollständig durch mehrere hartcodierte Parameter, die geändert werden müssen, wenn der Gegenstand der Anmeldung ist sehr verschieden von dissoziierten neuronalen Netzen (zB Herzzellen definiert oder Scheiben). Schließlich wird der Lern ​​Protokoll besteht aus der Lieferung eines kurzen Hochfrequenz (2 sec mit 20 Hz Anregung jedes Auslöseimpulses ist die gleiche wie jene, die zur sensorischen Informationscode) Stimulation nach jedem Hindernis treffen. Wenn der Roboter auf ein Hindernis trifft mit seiner rechten Seite wird das tetanische Stimulation auf der Elektrode, die in der Regel-Codes für die rechte Seite Informationen und das gleiche gilt für die linke Seite Ergebnisse geliefert. Dieses Protokoll ist fest codiert und können nicht bohne Modifizierung austretenden Software e durch den Benutzer geändert wird.

Während die Einstellung hier dargestellt ist nicht die erste verkörperten System für Hybrid geschlossener Schleife Experimenten ^{20,23,27,41,42,} waren diejenigen, die in der Vergangenheit entwickelt, auf einem einzigen Dissertation von Daten aus einer begrenzten Anzahl von analogen Zubereitungen unterstützt fokussiert . Auf der anderen Seite hat sich die beschriebene Einrichtung für eine große Anzahl von Experimenten (mehr als 100 Kulturen haben seit 2012 aufgenommen wurden) mit den Vorbereitungen für die unterschiedlichen Modularität und Herkunft verwendet wurden, während die Experimente selbst adressierten verschiedenen Themen (zB Auswirkungen der tetanischen Stimulation und Relevanz von Platzen, wie in den Ergebnissen vorgelegt). In naher Zukunft werden neue experimentelle Sitzungen vorgesehen, um die anhaltende Wirkung der beiden tetanische und Closed-Loop-Stimulation und die Beziehung zwischen Stimulation Ordnungsmäßigkeit zu überprüfen und beobachteten Reaktionen. Eine weitere Problemstellung ist die Verbindung zwischen spontanen und beobachtete Aktivität, mitdie Idee, das Hinzufügen eines neuen Decodieralgorithmus, die berücksichtigt, die Geschichte der letzten Aktivität und Stimulation ^43.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Stimulus Generator 4002	Multi Channel Systems
MEA1060-Inv-BC	Multi Channel Systems
TC02	Multi Channel Systems
NI 6255 Acquisition Card	National Instruments
Microsoft Visual Studio 2008	Microsoft
2078P Multichannel System-National Adapterplatine für Instrumente	Entwickelt an der Universität Genua (Italien)
Matlab 2010	Mathworks
HyBrainWare2			HyBrainWare2: Kontaktinformationen