Closed-loop Neuro-Roboter-Experimente zur Computational Eigenschaften Neuronale Netze Testen

Das übergeordnete Ziel des folgenden Experiments besteht darin, die bidirektionale Interaktion zwischen einem biologischen Netzwerk dissoziierter Neuronen und einem kleinen Roboter zu untersuchen. Der kontinuierliche Austausch kann die rechnerischen Eigenschaften des neuronalen Systems verändern und eine Art Lernen hervorrufen. Dies wird erreicht, indem eine neuronale Kultur auf einem Mikroelektrodenarray präpariert wird, um eine experimentelle Sitzung über mehrere Stunden durchzuführen, ohne die Zellaktivität zu beeinträchtigen.

Im zweiten Schritt wird eine Antwortkarte der Kultur berechnet, die die Auswahl stimulierender Elektroden für das eigentliche Closed-Loop-Experiment ermöglicht. Anschließend werden Codierungs- und Decodierungsparameter definiert, um den Informationsaustausch zwischen biologischen und elektronischen Systemen zu ermöglichen. Die Ergebnisse zeigen eine signifikante Verbesserung der Navigationsfähigkeiten des robotischen Agents, basierend auf dem Vergleich der durchschnittlich zurückgelegten Distanz zwischen Treffern unter verschiedenen Kontrollbedingungen.

Diese Methode kann uns dabei helfen, zentrale Fragen in unserem ingenieurwissenschaftlichen Bereich zu beantworten, beispielsweise: Können wir ein Wörterbuch erstellen, um die Sprache der Neuronen in die Sprache der Maschinen und umgekehrt zu übersetzen? In der Regel haben Personen, die neu in dieser Methode sind, Schwierigkeiten aufgrund der technologischen Komplexität des experimentellen Aufbaus und der Software-Architektur. Die Durchführung des Verfahrens wird Martha Bizo, Doktorandin in meinem Labor, demonstrieren.

Der erste Schritt besteht darin, einen Mikroelektrodenarray oder MEA-Chip mit 60 Elektroden vorzubereiten, der zur Stimulation oder Ableitung des neuronalen Netzwerks verwendet werden kann. Nach dem Aufbringen neuronaler Kulturen auf die MEA-Chips warten Sie etwa drei Wochen, bis das neuronale Netzwerk ausgereift ist. Am Tag des Experiments heizen Sie das MEA-Heizsystem fünf bis zehn Minuten vor, indem Sie den Temperaturregler auf 37 Grad Celsius einstellen und die Heizplatte unterhalb des MEA-Chips einschalten.

Verwenden Sie außerdem eine beheizte Abdeckung, um die Verdunstung zu reduzieren, und decken Sie die Kulturen mit gasdurchlässigen, autoklavierten Kappen ab, um Verdunstung zu begrenzen und Veränderungen der Osmolarität während der Aufzeichnung zu verhindern. Lassen Sie nun Karbonat-Puffer über die Kultur zirkulieren, um stabile Sauerstoff- und pH-Werte aufrechtzuerhalten. Lassen Sie die Kultur 30 Minuten ruhen. Nach der Ruhephase nehmen Sie die spontane Aktivität der neuronalen Zellen 30 Minuten lang auf.

Danach die Daten speichern, indem der Aufnahmeknopf im Spikes-Feld des Datenaufnahmeformulars angeklickt wird. Im Rohdaten-Anzeigeformular die 10 Kanäle mit der höchsten Spikesanzahl identifizieren. Anschließend diese Kanäle in einem der MEA-Layouts auswählen.

Die Codierform wird hier angezeigt, indem der Mauszeiger über die gewünschten Bereiche gezogen wird. Sobald die Kanäle ausgewählt sind, klicken Sie mit der rechten Maustaste an einer beliebigen Stelle des MEA-Layouts und wählen Sie im Kontextmenü „zum linken sensorischen Bereich hinzufügen“. Diese Elektroden werden in einem späteren Schritt zur Abgabe elektrischer Stimulation verwendet.

Als Nächstes überprüfen Sie, ob der Stimulator und der MEA-Verstärker korrekt angeschlossen sind. Alle Konfigurationen erfordern zwei Drähte pro gewünschtem Stimulationskanal, während ein zusätzlicher Koaxialkabel benötigt wird, um das Synchronisationssignal zu übertragen. Wenn alles bereit ist, schalten Sie den Stimulator ein.

Der nächste Schritt besteht darin, die Reizparameter im Verbindungsplan-Formular festzulegen. Alle der Kultur zugeführten Stimuli erfolgen mittels phasischer, rechteckförmiger Spannungsimpulse. Stellen Sie die Halbzeitdauer auf 300 Mikrosekunden ein und legen Sie die Amplitude auf 1,5 Volt (Spitze zu Spitze) fest.

Beginnen Sie mit der Aufzeichnung der Antwort auf die Stimulation, indem Sie die Start-Taste drücken. Im Verbindungsplan wird automatisch eine Serie von 30 Stimuli mit 0,2 Hertz von einer der zuvor ausgewählten Stimulations-Elektroden abgegeben. Während diese Elektrode als Stimulations-Elektrode fungiert, werden Antworten von den verbleibenden 59 Elektroden auf dem MEA-Chip aufgezeichnet.

Danach werden die Serien mit 30 Stimuli jeweils auf den verbleibenden neun identifizierten Stimulations-Elektroden wiederholt, wobei zwischen den Serien eine Pause von fünf Sekunden liegt und gleichzeitig Aufzeichnungen von den verbleibenden 59 Elektroden gesammelt werden. Anschließend erstellt man mithilfe von SpyCode, einer Anwendung zur Berechnung neuronaler Daten, für jeden stimulierenden Kanal eine Computer-Verbindungskarte. Aus diesen Verbindungskarten werden alle stimulierenden Elektroden für die weitere Analyse ausgeschlossen, die keine Antworten hervorgerufen haben.

Danach unter den verbleibenden Elektroden das Paar mit der geringsten Überlappung in den Antworten auswählen, wie im Textprotokoll beschrieben, und eine dieser Elektroden zur Kodierung sensorischer Informationen aus der linken Seite des Roboters und die andere zur Kodierung von Messwerten aus der rechten Seite bestimmen. Ziehen Sie dazu den Mauszeiger über eine Elektrode, klicken Sie rechts in das MEA-Layout und wählen Sie „zum linken sensorischen Bereich hinzufügen“. Danach den Cursor über die andere Elektrode ziehen.

Rechtsklicken und „Zum rechten sensorischen Bereich hinzufügen“ auswählen. Anschließend im Codierungsformular das Codierungsschema auswählen, indem der Codierungstyp auf linear gesetzt wird. Danach die minimale und maximale Stimulationsrate definieren, indem der Standardbereich von 0,5 bis zwei Hertz verwendet wird, und den Jitter-Parameter auf null setzen.

Danach im Decodierungsformular die Parameter des Decodierungsalgorithmus festlegen. Das bedeutet, die Parameter für die Geschwindigkeitsänderung und die Abklingzeitkonstante für eine mäßig aktive Kultur mit ungefähr einem Spikes pro Sekunde und Kanal auf eins setzen. Anschließend im Decodierungsformular die Burst-Parameter des Decodierungsalgorithmus auf null setzen.

Die Abklingzeit ist unerheblich, wenn die Geschwindigkeitsänderung null beträgt. Wählen Sie im Formular des Experimentmanagers die aufzuzeichnenden Daten aus, indem Sie die Kontrollkästchen für das Speichern von Spikedaten, Roboterdaten und Stimulationsdaten aktivieren. Starten Sie nun einen Roboterlauf vor dem Lernen, indem Sie im Formular des Experimentmanagers die Schaltfläche „Experiment starten“ auswählen.

Wählen Sie bei entsprechender Aufforderung neue Dateinamen für die Datendateien. Lassen Sie das Experiment 30 Minuten lang laufen. Klicken Sie dann auf die Schaltfläche „Experiment stoppen“, um den Roboterlauf zu beenden.

Schalten Sie als Nächstes das Lernprotokoll ein, indem Sie die Auslieferung nach 10 Stimuli markieren. Aktivieren Sie das Kontrollkästchen im Experiment-Manager-Formular. Klicken Sie dann erneut auf die Schaltfläche „Experiment starten“, um den Trainingsroboterlauf erneut für 30 Minuten durchzuführen.

Während dieses Lernlaufs ändert sich die Stimulation durch den Roboter von unregelmäßig zu Titanic-Stimulation. Wenn der Roboter auf ein Hindernis trifft, wird die Titanic-Stimulation verwendet, um das neuronale Netzwerk zu trainieren. Nachdem die Daten gespeichert wurden, schalten Sie das Lernprotokoll erneut aus, indem Sie die Zustellung der tannischen Stimulation deaktivieren.

Nachdem Sie das Kontrollkästchen aktiviert haben, klicken Sie auf „Experiment starten“, um einen 30-minütigen Robotertest nach dem Lernvorgang durchzuführen. Wie zuvor sollten Sie darauf achten, Dateinamen zu ändern, um Überschreibungen zu vermeiden. Zusätzlich zum zuvor gezeigten virtuellen Roboter kann dieser gleiche Satz an Trainingsläufen auch mit einem neuronalen Netzwerk und einem physischen Roboter verwendet werden.

Hier ist der Weg dargestellt, dem ein virtueller Roboter während eines 20-minütigen leeren MEA-Experiments folgt. Für dieses Kontrollexperiment wurden keine Zellen auf das MEA aufgebracht. Die hellgrünen Bereiche sind für den Roboter frei begehbar, während die dunkelgrünen Kreise unbewegliche Hindernisse darstellen, die der Roboter mithilfe seiner Abstandssensoren wahrnehmen kann.

In jedem Versuch startet der Roboter im oberen linken Bereich der Arena und bewegt sich zu seiner Endposition, die als großer rosa Punkt dargestellt ist. Die kleineren schwarzen Punkte stellen Kollisionen mit einem Hindernis dar. Die farbkodierten Pfade zeigen die verstrichene Zeit an.

In diesem Experiment ohne neuronales Netzwerk wurde der Roboter durch das erste Hindernis angehalten, auf das er stieß. Gezeigt ist hier der Weg eines virtuellen Roboters während eines Open-Loop-Experiments, bei dem der Roboter effektiv geblendet ist. Anstelle von sensorischen Informationen werden dem neuronalen Netzwerk nur regelmäßige Stimulationssequenzen zugeleitet.

Hier ist der Weg dargestellt, dem ein virtueller Roboter während eines 20-minütigen Closed-Loop-Experiments folgte, bei dem das neuronale Netzwerk satanisches Feedback erhielt, nachdem der Roboter auf ein Hindernis gestoßen war. Beachten Sie, dass dieser Roboter im Gegensatz zum Open-Loop-Experiment viele Hindernisse erfolgreich umfuhr. Dies zeigt, dass eine bidirektionale Interaktion zwischen den neuronalen und den künstlichen Elementen notwendig ist, um eine gute Navigationsleistung des Roboters zu erzielen.

Dieses Diagramm zeigt die Navigationsleistung des Roboters, ausgedrückt als zurückgelegte Pixel zwischen aufeinanderfolgenden Kollisionen. Die ersten beiden Spalten zeigen die Verteilung der zurückgelegten Distanzen bei zwei Kontrollversuchen, der leeren MEA und der Open-Loop-Konfiguration. Die dritte und vierte Spalte zeigen die Leistung ohne und mit der Applikation der Titanic-Stimulation.

Nach jedem Zusammenstoß mit einem Hindernis verbessert sich die Einführung der Titanic-Stimulation signifikant. Die zwischen zwei aufeinanderfolgenden Zusammenstößen zurückgelegte Distanz verbessert somit die Navigationsleistung des Roboters. Dieses Diagramm stellt die Wahrscheinlichkeit dafür dar, dass ein bestimmter Dekodierungsalgorithmus des Roboters es ermöglicht, eine kurze Strecke innerhalb eines begrenzten Zeitraums erfolgreich zu durchlaufen.

Die Decodierparadigmen unterscheiden sich hinsichtlich des relativen Gewichts von Burstaktivität und isolierten Spikes voneinander. Diese Technik ebnete den Weg für URGs im Bereich der Neuro-Robotik und Neuroprothetik, um zu erforschen, wie Gehirne und Maschinen miteinander verbunden werden können, um die Leistungsfähigkeit moderner neuronaler Schnittstellen zu verbessern. Nach dem Anschauen dieses Videos sollten Sie ein gutes Verständnis dafür haben, wie man ein hybrides Experiment plant und durchführt, um die Berechnungseigenschaften eines verkörperten biologischen neuronalen Netzwerks zu untersuchen.