SSVEP-basierten Versuchsdurchführung für Brain-Roboter-Interaktion mit Humanoide Roboter

Zusammenfassung

Das übergeordnete Ziel dieser Methode ist es, ein SSVEP-basiertes experimentelles Verfahren zu etablieren, indem mehrere Softwareprogramme integriert werden, um die Untersuchung der Gehirn-Roboter-Interaktion mit humanoiden Robotern zu ermöglichen, die sowohl bei der Unterstützung von Kranken und älteren Menschen als auch bei der Ausführung unhygienischer oder gefährlicher Arbeiten vielversprechend ist.

Zusammenfassung

Gehirn-Roboter-Interaktion (BRI), die einen innovativen Kommunikationsweg zwischen Mensch und Robotergerät über Gehirnsignale bietet, ist vielversprechend, um Behinderten in ihrem täglichen Leben zu helfen. Das übergeordnete Ziel unserer Methode ist es, ein SSVEP-basiertes experimentelles Verfahren zu etablieren, indem mehrere Softwareprogramme wie OpenViBE, Choregraph und Central Software sowie benutzerentwickelte Programme, die in C++ und MATLAB geschrieben sind, integriert werden, um die Untersuchung der Gehirn-Roboter-Interaktion mit humanoiden Robotern zu ermöglichen.

Dies wird erreicht, indem zuerst EEG-Elektroden an einem menschlichen Subjekt platziert werden, um die Gehirnreaktionen durch ein EEG-Datenerfassungssystem zu messen. Eine Benutzeroberfläche wird verwendet, um SSVEP-Antworten zu erheben und Video-Feedback in den Regelungsexperimenten anzuzeigen. Der zweite Schritt besteht darin, die EEG-Signale von Erstprobanden aufzuzeichnen, ihre SSVEP-Merkmale offline zu analysieren und den Klassifikator für jeden Probanden zu trainieren. Als nächstes werden der Online-Signalprozessor und die Robotersteuerung für die Online-Steuerung eines humanoiden Roboters konfiguriert. Als letzten Schritt führt der Proband drei spezifische Regelungsexperimente in verschiedenen Umgebungen durch, um die Leistung der Gehirn-Roboter-Interaktion zu bewerten.

Der Vorteil dieses Ansatzes ist seine Zuverlässigkeit und Flexibilität, da er durch die Integration mehrerer Softwareprogramme entwickelt wurde. Die Ergebnisse zeigen, dass der Proband mit diesem Ansatz in der Lage ist, über Gehirnsignale mit dem humanoiden Roboter zu interagieren. Dies ermöglicht es dem gedankengesteuerten humanoiden Roboter, typische Aufgaben auszuführen, die in der Roboterforschung beliebt sind und bei der Unterstützung von Behinderten hilfreich sind.

Einleitung

Brain-Roboter-Interaktion (BRI), die eine innovative Kommunikationspfad zwischen den Menschen und einem Roboter-Vorrichtung über Gehirnsignale bietet, ist Interessenten zu helfen in ihrem täglichen Leben ^1,2 Behinderte. Eine Vielzahl von Verfahren sind in der Lage, Gehirnsignale entweder invasiv oder nicht invasiv für den Aufbau der zu erwerben, wie Elektrokortikographie (ECoG), Elektroenzephalogramm (EEG), die funktionelle Magnetresonanztomographie (fMRI) usw. Die am häufigsten verwendeten nicht-invasive Methode BRI Systems ist es, EEG-Signale von Elektroden, die auf der Kopfhaut erhalten. Dieses Verfahren ist kostengünstig, leicht zu bedienen und bietet eine annehmbare Zeitauflösung ^3. Unter einer Vielzahl von Robotervorrichtungen sind humanoide Roboter fortgeschritten wie sie erstellt werden, um einige der gleichen körperlichen und geistigen Aufgaben, die Menschen zu unterziehen täglich imitieren. BRI mit einem humanoiden Roboter werden eine wichtige Rolle bei der Unterstützung der Kranken und Alten, sowie die Durchführung von unhygienischen oder gefährliche Arbeiten zu spielen. Aber Steuereines humanoiden Roboters durch BRI-System ist eine große Herausforderung, da die humanoiden Roboter mit voller Körperbewegung wird entwickelt, um komplexe Aufgaben wie die persönliche Unterstützung ^{4, 5} durchzuführen.

Steady-State visuell evozierten Potential (SSVEP) ist eine Art von Gehirnsignal durch die Modulation des optischen Reiz mit einer gegebenen Frequenz ⁶ hervorgerufen. Es enthält Sinuskurven bei den Grund- und Oberschwingungsfrequenzen des flackernden Reiz und prominent erscheint in der gesamten Sehrinde im Hinterkopf der Kopfhaut ^7. Der Grund für die Wahl der SSVEP Signalen ist, dass die SSVEP basierte BRI-System ergibt relativ hohe Informationsübertragungsrate und erfordert weniger Trainings ^8. Andere Arten von Gehirnwellen, wie beispielsweise ereigniskorrelierte Potenziale (ERP) ⁹ oder Motor-Bildern (MI) Potentiale ^10, kann auch in diesem experimentellen Verfahren eingebettet werden.

Unser Verfahren für Gehirn Roboter-Interaktion mit humanoidenRoboter auf Cerebot basiert - eine gedankengesteuerte humanoide Roboter-Plattform - bestehend aus einem EEG-Datenerfassungssystem und einen humanoiden Roboter ^11. Die EEG-System ist in der Lage zu erfassen, Vorverarbeitung und Anzeige von verschiedenen Arten von Elektroden erfasst Biopotential-Signale. Es bietet mehrere analoge I / Os und digitalen I / Os und ist in der Lage die Aufzeichnung von bis zu 128 Signalkanäle gleichzeitig mit einer Abtastrate von 30 kHz mit 16-Bit-Auflösung. Seine Software Development Kits in C ++ und MATLAB sind für die Benutzer einfach, um die experimentellen Verfahren zu entwerfen. Der humanoide Roboter hat 25 Freiheitsgrade und ist mit mehreren Sensoren, darunter 2 Kameras, 4 Mikrofone, 2 Sonarentfernungsmesser, 2 IR-Sender und Empfänger, 1 Trägheitsplatte, 9 taktilen Sensoren, und 8 Drucksensoren ausgestattet. Es bietet chorégraphe und C ++ SDK zum Erstellen und Bearbeiten Bewegungen und interaktive Roboter Verhaltensweisen.

Das übergeordnete Ziel dieses Verfahrens ist es, eine SSVEP-basierten experimentellen proce etablierendure durch die Integration mehrerer Software-Programme, wie zB OpenViBE, Choregraph, Zentral Software sowie Benutzer entwickelten Programme in C ++ und MATLAB geschrieben, um das Studium der Gehirn-Roboter-Interaktion mit humanoiden Robotern ¹¹ zu ermöglichen. Abbildung 1 zeigt die Systemstruktur. Der dedizierte Reizdarbietung Computer (SPC) zeigt die Benutzerschnittstelle, um das Thema mit visuellen Reizen, Anweisungen und Umweltrückmeldungen liefern. Der dedizierte Datenverarbeitung Computer (DPC) wird mit der Data Recorder und das Offline-Data Analyzer in der Offline-Trainingsprozess, und betreibt das Online-Signal-Prozessor und der Robotersteuerung für die Online-Steuerung der humanoiden Roboter. Im Vergleich zu anderen SSVEP-basierte Steuerungssysteme, ist unser System zuverlässiger, flexibler und vor allem bequemer, wiederverwendet und aktualisiert, wie es durch die Integration einer Reihe von standardisierten Softwarepaketen wie OpenViBE, Choregraph, Zentral-Software entwickelt werden, und Module in C ++ geschriebenund MATLAB.

Das folgende Verfahren wurde überprüft und von Tianjin Medical University General Hospital Ethik-Kommission genehmigt, und alle Fächer gab schriftlichen Zustimmung.

Protokoll

1. Der Erwerb EEG-Signale

1. Erläutern Sie die Versuchsdurchführung an das Thema und erhalten eine schriftliche Einverständniserklärung an Versuchen.
2. Messen Sie den Umfang der Kopf der Person mit einem Maßband und wählen Sie das EEG Kappengröße, die in der Nähe der Messung ist. Die Elektroden-Anordnung ist auf der "Internationalen 10-20 System" ¹² basiert.
3. Messen Sie den Abstand zwischen dem Nasion und Inion. Verwenden Sie einen Hautmarker Bleistift bis 10% des Abstandes als Referenz für die Ausrichtung der Kappe zu markieren, und markieren Sie den Mittelpunkt der Entfernung wie der Scheitelpunkt auf der Person Kopfhaut.
4. Legen Sie die EEG-Haube über das Thema durch Ausrichten der 10% Marke mit dem Mittelpunkt der FP1 und FP2 Elektroden. Position Elektrode Cz der Kappe auf dem Scheitel.
5. Sicherzustellen, dass der Fz, Cz, Pz und Oz sind auf der Mittellinie des Kopfes, und daß jedes Paar von Elektroden auf jeder Seite der Mittellinie angeordnet sind, in einer horizontalen Linie.
6. Schmieren die REF1 und REF2 Elektroden mit leitendem Gel. Legen Sie die Referenzelektroden, die auf der linken und rechten Mastoide mit medizinischem Klebeband. Ziehen Sie den Kinnriemen.
7. Legen Sie ein stumpfer Spitze Spritze in den Elektrodenhalter und injizieren leitfähiges Gel in jeder Elektrode in der folgenden Reihenfolge: zuerst die "Masse" Elektrode auf der Stirn und die zweite, die fünf Elektroden in dem Experiment verwendet, O2, O1, Oz, Pz und Cz.
8. Setzen Sie das Thema in einem bequemen Sessel 60 cm vor einem Konjunkturmonitor. Weisen Sie den Gegenstand, um seine / ihre Augen in der gleichen horizontalen Ebene mit der Mitte des Bildschirms zu halten.
9. Verbinden Sie die Elektrodendrähte an den EEG-Datenerfassungssystem. Konfigurieren Sie die Abtastrate auf 1 kHz.
10. Untersuchen Sie die EEG-Signalqualität auf dem dedizierten DPC. Wenn es ein Problem mit einer bestimmten Elektrode, erneut inject Gel die Impedanz des Kanals einzustellen.
11. Verwenden Sie die spezielle SPC zu vier Roboter Bilder bei Frequenzen von 4,615, 12, 15 und 20 flackernHz als visuelle Reize auf die Benutzerschnittstelle, wie in Abbildung 2 dargestellt.

2. Offline-Analyse SSVEP Eigenschaften

1. Führen Sie 32 Studien mit Offline-Trainingsversuche für jeden Probanden und notieren ihre aus dem EEG-System während des gesamten Prozesses erworbenen Hirnsignale.
   Hinweis: Dieser Vorgang ist nur durch erstmalige Subjekte der Versuch durchgeführt, um ihre SSVEP Merkmalsvektoren zu schaffen und den Klassifikator zu trainieren.
2. Wenn ein Versuch gestartet wird, wählen Sie einen Stimulus als Ziel nach dem Zufallsprinzip und zeigt ein gelber Pfeil darüber.
3. 1 Sekunde später flackern die vier visuelle Reize bei verschiedenen Frequenzen auf der Benutzerschnittstelle für 5 Sekunden.
4. Fordern Sie den Gegenstand auf dem ausgewählten Zielreiz zu konzentrieren, während seine / ihre Körperbewegung auf ein Minimum.
5. Nach jedem Versuch geben, den Gegenstand 3 sec zu entspannen, und starten Sie dann den nächsten Versuch.
6. Wenn alle Prüfungen abgeschlossen haben, lesen Sie die gespeicherten Daten. Extrahieren Sie ein 3-sec Datenepoche sein zwischen 2 Sekunden und 5 Sekunden nach dem Trigger die einen Stimulus als Target in jedem Versuch auswählt.
7. Berechnen Sie die Leistungsspektrumsdichte (PSD) der Daten Epochen mit der Offline-Data Analyzer in MATLAB-Skripte. Verwenden Sie das im Detail unten beschriebenen Verarbeitungsalgorithmus:
   1. Berechnen Sie die kanonische Korrelationsanalyse (CCA) Koeffizienten der Mehrkanal-EEG-Daten mit Referenzdaten. CCA ist ein multivariaten statistischen Verfahren für zwei Sätze von Daten verwendet werden, um die zugrunde liegenden Korrelations ¹³ finden. In Anbetracht der 3s Segment der Mehrkanal-EEG-Daten X und Referenzdaten Y der gleichen Länge, verwenden CCA, um die Gewichtsvektoren, W _x und W _y zu finden, um den Korrelationskoeffizienten ρ zwischen x = X ^T W _{x und y} = Y ^T zu maximieren W _y. Stellen Sie die Referenzdaten, um die periodische Signale an bestimmten Stimulusfrequenzen sein.
      /ftp_upload/53558/53558eq1.jpg "/>
      wobei f _{1, f 2, f 3,} f _{4 die} Funktion Frequenzen der vier visuellen Stimuli.
   2. Räumlich filtern das Mehrkanal-EEG-Daten X unter Verwendung des berechneten CCA-Koeffizienten _X, um eine eindimensionale gefilterten Daten x, der die prominentesten Korrelation mit der Linearkombination der Referenzdaten ist zu erhalten.
   3. Berechnung der PSD der räumlich gefilterten Daten x unter Verwendung der schnellen Fourier-Transformation (FFT).
      
      wobei N _FFT ist die Probengröße von Daten x und FFT (x, N _FFT) liefert den N _FFT -Punkt diskreten Fourier-Transformation von x.
   4. Normalisieren der PSD in Bezug auf seinen Mittelwert zwischen 3 und 30 Hz.
      
      woher60; den Mittelwert des Leistungsspektrums von 3 bis 30 Hz.
8. Kalibrieren Sie die Klassifikationsparameter für die vier Stimulusfrequenzen. Erstens, beachten Sie die normalisierten PSD-Spektrum, das seine Impulse Ziel entspricht und die Frequenz mit dem stärksten PSD Amplitude wie die Funktion Frequenz manuell zu konfigurieren. Auf der Grundlage der Merkmalsfrequenz, teilen die normalisierten PSD-Daten in zwei Gruppen: Die eine ist erworben, wenn die entsprechenden Impulse als das Ziel ausgewählt, und der andere wird erworben, wenn die Nicht-Zielstimuli ausgewählt sind. Berechnen Sie den Mittelwert der jeweils eingestellt sind. Bestimmen Sie die Schwelle durch den Median der beiden Mittelwerte zur Klassifizierung der Ziel- und ^{Nichtzielsätze} 14.

3. Online Verarbeitung Gehirn Signale

1. Öffnen Sie die Online-Signalprozessor, wie in Abbildung 3, die b entwickelt wird gezeigt,auf der OpenViBE Umwelt und den MATLAB-Skripten, auf dem DPC für die Online-Verarbeitung Gehirnsignale ased.
2. Doppelklicken Sie auf die Erfassung und Verarbeitung Signal Box, die mit einem roten Zyklus in 3 gekennzeichnet ist, um die OpenViBE Einstellungsfenster zu öffnen. Konfigurieren Sie die Klassifikationsparameter für das Thema:. Die Abtastrate als 1 kHz, stellen Sie die Zeitdauer für die FFT als 3 Sekunden, und setzen Sie die Funktion Frequenzen gemäß den Ergebnissen der Offline-Analyse, beispielsweise 4,667, 24, 15 und 20 Hz .
3. Klicken Sie auf die Schaltfläche, um die Starts Online-Signalprozessor, der die Daten in Echtzeit mit dem folgenden Algorithmus in drei Schritten Prozesse laufen.
4. Zunächst wird der Algorithmus erwirbt EEG-Daten von den Kanälen Oz, O1, O2, Pz und CPZ des EEG-Systems alle 0,5s, und extrahiert die Daten-Segment in den letzten 3-Fettsäuren für die Online-Verarbeitung.
5. Zweitens, verarbeitet der Algorithmus die 3-sec-Datensegment unter Verwendung der in Schritt 2.7 beschriebenen Algorithmen und berechnet die Echtzeit-PSD für classification.
6. Drittens, der Algorithmus klassifiziert die Gehirnwellenmuster entsprechend den PSD Amplituden an den vier Spiel Frequenzen. Wenn die Amplitude der ein Merkmal Frequenz oberhalb einer gegebenen Schwelle, Klassifizieren des Reizes Flackern bei der entsprechenden Frequenz als SSVEP vorbei.

4. Anschließen des Humanoid Robot

1. Drücken Sie die Brust-Taste des Menschenroboters und warten, bis es startet.
   Hinweis: Dieser Vorgang dauert ca. 1 min und ist abgeschlossen, wenn der Roboter sagt "OGNAK GNOUK", während seine Brust Taste wird weiß.
2. Stellen Sie ihre Wireless Fidelity (WiFi) Verbindung mit dem DPC ^15.
3. In Visual C ++ Skripts auf dem DPC öffnen Sie die Robotersteuerung programmiert. Der Controller empfängt die Klassifizierungsergebnisse aus dem Online-Prozessor über Signal Virtual-Reality-Peripherie Network (VRPN) -Schnittstelle, übersetzt sie in der Roboter Befehle und steuert die entsprechenden Verhaltensweisen des humanoid Roboter über eine drahtlose Verbindung.
4. Konfigurieren Sie die Robotersteuerung durch Eingabe der IP-Adresse des Roboters entsprechend seiner WiFi-Verbindung, definieren drei Sätze von Roboter Verhaltensweisen wider, die einfach umgeschaltet, um die drei verschiedene Aufgaben durchführen, und die Einstellung der Ausführungsparameter dieser Verhaltensweisen (z. B. Schrittgeschwindigkeit oder Abstand), um die Aufgabe Anforderung zu passen.
   HINWEIS: Weitere Einzelheiten zu diesen Verhaltensweisen werden in Schritten 5.2.1, 5.3.1 und 5.4.1 beschrieben.
5. Klicken Sie auf die Schaltfläche Erstellen der Visual Studio-Plattform an die Robotersteuerung ausführen.
6. Öffnen Sie die chorégraphe Programm auf der SPC. Klicken Sie auf "Connect to", um Pop-up eine Verbindung Widget. Wählen Sie den Roboter nach seiner IP-Adresse gesteuert werden kann, und doppelklicken Sie auf das Symbol, um eine Verbindung herzustellen.
7. Öffnen Sie den Video-Monitor aus dem Menü Ansicht in der Menüleiste chorégraphe, und bewegen Sie den Monitor an der Frontseite der Benutzeroberfläche, um Live-Video-Feedback von der Roboterkamera anzuzeigen.

5. Durchführung von Regel Experimente

1. Fordern Sie das Thema auf drei spezifische Regelungsaufgaben in unterschiedlichen Umgebungen, um das Gehirn-Roboter-Interaktion Leistung zu bewerten durchzuführen.
   HINWEIS: Diese Aufgaben, die im Roboter-Anwendungen wichtig sind, weil sie hilfsbereit und half in ihrem täglichen Leben die behinderte und ältere Menschen sind, müssen verschiedene Roboter-Verhalten zu aktivieren.
2. Führen Sie die erste Regel Aufgabe, Telepräsenz kontrollieren die humanoiden Roboter über Hirnsignale, um durch Hindernisse zu gehen und drücken Sie einen Lichtschalter, um das Licht einzuschalten, wie in Abbildung 4 dargestellt.
   1. Um die erste Aufgabe zu erfüllen, die Kontrolle der Roboter Verhaltensweisen, die von den vier SSVEP Reize wie codiert werden: Schritt nach vorn mit einem festen Abstand von 0,15 m, biegen Sie links mit einem festen Einheitswinkel von 0,3 rad, nach rechts mit einer festen Einheitswinkel von 0,3 rad, und Drücken des Schalters mit seiner rechten Hand.
      HINWEIS: die ConfiguraProzess in Schritt 4.4 beschrieben.
   2. Informieren den Gegenstand der Aufgabenziel und die vier Verhalten kontrolliert werden.
   3. Führen Sie die Robotersteuerung wie in Schritten von 4,5 bis 4,7, und starten Sie das Experiment. Geben Sie dem Subjekt die Freiheit, die Umwelt wahrnehmen und Entscheidungen treffen, basierend auf Live-Video-Feedback, und die Roboter Verhaltensweisen durch starrte auf die entsprechenden Reize zu aktivieren.
      Anmerkung: keine Anweisung oder helfen sollen, die Gegenstand angewendet werden, wenn in Notfällen, beispielsweise etwa mit einem Hindernis kollidiert ist der Roboter..
3. Führen Sie die zweite Aufgabe, Telepräsenz kontrollieren die humanoiden Roboter über Hirnsignale in Richtung der Treppe zu Fuß nach der Ausfahrt, wie in Abbildung 5 dargestellt. Wenn konfrontiert die Passanten, fragen Sie den Gegenstand, um den Roboter zu steuern, zu sagen "Entschuldigung" und warten Sie die Passanten, nachzugeben.
   1. Steuerung der Roboterverhalten durch die vier SSVEP Reize codiert als: zu Fuß nach vorne continuously mit einer Geschwindigkeit von 0,05 m / sec, biegen kontinuierlich mit einer Geschwindigkeit von 0,1 rad / s nach links, mit einer Geschwindigkeit von 0,1 rad / s nach rechts laufend, und stoppen Sie alle zu Fuß Verhaltensweisen.
   2. Schalten Sie die Robotersteuerung zu der Haltung abhängigen Steuerfunktion ^16.
      HINWEIS: Wenn der Roboter geht, verwendet diese Funktion die vierte Konjunktur wie der Befehl zum Stoppen der Wanderverhalten; wenn der Roboter nicht zu Fuß, verwendet es die vierte Konjunktur, um den Roboter zu sagen "Entschuldigung" zu steuern. Die Funktion ist in C ++ Skripts durch Erfassen Fuß Status des Roboters implementiert.
   3. Informieren Sie den Betreff der Aufgabe, objektive und die fünf Verhaltensweisen kontrolliert werden.
   4. Führen Sie die Robotersteuerung und starten Sie das Experiment, wie in Schritt 5.2.3 beschrieben.
4. Leiten die dritte Aufgabe, Telepräsenz kontrollieren die humanoiden Roboter in Richtung einer Ballon Ziel zu gehen, um ihn abzuholen, und sie auf die Hand der Person zu liefern, wie in Abbildung 6 gezeigt,.
   1. Steuerung der Roboterverhalten durch die vier SSVEP Reize codiert als: Schritt nach vorn mit einem festen Abstand von 0,15 m, biegen Sie links mit einem festen Einheitswinkel von 0,3 rad, nach rechts mit einer festen Einheitswinkel von 0,3 rad und Ergreifen von Gegenständen.
   2. Aktivieren Sie die Haltung abhängige Steuerungsfunktion in der Robotersteuerung, die vierte Konjunktur wie der Befehl der Niederschlagung des Objekts, wenn es bereits abgeholt wiederverwenden.
   3. Informieren Sie den Betreff der Aufgabe, objektive und die fünf Verhaltensweisen kontrolliert werden.
   4. Führen Sie die Robotersteuerung und starten Sie das Experiment, wie in Schritt 5.2.3 beschrieben.

Ergebnisse

Die hier dargestellten Ergebnisse wurden aus einem männlichen Subjekt mit korrigierten-zu-normal erhalten Version. 7 zeigt das Verfahren der Verarbeitung von EEG-Daten, einschließlich der Extraktion eines Mehrkanal-Datenepoche (7A), räumliches Filtern der Daten unter Verwendung von CCA-Koeffizienten (7B) und Berechnen der normierten PSD (7C).

Abbildung...

Diskussion

Dieser Beitrag stellt eine SSVEP-basierten experimentellen Verfahren, um das Gehirn-Roboter-Interaktion System mit humanoiden Robotern durch die Integration mehrerer Software-Programme zu etablieren. Weil die menschliche Absicht wird durch Interpretieren Echtzeit-EEG-Signalen wahrgenommen wird, ist es entscheidend, den Elektrodenanschlüssen und EEG-Signalqualitäten vor der Durchführung des Experiments zu verifizieren. Wenn Signale von allen Elektroden erfasst sind von schlechter Qualität, ist es notwendig, die Verbindun...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Cerebus EEG-Datenerfassungssystem	Blackrock Microsystems	4176-9967
NAO humanoider Roboter	Aldebaran Robotics	H25
EEG-Kappe	Neuroscan	8732
Ten20 Leitfähiges Gel	Weaver und Firma	10-20-8