SSVEP-basierten Versuchsdurchführung für Brain-Roboter-Interaktion mit Humanoide Roboter

Das übergeordnete Ziel dieser Methode besteht darin, ein auf S-S-V-E-P basierendes experimentelles Vorgehen zu etablieren, indem mehrere Softwareprogramme integriert werden, um die Untersuchung der Gehirn-Roboter-Interaktion mit humanoiden Robotern zu ermöglichen. Dies wird erreicht, indem zunächst EEG-Elektroden am menschlichen Probanden angebracht werden, um die Gehirnreaktionen mittels eines EEG-Datenerfassungssystems zu messen. Eine Benutzeroberfläche dient zur Hervorrufung von S-S-V-E-P-Antworten und zur Anzeige von Video-Feedback in den Experimenten mit geschlossenem Regelkreis.

Der zweite Schritt besteht darin, die EEG-Signale der Probanden bei ihrer ersten Aufnahme aufzuzeichnen, um die S-S-V-E-P-Merkmale offline zu analysieren und den Klassifikator für jeden Probanden zu trainieren. Anschließend werden der Online-Signalprozessor und der Robotercontroller für die Online-Steuerung eines humanoiden Robert eingerichtet. Im abschließenden Schritt führt der Proband drei spezifische Closed-Loop-Steuerungsexperimente in unterschiedlichen Umgebungen durch.

Um die Leistung der Interaktion zwischen Gehirn und Robert zu bewerten, zeigen die Ergebnisse die normalisierte Leistungsdichtespektrum der Gehirnsignale, die erzeugt werden, während auf Reize gestarrt wird, die mit unterschiedlichen Frequenzen flimmern. Unser System übersetzt diese Gehirnwellenmuster in Befehle, um Robert-Verhaltensweisen zu steuern. Mit diesem Ansatz ist der Proband in der Lage, mittels Gehirnsignalen mit dem humanoiden Robert zu interagieren.

Dies ermöglicht es dem humanoiden Roboter Robert, typische Aufgaben durchzuführen, die in der Robotikforschung verbreitet sind und bei der Unterstützung von Menschen mit Behinderungen hilfreich sind. Der Vorteil dieses Ansatzes liegt in seiner Zuverlässigkeit und Flexibilität, da er durch die Integration mehrerer Softwareprogramme wie Open Wide Graph und zentraler Software sowie benutzerdefinierter Programme in C++ und MATLAB entwickelt wurde. Diese Methode ermöglicht es, die Interaktion zwischen Gehirn und Roboter in Aktion mit dem humanoiden Roboter zu untersuchen.

Diese Studie zielt darauf ab, kranke und ältere Menschen zu unterstützen sowie unhygienische oder gefährliche Arbeiten durchzuführen. Meine Teamkollegen, Lim und Han, werden nun die Platzierung der EEG-Sensoren demonstrieren und jeweils die Methode zum Anschließen am menschlichen, nicht am Roboter, zeigen. Erläutern Sie dem Probanden das Experiment und die Vorgehensweise.

Holen Sie die Einwilligung zur Teilnahme an Experimenten ein. Messen Sie den Umfang des Probanden und wählen Sie die EEG-Kappengröße E, die der Messung am nächsten kommt. Messen Sie den Abstand zwischen der NAS-Markierung und 10 % der Distanz als Referenz zur Ausrichtung der Kappe.

Markieren Sie den Mittelpunkt der Distanz am Scheitelpunkt auf der Position des Subjekts. Richten Sie am Scheitelpunkt die Elektrode Cz der EEG-Kappe so aus, dass die 10%-Markierung mit dem Mittelpunkt der Elektroden FP1 und FP2 übereinstimmt. Stellen Sie sicher, dass die Elektroden Fz, Cz, Pz und Oz auf der Mittellinie des Kopfes liegen.

Tragen Sie das Referenzelektrodengel auf die Elektroden auf. Befestigen Sie die Referenzelektroden mit medizinischem Klebeband an der linken und rechten OID. Ziehen Sie den Kettengurt fest.

Platzieren Sie die stumpfe Spritze in den Elektrodenhaltern und injizieren Sie leitfähiges Gel in jede Elektrode in der folgenden Reihenfolge: zuerst in die Erdungselektrode und anschließend in die fünf Elektroden, die im Experiment O 2 0 1 OZ.PZ und cz verwendet werden. Setzen Sie die Versuchsperson auf einen bequemen Stuhl, 60 Zentimeter vor einem Stimulationsmonitor.

Schließen Sie die Elektrodenkabel an das EEG-Datenerfassungssystem an. Stellen Sie die Abtastrate auf ein Kilohertz ein. Überprüfen Sie die Qualität des EEG-Signals am dedizierten Datenverarbeitungscomputer.

Wenn ein Problem mit der bestimmten Elektrode vorliegt, injizieren Sie erneut Gele, um die Impedanz des Kanals anzupassen. Blenden Sie vier Roboterbilder mit unterschiedlichen Frequenzen als visuelle Reize auf der Benutzeroberfläche ein.

Führen Sie für die erste Versuchsperson das Offline-Trainingsexperiment durch, um ihre S-S-V-E-P-Merkmalvektoren zu ermitteln und den Klassifikator zu trainieren. Führen Sie 32 Durchläufe für jede Versuchsperson durch und nehmen Sie während des gesamten Vorgangs das Gehirnsignal auf. Wenn ein Durchlauf beginnt, wählen Sie zufällig einen Reiz als Ziel aus und zeigen Sie einen gelben Pfeil darüber an.

Eine Sekunde. Danach flackern die vier visuellen Reize fünf Sekunden lang mit unterschiedlichen Frequenzen auf der Benutzeroberfläche auf; bitten Sie die Versuchsperson, sich auf das ausgewählte Stimulusziel zu konzentrieren und gleichzeitig die Körperbewegungen auf ein Minimum zu beschränken. Geben Sie der Versuchsperson nach jedem Durchgang drei Sekunden Zeit zur Entspannung, bevor der nächste Durchgang beginnt.

Wenn alle Durchläufe abgeschlossen sind, lesen Sie die gespeicherten Daten aus. Vertikale orangefarbene Balken zeigen die Auslöser an, um einen Reiz als Zielreiz auszuwählen, während die Reize während des Fünf-Sekunden-Zeitraums flimmern. Extrahieren Sie in jedem Durchlauf eine dreisekündige Datenapo zwischen zwei und fünf Sekunden nach dem Auslöser.

Berechnen Sie den CCA-Koeffizienten der multikanaligen EEG-Daten mit einem Referenzsignal y, das als periodisches Stimulussignal bei bestimmten Frequenzen festgelegt wird. Die CCA-Methode ermittelt die Linearkombinationsvektoren, um den Korrelationskoeffizienten zwischen den kombinierten Signalen zu maximieren. Filtern Sie die multikanaligen EEG-Daten räumlich unter Verwendung der berechneten CCA-Koeffizienten.

Berechnen Sie die Leistungsdichtespektrum der Filterdaten mithilfe der schnellen Fourier-Transformation. Normalisieren Sie die Leistungsdichtespektrum bezüglich ihres Mittelwerts zwischen drei Hz und 40 Hz. Kalibrieren Sie anschließend die Klassifikationsparameter für jede Stimulationsfrequenz.

Konfigurieren Sie die Klassifizierungsparameter für das Versuchssubjekt über ein geöffnetes Fenster zur Einstellung der Abwischung. Starten Sie den Online-Signalprozessor auf dem Datenverarbeitungsrechner. Erfassen Sie EEG-Daten von den Kanälen O 2 0 1 OZ PZ und CZ des EEG-Systems alle 0,5 Sekunden und extrahieren Sie den Datenabschnitt der letzten drei Sekunden zur Online-Verarbeitung.

Verarbeiten Sie den Datenabschnitt mithilfe der Algorithmen, die im Offline-Verfahren beschrieben sind. Berechnen Sie die Echtzeit-Leistungsdichtespektrum zur Klassifizierung. Wenn die Amplitude einer Merkmalsfrequenz über einer bestimmten Schwelle liegt, wird der Reiz, der mit der entsprechenden Frequenz flimmert, klassifiziert.

Starten Sie als SSV-EEP-Ziel den menschenähnlichen Noro-Roboter und stellen Sie die WLAN-Verbindung zum Datenverarbeitungsrechner her. Konfigurieren und betreiben Sie den Roboter-Controller, der die Klassifizierungsergebnisse vom Online-Signalprozessor erhält und die entsprechenden Verhaltensweisen des Humanoide Robert über eine drahtlose Verbindung steuert. Führen Sie das Choreograph-Programm auf dem dedizierten Rechner zur Stimuluspräsentation aus, um Live-Videorückmeldungen aus der Kamera des Robert auf der Benutzeroberfläche anzuzeigen.

Bitten Sie die Versuchsperson, drei spezifische Closed-Loop-Kontrolltests in unterschiedlichen Umgebungen durchzuführen, um die Leistung der Gehirn-Roboter-Interaktion zu bewerten. Diese Tests sind in der Robotikforschung verbreitet und helfen dabei, behinderten und älteren Menschen im Alltag zu assistieren. Informieren Sie die Versuchsperson vor einer neuen Aufgabe über das Ziel der Aufgabe und die verfügbaren Steuerverhaltensweisen.

Diese Ergebnisse zeigen das Verfahren zur Verarbeitung von EEG-Daten, einschließlich des Extrahierens der multikanaligen Datenepochen, der räumlichen Filterung der Daten mithilfe von CCA-Koeffizienten und der Berechnung der normalisierten Leistungsdichtespektrum. Das normalisierte Leistungsdichtespektrum, das in einzelnen Versuchsdurchgängen gewonnen wurde, während der Proband auf verschiedene flackernde Ziele starrte, ist hier dargestellt. In den ersten Closed-Loop-Kontrollexperimenten wurde der Mensch Noah Robert mittels Gehirnsignalen gesteuert, um Hindernisse zu umgehen und einen Lichtschalter an der Wand zu betätigen.

Hirnsignale wurden in Echtzeit verarbeitet. Um die Steuerungsintention des Probanden zu klassifizieren, beobachtete dieser die Live-Videorückmeldung und steuerte das Verhalten des Robert, indem er die entsprechenden Reize fixierte. Nach Erreichen des Schalters steuerte der Proband den Robert an, um das Licht einzuschalten.

Im zweiten Experiment wurde der Mensch-Roboter kontinuierlich anhand von Video-Rückmeldungen entlang des Ausgangsschilds zur Treppe gelenkt. Beim Begegnen mit einem Passanten steuerte der Proband den Robert an, um „Entschuldigung“ zu sagen, und wartete, bis der Passant Platz machte. Anschließend wurde der Robert gesteuert, um zur Treppe weiterzugehen.

Im dritten Experiment wurde der humanoide Roboter Robert mit vollständigen Körperbewegungen gesteuert, um das Ballonziel zu erreichen, aufzuheben und es anhand von Live-Videorückmeldung in die Hand des Probanden abzuliefern. Da die menschliche Absicht durch die Interpretation von EEG-Signalen der LU-Zeit wahrgenommen wird, ist es entscheidend, vor Durchführung der Experimente die elektrischen Verbindungen sowie die Qualität der EEG-Signale zu überprüfen. Ein weiteres häufiges Problem beim Erfassen von EEG-Signalen sind Störungen oder Artefakte sowie Rauschen.

Die Lendenwirbelsäule, bei uns eine solche Störung wird durch die Verringerung der Körpersbewegung des Probanden und die Nutzung der CCA-basierten Mehrkanaltechnik verbessert. Unsere Methode eignet sich effektiv zur Gestaltung einer Vielzahl experimenteller Verfahren und ist flexibel, um Algorithmen und Techniken für die Gehirn-Roboter-Interaktion zu untersuchen, insbesondere kann sie leicht zur Erforschung neuer Anwendungen der BRI verwendet werden.