Echtzeit-Proxy-Steuerung von re-parametrisierten Peripheriesignalen über eine Close-Loop-Schnittstelle

Der allgemeine Zweck dieser Schnittstelle ist es, die Wirkung der Poly-Signal-Augmentation auf die Gewinnung von körperiver Bewusstsein zu studieren. Dies wird durch die Entwicklung einer generischen Closed-Loop-Schnittstelle erreicht, die mit verschiedenen tragbaren Technologien auf verschiedenen Versuchs-Setups verwendet werden kann und auf verschiedene Populationen angewendet werden kann. In dieser Arbeit stellen wir eine generische Schnittstelle vor, um Schnittstellen, ihre Anwendungen und ihre Auswirkungen auf das menschliche System auszuprobieren.

Der erste Schritt des Designs ist der Einsatz verschiedener tragbarer Technologien, die die Aufzeichnung von Signalen ermöglichen, die aus verschiedenen Ebenen des Nervensystems kommen. Der zweite Schritt ist die Verwendung der Lab Streaming-Schicht, um synchronisierte Aufnahme und Echtzeit-Streaming der Signale zu erreichen. Im ersten Schritt werden die Stream-Daten durch Code gezogen, der in der Sprache unserer Präferenz entwickelt wird, in der die Echtzeitanalyse und Feature-Extraktion eines ausgewählten Signals stattfindet.

So erleben die Teilnehmer auf den vier Stufen die sensorische Erweiterung extrahierter Features wie die auditive Zuordnung ihrer Herzfrequenz zum Tempo des Songs oder die visuelle Darstellung ihrer Bewegungen. Schließlich schließen wir durch die kontinuierliche Erweiterung der Körperinformation in Echtzeit die Schleife der sich entfaltenden Interaktion zwischen der Schnittstelle und dem Teilnehmer. Untersuchungen darüber, wie das Gehirn unseren Körper kontrollieren kann, haben das Design von Gehirn-Maschinen-Schnittstellen erzeugt.

Welche Nutzen das Nervensystem Signale, um ein externes Gerät wie ein Exoskelett oder einen Roboterarm zu steuern. Wir präsentieren hier geschlossene Loop-Schnittstellen, die die Signale des Nervensystems nutzen und sie mit einem sensorischen Modul erweitern, um den Teilnehmern zu helfen, die Kontrolle über ihren Körper zu erlangen. Einige wesentliche oder Merkmale unseres Designs sind eine, die synchrone Aufzeichnung von Daten aus verschiedenen Technologien, um verschiedene Ebenen des Nervensystems zu untersuchen und zwei ist das Daten-Streaming und die Analyse der Daten für Echtzeit-Augmentation In beiden Beispielstudien haben wir Audio-Feedback verwendet, aber in der Audio-Geschlossen-Loop-Schnittstelle reagierten die Salsa-Tänzer auf das Tempo der Musik, die in Echtzeit gesteuert wurde. , basierend auf dem Rhythmus des Herzens.

Um dies zu erreichen, verwenden wir die musikalische Programmiersprache Max, um die Wiedergabegeschwindigkeit von Audiodateien zu steuern. Sensoren erfassen die Tänzer, Herzschläge und gefilterte Herz-R-Peaks werden mit einem Python-Skript erzeugt. Diese Spitzenwerte werden dann in Echtzeit über die offene Soundsteuerung an Max übertragen.

Zuerst halfen wir dem Teilnehmer, das LED-basierte Motion-Capture-Kostüm anzuziehen und daran befestigt, ihren drahtlosen LED-Controller. Nachdem Sie den Server eingeschaltet haben, öffnen Sie einen Webbrowser, geben Sie die IP-Adresse des Servercomputers ein, und melden Sie sich an. Wenn dieser Schritt erfolgreich ist, wird der Konfigurations-Manager geöffnet.

Öffnen Sie dann die Schnittstelle des Motion Capture Systems und klicken Sie auf Verbinden. , um mit dem Streaming der Daten aus den LED-Markern zu beginnen. Sobald die Verbindung hergestellt ist, wird die Position der Marker in der virtuellen Welt der Schnittstelle angezeigt.

Klicken Sie mit der rechten Maustaste auf das Skelett auf der rechten Seite des Fensters und wählen Sie ein neues Skelett aus, um das Marker-Mapping auszuwählen. Klicken Sie dann wieder mit der rechten Maustaste auf das Skelett und wählen Sie Skelett generieren aus. Stellen Sie sicher, dass der Teilnehmer in T-Pose posiert.

Wenn alle Schritte korrekt ausgeführt werden, wird das Skelett generiert. Um die Skelettdaten in LSL zu streamen, wählen Sie Einstellungen und Optionen aus dem Hauptmenü aus. Öffnen Sie OWL Emulator und stellen Sie sicher, dass Sie geklickt haben, starten Sie Live-Streaming.

Als nächstes helfen Sie dem gleichen Teilnehmer, die EEG-Kopfkappe aufzuziehen. Füllen Sie Elektroden mit hochleitfähigem Gel und legen Sie die Elektrodenkabel. Schließen Sie sie dann in den drahtlosen Monitor ein und schalten Sie ihn ein.

Öffnen Sie die Schnittstelle des EEG-Systems und wählen Sie WiFi-Gerät verwenden. Wählen Sie das Gerät aus und klicken Sie auf Dieses Gerät verwenden, klicken Sie auf das Kopfsymbol. Wählen Sie das Protokoll aus, das die Aufzeichnung aller 32 Sensoren ermöglicht, und klicken Sie auf Last.

Stellen Sie sicher, dass die Streamdaten passen und alle auf der Schnittstelle angezeigt werden. Um Herzaktivitätsdaten zu sammeln, verwenden Sie einen der EEG-Kanäle, um das EEG-Verlängerungskabel anzuschließen. Verwenden Sie eine klebrige Elektrode, um das andere Ende der Verlängerung direkt unter dem linken Rippenkäfig des Teilnehmers zu kleben.

Suchen Sie die LSL-Anwendung des Motion Capture Systems im LSL-Ordner und führen Sie sie durch Doppelklick auf das entsprechende Symbol aus. Klicken Sie auf der Schnittstelle auf die richtige Serveradresse, klicken Sie auf Link. Für das EEG- und EKG-Datenstreaming sind keine zusätzlichen Schritte erforderlich.

Als nächstes finden wir die Lab Recorder-Anwendung, die sich ebenfalls im LSL-Ordner befindet. Führen Sie die Anwendung aus, indem Sie darauf doppelklicken. Wenn nicht alle Datentypen der Bewegungserfassung und des EEG-Systems im Bedienfelddatensatz für Streams angezeigt werden, klicken Sie auf Aktualisieren.

Wählen Sie Verzeichnis und Namen im Speicherortfenster aus, und klicken Sie dann auf Starten, um die Datensammlung zu starten. Führen Sie den MATLAB-, Python- oder anderen Code aus, der die Stream-Daten empfängt, verarbeitet und erweitert. LSL ermöglicht das Streaming der Daten in zahlreichen Programmierplattformen.

Sie verwenden die Ziele, die ihren im Manuskript beschriebenen präsentationswerten Beispielen entsprechen. Besuchen Sie unseren GitHub-Link. Auf dem Markt gibt es verschiedene Technologien, die sensorische Ausgänge erzeugen.

Einige häufige Beispiele sind: Lautsprecher, Lichter, Monitore und andere weniger häufige, wie haptische Geräte Vibratoren, gustatorische und olfaktorische Schnittstellen. In der Audio-Closed-Loop-Schnittstelle gelingt es uns, die Herzfrequenz digital zu erhöhen. Mit der musikalischen Programmiersprache Max können wir die Wiedergabegeschwindigkeit von Audiodateien steuern.

Die gefilterten Herz-R-Peaks, die auf die Konsole gedruckt werden, werden vom Python-Skript an Max übertragen. Dort wird die Inter-Peak-Intervallzeit gemessen und in Schläge pro Minute umgewandelt. Die Daten werden skaliert, um einen Bereich zwischen Null, der langsamstmöglichen Wiedergabegeschwindigkeit und der maximalen Wiedergabegeschwindigkeit zu erstellen.

Auf diesem Kontinuum entspricht man der normalen Wiedergabegeschwindigkeit, 0,5 entspricht der halben Geschwindigkeit und zwei gleich doppelter Wiedergabegeschwindigkeit. Das Design der generischen Schnittstelle kann in verschiedenen Populationen verwendet werden. Sein Protokoll und die Beispiele, die hier verwendet werden, um den Beweis des Konzepts zu liefern, sind nicht auf eine bestimmte Gruppe beschränkt.

Darüber hinaus sind die Closed-Loop-Schnittstellen so konzipiert, dass sie intuitiv erkundet und erlernt werden können. Obwohl es keine Notwendigkeit für Anweisungen als Teil des experimentellen Verfahrens geben sollte. In der Untersuchung der Audio-Geschlossen-Loop-Schnittstelle einer echten dyaischen Interaktion interagierten zwei Salsa-Tänzer mit einer Schnittstelle, die die Herzfrequenz der Tänzerinnen nutzt, um die Geschwindigkeit des Songs zu ändern.

Die Tänzer führten eine eingespielte Routine und einen improvisierten Tanz auf. In jedem Zustand spielten sie einmal die Originalversion des Songs und dann ist es herzveränderte Version zweimal. Aus den gesammelten Daten schätzen wir die gamma-stochastischen Signaturen der extrahierten Mikrobewegungsspitzen.

Hier beobachten wir die geschätzten Wahrscheinlichkeitsdichtefunktionen des Herzens und die Musikdaten. Die Dope-Figuren zeigen die Sets des Herzens, das eine autonome Orgel ist, vom ersten Zustand an, der das Lied in seiner ursprünglichen Form tanzt. Zum zweiten und dritten Zustand tanzend veränderte das Herz das Lied.

Die linke Figur entspricht den drei Aufnahmen des spontanen Tanzes, während die rechte Figur zu den drei Aufnahmen des bewussten Tanzes. Auf den unteren Zahlen können wir die entsprechenden Sätze des gespielten Audios beobachten. Hier haben die Sets eine entgegengesetzte Richtung.

Bei der Untersuchung der audio-visuellen Closed-Loop-Schnittstelle einer künstlichen dyadischen Interaktion interagierten sechs Teilnehmer mit einer Schnittstelle, die ihren live gespiegelten Avatar erstellt. Darüber hinaus bettet es hüftpositionsabhängige Klänge ein. Die Teilnehmer waren naiv, was den Zweck der Studie angeht; sie mussten durch den Raum laufen und herausfinden, wie sie den Klang kontrollieren können, der überraschenderweise entstehen würde, wenn sie durch die Region des Interesses gehen.

Die Zahlen zeigen die Wahrscheinlichkeitsdichtefunktion und die entsprechenden Gammasignaturen der Hüftgeschwindigkeitsdaten von 60 Freund-Kontrollteilnehmern, C1 bis C6, wenn sie sich innerhalb und außerhalb des Interessenbereichs befanden. Die Ergebnisse verdeutlichen die personalisierten Unterschiede im Verhalten der Teilnehmer innerhalb oder außerhalb der Region. Empirisch haben wir herausgefunden, dass Signaturen in der rechten unteren Ecke der Gammaebene die von Athleten und Tänzern sind, die hochqualifizierte Bewegungen ausführen, Signaturen, die auf der linken oberen Region liegen, stammen aus Datensätzen von Nervensystemen mit Pathologien.

Daher können wir feststellen, dass die Signaturen der Hüftgeschwindigkeit der Steuerung drei und vier gesündere Motormuster zeigen, wenn sie innerhalb des Volumens sind. Im Gegensatz dazu zeigen die übrigen Teilnehmer das entgegengesetzte Muster. Dieser Ansatz kann sowohl verwendet werden, um ein besseres Verständnis der Beziehung zwischen den Bewegungen eines Tänzers und dem Klang zu gewinnen.

Es kann auch verwendet werden, um neue Ansätze zur Musikkomposition zu erforschen, die von Echtzeit-Körperinformationen geleitet werden, musikmachend in eine Erfahrung der Körpersignalvergrößerung umzuwandeln Die Entwicklung und Forschung an geschlossenen Loop-Schnittstellen könnte mehreren Störungen des Nervensystems zugute kommen. Sie könnten auch in Gaming, Bewegungstraining und Sport eingesetzt werden.