Method Article

Echtzeit-Proxy-Steuerung von re-parametrisierten Peripheriesignalen über eine Close-Loop-Schnittstelle

DOI:

10.3791/61943

⸱

May 8th, 2021

 ,  , 
1Center for Cognitive Science, Rutgers University, 2Department of Computer Science, Rutgers University, 3Music Department, Mason Gross School of the Arts, Rutgers University, 4Psychology Department, Rutgers University, 5Sensory Motor Integration Lab, Rutgers University, 6Computational Biomedicine Imaging and Modelling Center, Rutgers University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wir präsentieren Protokolle und Methoden von Analysen, um koadaptive Schnittstellen zu erstellen, die menschliche Körper- und Herzsignale in enger Schleife streamen, parametrisieren, analysieren und modifizieren. Dieses Setup verbindet Signale, die vom peripheren und zentralen Nervensystem der Person abgeleitet werden, mit externen sensorischen Eingängen, um biophysikalische Veränderungen zu verfolgen.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Bereiche, die Methoden zur sensorischen Substitution und sensorischen Augmentation entwickeln, zielen darauf ab, externe Ziele mit Signalen des Zentralnervensystems (ZNS) zu steuern. Weniger häufig sind jedoch Protokolle, die externe Signale aktualisieren, die von interaktiven Körpern in Bewegung selbst generiert werden. Es gibt einen Mangel an Methoden, die den Körper-Herz-Hirn-Biorhythmen eines beweglichen Agenten kombinieren, um die eines anderen beweglichen Agenten während des dyadischen Austauschs zu steuern. Ein Teil der Herausforderung, eine solche Leistung zu vollbringen, war die Komplexität des Setups mit multimodalen Biosignalen mit verschiedenen physikalischen Einheiten, unterschiedlichen Zeitskalen und variablen Sampling-Frequenzen.

In den letzten Jahren hat das Aufkommen tragbarer Biosensoren, die mehrere Signale nicht invasiv im Tandem nutzen können, die Möglichkeit eröffnet, die peripheren Signale interagierender Dyaden neu zu parametrisieren und zu aktualisieren, zusätzlich zur Verbesserung der Gehirn- und/oder Körper-Maschinen-Schnittstellen. Hier stellen wir eine koadaptive Schnittstelle vor, die die effiziente somatic-motorische Leistung (einschließlich Kinematik und Herzfrequenz) mit Biosensoren aktualisiert; parametriert die stochastischen Biosignale, sonifiziert diesen Ausgang und speist sie in reparametrisierter Form als visuo/audio-kinesthetischer reafferent Eingang zurück. Wir veranschaulichen die Methoden anhand von zwei Arten von Interaktionen, von denen eine zwei Menschen und eine mit einem Menschen und seinem Avatar, der in nahezu Echtzeit interagiert, beteiligt sind. Wir diskutieren die neuen Methoden im Kontext möglicher neuer Methoden zur Messung der Einflüsse externer Eingaben auf die interne somatic-sensorische Motorsteuerung.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Der natürliche Close-Loop-Controller
Sensorisch-motorische Informationen fließen kontinuierlich zwischen Gehirn und Körper, um gut organisierte, koordinierte Verhaltensweisen zu erzeugen. Solche Verhaltensweisen können untersucht werden, während man sich auf die Handlungen der Person allein konzentriert, wie in einem Monologstil (Abbildung 1A), oder bei komplexen dynamischen Aktionen, die von zwei Agenten in einer Dydegeteilten geteilt werden, wie in einem Dialogstil (Abbildung 1B). Eine dritte Möglichkeit besteht jedoch darin, solche komplexen Interaktionen über einen Proxy-Controller im Kontext einer Nahschleifenschnittstelle zwischen Mensch und Computer zu bewerten (Abbildung 1C). Eine solche Schnittstelle kann die Moment-für-Moment-Bewegungen Schwankungen verfolgen, die von jedem Agenten in der Dyade beigesteuert werden, und durch die Art von Kohäsivität, die sich aus ihren synchronen Interaktionen ergibt, und dabei helfen, die Rhythmen der Dyade auf wünschenswerte Weise zu steuern.

figure-introduction-1
Abbildung 1: Verschiedene Formen der Kontrolle. (A) Selbst hirngesteuerte Schnittstellen basieren auf den engen Beziehungen zwischen dem Gehirn der Person und dem eigenen Körper, die sich selbst regulieren und selbst interagieren können im "Monolog"-Stil. Dieser Modus versucht die Steuerung von selbst generierten Bewegungen, oder es kann auch darauf abzielen, externe Geräte zu steuern. (B) Die Stilsteuerung "Dialog" wird für zwei Tänzer eingeführt, die miteinander interagieren, und durch physische einzuschlagende und umgedrehte Bewegungen, um die Kontrolle über die Bewegungen des jeweils anderen zu erlangen. (C) Die Dialogsteuerung der Dyade wird durch eine Computerschnittstelle vermittelt, die die Biosignale beider Tänzer zusammen nutzt, parametriert und den Tänzern in reparaparatorisierter Form mit Audio und/oder Vision als Formen sensorischer Führung zuführt. Die Reparametrierung in den hier vorgestellten Beispielen wurde durch Audio- oder visuelles Feedback erreicht, verstärkt durch die echtzeit-kinesthetische Motorleistung eines der Tänzer, um den anderen zu beeinflussen; oder von beiden Tänzern, abwechselnd in wechselnden Mustern. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Das übergeordnete Ziel dieser Methode ist es, zu zeigen, dass es möglich ist, die Moment-für-Moment-Schwankungen in den biorhythmischen Aktivitäten von Körpern in Bewegung zu nutzen, zu parametrierisieren und neu zu parametrisieren, da zwei Agenten einen dyadischen Austausch betreiben, an dem zwei Menschen oder ein Mensch und sein/ihr sich selbst bewegender Avatar beteiligt sein können.

Untersuchungen darüber, wie das Gehirn Aktionen steuern und ihre sensorischen Folgen vorhersagen kann, haben in der Vergangenheit viele Zeilen theoretischer Untersuchungen in der Vergangenheit1,2,3 und produziert verschiedene Modelle der neuromotorischen Steuerung4,5,6,7,8. Eine Forschungslinie in diesem multidisziplinären Bereich umfasste die Entwicklung von Nahschleifen-Gehirn-Maschine- oder Gehirn-Computer-Schnittstellen. Diese Arten von Setups bieten Möglichkeiten, die CNS-Signale zu nutzen und anzupassen, um ein externes Gerät zu steuern, wie z. B. einen Roboterarm9,10,11, ein Exoskelett12, einen Cursor auf einem Computerbildschirm13 (unter anderem). Alle diese externen Geräte teilen die Eigenschaft, dass sie keine eigene Intelligenz haben. Stattdessen hat das Gehirn, das versucht, sie zu kontrollieren, und ein Teil des Problems, mit dem das Gehirn konfrontiert ist, zu lernen, wie man die Folgen der Bewegungen vorhersagt, die es in diesen Geräten erzeugt (z. B. die Bewegungen des Cursors, die Bewegungen des Roboterarms usw.), während andere unterstützende Bewegungen erzeugt werden, die zur allgemeinen sensorischen motorischen Rückkopplung in Form von kinesthetischem Rückfall beitragen. Oft war das übergeordnete Ziel dieser Schnittstellen, der Person hinter diesem Gehirn zu helfen, eine Verletzung oder Störung zu umgehen, die Transformation ihrer absichtlichen Gedanken in volitional kontrollierte körperliche Handlungen des externen Geräts wiederzuerlangen. Weniger verbreitet ist jedoch die Entwicklung von Schnittstellen, die versuchen, die Bewegungen von Körpern in Bewegung zu lenken.

Ein Großteil der ursprünglichen Forschung auf Gehirn-Maschine-Schnittstellen konzentrieren sich auf die Kontrolle des zentralen Nervensystems (ZNS) über Körperteile, die zielgerichteteAktionen9,14,15,16,17erreichen können. Es gibt jedoch andere Situationen, in denen die Verwendung der Signale, die von Aktivitäten des peripheren Nervensystems (PNS) abgeleitet werden, einschließlich der Signale des autonomen Nervensystems (ANS), informativ genug ist, um die Signale externer Wirkstoffe zu beeinflussen und zu steuern, einschließlich eines anderen Menschen oder Avatars oder sogar interagierender Menschen (wie in Abbildung 1C). Anders als bei einem Roboterarm oder -cursor verfügt der andere Agent in diesem Fall über Intelligenz, die von einem Gehirn angetrieben wird (im Fall des Avatars, der mit den Bewegungen der Person oder eines anderen Agenten ausgestattet ist, im Falle einer interagierenden menschlichen Dyade).

Ein Setup, das eine Umgebung einer koadaptiven Nahschleifenschnittstelle mit dyadischem Austausch schafft, kann von Nutzen sein, um bei Störungen des Nervensystems einzugreifen, wobei das Gehirn den eigenen Körper nicht freiwillig nach Belieben steuern kann, obwohl es die Brücke zwischen ZNS und PNS nicht physisch durchtrennt hat. Dies kann aufgrund lauter peripherer Signale der Fall sein, bei denen die Rückkopplungsschleifen, um das Gehirn kontinuierlich zu überwachen und seine eigenen selbst erzeugten Biorhythmen anzupassen, gestört worden sein könnten. Dieses Szenario tritt bei Patienten mit Parkinson-Krankheit18,19, oder bei Teilnehmern mit Autismus-Spektrum-Störungen mit übermäßigem Rauschen in ihrer motorischen Leistung. In beiden Fällen haben wir in den zurückkehrenden kinesthetischen Signalen, die aus der Geschwindigkeit ihrer beabsichtigten Bewegungen20,21,22 und aus dem Herzenabgeleitetwerden, ein hohes Geräusch-Signal-Verhältnis quantifiziert. In solchen Fällen kann der Versuch, die Gehirnsteuerung externer Signale zu beherrschen, während gleichzeitig versucht wird, den Körper in Bewegung zu steuern, zu einem selbstreaktiven Signal des wiedereintretenden (wiedereintretenden) Informationsstroms führen, den das Gehirn vom kontinuierlichen (effedünnen) Motorstrom an der Peripherie erhält. Tatsächlich enthalten die Moment-für-Moment-Schwankungen in einem solchen selbsterzeugten effetierischen Motorstrom wichtige Informationen, die nützlich sind, um die Vorhersage der sensorischen Folgen zielgerichteter Handlungen zu unterstützen24. Wenn dieses Feedback durch Rauschen beschädigt wird, wird es schwierig, die Steuersignale vorhersagbar zu aktualisieren und absichtliche Pläne mit physischen Handlungen zu überbrücken.

Wenn wir eine solche Feedback-Schleife auf einen anderen Agenten ausdehnen und die Interaktionen der Person und des Agenten über einen Dritten steuern würden(Abbildung 1C), hätten wir möglicherweise die Möglichkeit, die Leistungen des anderen in nahezu Echtzeit zu steuern. Dies würde uns den Beweis des Konzepts liefern, dass wir den Begriff der ko-adaptiven Gehirn-Körper- oder Gehirn-Maschine-Schnittstellen erweitern müssten, um Störungen des Nervensystems zu behandeln, die zu einer schlechten Realisierung körperlicher Willensfähigkeit aus geistiger Absicht führen.

Gezielte Handlungen haben Folgen, die gerade durch motorisch-stochastische Signaturen gekennzeichnet sind, die kontextabhängig sind und mit hoher Sicherheit Rückschlüsse auf mentale Absichtsniveaus ermöglichen25,26. Ein Vorteil einer neuen Methode, die den dyadischen Austausch gegenüber früheren personenzentrierten Ansätzen an die Gehirnmaschine oder die Computerschnittstellen des Gehirns nutzt, besteht darin, dass wir die Kontrollsignale erweitern können, um den Körper- und Herzbiorhythmus einzubeziehen, der sich weitgehend unter dem Bewusstsein der Person unter verschiedenen Ebenen der Absicht abspielt. Auf diese Weise dämpfen wir reaktive Interferenzen, die bewusste Kontrolle bei der Anpassung der Hirncursorsteuerung tendenziell hervorruft17. Wir können dem Vorhersageprozess mehr Sicherheit verleihen, indem wir die verschiedenen Signale parametrieren, auf die wir zugreifen können. In diesem Sinne gibt es vorarbeiten mit Gehirn- und Körpersignalen im Tandem27,28,29; aber Arbeit mit dyadischen Interaktionen, die von Gehirn-Körper-Signalen erfasst werden, bleibt rar. Darüber hinaus hat die bestehende Literatur noch nicht die Unterscheidung zwischen absichtlichen Abschnitten der Handlung unter vollem Bewusstsein und Übergangsbewegungen, die spontan als Folge der absichtlichen30,31auftreten. Hier machen wir diese Unterscheidung im Kontext des dyadischen Austauschs und bieten neue Möglichkeiten, diese Dichotomie zu studieren32, während wir Beispiele für choreographierte (absichtliche) vs. improvisierte (spontane) Bewegungen im Tanzraum anbieten.

Aufgrund der Transduktions- und Übertragungsverzögerungen in den sensorisch-motorischen Integrations- und Transformationsprozessen33ist es notwendig, einen solchen Vorhersagecode an Ort und Stelle zu haben, um zu lernen, bevorstehende sensorische Eingaben mit hoher Sicherheit zu antizipieren. Zu diesem Zweck ist es wichtig, die Entwicklung des Geräusch-Signal-Verhältnisses zu charakterisieren, das von Signalen im sich ständig aktualisierenden kinesthetischen reafferenten Strom abgeleitet wird. Wir brauchen dann Protokolle, um die Veränderung der Motorvariabilität systematisch zu messen. Die Variabilität ist inhärent in den Moment-für-Moment-Schwankungen des ausgehenden effedünnen Motorstroms34vorhanden. Da diese Signale nicht stationär und empfindlich auf kontextuelle Variationen35,36sind, ist es möglich, Änderungen zu parametrierieren, die mit Änderungen des Aufgabenkontexts auftreten. Um Interferenzen durch reaktive Signale, die aus der bewussten ZNS-Steuerung entstehen, zu minimieren und quantifizierbare Veränderungen im effedünnen PNS-Motorstrom hervorzurufen, führen wir hier eine Proxy-Close-Loop-Schnittstelle ein, die indirekt das sensorische Feedback verändert, indem wir das periphere Signal rekrutieren, das sich weitgehend unter dem Selbstbewusstsein der Person ändert. Wir zeigen dann Möglichkeiten auf, die Veränderung, die die sensorischen Manipulationen durchführt, systematisch zu messen, indem wir stochastische Analysen verwenden, die geeignet sind, den Prozess zu visualisieren, den die Proxy-Close-Loop-Schnittstelle indirekt in beiden Agenten hervorruft.

Einführung eines Proxy Close-Loop Controllers
Die sensorisch-motorische Variabilität in den peripheren Signalen stellt eine reiche Informationsquelle dar, die die Leistung des Nervensystems leiten kann, während Lernen, Anpassung und Verallgemeinerung in verschiedenen Kontexten stattfinden37. Diese Signale treten teilweise als Nebenprodukt des ZNS hervor, das versucht, Aktionen volitativ zu steuern, sind aber nicht das direkte Ziel des Controllers. Da die Person natürlich mit anderen interagiert, können die peripheren Signale genutzt, standardisiert und neu parametrisiert werden; d.h. ihre Variationen können parametriert und systematisch verschoben werden, da man den effedünnen Motorstrom, der kontinuierlich als kinesthetische Referenz in das System eindringt, ändert. In solchen Einstellungen können wir die stochastischen Verschiebungen visualisieren und mit hoher Präzision ein reichhaltiges Signal erfassen, das ansonsten an die Arten von grand averaging verloren geht, die traditionellere Techniken ausführen.

Um die Charakterisierung des Wandels unter der neuen statistischen Plattform zu erreichen, führen wir hier Protokolle, standardisierte Datentypen und Analysen ein, die die Integration externer sensorischer Eingaben (auditorisch und visuell) mit intern selbst generierten motorischen Signalen ermöglichen, während die Person natürlich mit einer anderen Person oder mit einer Avatarversion der Person interagiert. In diesem Sinne, weil wir darauf abzielen, die peripheren Signale zu steuern (anstatt die CNS-Signale zu ändern, um das externe Gerät oder Medien direkt zu steuern), koinieren wir dies eine Proxy-Close-Loop-Schnittstelle (Abbildung 2). Unser Ziel ist es, die Veränderungen in den stochastischen Signalen des PNS zu charakterisieren, da sie sich auf die im ZNS auswirken.

figure-introduction-2
Abbildung 2: Proxy-Steuerung einer dyadischen Interaktion mit nahschleifenübergreifender multimodaler Schnittstelle. (A) Indirekte Steuerung von zwei Tänzern (tanzende Salsa) über eine Computer-Ko-adaptive Schnittstelle vs. (B) eine interaktive künstliche Personen-Avatar-Dya, die durch die Nutzung der Signale des peripheren Nervensystems gesteuert wird und sie als Sounds und/oder als visuelle Eingabe neu parametrisiert. (C) Das Konzept der Sonifikation mit einem neuen standardisierten Datentyp (die Mikrobewegungsspitzen, MMS) abgeleitet von den Moment-für-Moment-Schwankungen der biorhythmischen Signale Amplitude/Timing in Vibrationen und dann in Ton umgewandelt. Aus der Physik entlehnt man uns die Begriffe Kompressionen und Seltenheiten, die von einer Stimmgabel erzeugt werden, die Schallwelle als messbare Schwingungen ausgibt. Schemata von Schallwellen, die im Laufe der Zeit parallel zu Spitzenkonzentrationen zur Sonifikation als Druck moduliert dargestellt werden. Beispiel für ein physikalisches Signal, das die vorgeschlagene Pipeline von MMS zu Vibrationen und Sonifikation enthoniert werden soll. Wir verwenden das Herzfrequenzsignal als Eingang zur Schnittstelle. Dies nimmt Schwankungen in der Amplitude des Signals, die alle 4 Sekunden der Bewegung ausgerichtet sind, und baut MMS-Züge, die die Vibrationen darstellen. Die Spike-Züge des MMS sind ab [0,1] standardisiert. Die Farbe der Spitzen gemäß der Farbleiste stellt die Intensität des Signals dar. Wir sonifizieren diese Schwingungen dann mit Max. Dieses sonifizierte Signal kann verwendet werden, um in A wiederzugeben oder in B die Interaktionen mit dem Avatar zu ändern. Darüber hinaus ist es in B möglich, den Klang in die Umgebung einzubetten und die Körperposition zu verwenden, um den Klang in einem Bereich von Interesse (RoI) wieder abzuspielen, oder die Audio-Features als Funktion der Entfernung zum RoI, der Geschwindigkeit oder Beschleunigung eines Anliegerteils zu modulieren, wenn es am RoI vorbeigeht. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Die PNS-Signale können nicht-invasiv mit tragbaren Sensortechnologien genutzt werden, die multimodale effetierische Ströme aus verschiedenen funktionellen Schichten des Nervensystems, von autonombis zu freiwilligen32, ko-registrieren. Wir können dann in nahezu Echtzeit die Änderungen in solchen Streams messen und diejenigen auswählen, deren Änderungen das Signal-Rausch-Verhältnis verbessern. Dieses effevermotorische Signal kann dann durch andere Formen der sensorischen Führung (z.B. auditiv, visuell usw.) ergänzt werden. Da das PNS Landschaftsbewusstsein signalisiert, sind sie ohne großen Widerstand leichter zu manipulieren 38. Als solche verwenden wir sie, um die Leistung der Person auf eine Weise zu steuern, die für das menschliche System weniger belastend sein kann.

Erstellen der Schnittstelle
Wir präsentieren das Design der Proxy-Steuerung, die durch eine close-loop co-adaptive multimodale Schnittstelle vermittelt wird. Diese Schnittstelle steuert das multisensorische Feedback in Echtzeit. Abbildung 3 zeigt den allgemeinen Entwurf.

Die Close-Loop-Schnittstelle zeichnet sich durch 5 Hauptschritte aus. Der erste Schritt ist die multimodale Datenerfassung von mehreren tragbaren Instrumenten. Der zweite Schritt ist die Synchronisation der multimodalen Streams über die Plattform von LabStreamingLayer (LSL, https://github.com/sccn/labstreaminglayer) entwickelt von der MoBI-Gruppe 39. Der dritte Schritt ist das Streaming der LSL-Datenstrukturan eine Python-, MATLAB- oder andere Programmiersprachenschnittstelle, um die Signale zu integrieren und die physiologischen Merkmale (relevant für unseren experimentellen Aufbau) in Echtzeit empirisch zu parametrisieren. Der vierte Schritt besteht darin, die ausgewählten Features, die aus dem kontinuierlichen Strom des untersuchten Körpersignals extrahiert werden, neu zu parametrisieren und es mit einer sensorischen Modalität der Wahl (z. B. visuell, auditiv, kinesthetisch usw.) zu erweitern, um es in Form von Klängen oder Visuals wiederzugeben, um die sensorische Modalität, die im Nervensystem der Person problematisch ist, zu erweitern, zu ersetzen oder zu verbessern. Schließlich besteht der 5. Schritt darin, die stochastischen Signaturen der vom System erzeugten Signale in Echtzeit neu zu bewerten, um auszuwählen, welche sensorische Modalität die stochastischen Verschiebungen der körperlichen Schwankungen zu einem Regime hoher Sicherheit (Lärmminimierung) bei der Vorhersage der sensorischen Folgen der bevorstehenden Aktion bringt. Diese Schleife wird während der gesamten Dauer des Experiments kontinuierlich mit dem Fokus auf das ausgewählte Signal gespielt, während die volle Leistung für nachfolgende Analysen gespeichert wird (wie in den Schaltplänen von Abbildung 3 dargestellt und siehe40,41,42,43,44,45,46,47 für ein Beispiel für eine posteriori Analysen).

figure-introduction-3
Abbildung 3:Die Architektur des multimodalen, peripheriegesteuerten Nahschleifen-Schnittstellenkonzepts. Verschiedene Körpersignale werden gesammelt -kinematische Daten, Herz- und Gehirnaktivität (Schritt 1). LSL wird verwendet, um die Daten, die von verschiedenen Geräten kommen, synchron mit zu registrieren und zu streamen, an die Schnittstelle (Schritt 2). Python/MATLAB/C-Code wird verwendet, um die Schwankungen in den Signalen kontinuierlich zu parametrieren, indem ein standardisierter Datentyp und eine gemeinsame Skala verwendet werden, die die Auswahl der Quelle der sensorischen Führung ermöglicht, die am besten geeignet ist, die Unsicherheit des Systems zu dämpfen (Schritt 3). Diese Echtzeit-Verbesserung der Signalübertragung durch ausgewählte Kanäle ermöglicht dann eine erneute Parametrierung des wieder eintretenden Sensorsignals, um sich in den kontinuierlichen Motorstrom zu integrieren und den verlorenen oder beschädigten Eingangsstrom zu verbessern (sensorischer Ersetzungsschritt 4). Kontinuierliche Neubewertung schließt die Schleife (Schritt 5) und wir speichern alle Daten für weitere zukünftige Analysen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Die folgenden Abschnitte stellen das allgemeine Protokoll zum Erstellen einer Close-Loop-Schnittstelle (wie in Abbildung 3beschrieben) dar und beschreiben repräsentative Ergebnisse zweier experimenteller Schnittstellen (aufwendig dargestellt in Supplementary Material), die eine physikalische dyadische Interaktion zwischen zwei Tänzern (reales Close-Loop-System) und eine virtuelle dyadische Interaktion zwischen einer Person und einem Avatar (künstliches Nahschleifensystem) beinhalten.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Studie wurde vom Rutgers Institutional Study Board (IRB) in Übereinstimmung mit der Erklärung von Helsinki genehmigt.

1. Teilnehmer

  1. Definieren Sie die zu untersuchende Bevölkerung und laden Sie sie zur Teilnahme an der Studie ein. Die vorliegende Schnittstelle kann in verschiedenen Populationen verwendet werden. Dieses Protokoll und die hier verwendeten Beispiele zum Nachweis des Konzepts sind nicht auf eine bestimmte Gruppe beschränkt.
  2. Einholen der schriftlichen Zustimmung des vom IRB genehmigten Protokolls in Übereinstimmung mit der Erklärung von Helsinki.
  3. Bitten Sie den Teilnehmer oder Erziehungsberechtigten, das Formular vor Beginn des Experiments zu unterzeichnen.

2. Einrichtung der Close-Loop-Schnittstelle

  1. Aufbau kinematischer Geräte-PNS
    1. Helfen Sie dem Teilnehmer, das LED-basierte Motion-Capture-Kostüm (Körper und Kopf, dargestellt in Abbildung 3, Schritt 1 und 5) sorgfältig zu tragen, das das verwendete Motion-Capture-System begleitet. Die LED-Marker des Kostüms werden von den Kameras des Systems verfolgt, um die Position des sich bewegenden Körpers im Raum abzuschätzen.
    2. Schließen Sie den drahtlosen LED-Controller (auch led-Treibereinheit) des Systems mit den LED-Kabeln des Kostüms an, indem Sie ihn an den richtigen Anschluss anschließen. Schalten Sie das Gerät ein, und stellen Sie es im Streaming-Modus ein.
    3. Schalten Sie den Server des Motion-Capture-Systems ein.
    4. Öffnen Sie einen Webbrowser, besuchen Sie die Serveradresse und melden Sie sich an (Anmeldeinformationen müssen vom Unternehmen beim Kauf des Produkts angegeben werden).
    5. Kalibrieren Sie das System nach Bedarf (z. B. kalibrieren Sie das System, wenn dies das erste Mal ist, um das Gerät zu verwenden, andernfalls zu Schritt 2.1.17 bewegen).
    6. Öffnen Sie das Kalibrierungswerkzeug des Motion-Capture-Systems und wählen Sie Calibration Wizard.
    7. Stellen Sie sicher, dass die Eingabe der Servernummer im Textfeld auf der linken oberen Seite der Benutzeroberfläche korrekt ist, und klicken Sie auf Weiter.
    8. Schließen Sie den Zauberstab an den ersten Port des LED-Controllers an, und schalten Sie den Controller ein, und klicken Sie auf Weiter. Sobald der Zauberstab angeschlossen ist, werden seine LED-Marker eingeschaltet und werden auf dem Display in den Kameraansichten angezeigt.
    9. Platzieren Sie den Zauberstab in der Mitte des Kameraansichtsfelds, bestätigen Sie, dass er von den Kameras aufgezeichnet werden kann, und klicken Sie auf Weiter.
    10. Bewegen Sie den Zauberstab durch den Raum, indem Sie ihn vertikal halten und Zylinder zeichnen. Stellen Sie sicher, dass die Bewegung jedes Mal von mindestens 3 Kameras erfasst wird und im Ansichtsfeld jeder Kamera registriert ist, wodurch sie grün wird. Tun Sie dies für alle Kameras.
    11. Sobald das Ansichtsfeld jeder Kamera vollständig registriert wurde (es ist alles grün), klicken Sie auf Weiter und warten Sie, bis Kalibrierungsberechnungen ausgeführt werden.
      HINWEIS: Sobald die Kalibrierung abgeschlossen ist, wird die Kameraposition zusammen mit den LED-Markern auf dem Display angezeigt, da sie physisch im Raum platziert werden. An diesem Punkt kann der Benutzer die Kalibrierung fortsetzen, weil dies bereits geschehen ist, oder das System weiter ausrichten.
    12. Halten Sie den Zauberstab vertikal und legen Sie die Seite mit der LED näher am Ende des Zauberstabs auf dem Boden, wo der Ursprung des 3D-Raums eingestellt werden muss (Punkt (0,0,0)).
    13. Halten Sie den Zauberstab stabil, bis er registriert ist. Nach der Registrierung blinkt der Bildschirm grün. Ein Punkt, der den Ursprung des Referenzrahmens auf dem Raum angibt, wird auf der Schnittstelle angezeigt, und die nächste Ausrichtungsachse, die x-Achse, wird grün hervorgehoben.
    14. Bewegen Sie den Zauberstab unter Beibehaltung der gleichen Ausrichtung (vertikal) an den Punkt der x-Achse und halten Sie ihn stabil, bis er registriert ist.
    15. Wiederholen Sie dies für die Z-Achse. Sobald der Punkt der Z-Achse registriert ist, ist die Kalibrierung abgeschlossen.
    16. Klicken Sie auf Fertig stellen, um die Kalibrierung zu beenden.
    17. Öffnen Sie die Schnittstelle des Motion-Capture-Systems und klicken Sie auf Verbinden, um mit dem Streaming der Daten aus den LED-Markern zu beginnen. Sobald die Verbindung hergestellt ist, wird die Position der Marker in der virtuellen Welt der Schnittstelle angezeigt.
    18. Erstellen Sie das virtuelle Skelett (automatisch schätzen Sie die Knochenpositionen des Körpers aus den Positionsdaten, die aus den LED-Markern des Kostüms gesammelt wurden, wie Abbildung 8 Schritt2gezeigt).
    19. Klicken Sie mit der rechten Maustaste auf Skelette auf der rechten Seite des Fensters und wählen Sie Neues Skelettaus.
    20. Wählen Sie Marker Mapping und wählen Sie dann die richtige Datei aus (die vom Unternehmen basierend auf der verwendeten Schnittstellenversion bereitgestellt wird). Klicken Sie dann auf OK.
    21. Bitten Sie den Teilnehmer, auf der T-Pose stabil zu bleiben (gerade Haltung mit offenen Armen an den Seiten).
    22. Rechtsklick auf Skelett und wählen Skelett ohne Traininggenerieren .
    23. Wenn alle Schritte korrekt ausgeführt werden, wird das Skelett generiert. Bitten Sie den Teilnehmer, sich zu bewegen und zu überprüfen, wie genau das virtuelle Skelett den Bewegungen des Teilnehmers folgt.
    24. Um die Skelettdaten in LSL zu streamen, wählen Sie einstellungen und Optionen im Hauptmenü aus.
    25. Open Owl Emulator und klicken Sie auf "Start" Live-Streaming.
  2. Einrichtung von EEG-Geräten - CNS
    1. Helfen Sie dem gleichen Teilnehmer, die EEG-Kopfkappe zu tragen.
    2. Legen Sie die Gelelektroden (die traditionellen gelbasierten Elektroden, die mit der EEG-Kopfkappe verwendet werden) auf die Kopfkappe und 2 klebrige Elektroden (Elektroden, die wie Aufkleber funktionieren) auf der Rückseite des rechten Ohrs für die CMS- und DRL-Sensoren.
    3. Füllen Sie Bei Bedarf Elektroden mit hochleitendem Gel, um die Leitfähigkeit zwischen Sensor und Kopfhaut zu verbessern.
    4. Schließen Sie die Elektrodenkabel an den Geltroden und die beiden klebrigen Elektroden an.
    5. Stecken Sie den drahtlosen Monitor auf die Rückseite der Kopfkappe und stecken Sie die Elektrodenkabel ein.
    6. Schalten Sie den Monitor ein.
    7. Öffnen Sie die Schnittstelle des EEG-Systems.
    8. Wählen Sie Wi-Fi-Gerät verwenden aus, und klicken Sie auf Nach Geräten scannen.
    9. Wählen Sie NE Wi-Fi und Verwenden Sie dieses Gerät.
    10. Klicken Sie auf das Kopfsymbol, wählen Sie ein Protokoll aus, das die Aufzeichnung aller 32 Sensoren ermöglicht, und klicken Sie auf Laden.
    11. Stellen Sie sicher, dass die gestreamten Daten der einzelnen Kanäle auf der Schnittstelle angezeigt werden.
  3. Aufbau von EKG-Geräten- ANS
    1. Befolgen Sie die genauen Schritte in 2.2, aber verwenden Sie Kanal O1, um sich mit der Herzfrequenzerweiterung (HR) zu verbinden.
    2. Verwenden Sie eine klebrige Elektrode, um das andere Ende der Verlängerung direkt unter dem linken Brustkorb zu kleben.
  4. Vorbereitung von LSL zur synchronisierten Aufzeichnung und Streaming kinematischer Daten.
    1. Führen Sie die LSL-Anwendung für das Motion-Capture-System durch Doppelklicken auf das entsprechende Symbol aus. Suchen Sie die Anwendung im folgenden Pfad des LSL-Ordners, LSL-Labstreaminglayer-Master-Apps-PhaseSpace.
    2. Legen Sie auf der Schnittstelle die richtige Serveradresse fest.
    3. Wählen Sie dann Datei- und Ladekonfigurationaus.
    4. Wählen Sie die richtige Konfigurationsdatei aus (sie muss vom Unternehmen basierend auf der verwendeten Produktversion bereitgestellt werden)
    5. Klicken Sie auf Link. Wenn keine Fehler gemacht werden, wird keine Fehlermeldung angezeigt.
  5. Bereiten Sie LSL für die synchronisierte Aufzeichnung und das Streaming von EEG- und EKG-Daten vor. Für dieses Gerät sind keine zusätzlichen Schritte erforderlich.
  6. Einrichtung von LSL
    1. Führen Sie die LabRecorder-Anwendung aus, indem Sie auf die Datei im LSL-Labstreaminglayer-Master-Apps-LabRecorder-Pfad des LSL-Ordners doppelklicken.
    2. Klicken Sie auf Aktualisieren. Wenn alle Anweisungen korrekt ausgeführt werden, werden alle Datentypen des Motion-Capture- und EEG-Systems auf dem Panel Record für Streams angezeigt.
    3. Wählen Sie Verzeichnis und Namen für die Daten im Speicherortbedienfeld "Speicher" aus.
    4. Klicken Sie auf Start. Die Datenerfassung des Motion-Capture- und EEG-Systems beginnt synchron.
    5. Klicken Sie am Ende der Aufzeichnung auf Stopp. Wenn die Aufzeichnung erfolgreich war, befinden sich die Daten in dem zuvor ausgewählten Verzeichnis. Öffnen Sie die Dateien, um zu bestätigen, dass sie die aufgezeichneten Informationen enthalten.
  7. Echtzeit-Analysen und Überwachung des menschlichen Systems.
    1. Führen Sie den MATLAB-, Python- oder anderen Code aus, der die gestreamten Daten empfängt, verarbeitet und erweitert. Beispielcodes, die den repräsentativen Beispielen entsprechen, die in den folgenden Abschnitten beschrieben werden, finden Sie hier: https://github.com/VilelminiKala/CloseLoopInterfaceJOVE
  8. Generierung des erweiterten sensorischen Feedbacks
    1. Erzeugen Sie den sensorischen Ausgang mit dem richtigen Gerät (z. B. Lautsprecher, Monitor, u.a.).

3. Experimentelles Verfahren

  1. Befolgen Sie ggf. das experimentelle Verfahren, das durch das Setup definiert wird.
    HINWEIS: Die Close-Loop-Schnittstellen sind so konzipiert, dass sie intuitiv erforscht und erlernt werden können. Daher sind meistens keine Anweisungen erforderlich.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Es gibt verschiedene Schnittstellen, die basierend auf dem im vorherigen Abschnitt vorgestellten Protokoll erstellt werden können und für zahlreiche Zwecke auf verschiedene Populationen angewendet werden können. Einige mögliche Variationen werden im Abschnitt "Variationen der präsentierten Close-Loop-Schnittstelle" von Ergänzendem Material beschrieben.

In diesem Abschnitt zeigen wir repräsentative Ergebnisse von 2 Beispiel-Nahschleifenschnittstellen, die dem im vorherigen Abschnitt beschriebenen Protokoll folgen. Das Setup, das experimentelle Verfahren und die Teilnehmer dieser Studien werden in den Abschnitten "Beispiel 1: Audio Close-Loop Interface of a Real Dyadic Interaction" und "Example 2: Audio-visual Close-loop Interface of an Artificial Dyadic Interaction" der Supplementary File ausführlich erläutert.

Ergebnisse von Audio Close-Loop Interface of a Real Dyadic Interaction
In der Studie "Audio close-loop interface of a real dyadic interaction" (aufwendig dargestellt in Abschnitt "Beispiel 1: Audio Close-Loop Interface of a Real Dyadic Interaction" of Supplementary Material) verwendeten wir eine Proxy-Control-Schnittstelle, dargestellt in Abbildung 4, die das Herzsignal der Tänzerin verwendet, um die getanzte Musik zu verändern. In Echtzeit führten wir die Signalverarbeitung durch, um die Zeit des Taktes zu extrahieren, und streamten diese Informationen an das Max-System, um die Geschwindigkeit des gespielten Songs zu ändern. Auf diese Weise spielten wir das Lied zurück, verändert durch die biophysikalischen Signale. Dieser Prozess führte zu weiteren Veränderungen der Bewegungen und Herzschlagsignale.

figure-results-1
Abbildung 4:Die audiobasierte Close-Loop-Schnittstelle. 1. Ein tragbares EKG-HR Gerät überwacht die Aktivität einer Salsa-Tänzerin während der Durchführung ihrer Routinen und speist die Signale bei 500Hz an die Schnittstelle. 2. Unsere Schnittstelle analysiert die EKG-Daten in Echtzeit. In jedem Frame filtert es die Rohdaten, extrahiert die R-Spitzen des QRS-Komplexes; und streamt die Peak-Erkennung auf MAX. 3. Eine Schnittstelle eines Drittanbieters verbindet die Geschwindigkeit des Audios mit der Geschwindigkeit der Herzfrequenz. 4. Das veränderte Lied wird den Tänzern wiedergegeben. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Zwei Salsa-Tänzerinnen interagierten mit der Schnittstelle und führten eine eingespielte Routine mit einer Choreographie und einem spontan improvisierten Tanz auf. Die Tänzer mussten einmal die Originalversion des Songs aufführen und eine Version mischte das ursprüngliche Tempo des Songs mit dem Echtzeit-Herzschlagstrom. Wir beziehen uns auf die spätere Version, die zweimal als Änderung 1 und 2 des Liedes aufgeführt wurde.

In der unten dargestellten Analyse haben wir das aufgezeichnete Herz und Audiosignal verwendet. Die Spitzen der beiden Signale extrahiert, um MMS-Züge zu schätzen (siehe Abschnitt "Mikro-Bewegungen Spikes" in Der Ergänzungsdatei), die hohe Frequenzschwankungen beibehalten, wie in Abbildung 5dargestellt.

figure-results-2
Abbildung 5: Schätzung der MMS-Züge des Audio-Nahschleifensystems. EKG-Zeitreihen werden verwendet, um die RR-Peaks und die Amplitudenabweichungen von der gesamt (geschätzten) mittleren Amplitude der erhaltenen R-Peaks (mittelversetzte Daten) zu extrahieren. Dann wird die Normalisierung durch Gleichung 1 (siehe Zusatzdatei, Abschnitt "Mikro-Bewegungsspitzen") verwendet, um die MMS-Züge zu erhalten. Ähnliche Methoden werden verwendet, um die Audio-Wellenformen zu behandeln und den Song entsprechend der Echtzeit-Performance der Person wiederzugeben. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Die MMS-Züge waren gut als kontinuierlicher Zufallsprozess charakterisiert, der durch die kontinuierliche Gamma-Familie der Wahrscheinlichkeitsverteilungen gut repräsentiert wurde. MLE hielt diese kontinuierliche Verteilungsfamilie für die beste Anpassung an beide Datensätze (siehe Erläuterung im Abschnitt "Gammaverteilung" des Ergänzenden Materials und der ergänzenden Abbildung 2). Diese Art von zufallsreichen Verfahren wurde verwendet, um die Verschiebungen in stochastischen Signaturen der Biorhythmen selbst durch Biosignale aus dem menschlichen Nervensystem erzeugt zu verfolgen.

Aus den empirisch geschätzten Form- und Skalen-Gamma-Parametern erhalten wir die Gamma-Momente, den Mittelwert, die Varianz, die Schiefe und die Kurtose (siehe Details der Analyse im Abschnitt "Stochastische Analyse" des ergänzenden Materials). Wir zeichnen dann die geschätzte PDF-Datei. Abbildung 6 konzentriert sich nur auf das Herzsignal und die Musik, aber die Methoden gelten ähnlich wie die anderen Biorhythmen, die durch die in 41dargestellten Kinematiksignale erzeugt werden.

Das PDF des Herz- und Musiksignals ist in Abbildung 6A-Bdargestellt, wo wir die Unterschiede zwischen den Datensätzen der beiden Bedingungen, bewusste Routine und spontane Improvisation hervorheben. Für jede Bedingung unterstreichen wir die Verschiebungen in stochastischen Signaturen, die durch die zeitlichen Veränderungen des Liedes induziert werden. Zunächst tanzen sie zum Originallied. Dann, wenn der Herzschlag die Rhythmen in Echtzeit ändert, führen die sonifizierten Schwankungen dieses Signals die Tänzer dazu, den zeitlichen Veränderungen des Liedes zu folgen.

Diese werden als Veränderung 1 und 2 bezeichnet. Diese systematischen Verschiebungen werden durch die Gamma-Parameter beschrieben. Dann erhielten wir anhand der empirisch geschätzten Form- und Skalierungsparameter die vier entsprechenden Gamma-Momente für den Herzschlag und die Songs. Diese werden in Abbildung 6C für das Herz (oben) und die Songsignale (unten) angezeigt.

figure-results-3
Abbildung 6: Systematische Veränderungen der empirisch geschätzten Gamma-PDFs und ihrer stochastischen Flugbahnen der Vier Gamma-Momente aus der Performance unter der Proxy-Steuerung mit dem Audio Close-Loop-System. (A) PDFs aus den MMS-Zügen des jeweiligen Datentyps (EKG-Ober- und Audiodatei unten) für jeden Tanzkontext, spontane Improvisation und bewusste Routine. Legenden sind Imp Or (Improvisations-Original), die die Grundbedingung zu Beginn der Sitzung bezeichnet; Imp Alt1 bezeichnet die Improvisation während der Änderung 1; Imp Alt2 bezeichnet Improvisation während der Änderung 2. (B) Auch für die absichtlich geprobte Routine bedeutet Rout Or Routine-Original; Rout Alt1 bedeutet Routinemäßige Veränderung 1; Rout Alt2 bedeutet Routineänderung 2. Die Panels in (C) zeigen die systematischen Verschiebungen in Gamma-Momenten als sowohl die Audiosignale der Songs als auch die vom Herzen im Tandem und in Echtzeit. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Die Verschiebung der Signaturen kann in diesen Panels (PDF- und Gamma-Moment-Diagramme) geschätzt werden, wodurch gezeigt wird, dass die vorgestellten Methoden die Anpassung des Herzens an die Änderungen des Songs erfassen können, die der Proxy-Controller in Echtzeit produziert. Da die Lieder die Rhythmen verschieben, so auch die herzstochastischen Signaturen und der Übergang der stochastischen Signaturen ist konsistent in Richtung (was auch ein Befund in 41 ist, wo wir die Form- und Skalenparameter untersucht haben). Ebenso, wie die Signaturen des Herzens verschieben, auch die Unterschriften des Liedes. Diese Spiegelungseffekte - das eine wirkt sich auf den anderen aus und wenn man sich konsequent in eine Richtung verschiebt, folgen auch andere - der Close-Loop-Natur dieser Proxy-Controller-Schnittstelle. Die Ergebnisse unterstreichen den Nutzen dieses Setups und beweisen, dass wir den autonomen Biorhythmus der Person systematisch im Kontext des dyadischen Austauschs verschieben können.

Parallele Verschiebungen auf den stochastischen Signaturen sowohl der Songs als auch der Körpersignale zeigen, dass die Ko-Anpassung des gesamten Systems (Teilnehmer und Schnittstelle) über die peripheren Signale möglich ist. Dieser Prozess erschließt sich reibungslos unter dem Bewusstsein der Person und bietet einen Proof of Concept für die Ideen, um die Biosignale der Person in Übereinstimmung mit dem externen sensorischen Feedback der Wahl aus der Ferne und systematisch zu verschieben. Zusammenfassend können wir die Verschiebung der stochastischen Signaturen in diesem kontinuierlichen Zufallsprozess steuern. Die Methoden ermöglichen es, Veränderungen und ihre Rate entlang der stochastischen Bahnen zu erfassen, die wir in nahezu Echtzeit aufbauen konnten.

Um die statistische Signifikanz in den Schichten zu ermitteln, verwenden wir den nicht-parametrischen ANOVA-, Kruskal-Wallis-Test, gefolgt von mehreren Vergleichen nach dem hoc-Test. Wir vergleichen die Signaturen des MMS der Herzdaten unter den sechs Bedingungen. Abbildung 7 zeigt den Mehrfachvergleich der MMS-Herzdaten und der entsprechenden Kruskal-Wallis-Tabelle. Die Multi-Vergleichs-Plot zeigt an, dass es einen signifikanten Unterschied zwischen der Ausgangszustand des ursprünglichen Routinetanz (Rout. Oder) und die Grundbedingung des ursprünglichen improvisierten Tanzes (Imp. Oder). Es ist auch wichtig zu beachten, dass die ersten Änderungen, Rout. Alt1 und Imp. Alt1, Verschiebung zu Verteilungen, die vergleichbare Mittel teilen und das gleiche gilt für die zweiten Änderungen, während die Varianz, Schiefe und Kurtose verschiebung auf dem Gamma-Momente Raum (Abbildung 6C).

figure-results-4
Abbildung 7:Ergebnisse der nicht-parametrischen Kruskal-Wallis- und Multiple-Vergleichs-Post-hoc-Tests. Die Ergebnisse des nicht-parametrischen ANOVA (Kruskal-Wallis-Test) wurden auf das MMS der Herzdaten angewendet, um die sechs Bedingungen zu vergleichen. Das Diagramm zeigt den Multi-Vergleich der 6 Fälle, was den signifikanten Unterschied zwischen dem "Rout. Oder" und "Imp. Oder" Bedingungen. Die Tabelle zeigt die Ergebnisse des Kruskal Wallis Tests. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Ergebnisse der audio-visuellen Close-Loop-Schnittstelle einer künstlichen dyadischen Interaktion
In der Studie "Audio-visual close-loop interface of an artificial dyadic interaction" (aufwendig dargestellt in Abschnitt "Beispiel 2: Audio-visuelle Nahschleifenschnittstelle einer künstlichen dyadischen Interaktion" von Ergänzendem Material)interagierten 6 Teilnehmer mit der in Abbildung 8dargestellten Schnittstelle, die ihren gespiegelten Avatar erzeugt, der die eigenen Bewegungen der Person erzeugt. Die Schnittstelle bettet positionsabhängige Sounds innerhalb des Bereichs ein, der die Person während der Interaktion umgibt. Die Teilnehmer waren naiv, was den Zweck der Studie angeht. Sie mussten durch den Raum gehen und herausfinden, wie man den Klang kontrollieren kann, der überraschenderweise entstehen würde, als sie an einem RoI (Regionen von Interesse) vorbeigingen, den der Proxy-Controller definierte.

figure-results-5
Abbildung 8:Die visuelle Darstellung der audiovisuellen Schnittstelle. 1. Zur Erfassung der peripheren kinematischen Daten wird ein Motion-Capture-System eingesetzt. 2. Das System sammelt die Positionen der Sensoren (in unserem Beispiel LED's), um das Skelett zu schätzen - Position auf den Knochen. 3. Die Knochenpositionen werden dann in unserer MATLAB entwickelten Schnittstelle mit unserem eigenen Forward-Kinematics-Modell ausgerichtet. 4. Die ausgerichteten Positionen werden verwendet, um die Skelettinformationen unserem 3D-gerenderten Avatar zuzuordnen. 5. Die Zuordnung der gestreamten Daten zum Avatar erfolgt in Echtzeit, was das Gefühl erzeugt, das gespiegelte Bild der Person zu betrachten. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 9 zeigt die Ergebnisse der audio-visuellen Schnittstelle von Zustand 1 (siehe Zusatzdatei für weitere Bedingungen), wobei die Hüftposition den Song aktiviert, wenn sich der erste in RoI befindet. Diese Abbildung zeigt die PDF- und Gamma-Signaturen (siehe Abschnitt "Datentypen und Analysen" von Ergänzendem Material) der Hüftgeschwindigkeitsdaten von 6 verschiedenen Kontrollteilnehmern (C1 bis C6), wenn sie sich innerhalb und außerhalb des RoI-Bandes befanden. Die hier vorgestellten Ergebnisse zeigen die personalisierten Unterschiede zur Anpassungsrate der einzelnen Teilnehmer. Diese werden durch die Verschiebungen der stochastischen Signaturen und die einzelnen Ergebnisse angezeigt, die innerhalb oder außerhalb des RoI-Volumens entstehen. Zum Beispiel können wir feststellen, dass die PDF-Anpassung an die Frequenz histogramme des MMS abgeleitet aus der Geschwindigkeit Amplitude der Hüften von C3 und C4, waren symmetrischer (höherer Formwert) und weniger laut (niedriger maßstabswert), wenn innerhalb des Volumens. Im Gegensatz dazu zeigen die übrigen Teilnehmer ein entgegengesetztes Muster.

Empirisch haben wir herausgefunden, dass die Unterschriften für die untere rechte Ecke die von Athleten und Tänzern sind, die hochqualifizierte Bewegungen ausführen. Die Signaturen liegen auf der oberen linken Region, stammen aus Datensätzen von Nervensystemen mit Pathologien, wie diejenigen mit der Diagnose von Autismus-Spektrum-Störungen ADHS22,32 und die eines taubstummen Teilnehmers21. Im Kontext der verschiebungen den Muster entlang einer stochastischen Flugbahn erhalten wir die Medianwerte der Form und Skala, um den rechten unteren Quadranten (RLQ) und den linken oberen Quadranten (LUQ) zu definieren, wo wir die Gesamtqualität des Signal-Rausch-Verhältnisses verfolgen, indem wir diese Informationen im Laufe der Zeit ansammeln. Dabei wird die Aktualisierung der Medianwerte berücksichtigt, die diese Quadranten dynamisch definieren, da die Person ihre intern generierten Biorhythmen an die extern gesteuerten an die vom Proxy gesteuerten anpasst, aber von den internen von der Person abhängt.

figure-results-6
Abbildung 9: Empirisch geschätzte Gamma-PDFs und Gamma-Signaturen des Körperbiorhythmus bei Interaktionen mit dem Audio-Visual Close-Loop System. Mit den MMS-Zügen, die von der Geschwindigkeit der Hüften jedes Teilnehmers abgeleitet wurden (C1 - C6), haben wir MLE verwendet, um das beste PDF mit 95% Konfidenzintervallen zu passen. Jeder Teilnehmer wird durch ein anderes Symbol dargestellt, während die Bedingungen durch unterschiedliche Farben dargestellt werden. Eine Familie von Gamma-PDFs, wenn im Volumen (in) von dem außerhalb des Volumens (out) unterscheidet. Neben den empirisch geschätzten PDFs von Gamma werden auch die geschätzten Gamma-Form- und Skalierungsparameter für jede Person auf der Gamma-Parameterebene angezeigt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Tabelle 1 zeigt p-Werte aus Roh- (Geschwindigkeits-)und MMS-Daten, die das Ergebnis über Bedingungen hinweg vergleichen, wenn sich der Körperteil der Person innerhalb des RoI vsbefindet. außerhalb des RoI. Die auf der Tabelle dargestellten Ergebnisse wurden mit dem nicht-parametrischen ANOVA Kruskal-Wallis-Test geschätzt.

Kruskal Wallis TestGeschwindigkeitsdatenMms
C101.34 e-05
C204.72E-15
C308.59E-34
C42.70E-213.16E-04
C501.11E-09
C605.95E-05

Tabelle 1: Ausgabe des nicht-parametrischen ANOAVA-Kruskal-Wallis-Tests. Die Ergebnisse des Kruskal Wallis-Tests, in dem die Aufnahmen von innen mit außerhalb des Rol für das MMS und die Geschwindigkeitsdaten verglichen wurden. Wir wenden den Test auf die Daten jedes Teilnehmers (C1 - C6) separat an.

Ergänzende Dateien. Bitte klicken Sie hier, um diese Dateien herunterzuladen.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dieses Papier stellt das Konzept der Proxy-Steuerung über close-loop co-adaptive, interaktive, multi-modale Schnittstellen vor, die das periphere Signal der Person im Kontext des dyadischen Austauschs nutzen, parametrisieren und neu parametrisieren. Wir zielten darauf ab, stochastische Verschiebungen in den Schwankungen des Biorhythmus der Person zu charakterisieren und die Veränderung zu parametriert. Darüber hinaus zielten wir darauf ab, die stochastischen Signaturen ihres Biorhythmus systematisch auf gezielte Pegelvon Lärm-Signal-Regime in nahezu Echtzeit zu lenken.

Wir präsentierten ein generisches Protokoll zum Aufbau einer Close-Loop-Schnittstelle, die 5 Kernelemente erfüllte: 1) die Sammlung mehrerer Körperdaten aus dem CNS, PNS und ANS mit verschiedenen Instrumenten und Technologien; 2) die synchronisierte Aufzeichnung und das Streaming der Daten; 3) die Echtzeitanalyse der ausgewählten Signale; 4) die Schaffung einer sensorischen Augmentation (Audio, visuell, etc.) mit physiologischen Merkmalen für die Körpersignale extrahiert; und 5) die kontinuierliche Verfolgung des menschlichen Systems und die parallele sensorische Augmentation schließt die Schleife der Interaktion zwischen Mensch und System.

Das generische Protokoll wurde auf zwei Beispielschnittstellen angewendet. Der erste untersucht den dyadischen Austausch zwischen zwei menschlichen Agenten und den zweiten zwischen einem Menschen und einem Avataragenten. Die beiden Arten von Dyaden wurden verwendet, um den Beweis des Konzepts zu liefern, dass das periphere Signal systematisch in Echtzeit geändert werden kann und dass diese stochastischen Veränderungen präzise verfolgt werden können. Eine Dyade bestand aus zwei Teilnehmern, die physisch interagierten, während der andere einen Teilnehmer beteiligte, der mit einem virtuellen Agenten in Form eines 3D-gerenderten Avatars interagierte, der mit den Bewegungen der Person und mit veränderten Varianten dieser Echtzeitbewegungen ausgestattet war. Solche Veränderungen wurden durch interaktive Manipulationen ausgelöst, die durch auditive und/oder visuelle sensorische Eingaben in einer Einstellung von Augmented Sensationen angetrieben wurden. Sowohl in der echten Dyade als auch in der künstlichen Dyade haben wir die Machbarkeit der Fernverschiebung der peripheren Signale, einschließlich des körperiellen Biorhythmus und der autonomen Signale aus dem Herzschlag, demonstriert.

Wir haben neue experimentelle Protokolle vorgestellt, um solche Verschiebungen in efferent motorischer Variabilität zu untersuchen, da die kinesthetischen Signalströme in nahezu Echtzeit manipuliert und neu parametrisiert werden. Diese Wiedereintrittsinformationen (kinesthetic reafference48) erwiesen sich als wertvoll, um die Systemleistung in Echtzeit zu verändern. Sie enthalten Informationen über die sensorischen Folgen der Aktion, die wir mit den hier vorgestellten Methoden genau verfolgen können.

Wir zeigten auch Datentypen und statistische Methoden, die zur Standardisierung unserer Analysen geeignet sind. Wir stellten mehrere Visualisierungswerkzeuge zur Verfügung, um die Echtzeit-Veränderungen physiologischer Aktivitäten zu demonstrieren, die sich natürlich in verschiedenen Kontexten entwickeln, mit empirisch geführten statistischen Schlussfolgerungen, die sich für die Interpretation der selbstgenerierten und selbstgesteuerten Signale des Nervensystems eignen. Wichtig ist, dass die Vom Proxy-Controller heraufbeschworenen Änderungen reibungslos und dennoch quantifizierbar waren, was die Vorstellung unterstützt, dass periphere Aktivitäten in mehr als einer Weise nützlich sind. Während wir diese Methoden mit kommerziell erhältlichen drahtlosen tragbaren Sensoren implementieren können, können wir systematisch Leistungsänderungen induzieren, die in den biophysikalischen Rhythmen gekappt werden können, ohne das System zu belasten. Es ist wichtig, unsere Methoden in die klinische Arena zu übersetzen und sie als Teststand zu verwenden, um neue Interventionsmodelle zu entwickeln (z.B. bei der Verwendung von Augmented Reality bei Autismus 49). In solchen Modellen werden wir in der Lage sein, die sensorischen Folgen der naturalistischen Handlungen der Person zu verfolgen und zu quantifizieren, da die sensorischen Eingänge präzise manipuliert werden und der Ausgang parametriert und nahezu in Echtzeit neu parametriert wird.

Wir bieten dieses Protokoll als allgemeines Modell an, um verschiedene biorhythmische Aktivitäten zu nutzen, die selbst vom menschlichen Nervensystem erzeugt und nicht-invasiv mit drahtlosen Wearables genutzt werden. Obwohl wir eine Reihe von Biosensoren verwendet haben, um EEG, EKG und Kinematik in diesem Papier zu registrieren, sind die Methoden zur Aufzeichnung, Synchronisierung und Analyse der Signale allgemein. Die Schnittstelle kann somit andere Technologien integrieren. Darüber hinaus können die Protokolle so geändert werden, dass sie andere naturalistische Aktionen und Kontexte enthalten, die sich auf den medizinischen Bereich erstrecken. Da wir auf natürliches Verhalten ausgerichtet sind, kann das Setup, das wir entwickelt haben, in spielerischen Umgebungen (z.B. unter Einbeziehung von Kindern und Eltern) verwendet werden.

Mehrere Störungen des Nervensystems könnten von solchen spielerischen Ansätzen zum Kontrollproblem profitieren. In beiden Arten von dyadischen Interaktionen, die wir hier gezeigt haben, konnten die Teilnehmer darauf abzielen, die Musik bewusst zu steuern, während der Proxy-Controller den peripheren Ausgang nutzt, um seine Signaturen unbewusst zu manipulieren und systematisch zu verschieben. Da Wissenschaftler jahrelang empirisch die Gamma-Parameterebene und den entsprechenden Gamma-Momentraum über verschiedene Altersgruppen (Neonate bis 78 Jahre)19,50,51,52,53 und Bedingungen (Autismus, Parkinson-Krankheit, Schlaganfall, Komazustand und Taubstummkeit), für verschiedene Kontrollebenen (freiwillig, automatisch, spontan, unfreiwillig und autonom)25,47,54, haben sie empirisch gemessene Kriterien, die angeben, wo auf den Gamma-Räumen die stochastischen Signaturen für eine gute Prädiktionskontrolle sein sollten. Frühere Forschungen haben auch gezeigt, dass wir wissen, wo die Parameter in Gegenwart von spontanen zufälligen Lärm aus den selbst erzeugten Rhythmen der menschlichen Nervensysteme7,19,55,56kommen. Innerhalb eines Optimierungsschemas zur Minimierung biorhythmischer Motorgeräusche können wir so darauf abzielen, die Signale so anzutreiben, dass die Zielbereiche der Gamma-Räume erreicht werden, in denen die Form- und Dispersionssignaturen der PDFs-Familie jeder Person ein hohes Signal-Rausch-Verhältnis und Vorhersagewerte begünstigen. In diesem Sinne verlieren wir keine Bruttodaten, sondern nutzen sie effektiv, um das System in einer bestimmten Situation auf wünschenswerte Lärmpegel zu treiben.

Dyadische Wechselwirkungen sind in klinischen oder Trainingsumgebungen allgegenwärtig. Sie können zwischen dem Ausbilder und dem Auszubildenden auftreten; den Arzt und den Patienten; den klinischen Therapeuten und den Patienten; und sie können auch in Forschungsumgebungen auftreten, die translationale Wissenschaft einbeziehen und den Forscher und den Teilnehmer einbeziehen. Einer der Vorteile der vorliegenden Protokolle ist, dass sie zwar für Dyaden entwickelt sind, aber auch personalisiert sind. Als solche ist es möglich, die koadaptiven Interaktionen an die besten Fähigkeiten und Veranlagungen der Person anzupassen, entsprechend ihren Bewegungsbereichen, ihren Bereichen der sensorischen Verarbeitungszeiten und unter Berücksichtigung der Bereiche in der Amplitude der Signale über die funktionelle Hierarchie des Nervensystems der Person. Wenn die stochastische Flugbahn entsteht und sich mit der Zeit entwickelt, ist es auch möglich, die Zufallsraten der Signaturen zu ermitteln und diese Zeitreihen zu nutzen, um mehrere bevorstehende Ereignisse zusammen mit möglichen sensorischen Folgen vorherzusagen.

Schließlich könnten Close-Loop-Schnittstellen sogar in der Kunstwelt eingesetzt werden. Sie könnten darstellenden Künstlern neue Wege bieten, um rechnergesteuerte Formen moderner Tänze, Technologietänze und neue Formen der Visualisierung und Sonifizierung des körperlichen Ausdrucks zu generieren. In solchen Kontexten kann der Körper des Tänzers in ein sensorisch getriebenes Instrument verwandelt werden, um durch Sonifizierung und Visualisierung der selbst erzeugten biorhythmischen Aktivitäten flexibel verschiedene sensorische Modalitäten zu erforschen, wie frühere Arbeiten in diesem Bereich40,41,43,46zeigen. Eine solche Performance könnte die Rolle eines Tänzers auf der Bühne verstärken und dem Publikum subtile Körpersignale jenseits der sichtbaren Bewegung erleben.

Mehrere Aspekte dieser Technologie erfordern Weiterentwicklung und Tests, um deren Einsatz in Echtzeiteinstellungen zu optimieren. Das synchrone Streaming erfordert Hochgeschwindigkeits-CPU/GPU-Leistung und Speicherkapazität, um die Vorstellung, Zeit zu gewinnen und einen Schritt voraus zu sein, bei der Vorhersage der sensorischen Folgen der laufenden Motorbefehle wirklich auszunutzen. Die Abtastraten der Geräte sollten vergleichbar sein, um die Signale wirklich ausrichten, eine ordnungsgemäße sensorische Fusion durchführen und die Übertragung von Informationen über die verschiedenen Kanäle des Nervensystems untersuchen zu können. Dies sind einige der Einschränkungen, die in dieser neuen Schnittstelle vorhanden sind.

Alles in allem bietet diese Arbeit ein neues Konzept, um die Kontrolle unseres Körpersystems zu verbessern und gleichzeitig unterschwellige Mittel einzusetzen, die dennoch systematisch eisstandardisierte Ergebnismessungen stochastischer Veränderungen ermöglichen.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Methoden, die von:

•US20190333629A1 "Methoden zur Diagnose und Behandlung neurologischer Erkrankungen"

•EP3229684B1 "Procédés de mesure d'un mouvement physiologiquement relevant"

•US20190261909A1 "System und Methode zur Bestimmung der Menge des Willens in einem Subjekt"

• US202110989122 "System und Methode zur Messung physiologisch relevanter Bewegungen"

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wir danken den Studenten, die sich freiwillig für diese Forschung zur Verfügung stehen; Kan Anant und die PhaseSpace Inc. für die Bereitstellung von Bildern und Videos, die notwendig sind, um die Einrichtung zu beschreiben; und Neuroelektronik, um uns zu ermöglichen, Material aus dem Kanal www.youtube.com/c/neuroelectrics/ und deren Handbüchern zu verwenden. Abschließend danken wir Prof. Thomas Papathomas vom Rutgers Center for Cognitive Science für die professionelle Unterstützung während der Einreichungsphase dieses Manuskripts, Nancy Lurie Marks Family Foundation Career Development Award an EBT und den Gerondelis Foundation Award an VK.

Beiträge
Konzeptualisierung, VK und EBT; Methodik, EBT; Software, VK, EBT, SK.; Validierung, VK und SK; formale Analyse, VK; Untersuchung, VK, EBT, SK; Ressourcen, EBT; Datenkuration, VK; Schreiben – Original-Entwurfsvorbereitung, EBT; Schreiben – Überprüfung und Bearbeitung, VK, SK.; Visualisierung, VK und EBT.; Aufsicht, EBT.; Projektverwaltung, EBT.; EBT Alle Autoren haben die veröffentlichte Fassung des Manuskripts gelesen und zugestimmt.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Enobio 32EnobioHardware für die EEG-Datenerfassung
Enobio EKG-ErweiterungEnobioHardware für die EKG-Datenerfassung
LabStreamingLayer (LSL)Synchronisation und Streaming von Daten
MatlabMathworkAnalyse und Verarbeitung von Daten
MaxCycling'74Sonifikation von Körperinformationen
NIC.2EnobioSoftware zur Erfassung von EEG- und EKG-Daten
PhaseSpace ImpulsePhaseSpaceHardware zur Erfassung der kinematischen Daten (Position, Geschwindigkeit, Beschleunigung)
Python3PythonAnalyse und Verarbeitung von Daten
RecapPhaseSpaceSoftware zur Erfassung der kinematischen Daten (Position, Geschwindigkeit, Beschleunigung)

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).">Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
  2. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).">Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
  3. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).">Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
  4. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).">Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  5. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).">Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  6. Theoretical Framework for the Study of Sensori-motor Integration. , University of California, San Diego. (2001).">Torres, E. B. Theoretical Framework for the Study of Sensori-motor Integration. , University of California, San Diego. (2001).
  7. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).">Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
  8. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).">Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
  9. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42(2003).">Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42(2003).
  10. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).">Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
  11. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).">Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
  12. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001(2016).">Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001(2016).
  13. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).">Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
  14. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).">Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
  15. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).">Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
  16. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001(2016).">Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001(2016).
  17. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).">Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
  18. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson's disease. PLoS One. 8 (7), 66757(2013).">Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson's disease. PLoS One. 8 (7), 66757(2013).
  19. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823(2014).">Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823(2014).
  20. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8(2016).">Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8(2016).
  21. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823(2014).">Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823(2014).
  22. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32(2013).">Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32(2013).
  23. MOCO '17: Proceedings of the 4th International Conference on Movement Computing. , ACM. 1-8 (2017).">Ryu, J., Vero, J., Torres, E. B. MOCO '17: Proceedings of the 4th International Conference on Movement Computing. , ACM. 1-8 (2017).
  24. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34(2013).">Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34(2013).
  25. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).">Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
  26. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10(2013).">Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10(2013).
  27. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).">Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
  28. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).">Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
  29. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121(2014).">Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121(2014).
  30. IEEE International Conference on Rehabilitation Robotics. , IEEE Xplore. ed IEEE (2019).">Casadio, M., et al. IEEE International Conference on Rehabilitation Robotics. , IEEE Xplore. ed IEEE (2019).
  31. 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , IEEE Xplore. (2018).">Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , IEEE Xplore. (2018).
  32. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).">Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
  33. Neuroscience. Sixth edition. , Oxford University Press. (2018).">Purves, D. Neuroscience. Sixth edition. , Oxford University Press. (2018).
  34. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10(2013).">Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10(2013).
  35. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson's disease. Frontiers in Integrative Neuroscience. 7, 50(2013).">Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson's disease. Frontiers in Integrative Neuroscience. 7, 50(2013).
  36. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).">Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
  37. Progress in Motor Control. , Springer. 229-254 (2016).">Torres, E. B. Progress in Motor Control. , Springer. 229-254 (2016).
  38. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46(2013).">Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46(2013).
  39. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444(2014).">Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444(2014).
  40. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).">Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
  41. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , Article 2 (2020).">Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , Article 2 (2020).
  42. Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , Rutgers University-School of Graduate Studies. (2018).">Kalampratsidou, V. Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , Rutgers University-School of Graduate Studies. (2018).
  43. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).">Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
  44. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).">Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
  45. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).">Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
  46. Dance from the heart: A dance performance of sounds led by the dancer's heart. Sixth International Symposium on Movement and Computing. , (2019).">Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer's heart. Sixth International Symposium on Movement and Computing. , (2019).
  47. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9(2016).">Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9(2016).
  48. Perceptual Processing: Stimulus equivalence and pattern recognition. Dodwell, P. C. , Appleton-Century-Crofts. 41-72 (1950).">Von Holst, E., Mittelstaedt, H. Perceptual Processing: Stimulus equivalence and pattern recognition. Dodwell, P. C. , Appleton-Century-Crofts. 41-72 (1950).
  49. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46(2013).">Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46(2013).
  50. Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , Academmic Press, Elsevier. (2018).">Torres, E. B. Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , Academmic Press, Elsevier. (2018).
  51. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8(2016).">Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8(2016).
  52. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).">Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
  53. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22(2016).">Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22(2016).
  54. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).">Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
  55. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34(2013).">Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34(2013).
  56. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422(2016).">Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422(2016).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Closed Loop InterfaceReal Time AugmentationWearable BiosensorsLab Streaming LayerHeart Rate MappingAudio Feedback ControlMotion Capture SystemEEG Data StreamingSensory AugmentationDyadic Interaction

Related Articles