Summary
私たちは、密接なループで人体と心臓の信号をストリーミング、パラメータ化、分析、および変更する共適応インターフェースを構築するためのプロトコルと分析方法を提示します。このセットアップは、外部感覚入力を持つ人の末梢および中枢神経系から導き出された信号をインターフェースし、生物物理学的変化を追跡するのに役立ちます。
Abstract
感覚置換と感覚増強の方法を開発する分野は、中枢神経系(CNS)からの信号を用いて外部目標を制御することを目的としている。しかし、あまり頻繁に起こらず、インタラクティブボディによって自己生成された外部信号をモーションで更新するプロトコルです。ある移動剤の体と心臓の脳のバイオリズムを組み合わせて、ダイアディック交換中に別の移動剤の生体リズムを操縦する方法の貧弱さがあります。このような偉業を達成するための課題の一部は、異なる物理ユニット、異なる時間スケールと可変サンプリング周波数を持つマルチモーダルバイオ信号を使用してセットアップの複雑さでした。
近年、複数の信号を非侵襲的に同時に利用できるウェアラブルバイオセンサーの出現により、脳および/またはボディマシンインターフェースの改善に加えて、相互作用するダイドの周辺信号を再パラメータ化し、更新する可能性が開かれています。ここでは、バイオセンサーを使用して、体力学的モーター出力(運動学と心拍数を含む)を更新する共適応インターフェイスを提示します。確率的バイオ信号をパラメータ化し、この出力をソニフィン化し、再パラメータ化された形式で、visuo/audio-kinesthetic reafferent 入力として返します。2つの人間と、ほぼリアルタイムで相互作用する人間とそのアバターを含む2つのタイプの相互作用を用いて、方法を説明する。外部入力が内部体力・感覚運動制御に及ぼす影響を測定する新しい方法の文脈で、新しい方法について議論する。
Introduction
自然なクローズループコントローラ
感覚運動情報は脳と身体の間を連続的に流れ、よく組織化された協調的な行動を生み出す。このような行動は、モノローグスタイル(図1A)のように、人の行動だけに焦点を当てながら、または対話スタイルのように、ダイアド内の2つのエージェント間で共有される複雑な動的アクションの間に研究することができます(図1B)。しかし、第3の選択肢は、人間とコンピュータのクローズループインタフェースのコンテキスト内で、プロキシコントローラを介してこのような複雑な相互作用を評価することです(図1C)。このようなインターフェースは、ダイアドの各エージェントによって引き起こされる瞬間ごとの動きの変動を追跡することができ、同期相互作用から自己出現するまとまりのタイプによって、ダイアドのリズムを望ましい方法で操縦するのに役立ちます。
図1: 異なる形態の制御を行う( A)自己脳制御インターフェースは、人の脳と人の身体との密接な関係に依存しており、これは「モノローグ」スタイルで自己調節し、自己相互作用することができる。このモードは、自己生成モーションの制御を試みるか、外部デバイスの制御を目指す場合もあります。(B)「対話」スタイルコントロールは、お互いに相互作用し、物理的な入り込みとターンテイクを通じて、お互いの動きを制御するために、2人のダンサーのために導入されます。(C)ダイアドの「第三者」対話制御は、両方のダンサーからのバイオ信号を併用し、それをパラメータ化し、感覚ガイダンスの形態としてオーディオおよび/またはビジョンを使用して再パラメータ化された形でダンサーに送り返すコンピュータインターフェイスによって仲介されるように導入される。ここで示した例の再パラメータ化は、オーディオまたはビジュアルフィードバックを使用して達成され、ダンサーの一方のリアルタイム運動運動出力によって強化され、他方に影響を与えました。または両方のダンサーの、いくつかの交互のパターンで交代。この図の大きなバージョンを表示するには、ここをクリックしてください。
この方法の全体的な目標は、2人のエージェントが2人の人間、または人間と彼/彼女の自己移動アバターを含む可能性のあるダイアディック交換に従事するので、動いている身体の生体不整脈活動の瞬間的な変動を利用し、パラメータ化し、再パラメータ化することが可能であることを示す。
脳がどのように行動を制御し、その感覚的な結果を予測するかについての調査は、過去1、2、3の理論的問い合わせの多くの行を生成し、神経運動制御4、5、6、7、8の様々なモデルを生成した。この学際的な分野の研究の1つの行は、近ループ脳機械または脳コンピュータインターフェースの開発を含んでいます。これらのタイプのセットアップは、CNS信号を利用して適応させ、ロボットアーム9、10、11、外骨格12、コンピュータ画面13上のカーソル(とりわけ)などの外部デバイスを制御する方法を提供します。これらの外部デバイスはすべて、独自のインテリジェンスを持っていないというプロパティを共有しています。代わりに、それらを制御しようとする脳は持っており、脳が直面する問題の一部は、これらのデバイスで生成される動き(例えば、カーソルの動き、ロボットアームの動きなど)の結果を予測する方法を学びながら、運動性リファレンスの形で全体的な感覚運動フィードバックに寄与する他の支持運動を生成することです。多くの場合、これらのインターフェースの包括的な目的は、その脳の背後にある人が怪我や障害をバイパスし、意図的な思考を外部デバイスの意志制御された物理的行為に変容させることでした。しかし、あまり一般的ではないのは、動いている体の動きを操縦しようとするインターフェースの開発でした。
脳と機械のインターフェースに関する元の研究の多くは、目標指向の行動9、14、15、16、17を達成することができる身体部分に対する中枢神経系(CNS)の制御に焦点を当てています。しかし、自律神経系(ANS)の活動から導き出された信号を使用することは、外部エージェントの信号に影響を与え、操縦するのに十分な有益であり、別のヒトまたはアバターを含む、あるいは人間と相互作用する(図1Cのように)他の状況もある。ロボットアームやカーソルとは異なり、この場合、他のエージェントは、脳によって駆動される知性を有する(人の動きに恵まれたアバターの場合、または他のエージェントの場合、相互作用するヒトダイアドの場合)。
ダイアディック交換を伴う共適応的なクローズループインターフェースの環境を作り出すセットアップは、CNSとPNSの間の橋を物理的に切断していないにもかかわらず、脳が自発的に動いている自分の体を自力で制御できない神経系の障害に介入するのに役立つ可能性がある。これは、脳が継続的に監視し、独自の自己生成バイオリズムを調整するのを助けるためにフィードバックループが中断された可能性がある騒がしい周辺信号のために場合があります。このシナリオは、パーキンソン病18、19、または運動出力に過剰な騒音を伴う自閉症スペクトラム障害を有する参加者に発生する。実際、どちらの場合も、意図した動き20、21、22の速度から導き出された戻ってくる運動信号における高レベルのノイズ対信号比を、心臓23から定量化した。このような場合、外部信号の脳制御を習得しようと、身体の運動を制御しようとする一方で、脳が周辺の連続(efferent)運動流から受け取る情報の再参入(再アフェレント)ストリームからの自己反応信号を生じる可能性がある。実際、このような自己生成型運動流に存在する瞬間的な変動は、意図的な行動24の感覚的結果の予測を助けるために有用な重要な情報を含む。このフィードバックがノイズによって破壊されると、制御信号を予測的に更新し、意図的な計画を物理的な行為で橋渡しすることが困難になります。
このようなフィードバックループを別のエージェントに拡張し、第三者(図1C)を通じて人とエージェントのやり取りを制御する場合(図1C)、お互いのパフォーマンスをほぼリアルタイムで操縦する機会があるかもしれません。これは、精神的意図からの身体的意志の不十分な実現をもたらす神経系の障害を治療するために、共適応的な脳体または脳機械インターフェースの概念を拡張する必要があるという概念の証明を私たちに提供します。
意図的な行動は、コンテキストに依存し、高い確実性25、26を持つ精神的意図のレベルの推論を可能にする運動確率的署名によって正確に特徴付けられる結果を有する。したがって、脳機械や脳コンピュータインターフェースに対する以前の人中心のアプローチに対するダイアディック交換を活用する新しい方法の利点は、異なるレベルの意図の下で、主に人の意識の下に起こる身体および心臓のバイオリズムを含むように制御信号を増強できることである。このようにして、脳カーソル制御17を適応させる過程で意識的制御が呼び起こされがちな反応的干渉を抑える。アクセスできるさまざまなシグナルをパラメータ化することで、予測プロセスに確実性を加えることができます。これらの線に沿って、前の仕事は、27、28、29の脳と身体信号を使用して存在します。しかし、脳と身体の信号によって捕捉されたダイアディック相互作用を含む作業は依然として乏しい。さらに、現存する文献は、意図的なもの30,31の結果として自発的に起こる完全な認識と過渡的な動きの下で行われる行動の意図的なセグメントとの区別をまだ明確にしていない。ここでは、ダイアディック交換の文脈でその区別を行い、ダンス空間で振り付け(意図的)と即興(自発的な)動きの例を提供しながら、この二分法32を研究する新しい方法を提供します。
官能運動の統合および変換プロセス33における伝達および伝達遅延のために、そのような予測コードを整備し、今後の感覚入力を確実に予測することを学ぶ必要がある。そのためには、連続的に更新する運動性リーファフェレントストリームの信号から導き出されるノイズ対信号比の進化を特徴付けることができることが重要です。その後、モータ変動の変化を体系的に測定するためのプロトコルが必要です。変動性は、発信運動流34の瞬間的な変動に本質的に存在する。これらの信号は非定常であり、文脈変動35、36に敏感であるため、タスクのコンテキストの変更によって生じる変化をパラメータ化することが可能である。意識的なCNS制御から出てくる反応性信号からの干渉を最小限に抑え、PNSモータストリームの定量的な変化を呼び起こすために、人の自己認識の下で大きく変化している周辺信号を募集することによって、感覚フィードバックを間接的に変化させるプロキシクローズループインターフェースをここに導入します。次に、確率的解析を使用して、両方のエージェントでプロキシクローズループインターフェイスが間接的に呼び起こすプロセスを視覚化することで、感覚操作にかかる変化を体系的に測定する方法を示します。
プロキシクローズループコントローラの導入
周辺信号に存在する感覚運動変動は、学習、適応および一般化が異なる文脈37にわたって行われながら神経系の性能を導く豊富な情報源を構成する。これらの信号は、アクションを制御しようとするCNSの副産物として部分的に現れますが、コントローラの直接的な目標ではありません。人が自然に他の人と対話するように、周辺信号を利用し、標準化し、再パラメータ化することができます。つまり、そのバリエーションは、運動性の再評価としてシステムに連続的に再入するエフェレントモーターストリームを変更するので、パラメータ化され、体系的にシフトすることができます。このような設定では、確率的なシフトを視覚化し、より伝統的な技術が実行するグランド平均の種類に失われるリッチな信号を高精度にキャプチャすることができます。
新しい統計プラットフォームの下で変化の特徴付けを達成するために、ここでは、外部感覚入力(聴覚および視覚)と内部自己生成モーター信号の統合を可能にするプロトコル、標準化されたデータ型および分析を導入し、その人は自然に他の人と相互作用し、またはアバターバージョンの人と交流します。この意味で、我々は(外部デバイスまたはメディアを直接制御するためにCNS信号を変更するのではなく)周辺信号の制御を目指しているので、このプロキシのクローズループインタフェースを作る(図2)。PNSの確率的信号の変化がCNSに影響を与えるため、その変化を特徴付けることを目指しています。
図2:接近ループマルチモーダルインタフェースを用いたダイアディック相互作用のプロキシ制御(A)コンピュータ共適応インタフェースを介した2人のダンサー(ダンスサルサ)の間接的制御と、末梢神経系信号を利用して制御されるインタラクティブな人工人アバターダイアド(B)を、音や視覚入力として再パラメータ化する。(C)バイオリズム信号の瞬間変動に由来する新しい標準化されたデータ型(マイクロムーブメントスパイク、MMS)を用いたソニフィケーションの概念は、振動に変換され、次に音に変換される。物理学から、音波を測定可能な振動として出力する音叉によって生じる圧縮と希薄化の概念を借りています。音響化のためのスパイク濃度に平行して時間の経過とともに変調された圧力として表される音波の概略図。MMSから振動およびソニア化に提案されたパイプラインを受ける物理信号の例。私たちは、インターフェイスへの入力として心拍数信号を使用します。これは、動きの4秒ごとに動きの発症に合わせて信号の振幅の変動を取り、振動を表すMMS列車を構築します。MMSからのスパイク列車は[0,1]から標準化されています。カラーバーに従ってスパイクの色は、信号の強度を表す。その後、マックスを使用してこれらの振動をソネリ化します。このソニファイド信号は、Aで再生したり、アバターとの相互作用をBで変更するために使用できます。また、Bでは、環境内に音を埋め込み、身体位置を使用して対象領域(RoI)で音を再生したり、RoIに固定された身体部分の速度または加速を、RoIを通すときに、RoIまでの距離の関数としてオーディオ機能を調節することが可能である。この図の大きなバージョンを表示するには、ここをクリックしてください。
PNS信号は、自律神経から自主的な32に至るまで、神経系の異なる機能層からのマルチモーダルエフェレントストリームを共同登録するウェアラブルセンシング技術で非侵襲的に利用することができる。その後、このようなストリームの変化をほぼリアルタイムで測定し、その変化が信号対雑音比を高めるものを選択することができます。この運動信号は、他の形態の感覚ガイダンス(例えば、聴覚、視覚など)で増強することができる。PNS信号は完全な認識をスケープするので、彼らは多くの抵抗 38なしで操作することが容易です。したがって、私たちは、人間のシステムにストレスが少ないかもしれない方法で人のパフォーマンスを操縦するためにそれらを使用しています。
インターフェイスの構築
近接ループ共適応型マルチモーダルインタフェースによって仲介されるプロキシコントロールの設計を提示する。このインターフェイスは、リアルタイムの多感覚フィードバックを導きます。 図 3 は 、一般的な設計を示しています。
クローズ・ループ・インターフェースは、5 つの主要ステップによって特徴付けられています。第1ステップは、複数のウェアラブル機器からのマルチモーダルデータ収集です。2 番目の手順は、MoBI グループ39によって開発された LabStreamingLayer (LSL、https://github.com/sccn/labstreaminglayer) のプラットフォームを介したマルチモーダル ストリームの同期です。第3のステップは、信号を統合し、リアルタイムで生理学的特徴(我々の実験的なセットアップに関連する)を経験的にパラメトリゼするために、Python、MATLABまたは他のプログラミング言語インタフェースへのLSLデータ構造のストリーミングです。第4のステップは、研究された身体信号の連続的な流れから抽出された選択された特徴を再パラメータ化し、選択した感覚的モダリティ(例えば、視覚、聴覚、運動麻酔など)を使用して、音や視覚の形でそれを再生し、人の神経系に問題のある感覚モダルリティを増強、代替または増強することです。最後に、第5のステップは、システムによって生成された信号の確率的シグネチャをリアルタイムで再評価し、差し迫った作用の感覚結果の予測において、身体変動の確率的変化を高い確実性(ノイズ最小化)のレジームに持ち込む感覚的なモダリティを選択することです。 このループは、実験の全期間を通して連続的に再生され、その後の解析のフルパフォーマンスを保存します(図3の図の図に示すように、後処理解析の例については40、41、42、44、45、46、47を参照)。
図3:マルチモーダル周辺駆動のクローズループインタフェース概念のアーキテクチャ 運動学的データ、心臓および脳活動(ステップ1)は、様々な身体信号を収集する。LSL は、さまざまな機器からインターフェイスにデータを同期的に登録し、ストリームするために使用されます (手順 2)。Python/MATLAB/C#コードは、標準化されたデータ型と共通のスケールを使用して信号の変動を継続的にパラメータ化するために使用され、システムの不確実性を減衰するのに最も適した感覚ガイダンスのソースを選択することができます(ステップ3)。選択されたチャネルを介した信号伝送のこのリアルタイムの強化は、連続的なモータストリームに統合し、失われたまたは破損した入力ストリームを強化するために、再参入官能の知覚信号の再パラメータ化を可能にします(感覚置換ステップ4)。継続的な再評価はループを閉じ(ステップ5)、追加の将来の分析のためにすべてのデータを保存します。この図の大きなバージョンを表示するには、ここをクリックしてください。
以下のセクションでは、クローズループインタフェースを構築する方法の一般的なプロトコルを示し ( 図 3を参照)、2 人のダンサー(実際のクローズループシステム)と人とアバター(人工クローズループシステム)間の物理的なダイアディック相互作用を含む2つの実験的なインタフェース(補足的な材料で詳細に提示)の代表的な結果を説明します。
Protocol
研究は、ヘルシンキの宣言に従ってラトガース機関研究委員会(IRB)によって承認されました。
1. 参加者
- 研究する人口を定義し、研究に参加するように招待します。現在のインターフェイスは、さまざまな集団で使用できます。このプロトコルと概念実証を提供するためにここで使用される例は、特定のグループに限定されません。
- IRB承認プロトコルの書面によるインフォームド・コンセントをヘルシンキ宣言に従って取得する。
- 実験の開始前に、参加者または保護者にフォームに署名してもらいます。
2. クローズループインタフェースの設定
- キネマティック機器-PNSのセットアップ
- 参加者が使用するモーション キャプチャ システムに付属する LED ベースモーション キャプチャ のコスチューム (図 3、ステップ 1、および 5 に示すボディとヘッド) を慎重に着用できるようにします。衣装のLEDマーカーは、宇宙での移動体の位置を推定するために、システムのカメラによって追跡されます。
- システムのワイヤレス LED コントローラ (LED ドライバ ユニットとも呼ばれます) を、適切なポートに差し込んで、コスチュームの LED ケーブルに接続します。デバイスの電源を入れ、ストリーミングモードで設定します。
- モーションキャプチャシステムのサーバーの電源を入れます。
- Web ブラウザーを開き、サーバーのアドレスにアクセスしてサインインします (製品の購入時に会社がサインイン情報を提供する必要があります)。
- 必要に応じてシステムを調整します(たとえば、機器を初めて使用する場合はシステムのキャリブレーションを行い、それ以外の場合はステップ 2.1.17 に移動します)。
- モーションキャプチャシステムのキャリブレーションツールを開き、 キャリブレーションウィザードを選択します。
- インターフェイスの左側にあるテキスト フィールドにサーバー番号が入力されていることを確認し、[ 続行] をクリックします。
- 杖を LED コントローラの最初のポートに接続し、コントローラの電源を入れ、[ 続行] をクリックします。杖が接続されると、そのLEDマーカーがオンになり、カメラビューでディスプレイに表示されます。
- カメラのビューフィールドの中央に杖を置き、カメラで記録できることを確認して、[ 続行] をクリックします。
- 杖を垂直に保ち、円柱を描画して、空間全体に杖を移動します。モーションが、少なくとも 3 台のカメラで毎回キャプチャされ、各カメラのビュー フィールドに登録されて緑色になっていることを確認します。すべてのカメラに対してこれを行います。
- 各カメラのビューフィールドが完全に登録されたら(すべて緑色)、[ 続行 ]をクリックして、キャリブレーション計算が実行されるのを待ちます。
メモ:キャリブレーションが完了すると、カメラの位置とLEDマーカーがディスプレイに表示され、物理的に室内に配置されます。この時点で、ユーザーはキャリブレーションが完了したためにキャリブレーションを再開するか、システムの位置合わせを続行することができます。 - 杖を垂直に保持し、3D 空間の原点を設定する必要がある地面の杖の端に近い位置に LED を持つ側を配置します(ポイント(0,0,0))。
- 杖を安定して登録するまで保持します。登録すると、画面が緑色に点滅します。スペース上の基準フレームの原点を示す点がインタフェースに表示され、次の位置合わせ軸であるX軸が緑色でハイライトされます。
- 杖を移動し、同じ方向(垂直)を維持し、x軸の点で、登録されるまで安定して保持します。
- Z 軸に対して繰り返します。Z軸のポイントが登録されると、キャリブレーションが完了します。
- [ 完了] を クリックして、調整を終了します。
- モーションキャプチャシステムのインターフェースを開き、[ 接続 ]をクリックして、LEDマーカーからのデータのストリーミングを開始します。接続が確立されると、マーカーの位置がインターフェイスの仮想世界に表示されます。
- 仮想スケルトンを作成します ( 図 8 step2を示すように、衣装の LED マーカーから収集された位置データから、身体のボーン位置を自動的に推定します)。
- ウィンドウの右側にある スケルトン を右クリックし、[ 新しいスケルトン] を選択します。
- マーカー マッピングを選択し、適切なファイル (使用されるインターフェイスのバージョンに基づいて会社によって提供されます) を選択します。次に、[OK]をクリックします。
- 参加者にTポーズ(両腕を開いた姿勢をまっすぐ上げる)を安定させてもらいます。
- スケルトンを右クリックし、[ トレーニングなしでスケルトンを生成] を選択します。
- すべてのステップが正しく実行されれば、スケルトンが生成されます。参加者に移動し、仮想スケルトンが参加者の動きにどの程度正確に従うのかを確認してもらいます。
- スケルトンデータを LSL にストリーミングするには、メインメニューから 「設定 と オプション 」を選択します。
- Owlエミュレータを開き、ライブストリーミングを開始をクリックします。
- EEG機器のセットアップ - CNS
- 同じ参加者がEEGヘッドキャップを着用するのを助けます。
- ヘッドキャップにゲル電極(EEGヘッドキャップで使用される従来のゲルベースの電極)を、CMSセンサーとDRLセンサーの右耳の裏側に2つの粘着性電極(ステッカーのように機能する電極)を置きます。
- 必要に応じて電極に高導電ゲルを充填し、センサーと頭皮の間の導電性を向上させます。
- ゲルトロッデと2つの粘着性付き電極の電極ケーブルを接続します。
- ヘッドキャップの背面にワイヤレスモニタを接続し、電極ケーブルを差し込みます。
- モニタの電源を入れます。
- EEGシステムのインターフェースを開きます。
- [Wi-Fi デバイスを使用する] を選択し、[デバイスのスキャン] をクリックします。
- [NE Wi-Fi] を選択し、 このデバイスを使用します。
- ヘッドアイコンをクリックし、32 個のセンサーすべてを記録できるプロトコルを選択し、[ 読み込み] をクリックします。
- 各チャネルのストリーム データがインターフェイスに表示されていることを確認します。
- ECG機器の設置- ANS
- 2.2 で示されている正確な手順に従いますが、心拍数(HR)の延長で接続するにはチャネル O1 を使用します。
- 粘着性のある電極を使用して、左胸部の下に延長の反対側を貼り付けます。
- キネマティックデータの同期記録とストリーミングのためのLSLの準備。
- 対応するアイコンをダブルクリックして、モーション キャプチャ システムの LSL アプリケーションを実行します。LSL フォルダー LSL\ラボストリーミングレイヤー マスター\アプリ\フェーズスペースの次のパス上のアプリケーションを見つけます。
- インターフェイスで、適切なサーバー アドレスを設定します。
- 次に、[ ファイルとロードの構成 ]を選択します。
- 適切な構成ファイルを選択します (使用する製品バージョンに基づいて会社が提供する必要があります)
- [ リンク] をクリックします。間違いがなければ、エラーメッセージは表示されません。
- EEGおよびECGデータの同期された記録およびストリーミングのためのLSLを準備する。この装置には追加のステップは必要ありません。
- LSL のセットアップ
- LSL フォルダーの LSL\ラボストリーミングレイヤー マスター\アプリ\ラボレコーダー パスにあるファイルをダブルクリックして、ラボレコーダー アプリケーションを実行します。
- [ 更新] をクリックします。すべての命令が正しく実行されると、モーションキャプチャとEEGシステムのすべてのデータタイプが、パネルの「ストリームの記録」に表示されます。
- [ストレージの場所] パネルで、データのディレクトリと名前を選択します。
- [ 開始] をクリックします。モーションキャプチャとEEGシステムのデータ収集が同期的に開始されます。
- 録音の最後に [ 停止] をクリックします。記録が成功した場合、データは以前に選択したディレクトリに配置されます。ファイルを開いて、記録された情報が含まれているか確認します。
- 人間のシステムのリアルタイム分析と監視。
- MATLAB、Python、またはストリーミングされたデータを受信、処理、および拡張する他のコードを実行します。以下のセクションで説明する代表的な例に対応するコード例は、ここで見つけることができます https://github.com/VilelminiKala/CloseLoopInterfaceJOVE
- 拡張感覚フィードバックの生成
- 適切なデバイス(例えば、スピーカー、モニター、とりわけ)を使用して、感覚出力を生成します。
3. 実験手順
- セットアップで定義されている実験手順に従います (存在する場合)。
注: クローズループインターフェイスは、直感的に探索し、学習できるように設計されています。したがって、ほとんどの場合、命令は必要ありません。
Representative Results
前のセクションで説明したプロトコルに基づいて構築できるさまざまなインターフェイスがあり、さまざまな用途にさまざまな母集団に適用できます。いくつかのバリエーションについては、補足資料の「提示されたクローズ ループ インターフェイスのバリエーション」を参照してください。
このセクションでは、前のセクションで説明したプロトコルに従う 2 つのサンプルの close-loop インターフェイスの代表的な結果を示します。セットアップ、実験手順、およびこれらの研究の参加者は、セクション「例 1: 実際のダイアディック相互作用のオーディオクローズループインターフェイス」 および " 例2: 補助ファイルの人工ダイアディック相互作用のオーディオビジュアルクローズループインタフェース" で詳細に説明されています。
実際のダイアディック相互作用のオーディオクローズループインタフェースの結果
「実際のダイアディック相互作用のオーディオクローズループインターフェース」(「例1:補足材料のリアルダイアディック相互作用のオーディオクローズループインターフェース」で詳しく説明)の研究では、女性ダンサーの心臓信号を使用してダンスを変えるプロキシコントロールインターフェイスを 使用しました。リアルタイムで、ハートビートの時間を抽出する信号処理を行い、この情報をMaxシステムにストリーミングして、演奏された曲の速度を変更しました。このようにして、私たちは生物物理学信号によって変更された曲を再生しました。このプロセスは、動きとハートビート信号のさらなる変更につながった。
図4: オーディオベースのクローズループインターフェース 1. ECG-HRウェアラブルデバイスは、彼女のルーチンのパフォーマンス中にサルサダンサーの活動を監視し、500Hzでインターフェイスに信号を供給します。当社のインターフェースは、ECGデータをリアルタイムで分析します。各フレームにおいて、生データをフィルタし、QRS複合体のRピークを抽出する。ピーク検出を MAX. 3 にストリーミングします。サードパーティのインターフェイスは、心拍数の速度とオーディオの速度をブレンドします。4.変更された曲はダンサーに再生されます。 この図の大きなバージョンを表示するには、ここをクリックしてください。
2人のサルサダンサーがインターフェースと対話し、振り付けと自発的に即興ダンスを上演するよくリハーサルされたルーチンを行いました。ダンサーは一度曲のオリジナルバージョンを演奏しなければならなかったし、バージョンはリアルタイムのハートビートストリームと曲の元のテンポをブレンドしました。私たちは、曲の変更1と2として2回行われた後のバージョンを参照してください。
以下に示す分析では、記録された心臓と音声信号を使用しました。MMSトレインを推定するために抽出された2つの信号のピーク(補足ファイルの「微小動スパイク」を参照)は、 図5に示すように高い周波数変動を維持する。
図5: オーディオクローズループシステムのMMSトレインの推定 ECG時系列は、得られたRピークの平均振幅(平均シフトデータ)全体(推定)からRR-ピークおよび振幅偏差を抽出するために使用される。次に、式 1 による正規化 (補足ファイル「マイクロ移動スパイク」セクションを参照) を使用して MMS トレインを取得します。同様の方法は、オーディオ波形を処理し、人のリアルタイムのパフォーマンスに応じて曲を再生するために使用されます。 この図の大きなバージョンを表示するには、ここをクリックしてください。
MMS列車は、連続的なランダムプロセスとしてよく特徴付けられていた。MLE は、この連続分布ファミリーが両方のデータ・セットに最適であると考えました (補足資料および補足図 2の「ガンマ分布」のセクションの説明を参照)。このタイプのランダムプロセスは、人間の神経系からのバイオ信号によって自己生成するバイオリズムの確率的シグネチャの変化を追跡するために使用された。
経験的に推定された形状とスケールガンマパラメータから、ガンマモーメント、平均、分散、歪度、尖度を取得します(補足材料の「確率分析」セクションの分析の詳細を参照)。次に、推定PDFをプロットします。 図6 は心臓信号と音楽のみに焦点を当てていますが、方法は 41で提示された運動学的信号によって生成される他のバイオリズムと同様に適用されます。
心臓と音楽信号のPDFを 図6A-Bに示し、2つの条件のデータセット(意図的なルーチンと自発的な即興)の違いを強調しています。各条件について、曲の時間的変化によって引き起こされる確率的署名の変化を強調する。最初は、彼らは元の曲に合わせて踊ります。その後、心拍がリアルタイムでリズムを変化させると、この信号の音の変動は、ダンサーが曲の時間的変化に従うように導きます。
これらは、変更1および変更2と表記される。これらの系統的なシフトはガンマパラメータによって記述されます。次に、経験的に推定された形状とスケールのパラメータを使用して、ハートビートと曲に対応する4つの対応するガンマモーメントを得ました。これらは、心臓(上)と曲(下)信号の 図6C に表示されます。
図6:オーディオクローズループシステムを使用したプロキシコントロールの下での性能から、経験的に推定されたガンマPDFとその4つのガンマモーメントの確率的軌跡の体系的な変化を誘導する。(A) 各ダンスコンテキスト、自発的な即興と意図的なルーチンのデータ型(ECGトップとオーディオファイルの下部)のMMSトレインからのPDF。レジェンドは、セッション開始時のベースライン条件を示すImp OR(即興オリジナル)です。変更中の即興を示すImp Alt1;変更中の即興を示すImp Alt2 2。(B) 同様に、意図的にリハーサルされたルーチンの場合、ラウトまたははルーチンオリジナルを意味します。ラウト Alt1 は、ルーチンの変更 1 を意味します。ラウト Alt2 は、ルーチンの変更 2 を意味します。(C)のパネルは、曲からのオーディオ信号と心臓からのオーディオ信号の両方が並行してリアルタイムで変化するガンマの瞬間の体系的な変化を示しています。この図の大きなバージョンを表示するには、ここをクリックしてください。
署名のシフトは、これらのパネル(PDFとガンマモーメントグラフ)で理解することができ、したがって、提示された方法は、プロキシコントローラがリアルタイムで生成する曲の変更に心臓の適応をキャプチャできることを実証する。曲がリズムを変えるにつれて、心臓確率的シグネチャと確率的シグネチャの移行は方向に一貫しています(これは 41 の形状とスケールパラメータを研究した発見でもあります)。同様に、心臓の署名が変なるにつれて、曲の署名も変わります。このミラーリング効果は、一方が他方に影響を与え、一方が方向に向かって一貫してシフトするにつれて、このプロキシコントローラインタフェースのクローズループの性質に従います。この結果は、このセットアップの有用性を強調し、ダイアディック交換の文脈の中で体系的に人の自律神経バイオリズムをシフトさせることができるという概念の証明を与える。
曲と身体信号の両方の確率的シグネチャ上の平行シフトは、周辺信号を使用してシステム全体(参加者およびインターフェース)の共適応が可能であることを示す。このプロセスは、人の意識の下でスムーズに進行し、選択した外部感覚フィードバックに対応して、人のバイオ信号を遠隔かつ体系的にシフトするアイデアの概念実証を提供します。要約すると、この連続的なランダムプロセスにおける確率的シグネチャのシフトを導くことができます。この方法は、ほぼリアルタイムで構築することができた確率的軌道に沿って変化とその速度をキャプチャすることを可能にします。
シフトにおける統計的有意性を確かめるには、非パラメトリックANOVA、クルスカル-ウォリス検定を用い、続いて、臨時試験後に複数の比較を行います。心臓データのMMSのシグネチャを6つの条件の中で比較します。図7は、MMS心臓データと対応するクルスカル・ウォリス表のマルチ比較を示す。多重比較プロットは、元のルーチンダンスのベースライン条件(ラウト)の間に有意な差があることを示しています。または)元の即興ダンスのベースライン条件(Imp. Or)。また、最初の変更であるラウトであることに注意することも重要です。Alt1とImp. Alt1は、同等の平均を共有する分布へのシフトであり、同じことが第2の変更にも適用され、ガンマモーメント空間の分散、歪度および尖度シフト(図6C)。
図7: 非パラメトリック・クルスカル・ウォリスとマルチ比較後の試験結果 6つの条件を比較するために心臓データのMMSに適用された非パラメトリックANOVA(Kruskal-Wallis検定)の結果。プロットは、6つのケースの多重比較を示し、「ラウト」の間の有意な差を示す。または」と「インプまたは」条件。この表は、クルスカル・ウォリス検定の結果を示しています。 この図の大きなバージョンを表示するには、ここをクリックしてください。
人工ダイアディック相互作用の音響-視覚閉ループインタフェースの結果
「人工ダイアディック相互作用のオーディオビジュアルクローズループインターフェース」(「例2:補助材料の人工ダイアディック相互作用のオーディオビジュアルクローズループインターフェース」で詳しく紹介)の研究では、6人の参加者が、ミラー化されたアバターを作成する鏡像アバターを作成する図8に示すインターフェースと相互作用しました。インタフェースは、インタラクション中に人を囲む領域内に位置依存サウンドを埋め込みます。参加者は研究の目的についてナイーブだった。彼らは部屋の周りを歩き回り、プロキシコントローラが定義したRoI(関心のある領域)を通り過ぎるときに驚くほど出現する音を制御する方法を理解しなければならなかった。
図 8: オーディオ ビジュアル インターフェイスのビジュアル表現 1. モーションキャプチャシステムは、周辺運動学的データの取得に利用されます。2. システムは、(私たちの例のLEDの)センサーの位置を収集して、骨格を推定します - 骨の位置。3. 骨の位置は、私たち自身の前方運動学モデルを使用して、私たちのMATLAB開発されたインタフェースで整列されます。4. 整列位置は、スケルトン情報を3Dレンダリングされたアバターにマッピングするために使用されます。5. ストリーミングされたデータをアバターにマッピングすると、リアルタイムで、その人の鏡像を見る感覚が生まれます。 この図の大きなバージョンを表示するには、ここをクリックしてください。
図 9 は、条件 1 のオーディオビジュアル インターフェイスの結果を示しています (詳細な条件については補足ファイルを参照してください)。この図は、RoI ボリュームの内外にいたときの 6 種類の制御参加者 (C1 ~ C6) のヒップ速度データの PDF およびガンマシグネチャ (補足材料の「データ型と分析」を参照) を示しています。ここで示す結果は、個々の参加者の適応率に関するパーソナライズされた違いを強調しています。これらは、確率的シグネチャのシフトと、RoIボリュームの内外に出現する個々の結果によって示されます。例えば、PDFは、C3とC4のヒップの速度振幅から導出されたMMSの周波数ヒストグラムに適合し、ボリューム内での対称性(形状値が高い)、騒がしい(スケール値が低い)ことに気付くことができます。対照的に、参加者の残りの部分は反対のパターンを示しています。
経験的には、右下隅のシグネチャーはアスリートやダンサーの署名であり、高度に熟練した動きを行っていることがわかりました。署名は左上領域にあり、自閉症スペクトラム障害の診断を有するADHD22、32および聴覚障害者の参加者21のような病理を有する神経系のデータセットから来る。確率軌道に沿ったパターンのシフトの文脈の中で、形状とスケールの中央値を取得して、右下象限(RLQ)と左上象限(LUQ)を定義し、この情報を時間の経過とともに蓄積して信号対雑音比の全体的な品質を追跡します。これは、内部で生成されたバイオリズムをプロキシによって外部制御されているものに共同適応させるが、その人の内部リズムに依存する場合に、これらの象限を動的に定義する中央値の更新を考慮する。
図9:オーディオビジュアルクローズループシステムを用いた相互作用時の身体バイオリズムのガンマPDFとガンマシグネチャを経験的に推定した。 各参加者の腰の速度(C1-C6)から得られたMMSトレインを用いて、95%の信頼区間で最高のPDFにフィットするためにMLEを使用しました。各参加者は異なるシンボルで表され、条件は異なる色で表されます。ボリューム内のガンマ PDF のファミリは、ボリューム外のガンマ PDF とは異なります(アウト)。ガンマの経験的に推定された PDF に加えて、推定ガンマ シェイプとスケール パラメータもガンマ パラメータ プレーン上の各人に対して表示されます。 この図の大きなバージョンを表示するには、ここをクリックしてください。
表 1 は、生 (速度) と MMS データから得られた p 値を示し、その人の身体部分が RoI vs.の内部にある場合の条件で結果を比較します。RoI の外で。表に示した結果は、非パラメトリックなANOVA Kruskal-Wallis検定を用いて推定されています。
| クルスカル・ウォリス試験 | 速度データ | MMS |
| C1 | 0 | 1.34 e-05 |
| C2 | 0 | 4.72E-15 |
| C3 | 0 | 8.59E-34 |
| C4 | 2.70E-21 | 3.16E-04 |
| C5 | 0 | 1.11E-09 |
| C6 | 0 | 5.95E-05 |
表1:非パラメトリックANOAVA-クルスカル-ウォリス検定の出力。 MMSの内部とRolの外の記録と速度データを比較するKruskal Wallisテストの結果。各参加者(C1~C6)のデータに対して個別にテストを適用します。
Discussion
本稿では、ダイアディック交換の文脈において、人の周辺信号を利用し、パラメータ化し、再パラメータ化する、近接ループ共適応、インタラクティブ、マルチモーダルインタフェースを介したプロキシ制御の概念を紹介する。私たちは、人のバイオリズムの変動の確率変化を特徴付け、その変化をパラメータ化することを目的としました。さらに、ほぼリアルタイムでノイズ・ツー・シグナル体制の標的レベルに向けて、バイオリズムの確率的シグネチャを体系的に操縦することを目指しました。
5つのコア要素を満たすクローズループインタフェースを構築するための一般的なプロトコルを提示しました:1)様々な機器や技術を使用してCNS、PNS、およびANSから来る複数の身体データの収集。2)データの同期された記録とストリーミング。3)選択された信号のリアルタイム分析。4)身体信号のために抽出された生理学的特徴を用いた感覚増強(オーディオ、視覚など)の作成。5)人間のシステムと並列感覚増強の連続的な追跡は、人間とシステム間の相互作用のループを閉じます。
汎用プロトコルは、2 つのインターフェイスの例に適用されました。1つ目は、2人の人間のエージェントと人間とアバターエージェントの間のダイアディック交換を調査します。この2種類のダイアドは、周辺信号をリアルタイムで系統的に変化させることができ、これらの確率的変化を正確に追跡することができるという概念実証を提供するために使用されました。1人のダイアドは2人の参加者が物理的に相互作用し、もう1人は参加者が人の動きとこれらのリアルタイムモーションの変種を持つ3Dレンダリングされたアバターの形で仮想エージェントと対話する参加者を含んでいました。このような変化は、拡張感覚の設定で聴覚および/または視覚感覚入力によって駆動されるインタラクティブな操作によって呼び起こされた。実際のダイアドと人工ダイアドの両方で、心拍からの身体バイオリズムや自律信号を含む周辺信号を遠隔移動する可能性を実証しました。
運動信号ストリームがほぼリアルタイムで操作され、再パラメータ化されている中で、このような運動変動の変化を調査するための新しい実験プロトコルを発表した。この再入口情報(運動性リーフェレンス48)は、システムの性能をリアルタイムで変える価値があることが証明されました。彼らはアクションの感覚的な結果に関する情報を負担し、ここで提示した方法を使用して正確に追跡することができます。
また、分析を標準化するのに適したデータ型と統計的手法も示しました。我々は、自己生成および自主制御神経系信号の解釈に適した経験的に導かれた統計的推論を用いて、異なる文脈で自然に進化する生理活性のリアルタイムの変化を実証するための複数の視覚化ツールを提供した。重要なのは、プロキシ コントローラによって呼び起こされる変更はスムーズでありながら定量化可能であるため、周辺機器の活動が複数の方法で役立つという考えにサポートを提供します。市販のワイヤレスウェアラブルセンサーを用いてこれらの方法を実装できますが、システムにストレスを与えることなく、生体物理リズムでキャプチャ可能な性能の変化を体系的に誘導することができます。私たちの方法を臨床分野に翻訳し、新しい介入モデルを開発するためのテストベッドとして使用することが重要です(例えば、自閉症 49で拡張現実を使用する場合など)。このようなモデルでは、感覚入力が正確に操作され、出力がほぼリアルタイムでパラメータ化され、再パラメータ化されるため、その人の自然主義的な行動の感覚的な結果を追跡し、定量化することができます。
このプロトコルは、人間の神経系によって自己生成し、ワイヤレスウェアラブルで非侵襲的に利用される様々なバイオリズム活動を利用するための一般的なモデルとして提供しています。この論文では、一連のバイオセンサーを使用してEEG、ECG、キネマティクスを登録しましたが、信号の記録、同期、分析の方法は一般的です。このインターフェイスは、他のテクノロジを組み込むことができます。さらに、プロトコルは、医療分野に及ぶ他の自然主義的な行動や文脈を含むように変更することができます。自然な行動を目的としているため、私たちが開発したセットアップは遊び心のある設定(例えば、子供や親を含む)で使用することができます。
神経系のいくつかの障害は、制御問題に対するこのような遊び心のあるアプローチの恩恵を受ける可能性があります。私たちがここで示したどちらのタイプのダイアディック相互作用でも、参加者は意識的に音楽を制御することを目指し、プロキシコントローラは周辺出力を使用して無意識のうちに署名を操作し、体系的にシフトすることができます。科学者たちは経験的にガンマパラメータプレーンと異なる年齢層(新生児から78歳までの新生児)間のガンマモーメントスペースを経験的にマッピングしてきたので、19、50、51、52、53と条件(自閉症、 パーキンソン病、脳卒中、昏睡状態および聴覚障害者)の異なるレベル(自発的、自動、自発的、不随意および自律神経)25、47、54のために、彼らはガンマ空間上の確率的署名が良好な予測対照のためにあるべき場所を示す経験的に測定された基準を有する。以前の研究では、パラメータが人間の神経系の自己生成リズムから来る自発的なランダムノイズの存在下にある場所を知っていることも示されています 7,19,55,56.バイオリズム運動ノイズを最小限に抑える最適化スキーマの中で、各人のPDFファミリーの形状と分散シグネチャが高い信号対ノイズ比と予測値を助長するガンマ空間のターゲット領域を達成するような方法で信号を駆動することを目指すことができます。この意味で、我々は総データを失わないし、むしろ特定の状況内でノイズの望ましいレベルに向かってシステムを駆動するために効果的に使用します。
ダイアディック相互作用は、臨床またはトレーニングの設定でユビキタスです。彼らはトレーナーと研修生の間で発生する可能性があります。医師と患者;臨床療法士および患者;また、翻訳科学を含む研究の場面で、研究者や参加者との関わりが生じることもあります。現在のプロトコルの利点の1つは、ダイアド用に設計されている一方で、パーソナライズされている点です。したがって、運動の範囲、感覚処理時間の範囲、および人の神経系の機能的階層にわたる信号の振幅の範囲を考慮しながら、その人の最良の能力と素因に合わせて共適応相互作用を調整することが可能です。確率的な軌道が出現し、時間内に進化するにつれて、署名の可能性の速度を確認し、その時系列を使用して、いくつかの差し迫ったイベントと可能な感覚的な結果を予測することも可能です。
最後に、クローズループインタフェースはアートの世界でも使用できます。彼らは、現代のダンス、テクノロジーダンス、新しい形の視覚化と身体表現のソニフィケーションを生成するための新しい道を演奏するアーティストを提供することができます。このような文脈では、ダンサーの身体は、この領域40、41、43、46の前の作業によって示されるように、自己生成バイオリズム活動のソニフィケーションと視覚化を通じて異なる感覚様式を柔軟に探求するために感覚駆動の器械に変えることができる。このようなパフォーマンスは、ステージ上のダンサーの役割を増強し、観客が目に見える動きを超えて微妙な身体信号を経験することができます。
この技術のいくつかの側面は、リアルタイム設定での使用を最適化するために、さらなる開発とテストが必要です。同期ストリーミングでは、高速CPU/GPUパワーとメモリ容量を必要とし、進行中のモータコマンドの感覚的な結果を予測する際に、時間を得て一歩先を行くという概念を実際に活用する必要があります。装置のサンプリングレートは、信号を真に整列させ、適切な感覚融合を行い、神経系のさまざまなチャネルを介して情報の伝達を探求できるようにするために、同等であるべきである。これらは、この新しいインターフェイスに存在する制限の一部です。
すべてのと、この研究は、サブリミナルを採用しながら、私たちの身体システムの制御を改善するための新しい概念を提供し、それにもかかわらず、確率的変化の体系的な標準化された結果測定を可能にすることを意味します。
Disclosures
次の方法が対象:
•US20190333629A1 「神経疾患の診断と治療のための方法」
EP3229684B1 「プロセデス・ド・メシュア・ダン・ムーヴメント・フィジオロジーメント関連」
•US20190261909A1 「被験者における意志の量を決定するためのシステムと方法」
•US202110989122 「生理学的に関連する運動を測定するためのシステムと方法」
Acknowledgments
私たちは、この研究を行うために自分の時間をボランティアした学生に感謝します。カン・アナントとPhaseSpace Inc.は、セットアップを説明するために必要な画像やビデオを提供します。そして、私たちは、チャネル www.youtube.com/c/neuroelectrics/ とそのマニュアルからの材料を使用することを可能にするためのニューロエレクトロニクス。最後に、ラトガース認知科学センターのトーマス・パパトーマス教授に対し、この原稿の提出段階で専門的な支援を受け、ナンシー・ルーリー・マークス・ファミリー財団キャリア開発賞をEBTに、ジェロンデリス財団賞をVKに授与しました。
貢献
概念化、VKおよびEBT;方法論、EBT;ソフトウェア, VK, EBT, SK.;検証、VK および SK;正式な分析、 VK;調査, VK, EBT, SK;リソース、EBT;データキュレーション, VK;書き込み - オリジナルのドラフト準備、EBT;書き込み - レビューと編集、VK、SK;ビジュアライゼーション、 VK および EBT.監督、EBT;プロジェクト管理、EBT;資金調達の買収、 EBT すべての著者は、原稿の公開版を読んで同意しました。
Materials
| Name | Company | Catalog Number | Comments |
| Enobio 32 | Enobio | Hardware for EEG data collection | |
| Enobio ECG Extention | Enobio | Hardware for ECG data collection | |
| LabStreamingLayer (LSL) | Synchronization and streaming of data | ||
| Matlab | Mathwork | Analysis and processing of data | |
| Max | Cycling'74 | Sonification of bodily information | |
| NIC.2 | Enobio | Software for EEG and ECG data collection | |
| PhaseSpace Impulse | PhaseSpace | Hardware for collection of the kinematic data (position, speed, acceleration) | |
| Python3 | Python | Analysis and processing of data | |
| Recap | PhaseSpace | Software for collection of the kinematic data (position, speed, acceleration) |
References
- Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
- Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
- Wolpert, D. M., Miall, R. C., Kawato, M.
- Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
- Todorov, E.
- Torres, E. B. Theoretical Framework for the Study of Sensori-motor Integration. , University of California, San Diego. (2001).
- Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
- Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
- Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42 (2003).
- Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
- Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
- Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
- Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
- Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
- Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
- Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
- Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
- Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson's disease. PLoS One. 8 (7), 66757 (2013).
- Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823 (2014).
- Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8 (2016).
- Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823 (2014).
- Torres, E. B., et al.
- Ryu, J., Vero, J., Torres, E. B. MOCO '17: Proceedings of the 4th International Conference on Movement Computing. , ACM. 1-8 (2017).
- Brincker, M., Torres, E. B.
- Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
- Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
- Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
- Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
- Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121 (2014).
- Casadio, M., et al. IEEE International Conference on Rehabilitation Robotics. , IEEE Xplore. ed IEEE (2019).
- Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , IEEE Xplore. (2018).
- Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
- Purves, D. Neuroscience. Sixth edition. , Oxford University Press. (2018).
- Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
- Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson's disease. Frontiers in Integrative Neuroscience. 7, 50 (2013).
- Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
- Torres, E. B. Progress in Motor Control. , Springer. 229-254 (2016).
- Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
- Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444 (2014).
- Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
- Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , Article 2 (2020).
- Kalampratsidou, V. Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , Rutgers University-School of Graduate Studies. (2018).
- Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
- Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
- Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
- Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer's heart. Sixth International Symposium on Movement and Computing. , (2019).
- Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9 (2016).
- Von Holst, E., Mittelstaedt, H. Perceptual Processing: Stimulus equivalence and pattern recognition. Dodwell, P. C. , Appleton-Century-Crofts. 41-72 (1950).
- Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
- Torres, E. B. Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , Academmic Press, Elsevier. (2018).
- Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8 (2016).
- Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
- Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22 (2016).
- Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
- Brincker, M., Torres, E. B.
- Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422 (2016).
