닫기 루프 인터페이스를 사용하여 재매개 변수화된 주변 신호의 실시간 프록시 제어

Summary

당사는 밀접한 루프에서 인체와 심장 신호를 스트리밍, 매개 변수화, 분석 및 수정하는 공동 적응 인터페이스를 구축하기 위한 프로토콜 및 분석 방법을 제시합니다. 이 설정은 생물 물리학 변화를 추적하는 데 도움이 외부 감각 입력을 가진 사람의 말초 및 중추 신경계에서 파생 된 신호를 인터페이스합니다.

Abstract

감각 대체 및 감각 확대를 위한 방법을 개발하는 필드는 중추 신경계 (CNS)에서 신호를 사용하여 외부 목표를 제어하는 것을 목표로했습니다. 그러나 이동 중인 대화형 바디에 의해 자체 생성된 외부 신호를 업데이트하는 프로토콜은 덜 빈번합니다. dyadic 교환 도중 다른 움직이는 에이전트의 그를 조종하기 위하여 한 움직이는 에이전트의 바디 심장-두뇌 생체 리듬을 결합하는 방법의 빈약이 있습니다. 이러한 위업을 달성하기 위한 과제중 하나는 서로 다른 물리적 단위, 이질적인 시간 척도 및 가변 샘플링 주파수를 가진 멀티모달 바이오 신호를 사용하여 설정의 복잡성이었습니다.

최근 몇 년 동안, 비침습적으로 여러 신호를 나란히 활용할 수 있는 웨어러블 바이오 센서의 출현은 뇌 및/또는 바디 머신 인터페이스를 개선하는 것 외에도 상호 작용하는 다이드의 주변 신호를 다시 매개 변수화하고 업데이트할 수 있는 가능성을 열어주었습니다. 여기서 우리는 생체 센서를 사용하여 효과적인 체형 모터 출력 (운동학 및 심박수 포함)을 업데이트하는 공동 적응 인터페이스를 제시합니다. 금욕적 바이오 신호를 매개 변수화하고, 이 출력을 소간화하고, 비수오/오디오 운동 성 재흡수 입력으로 다시 매개변수 형태로 다시 공급합니다. 우리는 두 가지 유형의 상호 작용을 사용하는 방법을 설명합니다, 하나는 두 인간과 거의 실시간으로 상호 작용하는 인간과 아바타와 관련된 다른 하나를 포함. 내부 체감각-모터 제어에 대한 외부 입력의 영향을 측정하는 새로운 방법의 맥락에서 새로운 방법에 대해 논의합니다.

Introduction

내추럴 클로즈 루프 컨트롤러
감각 모터 정보는 잘 조직된 조정된 행동을 생성하기 위하여 두뇌와 바디 사이 를 지속적으로 흐릅니다. 이러한 행동은 독백 스타일(그림 1A)에서와 같이 사람의 행동에만 초점을 맞추거나 대화 스타일(그림 1B)에서와 같이 dyad에서 두 에이전트 간에 공유되는 복잡한 동적 동작 중에 단독으로 연구할 수 있습니다(그림 1B). 그러나 세 번째 옵션은 인간-컴퓨터 클로즈 루프인터페이스(그림 1C)의컨텍스트 내에서 프록시 컨트롤러를 통해 이러한 복잡한 상호 작용을 평가하는 것입니다. 이러한 인터페이스는 다이드의 각 에이전트에 의해 기여 순간 의 움직임의 변동을 추적 할 수 있습니다, 그리고 자신의 동기 상호 작용에서 자기 등장 응집력의 유형에 의해, 바람직한 방법으로 dyad의 리듬을 조종하는 데 도움.

그림 1: 다른 형태의 제어. (A)자기 두뇌 제어 인터페이스는 "독백"스타일로 자기 조절하고 상호 작용할 수있는 사람의 뇌와 사람의 자신의 몸 사이의 밀접한 루프 관계에 의존한다. 이 모드는 자체 생성 모션의 제어를 시도하거나 외부 장치를 제어하는 것을 목표로 할 수도 있습니다. (B)"대화" 스타일 컨트롤은 서로의 움직임을 제어하기 위해 물리적 인 훈련과 턴 복용을 통해 서로 상호 작용하는 두 댄서에 대해 도입된다. (C)다이드의 "제3자" 대화 제어는 두 댄서의 바이오 신호를 결합하여 매개변수화하고 감각 지도의 형태로 오디오 및/또는 비전을 사용하여 재매개변수 형태로 무용수에게 다시 공급하는 컴퓨터 인터페이스에 의해 중재된 것으로 소개된다. 여기에 제시된 예의 재매개변수화는 오디오 또는 시각적 피드백을 사용하여 달성되었으며, 다른 댄서 중 한 명의 실시간 운동 모터 출력에 의해 향상되었습니다. 또는 두 댄서의, 일부 교대 패턴에 회전복용. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

이 방법의 전반적인 목표는 두 에이전트가 두 인간, 또는 인간과 그 /그녀의 자기 움직이는 아바타를 포함 할 수있는 dyadic 교환에 종사로, 움직이는 신체의 생체 리듬 활동에 순간 변동을 활용, 매개 변수화 및 재 매개 변수화 할 수 있음을 보여주는 것입니다.

뇌가 어떻게 행동을 조절하고 감각적 결과를 예측할 수 있는지에 대한 조사는 지난^1,2,3에서 많은 이론적 문의라인을 생성하고 신경운동 제어^4,5,6,7,8의다양한 모델을 생성했다. 이 다분야 분야의 한 줄은 근접 루프 뇌 기계 또는 뇌 컴퓨터 인터페이스의 개발을 포함하고있다. 이러한 유형의 설정은 로봇 암^{9,10,11,외골격(12)}및 컴퓨터^{화면(13)의} 커서와 같은 외부 장치를 제어하기 위해 CNS 신호를 활용하고 조정하는 방법을 제공한다. 이러한 모든 외부 장치는 자체 인텔리전스가 없는 속성을 공유합니다. 대신, 뇌가 그들을 제어하려고 하는 뇌는 이러한 장치에서 생성하는 모션의 결과를 예측하는 방법을 배우는 것입니다 (예를 들어, 커서의 움직임, 로봇 팔의 움직임 등) 키네의 형태로 전반적인 감각 모터 피드백에 기여하는 다른 지지 모션을 생성하는 것입니다. 종종, 이러한 인터페이스의 가장 중요한 목표는 뇌뒤에 있는 사람이 부상이나 장애를 우회하도록 돕고, 의도적인 생각의 변화를 외부 장치의 의심하게 통제된 물리적 행위로 되감는 것입니다. 그러나 덜 일반적인 모션에 몸의 움직임을 조종 하려고 하는 인터페이스의 개발 되었습니다.

뇌-기계 인터페이스에 대한 원래 연구의 대부분은 목표 지향적 인 행동을 달성 할 수있는 신체 부위를통해 중추 신경계 (CNS)의 제어에 초점을 맞추고^{9,14, 15,16,17.} 그러나, 자율 신경계(ANS)를 포함하여 말초 신경계(PNS)의 활동에서 유래된 신호를 이용하여 다른 인간 또는 아바타를 포함하거나 인간을 상호작용하는 외부 에이전트의 신호를 영향을 미치고 조종할 수 있을 정도로 유익하다는 다른 상황이 있다(도 1C에서와같이). 로봇 팔이나 커서와 는 달리,이 경우 다른 에이전트는 뇌에 의해 구동 지능을 가지고 (사람의 움직임을 부여 한 아바타의 경우, 또는 다른 에이전트의 경우, 상호 작용 인간의 dyad의 경우).

dyadic 교환과 공동 적응 근접 루프 인터페이스의 환경을 만드는 설정은 뇌가 CNS와 PNS 사이의 다리를 물리적으로 절단하지 않았음에도 불구하고, 의지에 자신의 몸을 의지로 제어 할 수없는 신경계의 장애에 개입하는 데 사용할 수 있습니다. 이것은 두뇌가 지속적으로 감시하고 그 자체 생성한 생체 리듬을 조정하는 것을 돕기 위하여 피드백 루프가 중단되었을 수 있는 시끄러운 말초 신호 때문에 때문일 지도 모릅니다. 이 시나리오는 파킨슨 병 환자에서 발생^18,19,또는 자신의 모터 출력에 과도한 소음과 자폐증 스펙트럼 장애를 가진 참가자. 실제로, 두 경우 모두, 우리는 의도된 움직임의 속도에서 파생된 돌아오는 운동 신호에서 높은 수준의 노이즈 대 신호 비율을 정량화하였다(20,^21,22) 및^{심장(23)으로부터.} 이러한 경우, 외부 신호의 뇌 제어를 마스터하려고, 또한 모션에서 몸을 제어하는 동안, 뇌가 주변에서 연속 (efferent) 모터 스트림에서 수신 정보의 재 응력 (재 흡수) 스트림에서 자기 반응 신호가 발생할 수 있습니다. 실제로, 이러한 자체 생성 efferent 모터 스트림에 존재하는 순간별 변동은 의도적 인 행동의 감각 결과의 예측을 돕는 데 유용한 중요한 정보를 포함⁽²⁴⁾. 이 피드백이 노이즈에 의해 손상되면 제어 신호를 예측하기 어렵고 의도적인 계획을 물리적 행위로 연결하기가 어려워집니다.

이러한 피드백 루프를 다른 에이전트로 확장하고 제3자(그림1C)를통해 사람과 에이전트의 상호 작용을 제어한다면, 우리는 거의 실시간으로 서로의 공연을 조종할 수 있는 기회를 가질 수 있습니다. 이것은 우리가 정신적 의도에서 물리적 의지의 가난한 실현귀착되었던 신경계의 무질서를 취급하기 위하여 공동 적응두뇌 바디 또는 두뇌 기계 인터페이스의 개념을 확장하는 것을 필요로 할 것이라는 개념의 증명을 저희를 제공할 것입니다.

의도적인 행동은 맥락에 따라 달라지며^25,26의높은 확신을 가진 정신적 의도 수준을 추론할 수 있는 모터 스토세스 시그니처를 정확하게 특징으로 하는 결과를 초래한다. 따라서, 뇌 기계 또는 뇌 컴퓨터 인터페이스에 대한 사전 사람 중심의 접근 에 대한 dyadic 교환을 활용하는 새로운 방법의 장점은, 우리는 의도의 다른 수준에서, 사람의 인식 아래 크게 트랜스 피어 신체와 심장 생체 리듬을 포함하도록 제어 신호를 증강 할 수 있다는 것입니다. 이러한 방식으로, 우리는 의식적 제어가 뇌 커서^{제어(17)를}조정하는 과정에서 발생하는 경향이 있는 반응성 간섭을 약화시킨다. 액세스할 수 있는 다양한 신호를 매개 변수화하여 예측 프로세스에 더 많은 확실성을 추가할 수 있습니다. 그 라인을 따라, 이전 작업은 나란히 뇌와 신체 신호를 사용하여 존재^27,28,29; 그러나 뇌-신체 신호에 의해 포착 된 dyadic 상호 작용을 포함 하는 작업은 부족 남아. 또한, 현존하는 문헌은 고의적인^{것들(30,31)의}결과로 자발적으로 발생하는 완전한 인식과 과도기적 움직임에 따라 수행된 행동의 의도적인 세그먼트 사이의 구별을 아직 설명하지 못하고 있다. 여기서 우리는 dyadic 교환의 맥락에서 그 구별을 하고, 댄스 공간에서 안무 (의도적) 대 즉흥적 인 (자발적인) 모션의 예를 제공하면서,이 이분제^32를공부하는 새로운 방법을 제공합니다.

감각 모터 통합 및 변환^{프로세스(33)의}트랜스듀션 및 전송 지연으로 인해 이러한 예측 코드를 제자리에 두고, 곧 출시될 감각 입력을 높은 확실하게 예측하는 법을 배워야 합니다. 이를 위해, 지속적으로 업데이트되는 운동 성 리퍼런트 스트림에서 신호로부터 유래된 노이즈 대 신호 비율의 진화를 특성화할 수 있어야 한다. 그런 다음 모터 가변성의 변화를 체계적으로 측정하기 위한 프로토콜이 필요합니다. 변동성은 본질적으로 나가는 efferent 모터 스트림^(34)의순간별 변동에 존재한다. 이러한 신호는 비고정적이고 상황에 맞는 변화에 민감하기 때문에^35,36,작업의 컨텍스트 변경과 함께 발생하는 변경 사항을 매개변수화할 수 있습니다. 의식적인 CNS 제어에서 나오는 반응성 신호의 간섭을 최소화하고, pNS 모터 스트림의 정량화 가능한 변화를 불러일으키기 위해, 사람의 자기 인식 아래 크게 변화하는 주변 신호를 모집하여 감각 피드백을 간접적으로 변경하는 프록시 클로즈루프 인터페이스를 소개합니다. 그런 다음 프록시 닫기 루프 인터페이스가 두 에이전트에서 간접적으로 불러 일으키는 프로세스를 시각화할 수 있는 금방 분석을 사용하여 감각 조작을 따르는 변화를 체계적으로 측정하는 방법을 보여줍니다.

프록시 닫기 루프 컨트롤러 소개
주변 신호에 존재하는 감각 모터 가변성은 학습, 적응 및 일반화가 서로 다른 맥락에서 이루어지는 동안 신경계의 성능을 안내하는 풍부한 정보 원을 구성한다^37. 이러한 신호는 부분적으로 작업을 제어하려고 하는 CNS의 부산물로 등장하지만 컨트롤러의 직접적인 목표는 아닙니다. 사람이 자연스럽게 다른 사람과 상호 작용함에 따라 주변 신호를 활용, 표준화 및 다시 매개 변수화 할 수 있습니다. 그 변화는 변이를 매개변수화하고 체계적으로 전환할 수 있다는 것을 의미하며, 하나는 운동적 재연으로 시스템에 지속적으로 다시 들어가는 efferent 모터 스트림을 변경합니다. 이러한 설정에서, 우리는 더 전통적인 기술이 수행하는 그랜드 평균의 유형에 손실되는 고정밀으로 캡처, 스토세스 시프트를 시각화 할 수 있습니다.

새로운 통계 플랫폼에서 변화의 특성화를 달성하기 위해, 우리는 여기에 내부적으로 자체 생성 모터 신호와 외부 감각 입력 (청각 및 시각)의 통합을 허용하는 프로토콜, 표준화 된 데이터 유형 및 분석을 소개, 사람은 자연스럽게 다른 사람과 상호 작용하는 동안, 또는 사람의 아바타 버전. 이러한 의미에서, 우리는 주변 신호를 제어하는 것을 목표로하기 때문에 (CNS 신호를 수정하여 외부 장치 또는 미디어를 직접 제어하는 것보다), 우리는 이 것을 프록시 클로즈루프인터페이스(도 2)로동전화한다. 우리는 PNS의 관면 신호의 변화를 특성화하는 것을 목표로합니다.

도 2: 밀접루프 다중 모달 인터페이스를 이용한 dyadic 상호 작용의 프록시 제어. (A)컴퓨터 공동 적응 인터페이스 대(B)를통해 두 댄서의 간접 제어(댄스 살사)를 통해 말초 신경계 신호를 활용하고 음성 및/또는 시각적 입력으로 파라미터를 재지정하여 제어하는 대화형 인공 아바타 다이드. (C)생체 리듬 신호진폭/타이밍의 순간변동으로부터 파생된 새로운 표준화된 데이터 유형(마이크로 무브먼트 스파이크, MMS)을 이용하여 음향화의 개념이 진동으로 변환된 다음 소리로 변환된다. 물리학에서, 우리는 측정 가능한 진동으로 튜닝 포크 아웃 퍼팅 음파에 의해 생성 된 압축및 희귀 한 파벌의 개념을 빌려. 음파의 회로도는 소화에 대한 스파이크 농도에 병렬로 시간이 지남에 따라 변조 압력으로 표현. MMS에서 진동 및 소화에 이르는 제안된 파이프라인을 통과하는 물리적 신호의 예입니다. 우리는 인터페이스에 입력으로 심박수 신호를 사용합니다. 이렇게 하면 4초마다 이동 이착륙에 정렬된 신호진폭의 변동이 필요하며 진동을 나타내는 MMS 열차를 제작합니다. MMS의 스파이크 열차는 [0,1]에서 표준화됩니다. 색상 막대에 따라 스파이크의 색상은 신호의 강도를 나타냅니다. 그런 다음 Max를 사용하여 이러한 진동을 소성화합니다. 이 sonified 신호는 A에서 재생하거나 아바타와의 상호 작용을 B에서 변경하는 데 사용할 수 있습니다. 또한, B에서는 환경에 사운드를 포함하고 본체 위치를 사용하여 관심 영역(RoI)에서 사운드를 재생하거나, RoI에 의해 전달될 때 다른 신체 부위에 고정된 신체 부위의 RoI, 속도 또는 가속의 함수로서 오디오 기능을 조절할 수 있다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

PNS 신호는 자율에서 자발적^32에이르기까지 신경계의 다양한 기능층에서 다중 모달 efferent 스트림을 공동 등록웨어러블 감지 기술로 비침습적으로 활용할 수 있습니다. 그런 다음 이러한 스트림의 변화를 거의 실시간으로 측정하고 변경 사항이 신호 대 잡음 비율을 향상시키는 스트림을 선택할 수 있습니다. 이 efferent 모터 신호는 다른 형태의 감각 안내(예: 청각, 시각 등)로 보강될 수 있습니다. PNS 신호는 전체 인식을 scape, 그들은 많은 저항없이 조작하기 쉽습니다 ^38. 따라서, 우리는 인간의 시스템에 덜 스트레스가 될 수있는 방법으로 사람의 성능을 조종하는 데 도움이 그들을 사용합니다.

인터페이스 구축
우리는 가까운 루프 공동 적응 멀티 모달 인터페이스에 의해 중재 프록시 제어의 디자인을 제시한다. 이 인터페이스는 실시간 다감각 피드백을 조정합니다. 도 3은 일반 디자인을 표시합니다.

근접 루프 인터페이스는 5개의 주요 단계를 특징으로 합니다. 첫 번째 단계는 여러 웨어러블 계측기의 다중 모달 데이터 수집입니다. 2단계는 MoBI ^{그룹(39)이}개발한 LabStreamingLayer(LSL, https://github.com/sccn/labstreaminglayer)의 플랫폼을 통한 다중 모달 스트림의 동기화이다. 3단계는 신호를 통합하고 경험적으로 생리학적 특징(실험설정과 관련된)을 실시간으로 접면하기 위해 파이썬, MATLAB 또는 기타 프로그래밍 언어 인터페이스로 LSL 데이터 구조를 스트리밍하는 것이다. 4단계는 신체신호의 연속스트림으로부터 추출된 선택된 특징을 재매개화하고, 선택된 감각적 양성(예: 시각, 청각, 운동성 등)을 사용하여 이를 보강하여 소리나 비주얼의 형태로 재생하여, 사람의 신경계에서 문제가 되는 감각적 모달성을 증대, 대체 또는 향상시키는 것이다. 마지막으로, 5단계는 시스템에 의해 생성된 신호의 금세적 시그니처를 실시간으로 재평가하고, 어떤 감각적 양도가 임박한 작용의 감각적 결과를 예측할 때, 체질 변동의 급격한 변화를 높은 확실성(noise 최소화)의 정권에 가져오는지 선택하는 것이다. 이 루프는 후속 분석에 대한 전체 성능을 저장하는 동시에 선택된 신호에 초점을 맞춘 실험 기간 내내 지속적으로 재생되며(도 3의 회로도에 묘사된 바와 같이^{40, 41,42,43,44, 45,46,46,47을} 참조).

그림 3: 다중 모달 주변 구동 클로즈 루프 인터페이스 개념의 아키텍처입니다. 다양한 신체 신호가 수집됩니다 -운동 데이터, 심장 및 뇌 활동 (단계 1). LSL은 다양한 장비에서 인터페이스(2단계)로 오는 데이터를 동기적으로 공동 등록하고 스트리밍하는 데 사용됩니다. 파이썬/MATLAB/C# 코드는 표준화된 데이터 유형과 일반적인 스케일을 사용하여 신호의 변동을 지속적으로 매개변수화하는 데 사용되며, 이는 시스템의 불확실성을 약화시키는 데 가장 적합한 감각 안내의 소스를 선택할 수 있습니다(3단계). 이러한 실시간 향상된 신호 전송은 선택된 채널을 통한 신호 전송을 실시간으로 향상시켜 재진입감각 신호의 재매개변수화를 통해 연속 모터 스트림에 통합하고 분실또는 손상된 입력 스트림(감각 대체 단계 4)을 향상시킬 수 있습니다. 연속 재평가는 루프(5단계)를 닫고 추가 향후 분석을 위해 모든 데이터를 저장합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

다음 섹션에서는 근접 루프 인터페이스를 구축하는 방법의 일반적인 프로토콜을 제시 (도 3에설명된 대로) 두 댄서 (실제 닫기 루프 시스템) 사람과 아바타 사이의 물리적 dyadic 상호 작용을 포함하는 두 가지 실험 인터페이스 (보충 재료에 정교하게 제시)의 대표적인 결과를 설명합니다.

Protocol

연구는 헬싱키의 선언에 따라 러트거스 기관 연구 위원회 (IRB)에 의해 승인되었다.

1. 참가자

1. 연구할 인구를 정의하고 연구에 참여하도록 권유한다. 본 인터페이스는 다양한 집단에서 사용할 수 있다. 이 프로토콜과 개념 증명을 제공하기 위해 여기에 사용되는 예는 특정 그룹에 국한되지 않습니다.
2. 헬싱키 선언에 따라 IRB 승인 프로토콜에 대한 서면 동의를 얻습니다.
3. 실험시작 전에 참가자 나 보호자에게 양식에 서명하도록 요청합니다.

2. 클로즈 루프 인터페이스 의 설정

1. 운동 장비-PNS 설정
   1. 참가자가 사용되는 모션 캡처 시스템과 함께 LED 기반 모션 캡처 의상(도 3,1, 5에 표시된 바디 및 헤드)을 신중하게 착용하도록 도와줍니다. 코스튬의 LED 마커는 시스템의 카메라에 의해 추적되어 공간에서 움직이는 몸의 위치를 추정합니다.
   2. 시스템의 무선 LED 컨트롤러(LED 드라이버 장치라고도 함)를 적절한 포트에 연결하여 의상의 LED 케이블과 연결합니다. 장치를 켜고 스트리밍 모드로 설정합니다.
   3. 모션 캡처 시스템의 서버를 켭니다.
   4. 웹 브라우저를 열고 서버 주소를 방문하고 로그인합니다(제품 구매 시 회사에서 로그인 정보를 제공해야 합니다).
   5. 필요에 따라 시스템을 보정합니다(예: 장비를 처음 사용하는 경우 시스템을 보정하고 그렇지 않으면 2.1.17 단계로 이동).
   6. 모션 캡처 시스템의 교정 도구를 열고 교정 마법사를 선택합니다.
   7. 인터페이스의 왼쪽 상단에 있는 텍스트 필드에 있는 서버 번호의 항목이 올바른지 확인하고 계속을 클릭합니다.
   8. 지팡이를 LED 컨트롤러의 첫 번째 포트에 연결하고 컨트롤러를 켜고 계속을 클릭합니다. 지팡이가 연결되면 LED 마커가 켜져 있고 카메라 뷰에서 디스플레이에 표시됩니다.
   9. 지팡이를 카메라 뷰 필드 중앙에 놓고 카메라에서 녹화할 수 있는지 확인하고 계속을 클릭합니다.
   10. 지팡이를 수직으로 유지하고 원통을 그리는 것으로 공간 전체에서 이동합니다. 모션은 매번 최소 3대의 카메라로 캡처되고 각 카메라의 시야에 등록되어 녹색으로 만들어야 합니다. 모든 카메라에 대해 이 작업을 수행합니다.
   11. 각 카메라의 시야필드가 완전히 등록되면(모든 녹색)을 클릭하고 교정 계산이 실행될 때까지 기다립니다.
       참고: 보정이 완료되면 LED 마커와 함께 카메라 위치가 디스플레이에 표시되며, 실내에 물리적으로 배치됩니다. 이 시점에서 사용자는 교정이 완료되기 때문에 교정을 재개하거나 시스템 정렬을 계속할 수 있습니다.
   12. 지팡이를 수직으로 잡고 LED가 지팡이 끝에 더 가깝게 배치하여 3D 공간의 원점을 설정해야 합니다(점(0,0,0).
   13. 지팡이를 등록 할 때까지 안정적으로 유지하십시오. 등록되면 화면이 녹색으로 깜박입니다. 공간의 참조 프레임의 원점을 나타내는 점이 인터페이스에 나타나고 다음 정렬 축인 x축이 녹색으로 강조 표시됩니다.
   14. 지팡이를 이동하여 x축 지점에서 동일한 방향(수직)을 유지하고 등록될 때까지 안정적으로 유지합니다.
   15. z축을 위해 반복합니다. z축의 지점이 등록되면 교정이 완료됩니다.
   16. 완료를 클릭하여 교정을 종료합니다.
   17. 모션 캡처 시스템의 인터페이스를 열고 연결을 클릭하여 LED 마커에서 데이터 스트리밍을 시작합니다. 연결이 설정되면 마커의 위치가 인터페이스의 가상 세계에 표시됩니다.
   18. 가상 골격 만들기(그림 8 단계2와같이 의상의 LED 마커에서 수집된 위치 데이터에서 본체의 골격 위치를 자동으로 추정합니다).
   19. 창 오른쪽의 해골을 마우스 오른쪽버튼으로 클릭하고 새 골격을선택합니다.
   20. 마커 매핑을 선택한 다음 적절한 파일을 선택합니다(사용된 인터페이스 버전에 따라 회사에서 제공). 그런 다음 확인을 클릭합니다.
   21. 참가자에게 T 자세에 안정적으로 유지하도록 요청하십시오 (측면에 팔을 벌리고 똑바로 자세).
   22. 골격을 마우스 오른쪽 버튼으로 클릭하고 훈련없이 생성 해골을선택합니다.
   23. 모든 단계가 올바르게 수행되면 골격이 생성됩니다. 참가자에게 가상 골격이 참가자의 움직임을 얼마나 정확하게 따르는지 확인하도록 요청합니다.
   24. 골격 데이터를 LSL로 스트리밍하려면 주 메뉴에서 설정 및 옵션을 선택합니다.
   25. 올빼미 에뮬레이터를 열고 라이브 스트리밍 "시작"을 클릭합니다.
2. EEG 장비 설정 - CNS
   1. 동일한 참가자가 EEG 헤드 캡을 착용하도록 도와주세요.
   2. CMS 및 DRL 센서의 오른쪽 귀 뒷면에 젤 전극(EEG 헤드 캡과 함께 사용되는 전통적인 젤 기반 전극)을 헤드 캡에 놓고 2 개의 끈적 끈적한 전극 (스티커처럼 작동하는 전극)을 배치합니다.
   3. 센서와 두피 사이의 전도도를 개선하기 위해 필요에 따라 전극을 고전도성 젤로 채웁니다.
   4. 젤 트로데의 전극 케이블과 두 개의 끈적끈적한 전극을 연결합니다.
   5. 헤드 캡 뒷면에 무선 모니터를 붙이고 전극 케이블을 연결합니다.
   6. 모니터를 켭니다.
   7. EEG 시스템의 인터페이스를 엽니다.
   8. Wi-Fi 장치 사용 선택 및 장치에 대한 스캔을 클릭합니다.
   9. NE Wi-Fi를 선택하고이 장치를 사용합니다.
   10. 머리 아이콘을 클릭하고, 모든 32 개의 센서를 녹음 할 수있는 프로토콜을 선택하고 로드를 클릭합니다.
   11. 각 채널의 스트리밍된 데이터가 인터페이스에 표시되는지 확인합니다.
3. 심전도 장비 설정- ANS
   1. 2.2에 제시된 정확한 단계를 따르지만 채널 O1을 사용하여 심박수(HR) 확장에 연결합니다.
   2. 끈적끈적한 전극을 사용하여 왼쪽 흉곽 바로 아래 확장의 다른 쪽 끝을 붙입니다.
4. 동조 데이터의 동기화 된 기록 및 스트리밍을 위한 LSL 준비.
   1. 해당 아이콘을 두 번 클릭하여 모션 캡처 시스템의 LSL 응용 프로그램을 실행합니다. LSL 폴더의 다음 경로에서 응용 프로그램을 찾습니다.
   2. 인터페이스에서 적절한 서버 주소를 설정합니다.
   3. 그런 다음 파일 및 로드 구성을선택합니다.
   4. 적절한 구성 파일을 선택합니다(사용된 제품 버전에 따라 회사에서 제공해야 합니다).
   5. 링크를클릭합니다. 실수가 없는 경우 오류 메시지가 표시되지 않습니다.
5. EEG 및 ECG 데이터의 동기화된 기록 및 스트리밍을 위해 LSL을 준비합니다. 이 장비에는 추가 단계가 필요하지 않습니다.
6. LSL 설정
   1. LSL 폴더의 LSL\랩스트리밍레이어 마스터\Apps\LabRecorder 경로에 있는 파일을 두 번 클릭하여 LabRecorder 응용 프로그램을 실행합니다.
   2. 업데이트를클릭합니다. 모든 명령이 올바르게 실행되면 모션 캡처 및 EEG 시스템의 모든 데이터 유형이 스트림에 대한 패널 레코드에 표시됩니다.
   3. 저장소 위치 패널의 데이터에 대한 디렉토리 및 이름을 선택합니다.
   4. 시작을클릭합니다. 모션 캡처 및 EEG 시스템의 데이터 수집은 동기적으로 시작됩니다.
   5. 레코딩이 끝나면 중지를 클릭합니다. 기록이 성공하면 이전에 선택한 디렉터리에 데이터가 배치됩니다. 파일을 열어 기록된 정보가 포함되어 있는지 확인합니다.
7. 인간 시스템의 실시간 분석 및 모니터링.
   1. 스트리밍된 데이터를 수신, 처리 및 보강하는 MATLAB, 파이썬 또는 기타 코드를 실행합니다. 다음 섹션에 설명된 대표적인 예제에 해당하는 예제 코드는 여기에서 찾을 수 있습니다 https://github.com/VilelminiKala/CloseLoopInterfaceJOVE.
8. 증강 된 감각 피드백의 생성
   1. 적절한 장치(예: 스피커, 모니터 등)를 사용하여 감각 출력을 생성합니다.

3. 실험 절차

1. 설정에 의해 정의된 실험 절차를 따르십시오.
   참고: 근접 루프 인터페이스는 직관적으로 탐색하고 학습하도록 설계되었습니다. 따라서 대부분의 경우 지침이 필요하지 않습니다.

Results

이전 섹션에 제시된 프로토콜을 기반으로 빌드할 수 있는 다양한 인터페이스가 있으며 다양한 용도로 다른 모집단에 적용할 수 있습니다. 일부 가능한 변형은 보충 재질의"제시된 닫기 루프 인터페이스의변형"섹션에 설명되어 있습니다.

이 섹션에서는 이전 섹션에 설명된 프로토콜을 따르는 2개의 샘플 닫기 루프 인터페이스의 대표적인 결과를 보여 줍니다. 이러한 연구의 설정, 실험 절차 및 참가자는"예제 1: 실제 Dyadic 상호 작용의 오디오 클로즈 루프 인터페이스"및"예 2: 보조 파일의 인공 Dyadic 상호 작용의 오디오 시각적 닫기 루프 인터페이스"에깊이 설명됩니다.

실제 Dyadic 상호 작용의 오디오 클로즈 루프 인터페이스의 결과
"실제 dyadic 상호 작용의 오디오 닫기 루프 인터페이스"(정교하게 섹션에 제시"예 1: 보충 재료의 오디오 닫기 루프 인터페이스"보충 재료의, 우리는 프록시 제어 인터페이스를 사용, 그림 에 설명 된 그림 4,이는 여성 댄서의 심장 신호를 사용하여 음악을 변경하던 춤을 변경. 실시간으로, 우리는 심장 박동의 시간을 추출하는 신호 처리를 수행하고 수행 된 노래의 속도를 변경하기 위해 맥스 시스템에이 정보를 스트리밍. 이런 식으로, 우리는 생물 물리학 신호에 의해 변경 된 노래를 다시 연주했다. 이 과정은 움직임과 심장 박동 신호의 추가 변경으로 이어졌다.

그림 4: 오디오 기반 클로즈 루프 인터페이스. 1. ECG-HR 웨어러블 장치는 그녀의 루틴의 성능 동안 살사 댄서의 활동을 모니터링하고 500Hz. 2에서 인터페이스에 신호를 공급합니다. 당사의 인터페이스는 ECG 데이터를 실시간으로 분석합니다. 각 프레임에서 원시 데이터를 필터링하고 QRS 컴플렉스의 R 피크를 추출합니다. 피크 감지를 MAX. 3로 스트리밍합니다. 타사 인터페이스는 오디오의 속도와 심음 의 속도를 혼합합니다. 4. 변경된 노래는 무용수들에게 재생됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

두 살사 댄서가 인터페이스와 상호 작용하고 안무와 즉흥적인 춤을 준비하는 잘 연습 된 루틴을 수행했습니다. 무용수들은 한 번 노래의 원래 버전을 수행해야했고, 버전은 실시간 심장 박동 스트림과 노래의 원래 템포를 혼합했다. 우리는 노래의 변경 1과 2로 두 번 수행 된 이후 버전을 참조하십시오.

아래 와 같은 분석에서, 우리는 기록 된 심장과 오디오 신호를 사용했다. MMS 열차를 추정하기 위해 추출된 두 신호의 피크(보조 파일의 "마이크로 무브먼트 스파이크 섹션 참조"참조), 그림 5에표시된 바와 같이 고주파 변동을 보존합니다.

그림 5: 오디오 클로즈 루프 시스템의 MMS 열차의 추정. 심전도 타임 시리즈는 얻은 R-피크(평균 이동 데이터)의 전체 (추정) 평균 진폭으로부터 RR 피크 및 진폭 편차를 추출하는 데 사용됩니다. 그런 다음 수학식 1에 의한 정규화(보조 파일, "마이크로 무브먼트 스파이크"섹션 참조)로 정규화하여 MMS 열차를 획득하는 데 사용됩니다. 유사한 방법은 오디오 파형을 처리하고 사람의 실시간 성능에 따라 노래를 다시 재생하는 데 사용됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

MMS 열차는 확률 분포의 연속 감마 가족에 의해 잘 표현 연속 무작위 과정으로 잘 특징지어졌다. MLE는 이러한 지속적인 분포 제품군이 두 데이터 세트모두에 가장 적합하다고 간주했습니다(보충 자료 및 보충 도2의 "감마 분포" 섹션에 대한 설명 참조). 임의 공정의 이 모형은 인간 신경계에서 생체 신호에 의해 자체 생성된 생체 리듬의 재차 질적인 서명에 있는 교대를 추적하는 데 이용되었습니다.

경험적으로 추정된 모양과 스케일 감마 매개변수로부터 감마 모멘트, 평균, 분산, 왜곡 및 쿠르토시스(보충 재료의 "Stochastic Analysis"섹션의 분석 세부 정보 참조)를 얻습니다. 그런 다음 예상 PDF를 플롯합니다. 도 6은 심장 신호 및 음악에만 초점을 맞추고 있지만, 방법은 ^41에제시된 운동화 신호에 의해 생성된 다른 생체 리듬과 유사하게 적용한다.

심장과 음악 신호의 PDF는 그림6A-B에표시되며, 여기서 두 조건의 데이터 집합, 의도적인 루틴 및 자발적즉 즉흥적 의 차이점을 강조합니다. 각 조건에 대해, 우리는 노래의 시간적 변화에 의해 유도 된 스토카스틱 서명의 변화를 강조한다. 처음에는 원래 노래에 맞춰 춤을 춘다. 그런 다음, 심장 박동이 실시간으로 리듬을 변경으로,이 신호의 소성 변동은 노래의 시간적 변화를 따라 댄서를 리드.

이는 변경 1 및 변경 2로 표시되어 있습니다. 이러한 체계적인 변화는 감마 매개 변수에 의해 설명된다. 그런 다음 경험적으로 추정된 모양과 스케일 매개 변수를 사용하여 심장 박동과 노래에 해당하는 4개의 감마 모멘트를 획득했습니다. 이는 하트(위쪽)와 노래(아래) 신호에 대해 도 6C에 표시됩니다.

그림 6: 오디오 클로즈 루프 시스템을 사용하여 프록시 제어하에서 성능에서경험적으로 추정 된 감마 PDF및 4 감마 모멘트의 궤적 궤적의 체계적인 변화를 유도합니다. (A)각 댄스 컨텍스트, 자발적 즉흥 및 의도적 루틴에 대한 각 데이터 유형(ECG 상단 및 오디오 파일 하단)의 MMS 열차의 PDF. 범례는 세션 시작 시 기준 조건을 나타내는 임프 또는(즉흥 적인 원본)입니다. 임프 Alt1 변경 중 즉흥적 을 나타내는 1; 임프 Alt2 변경 중 즉흥적 을 나타내는 2. (B)마찬가지로, 의도적으로 리허설 루틴을 위해, 라우트 또는 일상적인 원본을 의미한다; 라우트 Alt1은 일상적인 변경 1을 의미합니다. 라우트 Alt2는 일상적인 변경 2를 의미합니다. (C)패널은 노래의 오디오 신호와 하트의 심장 이동이 동시에 실시간으로 변화함에 따라 감마 순간의 체계적인 변화를 보여줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

서명의 변화는 이러한 패널 (PDF 및 감마 모멘트 그래프)에서 평가 될 수 있으므로 제시 된 방법은 프록시 컨트롤러가 실시간으로 생성하는 노래의 변화에 대한 마음의 적응을 캡처 할 수 있음을 보여줍니다. 노래가 리듬을 이동함에 따라 심장 스토샤틱 시그니처와 스토세스 시그니처의 전환은 방향면에서 일관되게 수행됩니다(이는 또한 모양과 스케일 매개 변수를 연구한 ^{41개에서의} 발견입니다). 마찬가지로, 하트의 서명이 바뀌면 노래의 서명도 마찬가지입니다. 이 미러링 효과 -하나는 다른 영향을 미치고 한 쪽이 방향을 향해 일관되게 이동함에 따라 다른 쪽-이 프록시 컨트롤러 인터페이스의 닫기 루프 특성을 따릅니다. 결과는 이 설치의 유용성을 강조하고 우리가 체계적으로 dyadic 교환의 맥락에서 사람의 자율 적 생체 리듬을 이동할 수 있다는 개념의 증거를 제공합니다.

노래와 신체 신호 모두의 적층 시그니처에 대한 병렬 이동은 주변 신호를 사용하여 전체 시스템(참가자 및 인터페이스)의 공동 적응이 가능하다는 것을 보여준다. 이 과정은 사람의 인식 아래 원활하게 이루어지며 아이디어가 선택한 외부 감각 피드백과 통신하여 사람의 바이오 신호를 원격으로 체계적으로 전환할 수 있는 개념 증명을 제공합니다. 요약하면, 우리는이 지속적인 임의프로세스에서 관면 서명의 이동을 안내할 수 있습니다. 이 방법을 사용하면 거의 실시간으로 구축할 수 있었던 스토카스틱 궤적을 따라 변화와 속도를 캡처할 수 있습니다.

교대근무에서 통계적 유의를 확인하기 위해 비파라메트릭 ANOVA, 크루스칼-월리스 테스트, 그리고 객동검사 후 호크 테스트를 다수 비교합니다. 우리는 여섯 가지 조건 중 심장 데이터의 MMS의 서명을 비교합니다. 도 7은 MMS 심장 데이터와 해당 크루스칼-월리스 테이블의 다중 비교를 나타낸다. 다중 비교 플롯은 원래 루틴 댄스(Rout)의 기준 조건 사이에 상당한 차이가 있음을 나타냅니다. 또는) 원래 즉흥적인 춤의 기준 조건 (임프. 또는). 첫 번째 변경, 라우트 것을 발견하는 것도 중요합니다. Alt1 및 Imp. Alt1은 두 번째 변경에 적용되는 유사한 수단과 동일한 분포로 이동하며, 감마 모멘트공간(그림 6C)의분산, 왜곡 및 쿠르토시스가 이동합니다.

그림 7: 비 파라메트릭 크루스칼-월리스 및 다중 비교 포스트 혹 시험의 결과. 비 파라메트릭 ANOVA (크루스칼-월리스 테스트)의 결과는 6개의 조건을 비교하기 위하여 심혼 데이터의 MMS에 적용되었습니다. 플롯은 6개의 케이스를 다중 비교하여 "라우트"의 큰 차이를 나타냅니다. 또는" 및 "임프. 또는"조건. 표는 크루스칼 월리스 테스트의 결과를 보여줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

인공 Dyadic 상호 작용의 오디오 시각적 닫기 루프 인터페이스의 결과
"인공 dyadic 상호 작용의 오디오 시각적 닫기 루프 인터페이스"(정교하게 섹션에 제시 "예 2: 보조 재료의 음성 시각적 닫기 루프 인터페이스"보충 자료의6 참가자는 인터페이스와 상호 작용, 그림 8에설명 된, 사람의 자신의 움직임을 렌더링 하는 그들의 거울 아바타를 만듭니다. 인터페이스는 상호 작용 중에 사람을 둘러싼 영역 내에서 위치에 따라 달라는 소리를 포함합니다. 참가자들은 연구의 목적에 대해 순진했습니다. 그들은 방 주위를 걸어서 프록시 컨트롤러가 정의 한 RoI (관심 영역)를 통과할 때 놀라 울 정도로 나타날 소리를 제어하는 방법을 찾아야했습니다.

그림 8: 시청각 인터페이스의 시각적 표현입니다. 1. 주변 역학 데이터 수집을 위해 모션 캡처 시스템을 활용합니다. 2. 시스템은 센서의 위치를 수집 (우리의 예 LED의) 골격을 추정하기 위해 - 뼈에 위치. 3. 뼈 위치는 우리 자신의 미래 운동학 모델을 사용하여 MATLAB 개발 인터페이스에 정렬됩니다. 4. 정렬된 위치는 해골 정보를 3D 렌더링 아바타에 매핑하는 데 사용됩니다. 5. 스트리밍된 데이터를 아바타에 매핑하면 실시간으로 사용자의 미러 이미지를 보는 감각이 생깁니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

도 9는 상태 1의 시청각 인터페이스 의 결과를 보여 줍니다(더 많은 조건에 대한 보충 파일 참조), 엉덩이 위치가 RoI에 있는 전자가 있을 때 노래를 활성화시면 활성화됩니다. 이 수치는 6개의 다른 제어 참가자(C1 ~C6)의 엉덩이 속도 데이터(보조 재료의 "데이터 유형 및 분석 섹션 참조)"를 RoI 볼륨 내부 및 외부에 표시합니다. 여기에 제시된 결과는 개별 참가자의 적응율에 대한 개인화된 차이를 강조합니다. 이들은 금욕적인 서명의 변화에 의해 표시되고, 개별 결과는 RoI 볼륨 내부 또는 외부에 나오는. 예를 들어, 우리는 C3및 C4의 엉덩이의 속도 진폭에서 파생 된 MMS의 주파수 히스토그램에 PDF 가 적합, 볼륨 내부의 경우 더 대칭 (더 높은 모양 값) 덜 시끄러운 (낮은 스케일 값)이었다는 것을 알 수 있습니다. 대조적으로, 참가자의 나머지는 반대 패턴을 보여줍니다.

경험적으로, 우리는 오른쪽 아래 모서리에 서명이 고도로 숙련 된 움직임을 수행, 선수와 댄서의 서명것을 발견했다. 서명은 상좌파 지역에 놓여 있으며, 자폐증 스펙트럼 장애 ADHD^22,32 및 청각 장애인^21의진단과 같은 병리학을 가진 신경계의 데이터 세트에서 나옵니다. 관면 궤적을 따라 패턴을 이동하는 맥락에서, 우리는 오른쪽 아래 사분면 (RLQ)와 왼쪽 상부 사분면 (LUQ)을 정의하기 위해 모양과 스케일의 중간 값을 얻어 우리는 시간에 따라이 정보를 축적하여 노이즈 비율에 신호의 전반적인 품질을 추적. 이것은 사람이 프록시에 의해 통제되었지만 사람의 내부 것들에 의존하는 그 외부에 그것의 내부적으로 생성된 생체 리듬을 공동 조정으로 이 사분면을 동적으로 정의하는 중앙값의 업데이트를 고려합니다.

그림 9: 시청각 클로즈 루프 시스템을 사용하여 상호 작용 중에 신체 생체 리듬의 감마 PDF 및 감마 시그니처를 경험적으로 추정했습니다. 각 참가자의 엉덩이 속도(C1 - C6)에서 파생된 MMS 열차를 사용하여 MLE를 사용하여 95% 신뢰 구간으로 최고의 PDF에 적합했습니다. 조건은 다른 색상으로 표시되는 동안 각 참가자는 다른 기호로 표시됩니다. 볼륨(in)에 있을 때 감마 PDF 제품군은 볼륨(out) 외부와 다릅니다. 감마가 경험적으로 추정된 PDF 외에도 감마 파라미터 평면의 각 사람에 대해 예상 감마 모양 및 스케일 매개 변수도 표시됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

표 1은 사람의 신체 부위가 RoI 대 내부에 있을 때 원시(속도) 및 MMS 데이터에서 얻은 p-값을 보여주며, 그 결과를 비교합니다. RoI 외부. 테이블에 묘사 된 결과는 비 파라메트릭 ANOVA 크루살 - 월리스 테스트를 사용하여 추정되었습니다.

크루스칼 월리스 테스트	속도 데이터	MMS
C1	0	1.34 e-05
C2	0	4.72E-15
C3	0	8.59E-34
C4	2.70E-21	3.16E-04
C5	0	1.11E-09
C6	0	5.95E-05

표 1: 비파라메트릭 ANOAVA-크루살-월리스 시험의 출력. KRuskal Wallis 테스트의 결과는 MMS 및 속도 데이터에 대한 Rol 외부와 내부의 기록을 비교합니다. 각 참가자(C1 - C6)의 데이터에 테스트를 별도로 적용합니다.

보충 파일. 이 파일을 다운로드하려면 여기를 클릭하십시오.

Discussion

이 백서는 dyadic 교환의 맥락에서 사람의 주변 신호를 하네스, 매개 변수화 및 매개 변수화하는 근접 루프 공동 적응, 대화형 다중 모달 인터페이스를 통해 프록시 제어개념을 소개합니다. 우리는 사람의 생체 리듬의 변동에 있는 stochastic 교대를 특성화하고 변경을 매개변수화하는 것을 겨냥했습니다. 또한 우리는 거의 실시간으로 소음 대 신호 정권의 표적 수준으로 생체 리듬의 신속한 서명을 체계적으로 조종하는 것을 목표로했습니다.

우리는 5 가지 핵심 요소를 만족시키는 근접 루프 인터페이스를 구축하기위한 일반 프로토콜을 제시했습니다 : 1) 다양한 계측기 및 기술을 사용하여 CNS, PNS 및 ANS에서 오는 여러 신체 데이터의 수집; 2) 데이터의 동기화된 기록 및 스트리밍; 3) 선택한 신호의 실시간 분석; 4) 신체 신호를 위해 추출된 생리적 특징을 사용하여 감각 증강(audio, visual 등)의 생성; 및 5) 인간 시스템과 병렬 감각 증강의 지속적인 추적은 인간과 시스템 사이의 상호 작용의 루프를 닫는다.

일반 프로토콜은 두 예제 인터페이스에 적용되었습니다. 첫 번째는 인간 요원 두 명과 인간과 아바타 요원 사이의 두 번째 물질 간의 다이딕 교환을 조사합니다. 두 가지 유형의 다이드들은 주변 신호가 실시간으로 체계적으로 변경될 수 있고 이러한 금세 변화를 정확하게 추적할 수 있다는 개념 증명을 제공하는 데 사용되었습니다. 한 다이드는 물리적으로 상호 작용하는 두 명의 참가자로 구성되었으며, 다른 참가자는 사용자의 움직임을 부여한 3D 렌더링 아바타의 형태로 가상 에이전트와 상호 작용하는 참가자와 이러한 실시간 모션의 변형을 포함했습니다. 이러한 변화는 증강 된 감각의 설정에서 청각 및 / 또는 시각적 감각 입력에 의해 구동 대화 형 조작에 의해 연상되었다. 실제 dyad와 인공 dyad 모두에서, 우리는 심장 박동에서 신체 생체 리듬 및 자율 신호를 포함하여 주변 신호를 원격으로 이동의 타당성을 입증했습니다.

우리는 운동 신호 스트림이 거의 실시간으로 조작되고 다시 매개 변수화되는 것처럼 효과적인 모터 가변성의 이러한 변화를 조사하기 위해 새로운 실험 프로토콜을 제시했습니다. 이 재진입 정보(운동적 재보급^48)는시스템 성능을 실시간으로 전환하는 데 중요한 가치를 입증했습니다. 그들은 우리가 여기에서 제시 한 방법을 사용하여 정확하게 추적 할 수있는 행동의 감각 적 결과에 대한 정보를 부담합니다.

또한 분석 의 표준화를 위한 데이터 유형과 통계 적 방법을 보여 주기도 했습니다. 우리는 다양한 맥락에서 자연적으로 진화하는 생리 활동의 실시간 변화를 입증하기 위해 여러 가지 시각화 도구를 제공했으며, 경험적으로 유도된 통계 추론으로 자체 생성 및 자가 제어 신경계 신호의 해석에 빌려줍니다. 중요한 것은 프록시 컨트롤러에 의해 불러온 변경 사항은 부드럽고 정량화가능했기 때문에 주변 활동이 두 가지 이상 유용하다는 개념에 대한 지원을 빌려주는 것입니다. 시판되는 무선 웨어러블 센서를 사용하여 이러한 방법을 구현할 수 있지만 시스템을 강조하지 않고 생체 물리학 리듬에서 캡쳐가능한 성능 변화를 체계적으로 유도할 수 있습니다. 임상 분야로 우리의 방법을 번역하고 새로운 내정간섭 모형을 개발하기 위하여 시험으로 그(예를 들면, ^자폐증에있는 증강현실을 사용할 때와 같이)로 사용하는 것이 중요합니다( 예를 들면, 자폐증에 있는 증강현실을 이용하는 때와 같이). 이러한 모델에서는 감각 입력이 정확하게 조작되고 출력이 거의 실시간으로 매개 변수화되고 다시 매개 변수화되기 때문에 사람의 자연주의 적 행동의 감각적 결과를 추적하고 정량화 할 수 있습니다.

우리는 인간 신경계에 의해 자체 생성되고 무선 웨어러블과 비침습적으로 활용되는 다양한 생체 리듬 활동을 활용하는 일반적인 모델로이 프로토콜을 제공합니다. 이 논문에 EEG, ECG 및 운동학을 등록하기 위해 일련의 바이오 센서를 사용했지만 신호를 기록, 동기화 및 분석하는 방법은 일반적입니다. 따라서 인터페이스는 다른 기술을 통합할 수 있습니다. 또한 프로토콜은 의료 분야로 확장되는 다른 자연주의 적 행동과 컨텍스트를 포함하도록 수정할 수 있습니다. 우리는 자연스러운 행동을 목표로 했기 때문에, 우리가 개발 한 설정은 장난 스러운 설정 (예 : 어린이와 부모를 포함)에서 사용할 수 있습니다.

신경계의 몇몇 무질서는 통제 문제에 그 같은 장난 접근에서 유익할 수 있었습니다. 우리가 여기에서 보여 준 dyadic 상호 작용의 두 가지 유형에서, 참가자는 무의식적으로 조작하고 체계적으로 서명을 이동하는 주변 출력을 사용하는 동안, 무의식적으로 음악을 제어하는 것을 목표로 할 수 있습니다. 과학자들은 수년 동안 감마 파라미터 평면과 다른 연령대(78세까지의 신생아)를 통해 감마 모멘트 공간을 경험적으로 매핑했기 때문에^{19,50,51,52, 53} 및 조건(자폐증, 파킨슨 병, 뇌졸중, 혼수 상태 및 청각 장애인), 다양한 수준의 제어 (자발적, 자동, 자발적, 자발적, 비자발적 및 자율 학)^25,47,54,그들은 감마 공간에 스토세스 시그니처가 좋은 예측 제어를 위한 것이어야 하는 곳을 나타내는 경험적으로 측정된 기준을 가지고 있습니다. 이전 연구는 또한 인간 신경계^{7,19,55,56의}자체 생성 리듬에서 나오는 자발적인 임의 잡음의 존재가 있는 파라미터가 어디에 있는지 알고 있음을 보여주었습니다. 생체 리듬 모터 노이즈를 최소화하는 최적화 스키마 내에서, 우리는 따라서 각 사람의 PDF의 가족의 모양과 분산 서명이 높은 신호 대 잡음 비 및 예측 값을 도움이되는 감마 공간의 표적 영역을 달성하는 방식으로 신호를 구동하는 것을 목표로 할 수 있습니다. 이러한 의미에서, 우리는 총 데이터를 잃지 않고 오히려 주어진 상황에서 소음의 바람직한 수준으로 시스템을 구동하는 데 효과적으로 사용합니다.

Dyadic 상호 작용은 임상 또는 훈련 환경에서 유비쿼터스입니다. 그들은 트레이너와 연수생 사이에 발생할 수 있습니다; 의사와 환자; 임상 치료사와 환자; 그리고 그들은 또한 번역 과학을 관련 시키는 연구 설정에서 발생할 수 있습니다 및 연구원과 참가자참여. 현재 프로토콜의 장점 중 하나는 dyads를 위해 설계되었지만 개인화된다는 것입니다. 따라서, 사람의 신경계의 기능적 계층 구조를 통해 신호진폭의 범위를 고려하면서, 사람의 최상의 능력과 소인에 대한 공동 적응적 상호 작용을 조정할 수 있습니다. 확률 궤도가 나타나고 시간에 진화함에 따라 서명 확률을 확인하고 해당 타임 시리즈를 사용하여 가능한 감각 적 결과와 함께 몇 가지 임박한 이벤트를 예측 할 수도 있습니다.

마지막으로, 가까운 루프 인터페이스도 예술 세계에서 사용할 수 있습니다. 그들은 현대 무용, 기술 댄스와 시각화및 신체 표현의 음향화의 계산 중심 형태를 생성하는 공연 예술가에게 새로운 길을 제공 할 수 있습니다. 이러한 맥락에서, 무용수의 몸은 이분야40,^41,43,46의선행 작업에서 알 수 있듯이 자가 생성 된 생체 리듬 활동의 손화 및 시각화를 통해 다양한 감각 적 양상을 유연하게 탐구하는 감각 중심의 도구로 전환 될 수 있습니다. 이러한 공연은 무대에서 댄서의 역할을 강화하고 관객이 눈에 보이는 움직임을 넘어 미묘한 신체 신호를 경험할 수 있습니다.

이 기술의 여러 측면은 실시간 설정에서 사용을 최적화하기 위해 추가 개발 및 테스트가 필요합니다. 동기 스트리밍은 고속 CPU/GPU 전력 및 메모리 용량을 요구하여 지속적인 모터 명령의 감각 적 결과를 예측할 때 시간을 확보하고 한 걸음 앞서 나갈 수 있다는 개념을 실제로 활용해야 합니다. 장비의 샘플링 속도는 신호를 진정으로 정렬하고 적절한 감각 융합을 수행하고 신경계의 다양한 채널을 통해 정보 전송을 탐색 할 수 있도록 비교할 수 있어야합니다. 이러한 제한 사항 중 일부는 이 새 인터페이스에 있습니다.

이 모든 일은 잠재성을 채용하면서 신체 시스템의 제어를 개선하는 새로운 개념을 제공하므로 스토카즘 변화의 체계적인 표준화 된 결과 측정을 허용합니다.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Enobio 32	EEG 데이터 수집을 위한 Enobio
Enobio ECG 확장	ECG 데이터 수집을 위한	Enobio
LabStreamingLayer (LSL)			데이터 동기화 및 스트리밍
Matlab	Mathwork		데이터 분석 및 처리
Max	Cycling'74		Sonification 신체 정보
NIC.2	EEG 및 ECG 데이터 수집을 위한	Enobio
PhaseSpace 임펄스	PhaseSpace		운동학적 데이터 수집을 위한 하드웨어(위치, 속도, 가속도)
Python3	Python		데이터 분석 및 처리
Recap			운동학적 데이터(위치, 속도, 가속도)