닫기 루프 인터페이스를 사용하여 재매개 변수화된 주변 신호의 실시간 프록시 제어

이 인터페이스의 전반적인 목적은 신체 인식을 얻기에 폴리 신호 확대의 효과를 연구하는 것입니다. 이는 다양한 실험 용 설정에서 다양한 웨어러블 기술과 함께 사용할 수 있으며 다른 집단에 적용할 수 있는 일반 폐쇄 루프 인터페이스를 설계하여 수행됩니다. 이 작업에서는 인터페이스, 응용 프로그램 및 인간 시스템에 미치는 영향을 샘플링하는 일반 인터페이스를 제공합니다.

디자인의 첫 번째 단계는 신경계의 다른 수준에서 오는 신호의 기록을 허용 하는 다양 한 웨어러블 기술의 사용. 두 번째 단계는 랩 스트리밍 레이어를 사용하여 동기화된 기록 및 신호실시간 스트리밍을 달성하는 것입니다. 첫 번째 단계에서 스트림 데이터는 선택한 신호의 실시간 분석 및 기능 추출이 이루어지는 기본 설정 언어로 개발된 코드로 끌어당긴다.

따라서, 4 단계에서 참가자들은 노래의 템포 또는 움직임의 시각적 표현에 자신의 심박수의 청각 매핑과 같은 추출 된 기능의 감각 증강을 경험하고 있다. 마지막으로, 신체 정보를 실시간으로 지속적으로 보강함으로써 인터페이스와 참가자 간의 전개 상호 작용의 루프를 닫습니다. 뇌가 우리 몸을 어떻게 통제할 수 있는지에 대한 조사는 뇌 기계 인터페이스의 디자인을 생성했습니다.

이는 외골격이나 로봇 팔과 같은 외부 장치를 제어하기 위해 신경계 신호를 활용합니다. 우리는 여기에 신경계의 신호를 활용하고 참가자가 자신의 몸을 제어 할 수 있도록 감각 모듈을 사용하여 그들을 증강 폐쇄 루프 인터페이스를 제공합니다. 우리의 디자인의 몇 가지 필수 또는 특징은 신경계의 다양한 수준을 조사하기 위해 서로 다른 기술에서 오는 데이터의 동기 기록이며, 두 샘플 연구에서 실시간 증강을위한 데이터의 데이터 스트리밍 및 분석, 우리는 오디오 피드백을 사용하지만 오디오 폐쇄 루프 인터페이스에서 살사 댄서는 실시간으로 제어 된 음악의 템포에 응답했다 , 마음의 리듬에 따라.

이를 위해 우리는 오디오 파일의 재생 속도를 제어하기 위해 음악 프로그래밍 언어, 맥스를 사용합니다. 파이썬 스크립트를 사용하여 댄서, 하트 비트 및 필터링 된 하트 R 피크를 캡처하는 센서가 생성됩니다. 그런 다음 이러한 피크 값은 열린 사운드 제어를 통해 실시간으로 Max로 전송됩니다.

먼저 우리는 참가자가 LED 기반 모션 캡처 의상을 입고 그것에 부착, 자신의 무선 주도 컨트롤러를 도왔다. 서버를 켠 후 웹 브라우저를 열고 서버 컴퓨터의 IP 주소를 입력하고 로그인합니다. 이 단계가 성공하면 구성 관리자가 열립니다.

그런 다음 모션 캡처 시스템의 인터페이스를 열고 연결을 클릭합니다. LED 마커에서 데이터 스트리밍을 시작합니다. 연결이 설정되면 마커의 위치가 인터페이스의 가상 세계에 표시됩니다.

창 오른쪽의 골격을 마우스 오른쪽으로 클릭하고 마커 매핑을 선택하려면 새 골격을 선택합니다. 그런 다음 골격을 마우스 오른쪽 으로 클릭하고 스켈레톤을 생성합니다. 참가자가 T 포즈로 포즈를 취하고 있는지 확인합니다.

모든 단계가 올바르게 수행되면 골격이 생성됩니다. 골격 데이터를 LSL로 스트리밍하려면 기본 메뉴에서 설정 및 옵션을 선택합니다. OWL 에뮬레이터를 열고 라이브 스트리밍을 시작clicked했는지 확인합니다.

다음으로, 동일한 참가자가 EEG 헤드 캡에 넣어 도움이됩니다. 전극을 높은 전도성 젤로 채우고 전극 케이블을 배치합니다. 그런 다음 무선 모니터에 연결하고 켭니다.

EEG 시스템의 인터페이스를 열고 와이파이 장치를 선택합니다. 장치를 선택하고이 장치를 사용하여 클릭, 머리 아이콘을 클릭합니다. 모든 32개의 센서를 기록하고 부하를 클릭할 수 있는 프로토콜을 선택합니다.

스트림 데이터가 적합하고 모두 인터페이스에 표시되는지 확인합니다. 심장 활동 데이터를 수집하려면 EEG 채널 중 하나를 사용하여 EEG 확장 케이블을 연결합니다. 끈적끈적한 전극을 사용하여 참가자의 왼쪽 갈비뼈 바로 아래에 있는 확장의 다른 쪽 끝을 붙입니다.

LSL 폴더에서 모션 캡처 시스템의 LSL 응용 프로그램을 찾아 해당 아이콘을 두 번 클릭하여 실행합니다. 적절한 서버 주소를 설정하는 인터페이스에서 링크를 클릭합니다. EEG 및 ECG 데이터 스트리밍의 경우 추가 단계가 필요하지 않습니다.

그런 다음 LSL 폴더에 있는 랩 레코더 응용 프로그램을 찾습니다. 응용 프로그램을 두 번 클릭하여 실행합니다. 모션 캡처및 EEG 시스템의 모든 데이터 유형이 스트림에 대한 패널 레코드에 표시되지 않는 경우 업데이트를 클릭합니다.

저장소 위치 패널에서 디렉터리 및 이름을 선택한 다음 데이터 수집을 시작하려면 클릭합니다. 스트림 데이터를 수신, 처리 및 보강하는 MATLAB, 파이썬 또는 기타 코드를 실행합니다. LSL을 사용하면 수많은 프로그래밍 플랫폼에서 데이터를 스트리밍할 수 있습니다.

그들은 원고에 설명 된 자신의 현재 예에 해당하는 목표를 사용합니다. GitHub 링크를 방문하십시오. 시장에는 감각 적 출력을 생성하는 다양한 기술이 있습니다.

몇 가지 일반적인 예는 다음과 같습니다 스피커, 조명, 모니터 및 햅틱 장치 진동기, 거세 및 후각 인터페이스와 같은 다른 덜 일반적인 것들. 오디오 폐쇄 루프 인터페이스에서 우리는 디지털 심박수를 증가 관리 할 수 있습니다. 음악 프로그래밍 언어 Max를 사용하여 오디오 파일의 재생 속도를 제어 할 수 있습니다.

콘솔에 인쇄된 필터링된 하트 R 피크는 파이썬 스크립트에서 Max로 전송됩니다. 거기 성수기 간격 시간을 측정하고 분당 박동으로 변환됩니다. 데이터는 0, 가능한 가장 느린 재생 속도 및 최대 재생 속도 사이의 범위를 만들기 위해 배율조정됩니다.

이 연속체에서 하나는 정상 재생 속도와 동일, 0.5 절반 속도와 두 개의 더블 재생 속도와 동일합니다. 일반 인터페이스의 디자인은 다양한 모집단에서 사용할 수 있습니다. 개념 증명을 제공하기 위해 여기에 사용되는 프로토콜 및 예제는 특정 그룹에 국한되지 않습니다.

또한 닫힌 루프 인터페이스는 직관적으로 탐색하고 학습할 수 있도록 설계되었습니다. 실험 절차의 일환으로 지침이 필요하지 않아야하지만. 실제 dyadic 상호 작용의 오디오 폐쇄 루프 인터페이스의 연구에서, 두 살사 댄서는 노래의 속도를 변경하기 위해 여성 댄서 심박수를 사용하는 인터페이스와 상호 작용.

무용수들은 리허설을 잘 하는 루틴과 즉흥적인 춤을 선보였다. 각 조건에서 그들은 한 번 노래의 원래 버전을 수행하고 두 번 심장 변경 버전입니다. 수집된 데이터에서 추출된 마이크로 무브먼트 스파이크의 감마 스토차스 시그니처를 추정합니다.

여기서 우리는 심장과 음악 데이터의 예상 확률 밀도 함수를 관찰합니다. 도프 수치는 원래 의 형태로 노래를 춤 첫 번째 조건에서, 자율 기관인 마음의 세트를 보여줍니다. 두 번째와 세 번째 조건에 심장 변경 된 노래를 춤.

왼쪽 그림은 자발적인 춤의 세 녹음에 해당하지만, 의도적 인 춤의 세 녹음에 오른쪽 그림. 하단 그림에서 우리는 재생 오디오의 해당 세트를 관찰 할 수 있습니다. 여기서 세트에는 반대 방향이 있습니다.

인공 dyadic 상호 작용의 오디오 시각적 폐쇄 루프 인터페이스의 연구에서, 여섯 참가자는 자신의 라이브 미러 아바타를 만드는 인터페이스와 상호 작용. 또한, 힙 포지션 에 의존하는 사운드를 포함합니다. 참가자들은 연구의 목적에 대해 순진했다; 그들은 방 주위를 걸어 그들이 관심의 영역을 통과할 때 놀라 울 정도로 나타날 소리를 제어하는 방법을 알아내야했다.

이 수치는 60명의 친구 제어 참가자의 엉덩이 속도 데이터의 확률 밀도 기능 및 해당 감마 시그니처, C1 ~ C6의 해당 감마 시그니처가 관심 영역 안팎에 있음을 보여줍니다. 결과는 지역 내부 또는 외부의 참가자의 행동에 대한 개인화 된 차이를 강조합니다. 경험적으로 우리는 감마 비행기의 오른쪽 하단 모서리에위치한 서명은 고도로 숙련 된 움직임을 수행하는 선수와 댄서의 서명, 왼쪽 상부 지역에 놓여 서명은 병리학신 경계의 데이터 세트에서 온 것을 발견했다.

따라서, 우리는 제어 3 및 4의 엉덩이 속도의 서명이 볼륨 내부에있을 때 건강한 모터 패턴을 드러내는 것을 알 수 있습니다. 대조적으로 참가자의 나머지 는 반대 패턴을 표시합니다. 이 방법은 댄서의 움직임과 소리 사이의 관계를 더 잘 이해하는 데 사용할 수 있습니다.

그것은 또한 실시간 신체 정보에 의해 주도 되는 음악 구성에 새로운 접근을 탐구 하는 데 사용할 수 있습니다., 경험으로 음악 만들기 를 변환 신체 신호 확대 폐쇄 루프 인터페이스에 개발 및 연구는 신 경계의 여러 장애 혜택을 수 있습니다. 그들은 또한 게임, 운동 훈련 및 스포츠에 사용할 수 있습니다.