Name: 닫기 루프 인터페이스를 사용하여 재매개 변수화된 주변 신호의 실시간 프록시 제어 (동영상) | JoVE Journal
Uploaded: 2021-05-08T14:30:00.000+00:00
Duration: 11 min 54 s
Description: 학습하세요 닫기 루프 인터페이스를 활용하여 실시간으로 신체 및 심장 신호를 분석하고 수정하는 방법을. 웨어러블 기술과 Lab Streaming Layer를 사용하여 감각 증강을 통한 신체 인식 향상을 연구합니다.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

우리는 이 연구를 수행하기 위해 자원봉사를 한 학생들에게 감사드립니다. 칸 아난트와 PhaseSpace Inc.는 설정을 설명하는 데 필요한 이미지와 비디오를 제공합니다. 그리고 우리가 채널 www.youtube.com/c/neuroelectrics/ 및 그 매뉴얼에서 자료를 사용할 수 있도록 신경 전자. 마지막으로, 이 원고의 제출 단계에서 전문적인 지원을 위한 러트거스 코그너스 센터의 토마스 파파토마스 교수, 낸시 루리 마크 가족 재단 경력 개발 상 EBT 및 제론델리스 재단 어워드에서 VK에 감사드립니다.
기여 개념화, VK 및 EBT; 방법론, EBT; 소프트웨어, VK, EBT, SK.; 검증, VK 및 SK; 정식 분석, VK; 조사, VK, EBT, SK; 자원, EBT; 데이터 큐레이션, VK; 쓰기-원래 초안 준비, EBT; 쓰기-검토 및 편집, VK, SK.; 시각화, VK 및 EBT.; 감독, EBT.; 프로젝트 관리, EBT.; 자금 조달, EBT 모든 저자는 읽고 원고의 출판 된 버전에 동의했다.

연구는 헬싱키의 선언에 따라 러트거스 기관 연구 위원회 (IRB)에 의해 승인되었다.
1. 참가자
<ol><li>연구할 인구를 정의하고 연구에 참여하도록 권유한다. 본 인터페이스는 다양한 집단에서 사용할 수 있다. 이 프로토콜과 개념 증명을 제공하기 위해 여기에 사용되는 예는 특정 그룹에 국한되지 않습니다.</li>
	<li>헬싱키 선언에 따라 IRB 승인 프로토콜에 대한 서면 동의를 얻습니다.</li>
	<li>실험시작 전에 참가자 나 보호자에게 양식에 서명하도록 요청합니다.</li>
</ol>2. 클로즈 루프 인터페이스 의 설정
<ol><li>운동 장비-PNS 설정<ol><li>참가자가 사용되는 모션 캡처 시스템과 함께 LED 기반 모션 캡처 의상(도 3,1, 5에 표시된 바디 및 헤드)을 신중하게 착용하도록 도와줍니다. 코스튬의 LED 마커는 시스템의 카메라에 의해 추적되어 공간에서 움직이는 몸의 위치를 추정합니다.</li>
		<li>시스템의 무선 LED 컨트롤러(LED 드라이버 장치라고도 함)를 적절한 포트에 연결하여 의상의 LED 케이블과 연결합니다. 장치를 켜고 스트리밍 모드로 설정합니다.</li>
		<li>모션 캡처 시스템의 서버를 켭니다.</li>
		<li>웹 브라우저를 열고 서버 주소를 방문하고 로그인합니다(제품 구매 시 회사에서 로그인 정보를 제공해야 합니다).</li>
		<li>필요에 따라 시스템을 보정합니다(예: 장비를 처음 사용하는 경우 시스템을 보정하고 그렇지 않으면 2.1.17 단계로 이동).</li>
		<li>모션 캡처 시스템의 교정 도구를 열고 교정 마법사를 선택합니다.</li>
		<li>인터페이스의 왼쪽 상단에 있는 텍스트 필드에 있는 서버 번호의 항목이 올바른지 확인하고 계속을 클릭합니다.</li>
		<li>지팡이를 LED 컨트롤러의 첫 번째 포트에 연결하고 컨트롤러를 켜고 계속을 클릭합니다. 지팡이가 연결되면 LED 마커가 켜져 있고 카메라 뷰에서 디스플레이에 표시됩니다.</li>
		<li>지팡이를 카메라 뷰 필드 중앙에 놓고 카메라에서 녹화할 수 있는지 확인하고 계속을 클릭합니다.</li>
		<li>지팡이를 수직으로 유지하고 원통을 그리는 것으로 공간 전체에서 이동합니다. 모션은 매번 최소 3대의 카메라로 캡처되고 각 카메라의 시야에 등록되어 녹색으로 만들어야 합니다. 모든 카메라에 대해 이 작업을 수행합니다.</li>
		<li>각 카메라의 시야필드가 완전히 등록되면(모든 녹색)을 클릭하고 교정 계산이 실행될 때까지 기다립니다. 참고: 보정이 완료되면 LED 마커와 함께 카메라 위치가 디스플레이에 표시되며, 실내에 물리적으로 배치됩니다. 이 시점에서 사용자는 교정이 완료되기 때문에 교정을 재개하거나 시스템 정렬을 계속할 수 있습니다.</li>
		<li>지팡이를 수직으로 잡고 LED가 지팡이 끝에 더 가깝게 배치하여 3D 공간의 원점을 설정해야 합니다(점(0,0,0).</li>
		<li>지팡이를 등록 할 때까지 안정적으로 유지하십시오. 등록되면 화면이 녹색으로 깜박입니다. 공간의 참조 프레임의 원점을 나타내는 점이 인터페이스에 나타나고 다음 정렬 축인 x축이 녹색으로 강조 표시됩니다.</li>
		<li>지팡이를 이동하여 x축 지점에서 동일한 방향(수직)을 유지하고 등록될 때까지 안정적으로 유지합니다.</li>
		<li>z축을 위해 반복합니다. z축의 지점이 등록되면 교정이 완료됩니다.</li>
		<li>완료를 클릭하여 교정을 종료합니다.</li>
		<li>모션 캡처 시스템의 인터페이스를 열고 연결을 클릭하여 LED 마커에서 데이터 스트리밍을 시작합니다. 연결이 설정되면 마커의 위치가 인터페이스의 가상 세계에 표시됩니다.</li>
		<li>가상 골격 만들기(그림 8 단계2와같이 의상의 LED 마커에서 수집된 위치 데이터에서 본체의 골격 위치를 자동으로 추정합니다).</li>
		<li>창 오른쪽의 해골을 마우스 오른쪽버튼으로 클릭하고 새 골격을선택합니다.</li>
		<li>마커 매핑을 선택한 다음 적절한 파일을 선택합니다(사용된 인터페이스 버전에 따라 회사에서 제공). 그런 다음 확인을 클릭합니다.</li>
		<li>참가자에게 T 자세에 안정적으로 유지하도록 요청하십시오 (측면에 팔을 벌리고 똑바로 자세).</li>
		<li>골격을 마우스 오른쪽 버튼으로 클릭하고 훈련없이 생성 해골을선택합니다.</li>
		<li>모든 단계가 올바르게 수행되면 골격이 생성됩니다. 참가자에게 가상 골격이 참가자의 움직임을 얼마나 정확하게 따르는지 확인하도록 요청합니다.</li>
		<li>골격 데이터를 LSL로 스트리밍하려면 주 메뉴에서 설정 및 옵션을 선택합니다.</li>
		<li>올빼미 에뮬레이터를 열고 라이브 스트리밍 "시작"을 클릭합니다.</li>
	</ol></li>
	<li>EEG 장비 설정 - CNS<ol>
<li>동일한 참가자가 EEG 헤드 캡을 착용하도록 도와주세요.</li>
		<li>CMS 및 DRL 센서의 오른쪽 귀 뒷면에 젤 전극(EEG 헤드 캡과 함께 사용되는 전통적인 젤 기반 전극)을 헤드 캡에 놓고 2 개의 끈적 끈적한 전극 (스티커처럼 작동하는 전극)을 배치합니다.</li>
		<li>센서와 두피 사이의 전도도를 개선하기 위해 필요에 따라 전극을 고전도성 젤로 채웁니다.</li>
		<li>젤 트로데의 전극 케이블과 두 개의 끈적끈적한 전극을 연결합니다.</li>
		<li>헤드 캡 뒷면에 무선 모니터를 붙이고 전극 케이블을 연결합니다.</li>
		<li>모니터를 켭니다.</li>
		<li>EEG 시스템의 인터페이스를 엽니다.</li>
		<li>Wi-Fi 장치 사용 선택 및 장치에 대한 스캔을 클릭합니다.</li>
		<li>NE Wi-Fi를 선택하고이 장치를 사용합니다.</li>
		<li>머리 아이콘을 클릭하고, 모든 32 개의 센서를 녹음 할 수있는 프로토콜을 선택하고 로드를 클릭합니다.</li>
		<li>각 채널의 스트리밍된 데이터가 인터페이스에 표시되는지 확인합니다.</li>
	</ol></li>
	<li>심전도 장비 설정- ANS<ol>
<li>2.2에 제시된 정확한 단계를 따르지만 채널 O1을 사용하여 심박수(HR) 확장에 연결합니다.</li>
		<li>끈적끈적한 전극을 사용하여 왼쪽 흉곽 바로 아래 확장의 다른 쪽 끝을 붙입니다.</li>
	</ol></li>
	<li>동조 데이터의 동기화 된 기록 및 스트리밍을 위한 LSL 준비.<ol>
<li>해당 아이콘을 두 번 클릭하여 모션 캡처 시스템의 LSL 응용 프로그램을 실행합니다. LSL 폴더의 다음 경로에서 응용 프로그램을 찾습니다.</li>
		<li>인터페이스에서 적절한 서버 주소를 설정합니다.</li>
		<li>그런 다음 파일 및 로드 구성을선택합니다.</li>
		<li>적절한 구성 파일을 선택합니다(사용된 제품 버전에 따라 회사에서 제공해야 합니다).</li>
		<li>링크를클릭합니다. 실수가 없는 경우 오류 메시지가 표시되지 않습니다.</li>
	</ol></li>
	<li>EEG 및 ECG 데이터의 동기화된 기록 및 스트리밍을 위해 LSL을 준비합니다. 이 장비에는 추가 단계가 필요하지 않습니다.</li>
	<li>LSL 설정<ol>
<li>LSL 폴더의 LSL\랩스트리밍레이어 마스터\Apps\LabRecorder 경로에 있는 파일을 두 번 클릭하여 LabRecorder 응용 프로그램을 실행합니다.</li>
		<li>업데이트를클릭합니다. 모든 명령이 올바르게 실행되면 모션 캡처 및 EEG 시스템의 모든 데이터 유형이 스트림에 대한 패널 레코드에 표시됩니다.</li>
		<li>저장소 위치 패널의 데이터에 대한 디렉토리 및 이름을 선택합니다.</li>
		<li>시작을클릭합니다. 모션 캡처 및 EEG 시스템의 데이터 수집은 동기적으로 시작됩니다.</li>
		<li>레코딩이 끝나면 중지를 클릭합니다. 기록이 성공하면 이전에 선택한 디렉터리에 데이터가 배치됩니다. 파일을 열어 기록된 정보가 포함되어 있는지 확인합니다.</li>
	</ol></li>
	<li>인간 시스템의 실시간 분석 및 모니터링.<ol>
<li>스트리밍된 데이터를 수신, 처리 및 보강하는 MATLAB, 파이썬 또는 기타 코드를 실행합니다. 다음 섹션에 설명된 대표적인 예제에 해당하는 예제 코드는 여기에서 찾을 수 있습니다 https://github.com/VilelminiKala/CloseLoopInterfaceJOVE.</li>
	</ol></li>
	<li>증강 된 감각 피드백의 생성<ol>
<li>적절한 장치(예: 스피커, 모니터 등)를 사용하여 감각 출력을 생성합니다.</li>
	</ol></li>
</ol>3. 실험 절차
<ol><li>설정에 의해 정의된 실험 절차를 따르십시오. 참고: 근접 루프 인터페이스는 직관적으로 탐색하고 학습하도록 설계되었습니다. 따라서 대부분의 경우 지침이 필요하지 않습니다.</li>
</ol>

다루는 방법:
• US20190333629A1 "신경장애 진단 및 치료 방법"
• EP3229684B1 "Procédés 드 mesure d'un mouvement 생리학 관련"
• US20190261909A1 "피사체의 의지양을 결정하는 시스템 및 방법"
• • US202110989122 "생리학적 관련 운동 측정을 위한 시스템 및방법"

이 백서는 dyadic 교환의 맥락에서 사람의 주변 신호를 하네스, 매개 변수화 및 매개 변수화하는 근접 루프 공동 적응, 대화형 다중 모달 인터페이스를 통해 프록시 제어개념을 소개합니다. 우리는 사람의 생체 리듬의 변동에 있는 stochastic 교대를 특성화하고 변경을 매개변수화하는 것을 겨냥했습니다. 또한 우리는 거의 실시간으로 소음 대 신호 정권의 표적 수준으로 생체 리듬의 신속한 서명을 체계적으로 조종하는 것을 목표로했습니다.
우리는 5 가지 핵심 요소를 만족시키는 근접 루프 인터페이스를 구축하기위한 일반 프로토콜을 제시했습니다 : 1) 다양한 계측기 및 기술을 사용하여 CNS, PNS 및 ANS에서 오는 여러 신체 데이터의 수집; 2) 데이터의 동기화된 기록 및 스트리밍; 3) 선택한 신호의 실시간 분석; 4) 신체 신호를 위해 추출된 생리적 특징을 사용하여 감각 증강(audio, visual 등)의 생성; 및 5) 인간 시스템과 병렬 감각 증강의 지속적인 추적은 인간과 시스템 사이의 상호 작용의 루프를 닫는다.
일반 프로토콜은 두 예제 인터페이스에 적용되었습니다. 첫 번째는 인간 요원 두 명과 인간과 아바타 요원 사이의 두 번째 물질 간의 다이딕 교환을 조사합니다. 두 가지 유형의 다이드들은 주변 신호가 실시간으로 체계적으로 변경될 수 있고 이러한 금세 변화를 정확하게 추적할 수 있다는 개념 증명을 제공하는 데 사용되었습니다. 한 다이드는 물리적으로 상호 작용하는 두 명의 참가자로 구성되었으며, 다른 참가자는 사용자의 움직임을 부여한 3D 렌더링 아바타의 형태로 가상 에이전트와 상호 작용하는 참가자와 이러한 실시간 모션의 변형을 포함했습니다. 이러한 변화는 증강 된 감각의 설정에서 청각 및 / 또는 시각적 감각 입력에 의해 구동 대화 형 조작에 의해 연상되었다. 실제 dyad와 인공 dyad 모두에서, 우리는 심장 박동에서 신체 생체 리듬 및 자율 신호를 포함하여 주변 신호를 원격으로 이동의 타당성을 입증했습니다.
우리는 운동 신호 스트림이 거의 실시간으로 조작되고 다시 매개 변수화되는 것처럼 효과적인 모터 가변성의 이러한 변화를 조사하기 위해 새로운 실험 프로토콜을 제시했습니다. 이 재진입 정보(운동적 재보급48)는시스템 성능을 실시간으로 전환하는 데 중요한 가치를 입증했습니다. 그들은 우리가 여기에서 제시 한 방법을 사용하여 정확하게 추적 할 수있는 행동의 감각 적 결과에 대한 정보를 부담합니다.
또한 분석 의 표준화를 위한 데이터 유형과 통계 적 방법을 보여 주기도 했습니다. 우리는 다양한 맥락에서 자연적으로 진화하는 생리 활동의 실시간 변화를 입증하기 위해 여러 가지 시각화 도구를 제공했으며, 경험적으로 유도된 통계 추론으로 자체 생성 및 자가 제어 신경계 신호의 해석에 빌려줍니다. 중요한 것은 프록시 컨트롤러에 의해 불러온 변경 사항은 부드럽고 정량화가능했기 때문에 주변 활동이 두 가지 이상 유용하다는 개념에 대한 지원을 빌려주는 것입니다. 시판되는 무선 웨어러블 센서를 사용하여 이러한 방법을 구현할 수 있지만 시스템을 강조하지 않고 생체 물리학 리듬에서 캡쳐가능한 성능 변화를 체계적으로 유도할 수 있습니다. 임상 분야로 우리의 방법을 번역하고 새로운 내정간섭 모형을 개발하기 위하여 시험으로 그(예를 들면, 자폐증에있는 증강현실을 사용할 때와 같이)로 사용하는 것이 중요합니다( 예를 들면, 자폐증에 있는 증강현실을 이용하는 때와 같이). 이러한 모델에서는 감각 입력이 정확하게 조작되고 출력이 거의 실시간으로 매개 변수화되고 다시 매개 변수화되기 때문에 사람의 자연주의 적 행동의 감각적 결과를 추적하고 정량화 할 수 있습니다.
우리는 인간 신경계에 의해 자체 생성되고 무선 웨어러블과 비침습적으로 활용되는 다양한 생체 리듬 활동을 활용하는 일반적인 모델로이 프로토콜을 제공합니다. 이 논문에 EEG, ECG 및 운동학을 등록하기 위해 일련의 바이오 센서를 사용했지만 신호를 기록, 동기화 및 분석하는 방법은 일반적입니다. 따라서 인터페이스는 다른 기술을 통합할 수 있습니다. 또한 프로토콜은 의료 분야로 확장되는 다른 자연주의 적 행동과 컨텍스트를 포함하도록 수정할 수 있습니다. 우리는 자연스러운 행동을 목표로 했기 때문에, 우리가 개발 한 설정은 장난 스러운 설정 (예 : 어린이와 부모를 포함)에서 사용할 수 있습니다.
신경계의 몇몇 무질서는 통제 문제에 그 같은 장난 접근에서 유익할 수 있었습니다. 우리가 여기에서 보여 준 dyadic 상호 작용의 두 가지 유형에서, 참가자는 무의식적으로 조작하고 체계적으로 서명을 이동하는 주변 출력을 사용하는 동안, 무의식적으로 음악을 제어하는 것을 목표로 할 수 있습니다. 과학자들은 수년 동안 감마 파라미터 평면과 다른 연령대(78세까지의 신생아)를 통해 감마 모멘트 공간을 경험적으로 매핑했기 때문에19,50,51,52, 53 및 조건(자폐증, 파킨슨 병, 뇌졸중, 혼수 상태 및 청각 장애인), 다양한 수준의 제어 (자발적, 자동, 자발적, 자발적, 비자발적 및 자율 학)25,47,54,그들은 감마 공간에 스토세스 시그니처가 좋은 예측 제어를 위한 것이어야 하는 곳을 나타내는 경험적으로 측정된 기준을 가지고 있습니다. 이전 연구는 또한 인간 신경계7,19,55,56의자체 생성 리듬에서 나오는 자발적인 임의 잡음의 존재가 있는 파라미터가 어디에 있는지 알고 있음을 보여주었습니다. 생체 리듬 모터 노이즈를 최소화하는 최적화 스키마 내에서, 우리는 따라서 각 사람의 PDF의 가족의 모양과 분산 서명이 높은 신호 대 잡음 비 및 예측 값을 도움이되는 감마 공간의 표적 영역을 달성하는 방식으로 신호를 구동하는 것을 목표로 할 수 있습니다. 이러한 의미에서, 우리는 총 데이터를 잃지 않고 오히려 주어진 상황에서 소음의 바람직한 수준으로 시스템을 구동하는 데 효과적으로 사용합니다.
Dyadic 상호 작용은 임상 또는 훈련 환경에서 유비쿼터스입니다. 그들은 트레이너와 연수생 사이에 발생할 수 있습니다; 의사와 환자; 임상 치료사와 환자; 그리고 그들은 또한 번역 과학을 관련 시키는 연구 설정에서 발생할 수 있습니다 및 연구원과 참가자참여. 현재 프로토콜의 장점 중 하나는 dyads를 위해 설계되었지만 개인화된다는 것입니다. 따라서, 사람의 신경계의 기능적 계층 구조를 통해 신호진폭의 범위를 고려하면서, 사람의 최상의 능력과 소인에 대한 공동 적응적 상호 작용을 조정할 수 있습니다. 확률 궤도가 나타나고 시간에 진화함에 따라 서명 확률을 확인하고 해당 타임 시리즈를 사용하여 가능한 감각 적 결과와 함께 몇 가지 임박한 이벤트를 예측 할 수도 있습니다.
마지막으로, 가까운 루프 인터페이스도 예술 세계에서 사용할 수 있습니다. 그들은 현대 무용, 기술 댄스와 시각화및 신체 표현의 음향화의 계산 중심 형태를 생성하는 공연 예술가에게 새로운 길을 제공 할 수 있습니다. 이러한 맥락에서, 무용수의 몸은 이분야40,41,43,46의선행 작업에서 알 수 있듯이 자가 생성 된 생체 리듬 활동의 손화 및 시각화를 통해 다양한 감각 적 양상을 유연하게 탐구하는 감각 중심의 도구로 전환 될 수 있습니다. 이러한 공연은 무대에서 댄서의 역할을 강화하고 관객이 눈에 보이는 움직임을 넘어 미묘한 신체 신호를 경험할 수 있습니다.
이 기술의 여러 측면은 실시간 설정에서 사용을 최적화하기 위해 추가 개발 및 테스트가 필요합니다. 동기 스트리밍은 고속 CPU/GPU 전력 및 메모리 용량을 요구하여 지속적인 모터 명령의 감각 적 결과를 예측할 때 시간을 확보하고 한 걸음 앞서 나갈 수 있다는 개념을 실제로 활용해야 합니다. 장비의 샘플링 속도는 신호를 진정으로 정렬하고 적절한 감각 융합을 수행하고 신경계의 다양한 채널을 통해 정보 전송을 탐색 할 수 있도록 비교할 수 있어야합니다. 이러한 제한 사항 중 일부는 이 새 인터페이스에 있습니다.
이 모든 일은 잠재성을 채용하면서 신체 시스템의 제어를 개선하는 새로운 개념을 제공하므로 스토카즘 변화의 체계적인 표준화 된 결과 측정을 허용합니다.

<table><tbody><tr><td>Enobio 32</td><td>EEG 데이터 수집을 위한 Enobio</td><td></td><td></td> 하드웨어</tr><tr><td>Enobio ECG 확장</td><td>ECG 데이터 수집을 위한</td><td>Enobio</td><td></td> 하드웨어</tr><tr><td>LabStreamingLayer (LSL)</td><td></td><td></td><td>데이터 동기화 및 스트리밍</td></tr><tr><td>Matlab</td><td>Mathwork</td><td></td><td>데이터 분석 및 처리</td></tr><tr><td>Max</td><td>Cycling'74</td><td></td><td>Sonification 신체 정보</td></tr><tr><td>NIC.2</td><td>EEG 및 ECG 데이터 수집을 위한</td><td>Enobio</td><td></td> 소프트웨어</tr><tr><td>PhaseSpace 임펄스</td><td>PhaseSpace</td><td></td><td>운동학적 데이터 수집을 위한 하드웨어(위치, 속도, 가속도)</td></tr><tr><td>Python3</td><td>Python</td><td></td><td>데이터 분석 및 처리</td></tr><tr><td>Recap</td><td></td><td></td><td>운동학적 데이터(위치, 속도, 가속도)</td></tr></tbody></table>

닫기 루프 인터페이스를 사용하여 재매개 변수화된 주변 신호의 실시간 프록시 제어

Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface

감각 대체 및 감각 확대를 위한 방법을 개발하는 필드는 중추 신경계 (CNS)에서 신호를 사용하여 외부 목표를 제어하는 것을 목표로했습니다. 그러나 이동 중인 대화형 바디에 의해 자체 생성된 외부 신호를 업데이트하는 프로토콜은 덜 빈번합니다. dyadic 교환 도중 다른 움직이는 에이전트의 그를 조종하기 위하여 한 움직이는 에이전트의 바디 심장-두뇌 생체 리듬을 결합하는 방법의 빈약이 있습니다. 이러한 위업을 달성하기 위한 과제중 하나는 서로 다른 물리적 단위, 이질적인 시간 척도 및 가변 샘플링 주파수를 가진 멀티모달 바이오 신호를 사용하여 설정의 복잡성이었습니다.
최근 몇 년 동안, 비침습적으로 여러 신호를 나란히 활용할 수 있는 웨어러블 바이오 센서의 출현은 뇌 및/또는 바디 머신 인터페이스를 개선하는 것 외에도 상호 작용하는 다이드의 주변 신호를 다시 매개 변수화하고 업데이트할 수 있는 가능성을 열어주었습니다. 여기서 우리는 생체 센서를 사용하여 효과적인 체형 모터 출력 (운동학 및 심박수 포함)을 업데이트하는 공동 적응 인터페이스를 제시합니다. 금욕적 바이오 신호를 매개 변수화하고, 이 출력을 소간화하고, 비수오/오디오 운동 성 재흡수 입력으로 다시 매개변수 형태로 다시 공급합니다. 우리는 두 가지 유형의 상호 작용을 사용하는 방법을 설명합니다, 하나는 두 인간과 거의 실시간으로 상호 작용하는 인간과 아바타와 관련된 다른 하나를 포함. 내부 체감각-모터 제어에 대한 외부 입력의 영향을 측정하는 새로운 방법의 맥락에서 새로운 방법에 대해 논의합니다.

이전 섹션에 제시된 프로토콜을 기반으로 빌드할 수 있는 다양한 인터페이스가 있으며 다양한 용도로 다른 모집단에 적용할 수 있습니다. 일부 가능한 변형은 보충 재질의"제시된 닫기 루프 인터페이스의변형"섹션에 설명되어 있습니다.
이 섹션에서는 이전 섹션에 설명된 프로토콜을 따르는 2개의 샘플 닫기 루프 인터페이스의 대표적인 결과를 보여 줍니다. 이러한 연구의 설정, 실험 절차 및 참가자는"예제 1: 실제 Dyadic 상호 작용의 오디오 클로즈 루프 인터페이스"및"예 2: 보조 파일의 인공 Dyadic 상호 작용의 오디오 시각적 닫기 루프 인터페이스"에깊이 설명됩니다.
실제 Dyadic 상호 작용의 오디오 클로즈 루프 인터페이스의 결과 "실제 dyadic 상호 작용의 오디오 닫기 루프 인터페이스"(정교하게 섹션에 제시"예 1: 보충 재료의 오디오 닫기 루프 인터페이스"보충 재료의, 우리는 프록시 제어 인터페이스를 사용, 그림 에 설명 된 그림 4,이는 여성 댄서의 심장 신호를 사용하여 음악을 변경하던 춤을 변경. 실시간으로, 우리는 심장 박동의 시간을 추출하는 신호 처리를 수행하고 수행 된 노래의 속도를 변경하기 위해 맥스 시스템에이 정보를 스트리밍. 이런 식으로, 우리는 생물 물리학 신호에 의해 변경 된 노래를 다시 연주했다. 이 과정은 움직임과 심장 박동 신호의 추가 변경으로 이어졌다.
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/61943/61943fig04.jpg"> 그림 4: 오디오 기반 클로즈 루프 인터페이스. 1. ECG-HR 웨어러블 장치는 그녀의 루틴의 성능 동안 살사 댄서의 활동을 모니터링하고 500Hz. 2에서 인터페이스에 신호를 공급합니다. 당사의 인터페이스는 ECG 데이터를 실시간으로 분석합니다. 각 프레임에서 원시 데이터를 필터링하고 QRS 컴플렉스의 R 피크를 추출합니다. 피크 감지를 MAX. 3로 스트리밍합니다. 타사 인터페이스는 오디오의 속도와 심음 의 속도를 혼합합니다. 4. 변경된 노래는 무용수들에게 재생됩니다. <a href="https://www.jove.com/files/ftp_upload/61943/61943fig04large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
두 살사 댄서가 인터페이스와 상호 작용하고 안무와 즉흥적인 춤을 준비하는 잘 연습 된 루틴을 수행했습니다. 무용수들은 한 번 노래의 원래 버전을 수행해야했고, 버전은 실시간 심장 박동 스트림과 노래의 원래 템포를 혼합했다. 우리는 노래의 변경 1과 2로 두 번 수행 된 이후 버전을 참조하십시오.
아래 와 같은 분석에서, 우리는 기록 된 심장과 오디오 신호를 사용했다. MMS 열차를 추정하기 위해 추출된 두 신호의 피크(보조 파일의 "마이크로 무브먼트 스파이크 섹션 참조"참조), 그림 5에표시된 바와 같이 고주파 변동을 보존합니다.
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/61943/61943fig05.jpg"> 그림 5: 오디오 클로즈 루프 시스템의 MMS 열차의 추정. 심전도 타임 시리즈는 얻은 R-피크(평균 이동 데이터)의 전체 (추정) 평균 진폭으로부터 RR 피크 및 진폭 편차를 추출하는 데 사용됩니다. 그런 다음 수학식 1에 의한 정규화(보조 파일, "마이크로 무브먼트 스파이크"섹션 참조)로 정규화하여 MMS 열차를 획득하는 데 사용됩니다. 유사한 방법은 오디오 파형을 처리하고 사람의 실시간 성능에 따라 노래를 다시 재생하는 데 사용됩니다. <a href="https://www.jove.com/files/ftp_upload/61943/61943fig05large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
MMS 열차는 확률 분포의 연속 감마 가족에 의해 잘 표현 연속 무작위 과정으로 잘 특징지어졌다. MLE는 이러한 지속적인 분포 제품군이 두 데이터 세트모두에 가장 적합하다고 간주했습니다(보충 자료 및 보충 도2의 "감마 분포" 섹션에 대한 설명 참조). 임의 공정의 이 모형은 인간 신경계에서 생체 신호에 의해 자체 생성된 생체 리듬의 재차 질적인 서명에 있는 교대를 추적하는 데 이용되었습니다.
경험적으로 추정된 모양과 스케일 감마 매개변수로부터 감마 모멘트, 평균, 분산, 왜곡 및 쿠르토시스(보충 재료의 "Stochastic Analysis"섹션의 분석 세부 정보 참조)를 얻습니다. 그런 다음 예상 PDF를 플롯합니다. 도 6은 심장 신호 및 음악에만 초점을 맞추고 있지만, 방법은 41에제시된 운동화 신호에 의해 생성된 다른 생체 리듬과 유사하게 적용한다.
심장과 음악 신호의 PDF는 그림6A-B에표시되며, 여기서 두 조건의 데이터 집합, 의도적인 루틴 및 자발적즉 즉흥적 의 차이점을 강조합니다. 각 조건에 대해, 우리는 노래의 시간적 변화에 의해 유도 된 스토카스틱 서명의 변화를 강조한다. 처음에는 원래 노래에 맞춰 춤을 춘다. 그런 다음, 심장 박동이 실시간으로 리듬을 변경으로,이 신호의 소성 변동은 노래의 시간적 변화를 따라 댄서를 리드.
이는 변경 1 및 변경 2로 표시되어 있습니다. 이러한 체계적인 변화는 감마 매개 변수에 의해 설명된다. 그런 다음 경험적으로 추정된 모양과 스케일 매개 변수를 사용하여 심장 박동과 노래에 해당하는 4개의 감마 모멘트를 획득했습니다. 이는 하트(위쪽)와 노래(아래) 신호에 대해 도 6C에 표시됩니다.
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/61943/61943fig06.jpg"> 그림 6: 오디오 클로즈 루프 시스템을 사용하여 프록시 제어하에서 성능에서경험적으로 추정 된 감마 PDF및 4 감마 모멘트의 궤적 궤적의 체계적인 변화를 유도합니다. (A)각 댄스 컨텍스트, 자발적 즉흥 및 의도적 루틴에 대한 각 데이터 유형(ECG 상단 및 오디오 파일 하단)의 MMS 열차의 PDF. 범례는 세션 시작 시 기준 조건을 나타내는 임프 또는(즉흥 적인 원본)입니다. 임프 Alt1 변경 중 즉흥적 을 나타내는 1; 임프 Alt2 변경 중 즉흥적 을 나타내는 2. (B)마찬가지로, 의도적으로 리허설 루틴을 위해, 라우트 또는 일상적인 원본을 의미한다; 라우트 Alt1은 일상적인 변경 1을 의미합니다. 라우트 Alt2는 일상적인 변경 2를 의미합니다. (C)패널은 노래의 오디오 신호와 하트의 심장 이동이 동시에 실시간으로 변화함에 따라 감마 순간의 체계적인 변화를 보여줍니다. <a href="https://www.jove.com/files/ftp_upload/61943/61943fig06large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
서명의 변화는 이러한 패널 (PDF 및 감마 모멘트 그래프)에서 평가 될 수 있으므로 제시 된 방법은 프록시 컨트롤러가 실시간으로 생성하는 노래의 변화에 대한 마음의 적응을 캡처 할 수 있음을 보여줍니다. 노래가 리듬을 이동함에 따라 심장 스토샤틱 시그니처와 스토세스 시그니처의 전환은 방향면에서 일관되게 수행됩니다(이는 또한 모양과 스케일 매개 변수를 연구한 41개에서의 발견입니다). 마찬가지로, 하트의 서명이 바뀌면 노래의 서명도 마찬가지입니다. 이 미러링 효과 -하나는 다른 영향을 미치고 한 쪽이 방향을 향해 일관되게 이동함에 따라 다른 쪽-이 프록시 컨트롤러 인터페이스의 닫기 루프 특성을 따릅니다. 결과는 이 설치의 유용성을 강조하고 우리가 체계적으로 dyadic 교환의 맥락에서 사람의 자율 적 생체 리듬을 이동할 수 있다는 개념의 증거를 제공합니다.
노래와 신체 신호 모두의 적층 시그니처에 대한 병렬 이동은 주변 신호를 사용하여 전체 시스템(참가자 및 인터페이스)의 공동 적응이 가능하다는 것을 보여준다. 이 과정은 사람의 인식 아래 원활하게 이루어지며 아이디어가 선택한 외부 감각 피드백과 통신하여 사람의 바이오 신호를 원격으로 체계적으로 전환할 수 있는 개념 증명을 제공합니다. 요약하면, 우리는이 지속적인 임의프로세스에서 관면 서명의 이동을 안내할 수 있습니다. 이 방법을 사용하면 거의 실시간으로 구축할 수 있었던 스토카스틱 궤적을 따라 변화와 속도를 캡처할 수 있습니다.
교대근무에서 통계적 유의를 확인하기 위해 비파라메트릭 ANOVA, 크루스칼-월리스 테스트, 그리고 객동검사 후 호크 테스트를 다수 비교합니다. 우리는 여섯 가지 조건 중 심장 데이터의 MMS의 서명을 비교합니다. 도 7은 MMS 심장 데이터와 해당 크루스칼-월리스 테이블의 다중 비교를 나타낸다. 다중 비교 플롯은 원래 루틴 댄스(Rout)의 기준 조건 사이에 상당한 차이가 있음을 나타냅니다. 또는) 원래 즉흥적인 춤의 기준 조건 (임프. 또는). 첫 번째 변경, 라우트 것을 발견하는 것도 중요합니다. Alt1 및 Imp. Alt1은 두 번째 변경에 적용되는 유사한 수단과 동일한 분포로 이동하며, 감마 모멘트공간(그림 6C)의분산, 왜곡 및 쿠르토시스가 이동합니다.
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/61943/61943fig07.jpg"> 그림 7: 비 파라메트릭 크루스칼-월리스 및 다중 비교 포스트 혹 시험의 결과. 비 파라메트릭 ANOVA (크루스칼-월리스 테스트)의 결과는 6개의 조건을 비교하기 위하여 심혼 데이터의 MMS에 적용되었습니다. 플롯은 6개의 케이스를 다중 비교하여 "라우트"의 큰 차이를 나타냅니다. 또는" 및 "임프. 또는"조건. 표는 크루스칼 월리스 테스트의 결과를 보여줍니다. <a href="https://www.jove.com/files/ftp_upload/61943/61943fig07large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
인공 Dyadic 상호 작용의 오디오 시각적 닫기 루프 인터페이스의 결과 "인공 dyadic 상호 작용의 오디오 시각적 닫기 루프 인터페이스"(정교하게 섹션에 제시 "예 2: 보조 재료의 음성 시각적 닫기 루프 인터페이스"보충 자료의6 참가자는 인터페이스와 상호 작용, 그림 8에설명 된, 사람의 자신의 움직임을 렌더링 하는 그들의 거울 아바타를 만듭니다. 인터페이스는 상호 작용 중에 사람을 둘러싼 영역 내에서 위치에 따라 달라는 소리를 포함합니다. 참가자들은 연구의 목적에 대해 순진했습니다. 그들은 방 주위를 걸어서 프록시 컨트롤러가 정의 한 RoI (관심 영역)를 통과할 때 놀라 울 정도로 나타날 소리를 제어하는 방법을 찾아야했습니다.
<img alt="Figure 8" class="xfigimg" src="/files/ftp_upload/61943/61943fig08.jpg"> 그림 8: 시청각 인터페이스의 시각적 표현입니다. 1. 주변 역학 데이터 수집을 위해 모션 캡처 시스템을 활용합니다. 2. 시스템은 센서의 위치를 수집 (우리의 예 LED의) 골격을 추정하기 위해 - 뼈에 위치. 3. 뼈 위치는 우리 자신의 미래 운동학 모델을 사용하여 MATLAB 개발 인터페이스에 정렬됩니다. 4. 정렬된 위치는 해골 정보를 3D 렌더링 아바타에 매핑하는 데 사용됩니다. 5. 스트리밍된 데이터를 아바타에 매핑하면 실시간으로 사용자의 미러 이미지를 보는 감각이 생깁니다. <a href="https://www.jove.com/files/ftp_upload/61943/61943fig08large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
도 9는 상태 1의 시청각 인터페이스 의 결과를 보여 줍니다(더 많은 조건에 대한 보충 파일 참조), 엉덩이 위치가 RoI에 있는 전자가 있을 때 노래를 활성화시면 활성화됩니다. 이 수치는 6개의 다른 제어 참가자(C1 ~C6)의 엉덩이 속도 데이터(보조 재료의 "데이터 유형 및 분석 섹션 참조)"를 RoI 볼륨 내부 및 외부에 표시합니다. 여기에 제시된 결과는 개별 참가자의 적응율에 대한 개인화된 차이를 강조합니다. 이들은 금욕적인 서명의 변화에 의해 표시되고, 개별 결과는 RoI 볼륨 내부 또는 외부에 나오는. 예를 들어, 우리는 C3및 C4의 엉덩이의 속도 진폭에서 파생 된 MMS의 주파수 히스토그램에 PDF 가 적합, 볼륨 내부의 경우 더 대칭 (더 높은 모양 값) 덜 시끄러운 (낮은 스케일 값)이었다는 것을 알 수 있습니다. 대조적으로, 참가자의 나머지는 반대 패턴을 보여줍니다.
경험적으로, 우리는 오른쪽 아래 모서리에 서명이 고도로 숙련 된 움직임을 수행, 선수와 댄서의 서명것을 발견했다. 서명은 상좌파 지역에 놓여 있으며, 자폐증 스펙트럼 장애 ADHD22,32 및 청각 장애인21의진단과 같은 병리학을 가진 신경계의 데이터 세트에서 나옵니다. 관면 궤적을 따라 패턴을 이동하는 맥락에서, 우리는 오른쪽 아래 사분면 (RLQ)와 왼쪽 상부 사분면 (LUQ)을 정의하기 위해 모양과 스케일의 중간 값을 얻어 우리는 시간에 따라이 정보를 축적하여 노이즈 비율에 신호의 전반적인 품질을 추적. 이것은 사람이 프록시에 의해 통제되었지만 사람의 내부 것들에 의존하는 그 외부에 그것의 내부적으로 생성된 생체 리듬을 공동 조정으로 이 사분면을 동적으로 정의하는 중앙값의 업데이트를 고려합니다.
<img alt="Figure 9" class="xfigimg" src="/files/ftp_upload/61943/61943fig09.jpg"> 그림 9: 시청각 클로즈 루프 시스템을 사용하여 상호 작용 중에 신체 생체 리듬의 감마 PDF 및 감마 시그니처를 경험적으로 추정했습니다. 각 참가자의 엉덩이 속도(C1 - C6)에서 파생된 MMS 열차를 사용하여 MLE를 사용하여 95% 신뢰 구간으로 최고의 PDF에 적합했습니다. 조건은 다른 색상으로 표시되는 동안 각 참가자는 다른 기호로 표시됩니다. 볼륨(in)에 있을 때 감마 PDF 제품군은 볼륨(out) 외부와 다릅니다. 감마가 경험적으로 추정된 PDF 외에도 감마 파라미터 평면의 각 사람에 대해 예상 감마 모양 및 스케일 매개 변수도 표시됩니다. <a href="https://www.jove.com/files/ftp_upload/61943/61943fig09large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
표 1은 사람의 신체 부위가 RoI 대 내부에 있을 때 원시(속도) 및 MMS 데이터에서 얻은 p-값을 보여주며, 그 결과를 비교합니다. RoI 외부. 테이블에 묘사 된 결과는 비 파라메트릭 ANOVA 크루살 - 월리스 테스트를 사용하여 추정되었습니다.
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody>
<tr>
<td>크루스칼 월리스 테스트</td>
			<td>속도 데이터</td>
			<td>MMS</td>
		</tr>
<tr>
<td>C1</td>
			<td>0</td>
			<td>1.34 e-05</td>
		</tr>
<tr>
<td>C2</td>
			<td>0</td>
			<td>4.72E-15</td>
		</tr>
<tr>
<td>C3</td>
			<td>0</td>
			<td>8.59E-34</td>
		</tr>
<tr>
<td>C4</td>
			<td>2.70E-21</td>
			<td>3.16E-04</td>
		</tr>
<tr>
<td>C5</td>
			<td>0</td>
			<td>1.11E-09</td>
		</tr>
<tr>
<td>C6</td>
			<td>0</td>
			<td>5.95E-05</td>
		</tr>
</tbody></table>표 1: 비파라메트릭 ANOAVA-크루살-월리스 시험의 출력. KRuskal Wallis 테스트의 결과는 MMS 및 속도 데이터에 대한 Rol 외부와 내부의 기록을 비교합니다. 각 참가자(C1 - C6)의 데이터에 테스트를 별도로 적용합니다.
보충 파일. <a href="https://www.jove.com/files/ftp_upload/61943/Supplementary_Files.zip" target="_blank">이 파일을 다운로드하려면 여기를 클릭하십시오.</a>

당사는 밀접한 루프에서 인체와 심장 신호를 스트리밍, 매개 변수화, 분석 및 수정하는 공동 적응 인터페이스를 구축하기 위한 프로토콜 및 분석 방법을 제시합니다. 이 설정은 생물 물리학 변화를 추적하는 데 도움이 외부 감각 입력을 가진 사람의 말초 및 중추 신경계에서 파생 된 신호를 인터페이스합니다.

The fields that develop methods for sensory substitution and sensory augmentation have aimed to control external goals using signals from the central ...

이 인터페이스의 전반적인 목적은 신체 인식을 얻기에 폴리 신호 확대의 효과를 연구하는 것입니다. 이는 다양한 실험 용 설정에서 다양한 웨어러블 기술과 함께 사용할 수 있으며 다른 집단에 적용할 수 있는 일반 폐쇄 루프 인터페이스를 설계하여 수행됩니다. 이 작업에서는 인터페이스, 응용 프로그램 및 인간 시스템에 미치는 영향을 샘플링하는 일반 인터페이스를 제공합니다.디자인의 첫 번째 단계는 신경계의 다른 수준에서 오는 신호의 기록을 허용 하는 다양 한 웨어러블 기술의 사용. 두 번째 단계는 랩 스트리밍 레이어를 사용하여 동기화된 기록 및 신호실시간 스트리밍을 달성하는 것입니다. 첫 번째 단계에서 스트림 데이터는 선택한 신호의 실시간 분석 및 기능 추출이 이루어지는 기본 설정 언어로 개발된 코드로 끌어당긴다.따라서, 4 단계에서 참가자들은 노래의 템포 또는 움직임의 시각적 표현에 자신의 심박수의 청각 매핑과 같은 추출 된 기능의 감각 증강을 경험하고 있다. 마지막으로, 신체 정보를 실시간으로 지속적으로 보강함으로써 인터페이스와 참가자 간의 전개 상호 작용의 루프를 닫습니다. 뇌가 우리 몸을 어떻게 통제할 수 있는지에 대한 조사는 뇌 기계 인터페이스의 디자인을 생성했습니다.이는 외골격이나 로봇 팔과 같은 외부 장치를 제어하기 위해 신경계 신호를 활용합니다. 우리는 여기에 신경계의 신호를 활용하고 참가자가 자신의 몸을 제어 할 수 있도록 감각 모듈을 사용하여 그들을 증강 폐쇄 루프 인터페이스를 제공합니다. 우리의 디자인의 몇 가지 필수 또는 특징은 신경계의 다양한 수준을 조사하기 위해 서로 다른 기술에서 오는 데이터의 동기 기록이며, 두 샘플 연구에서 실시간 증강을위한 데이터의 데이터 스트리밍 및 분석, 우리는 오디오 피드백을 사용하지만 오디오 폐쇄 루프 인터페이스에서 살사 댄서는 실시간으로 제어 된 음악의 템포에 응답했다 , 마음의 리듬에 따라.이를 위해 우리는 오디오 파일의 재생 속도를 제어하기 위해 음악 프로그래밍 언어, 맥스를 사용합니다. 파이썬 스크립트를 사용하여 댄서, 하트 비트 및 필터링 된 하트 R 피크를 캡처하는 센서가 생성됩니다. 그런 다음 이러한 피크 값은 열린 사운드 제어를 통해 실시간으로 Max로 전송됩니다.먼저 우리는 참가자가 LED 기반 모션 캡처 의상을 입고 그것에 부착, 자신의 무선 주도 컨트롤러를 도왔다. 서버를 켠 후 웹 브라우저를 열고 서버 컴퓨터의 IP 주소를 입력하고 로그인합니다. 이 단계가 성공하면 구성 관리자가 열립니다.그런 다음 모션 캡처 시스템의 인터페이스를 열고 연결을 클릭합니다. LED 마커에서 데이터 스트리밍을 시작합니다. 연결이 설정되면 마커의 위치가 인터페이스의 가상 세계에 표시됩니다.창 오른쪽의 골격을 마우스 오른쪽으로 클릭하고 마커 매핑을 선택하려면 새 골격을 선택합니다. 그런 다음 골격을 마우스 오른쪽 으로 클릭하고 스켈레톤을 생성합니다. 참가자가 T 포즈로 포즈를 취하고 있는지 확인합니다.모든 단계가 올바르게 수행되면 골격이 생성됩니다. 골격 데이터를 LSL로 스트리밍하려면 기본 메뉴에서 설정 및 옵션을 선택합니다. OWL 에뮬레이터를 열고 라이브 스트리밍을 시작clicked했는지 확인합니다.다음으로, 동일한 참가자가 EEG 헤드 캡에 넣어 도움이됩니다. 전극을 높은 전도성 젤로 채우고 전극 케이블을 배치합니다. 그런 다음 무선 모니터에 연결하고 켭니다.EEG 시스템의 인터페이스를 열고 와이파이 장치를 선택합니다. 장치를 선택하고이 장치를 사용하여 클릭, 머리 아이콘을 클릭합니다. 모든 32개의 센서를 기록하고 부하를 클릭할 수 있는 프로토콜을 선택합니다.스트림 데이터가 적합하고 모두 인터페이스에 표시되는지 확인합니다. 심장 활동 데이터를 수집하려면 EEG 채널 중 하나를 사용하여 EEG 확장 케이블을 연결합니다. 끈적끈적한 전극을 사용하여 참가자의 왼쪽 갈비뼈 바로 아래에 있는 확장의 다른 쪽 끝을 붙입니다.LSL 폴더에서 모션 캡처 시스템의 LSL 응용 프로그램을 찾아 해당 아이콘을 두 번 클릭하여 실행합니다. 적절한 서버 주소를 설정하는 인터페이스에서 링크를 클릭합니다. EEG 및 ECG 데이터 스트리밍의 경우 추가 단계가 필요하지 않습니다.그런 다음 LSL 폴더에 있는 랩 레코더 응용 프로그램을 찾습니다. 응용 프로그램을 두 번 클릭하여 실행합니다. 모션 캡처및 EEG 시스템의 모든 데이터 유형이 스트림에 대한 패널 레코드에 표시되지 않는 경우 업데이트를 클릭합니다.저장소 위치 패널에서 디렉터리 및 이름을 선택한 다음 데이터 수집을 시작하려면 클릭합니다. 스트림 데이터를 수신, 처리 및 보강하는 MATLAB, 파이썬 또는 기타 코드를 실행합니다. LSL을 사용하면 수많은 프로그래밍 플랫폼에서 데이터를 스트리밍할 수 있습니다.그들은 원고에 설명 된 자신의 현재 예에 해당하는 목표를 사용합니다. GitHub 링크를 방문하십시오. 시장에는 감각 적 출력을 생성하는 다양한 기술이 있습니다.몇 가지 일반적인 예는 다음과 같습니다 스피커, 조명, 모니터 및 햅틱 장치 진동기, 거세 및 후각 인터페이스와 같은 다른 덜 일반적인 것들. 오디오 폐쇄 루프 인터페이스에서 우리는 디지털 심박수를 증가 관리 할 수 있습니다. 음악 프로그래밍 언어 Max를 사용하여 오디오 파일의 재생 속도를 제어 할 수 있습니다.콘솔에 인쇄된 필터링된 하트 R 피크는 파이썬 스크립트에서 Max로 전송됩니다. 거기 성수기 간격 시간을 측정하고 분당 박동으로 변환됩니다. 데이터는 0, 가능한 가장 느린 재생 속도 및 최대 재생 속도 사이의 범위를 만들기 위해 배율조정됩니다.이 연속체에서 하나는 정상 재생 속도와 동일, 0.5 절반 속도와 두 개의 더블 재생 속도와 동일합니다. 일반 인터페이스의 디자인은 다양한 모집단에서 사용할 수 있습니다. 개념 증명을 제공하기 위해 여기에 사용되는 프로토콜 및 예제는 특정 그룹에 국한되지 않습니다.또한 닫힌 루프 인터페이스는 직관적으로 탐색하고 학습할 수 있도록 설계되었습니다. 실험 절차의 일환으로 지침이 필요하지 않아야하지만. 실제 dyadic 상호 작용의 오디오 폐쇄 루프 인터페이스의 연구에서, 두 살사 댄서는 노래의 속도를 변경하기 위해 여성 댄서 심박수를 사용하는 인터페이스와 상호 작용.무용수들은 리허설을 잘 하는 루틴과 즉흥적인 춤을 선보였다. 각 조건에서 그들은 한 번 노래의 원래 버전을 수행하고 두 번 심장 변경 버전입니다. 수집된 데이터에서 추출된 마이크로 무브먼트 스파이크의 감마 스토차스 시그니처를 추정합니다.여기서 우리는 심장과 음악 데이터의 예상 확률 밀도 함수를 관찰합니다. 도프 수치는 원래 의 형태로 노래를 춤 첫 번째 조건에서, 자율 기관인 마음의 세트를 보여줍니다. 두 번째와 세 번째 조건에 심장 변경 된 노래를 춤.왼쪽 그림은 자발적인 춤의 세 녹음에 해당하지만, 의도적 인 춤의 세 녹음에 오른쪽 그림. 하단 그림에서 우리는 재생 오디오의 해당 세트를 관찰 할 수 있습니다. 여기서 세트에는 반대 방향이 있습니다.인공 dyadic 상호 작용의 오디오 시각적 폐쇄 루프 인터페이스의 연구에서, 여섯 참가자는 자신의 라이브 미러 아바타를 만드는 인터페이스와 상호 작용. 또한, 힙 포지션 에 의존하는 사운드를 포함합니다. 참가자들은 연구의 목적에 대해 순진했다; 그들은 방 주위를 걸어 그들이 관심의 영역을 통과할 때 놀라 울 정도로 나타날 소리를 제어하는 방법을 알아내야했다.이 수치는 60명의 친구 제어 참가자의 엉덩이 속도 데이터의 확률 밀도 기능 및 해당 감마 시그니처, C1 ~ C6의 해당 감마 시그니처가 관심 영역 안팎에 있음을 보여줍니다. 결과는 지역 내부 또는 외부의 참가자의 행동에 대한 개인화 된 차이를 강조합니다. 경험적으로 우리는 감마 비행기의 오른쪽 하단 모서리에위치한 서명은 고도로 숙련 된 움직임을 수행하는 선수와 댄서의 서명, 왼쪽 상부 지역에 놓여 서명은 병리학신 경계의 데이터 세트에서 온 것을 발견했다.따라서, 우리는 제어 3 및 4의 엉덩이 속도의 서명이 볼륨 내부에있을 때 건강한 모터 패턴을 드러내는 것을 알 수 있습니다. 대조적으로 참가자의 나머지 는 반대 패턴을 표시합니다. 이 방법은 댄서의 움직임과 소리 사이의 관계를 더 잘 이해하는 데 사용할 수 있습니다.그것은 또한 실시간 신체 정보에 의해 주도 되는 음악 구성에 새로운 접근을 탐구 하는 데 사용할 수 있습니다., 경험으로 음악 만들기 를 변환 신체 신호 확대 폐쇄 루프 인터페이스에 개발 및 연구는 신 경계의 여러 장애 혜택을 수 있습니다. 그들은 또한 게임, 운동 훈련 및 스포츠에 사용할 수 있습니다.

real-time-proxy-control-re-parameterized-peripheral-signals-using

Research

연구

JoVE Journal

Behavior

행동

Close-loop Interface를 사용하여 재파라미터화된 주변 신호의 실시간 프록시 제어

우리의 연결을 제어 일반적인 원리를 조사하기 위해 폐루프 플라이 - 기계 인터페이스를 사용합니다.

뇌 - 기계 인터페이스의 폐쇄 루프 성능을 연구하기 위해 실험 플랫폼

폐쇄 루프 프로토콜은 현대 전기 생리학에서 점점 더 널리 보급되고 있습니다. 우리는 데스크톱 컴퓨터와 디지털 수집 보드를 사용하여 체외에서 피질 피라미드 뉴런에서 복잡한 전기 생리학적 프로토콜을 수행하는 간단하고 다재다능하며 저렴한 방법을 제시합니다.

실시간 전기 생리학 : 프로브 신경 역학과 저쪽​​에 폐쇄 루프 프로토콜을 사용하여

보철물 개발이 자연 제어의 목표를 향해 나아감에 따라, 절단 환자가 새로운 운동 기술을 배울 수 있는 타고난 능력을 활용하면 숙련도가 높아질 수 있습니다. 이 원고는 향상된 다기능 보철 제어를 위해 모방, 반복 및 강화 학습 전략을 포함하는 구조화된 재활 프로토콜을 설명합니다.

개선 된 다기능 보철 제어를위한 구조적 재활 프로토콜 : 사례 연구

이 프로토콜은 근전도(EMG) 측정이 있는 로봇 이소키네틱 장치를 사용하여 이소키네틱 모션 자체가 경미한 팔꿈치 굴곡 경련을 가진 뇌졸중 환자의 캐치 측정 각도에 대한 간 평가자 신뢰성을 향상시킬 수 있음을 보여줍니다.

경직성이 있는 뇌졸중 환자의 스트레치 반사 측정을 위한 테스트 재검사 및 평가자 간 신뢰성을 향상시키는 이소키네틱 로봇 장치

다음 원고는 복합 재생 말초 신경 인터페이스(C-RPNI)라고 불리는 생물학적, 폐쇄 루프 신경 피드백 시스템을 개발하기 위한 새로운 방법을 설명합니다. 이 구조는 주변 신경과 통합하여 원심성 모터 신호를 증폭하는 동시에 구심성 감각 피드백을 제공하는 기능을 가지고 있습니다.

성인 쥐의 복합 재생 말초 신경 인터페이스 (C-RPNI)의 제조

이 원고는 근육 커프 재생 말초 신경 인터페이스 (MC-RPNI)라고하는 생물학적 말초 신경 인터페이스를 개발하기위한 혁신적인 방법을 제공합니다.  이 수술 구조는 관련 말초 신경의 운동 원심성 신호를 증폭하여 운동 의도의 정확한 감지와 외골격 장치의 잠재적 제어를 용이하게 할 수 있습니다.

온전한 말초 신경 신호의 증폭을 위한 근육 커프 재생 말초 신경 인터페이스

이 작품은 이론, 개념 및 수식의 시각화, 3차원(3차원) 가상 테스트 리그로 실험 프로세스 시각화, 차트 및 카메라와 같은 위젯을 사용하여 제어 및 모니터링 시스템을 시각화하는 등 시각화된 실험을 제공하는 온라인 실험 시스템을 설명합니다.

엔지니어링 교육 및 연구를 위한 대화형 시각화 된 온라인 실험 시스템

생체 내에서 펩티드 전달체를 측정하기 위해 확립된 면역화학적 방법은 오프라인 분석을 위한 샘플을 얻기 위해 미세투석 또는 벌크 유체 드로우에 의존한다. 그러나 이들은 시공간 적 한계로 고통 받고 있습니다. 본 프로토콜은 기존 기술의 한계를 극복하는 용량성 면역프로브 바이오센서의 제조 및 적용을 기술한다.

돼지 심장에서 용량 성 면역 프로브에 의한 신경 펩티드 역학의 시간 해결 생체 내 측정

APTrack은 Open Ephys 플랫폼용으로 개발된 소프트웨어 플러그인으로, 실시간 데이터 시각화 및 뉴런 활동 전위의 폐쇄 루프 전기 임계값 추적을 가능하게 합니다. 우리는 이것을 인간 C-섬유 통각수용체와 마우스 C-섬유 및 Aδ-섬유 통각수용체에 대한 미세신경조영술에서 성공적으로 사용했습니다.

중개 통증 연구를 위한 오픈 소스 실시간 폐쇄 루프 전기 임계값 추적

이족 보행 운동의 복원 및 재활을위한 효과적인 뇌 기계 인터페이스 (BMI) 시스템의 개발은 사용자의 의도를 정확하게 디코딩이 필요합니다. 여기에서 우리는 동시 비 침습적 신경 활동의 인수, 근육 활동, 다양한 운동 작업 및 조건에서 전신 운동을위한 새로운 실험 프로토콜과 데이터 수집 기법을 제시한다.

동시에 두피 뇌파 (EEG), 근전도 (EMG), 멀티 모달 신경 디코딩을위한 전체 몸 분절 관성 기록

학습하세요 닫기 루프 인터페이스를 활용하여 실시간으로 신체 및 심장 신호를 분석하고 수정하는 방법을. 웨어러블 기술과 Lab Streaming Layer를 사용하여 감각 증강을 통한 신체 인식 향상을 연구합니다.

닫기 루프 인터페이스를 사용하여 재매개 변수화된 주변 신호의 실시간 프록시 제어

더 많은 동영상 탐색