Name: 가상 현실 지원 뇌-컴퓨터 인터페이스 환경에서 구현된 디지털 트윈을 통한 모터 이미지 성능 (동영상) | JoVE Journal
Uploaded: 2024-05-10T15:00:00.000+00:00
Duration: 10 min 14 s
Description: 학습하세요 EEG와 가상 현실을 활용한 뇌-컴퓨터 인터페이스 기반 운동 이미지 재활 방법을. 개인화된 3D 아바타가 몰입감과 신체 소유감을 높여 상지 기능 회복에 효과적입니다.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

저자는 시간을 내어 참여해 주신 모든 참가자에게 감사의 말씀을 전합니다.

본 연구는 EEG를 통해 기록된 MI 신호를 이용하여 VR 환경에서 3D 아바타를 실시간으로 제어할 수 있는 가능성을 조사하는 것을 목표로 합니다. 이 연구는 아바타를 피사체와 매우 흡사하게 개인화하여 몰입감과 신체 소유 의식을 향상시키는 데 중점을 둡니다. 이 프로토콜은 Vellore Institute of Technology Review Board의 승인을 받았습니다. 참가자는 연구의 목적, 절차 및 잠재적 위험을 검토한 후 정보에 입각한 동의서를 제공했습니다.
1. 실험 설정
참고: 그림 1 의 실험 설정 다이어그램에 표시된 대로 시스템이 모든 구성 요소를 통합하는지 확인하십시오(사용된 장비의 재료 표 참조).
<ol><li>3D 아바타 개발<ol><li>아바타 모델링<ol><li>데이터 수집 전날, 다양한 각도에서 여러 장의 얼굴 사진을 수집하고 각 참가자의 정확한 신체 측정치를 수집합니다.</li>
			<li>모델링 소프트웨어를 클릭하여 엽니다. 개봉 직후 성별 슬라이더를 찾습니다. 이 슬라이더를 조정하여 생성하려는 모델의 성별에 맞춥니다.</li>
			<li>화면 상단의 Modelling 탭으로 이동하여 탭을 클릭하여 바디 사용자 정의 옵션에 액세스합니다.</li>
			<li>몸통, 팔, 다리 등과 같은 다양한 섹션 아래의 슬라이더를 사용하여 신체를 모델링합니다. 키, 가슴/가슴, 허리, 엉덩이, 다리 길이, 팔 길이와 같은 기본 측정에 중점을 둡니다.</li>
			<li>Pose/Animate 탭을 클릭하고 기본 애니메이션의 기본 스켈레톤을 선택합니다. 맨 위에 있는 파일 메뉴로 이동하여 내보내기를 선택한 다음을 선택합니다. 애니메이션 소프트웨어와의 호환성을 위한 MHX2 형식. 스켈레톤을 포함하려면 Export with Rig 옵션을 선택해야 합니다. 대상 폴더를 선택하고 파일 이름을 지정한 다음 내보내기를 클릭합니다.</li>
			<li>애니메이션 소프트웨어를 엽니다. 파일 &gt; 가져오기 로 이동하여 .mhx2 또는 예상되는 형식을 선택합니다. 저장된 파일로 이동하여 선택하고 소프트웨어로 가져옵니다.</li>
			<li>Edit(편집) 메뉴로 이동하여 Preferences(기본 설정) &gt; Add-ons(애드온)을 선택하고 얼굴을 만드는 데 적합한 플러그인이 활성화되어 있는지 확인합니다.</li>
			<li>3D 뷰포트에서 플러그인에서 제공하는 레이아웃 사전 설정으로 전환하거나 일반적으로 왼쪽의 도구 선반에 있는 플러그인 패널로 이동합니다.</li>
			<li>플러그인 패널에서 Create a New Head 를 클릭하여 헤드 모델을 시작합니다. 사진 추가 버튼을 사용하여 참가자의 사진을 가져옵니다. 정확한 모델링을 위해 전면 및 측면 프로파일을 사용합니다.</li>
			<li>지시에 따라 사진의 점을 3D 모델의 해당 점에 맞춥니다. 그런 다음 플러그인은 참가자의 특징에 맞게 머리 모델을 조정합니다. 닮은 모양이 만족스러우면 머리 모델을 완성합니다.</li>
			<li>신체 모델의 목에 맞추도록 머리 모델을 수동으로 배치합니다. 매끄러운 핏을 위해 머리의 스케일과 회전을 조정합니다.</li>
			<li>스냅 도구(Shift+Tab)를 사용하여 머리에 있는 목의 정점을 몸에 있는 정점과 정확하게 정렬합니다.</li>
			<li>정렬이 완료되면 두 메시를 모두 선택하여 머리와 몸통을 결합하고 Ctrl+J 를 눌러 단일 개체로 결합합니다.</li>
			<li>한 쌍의 봉고를 가져오거나 모델링하여 적절한 높이의 모델 앞에 배치합니다.</li>
		</ol></li>
		<li>아바타 애니메이션<ol><li>리깅된 모델의 포즈 모드로 전환합니다. 프레임 1에서 모든 본을 선택하고 LocRotScale 에 대한 키프레임을 삽입(I 키 사용)하여 초기 위치를 기록합니다.</li>
			<li>타임라인을 프레임 30으로 이동하여 왼손을 놓고 봉고를 칩니다.</li>
			<li>왼손의 뼈대를 움직이고 회전하여 봉고를 치는 것을 시뮬레이션합니다. 이러한 골격에 대한 키프레임을 삽입합니다. 이 과정을 반복하여 손을 프레임 60의 시작 위치로 되돌리고 다른 키프레임을 삽입하여 작업을 완료합니다.</li>
			<li>타임라인을 오른손이 동작을 시작하는 프레임 90으로 이동합니다. 왼손과 마찬가지로 오른손의 위치와 회전을 조정하여 다른 봉고를 치는 것을 시뮬레이션하고 키프레임을 삽입합니다.</li>
			<li>손을 시작 위치로 되돌리고 키프레임을 삽입하여 프레임 150에서 모션을 종료합니다.</li>
			<li>타임라인을 스크러빙하여 애니메이션을 검토합니다. 더 부드러운 움직임이나 봉고 히트 사이의 더 나은 타이밍을 위해 필요에 따라 조정하십시오. 파일을 저장합니다.</li>
		</ol></li>
	</ol></li>
	<li>장비 설정<ol><li>8개의 EEG 채널이 있는 보드 위에 8개의 EEG 채널이 있는 Daisy 모듈을 부착하여 16채널 EEG 데이터 수집 시스템을 조립합니다.</li>
		<li>Y-Splitter 케이블을 통해 기준 전극을 데이지 보드의 하단 참조 핀과 하단에 있는 보드의 하단 참조 핀(둘 다 SRB로 표시됨)에 연결합니다.</li>
		<li>접지 전극을 하단 보드의 BIAS 핀에 연결합니다.</li>
		<li>16개의 EEG 전극을 N1P-N8P로 표시된 하단 보드 핀과 N1P-N8P로 표시된 데이지 하단 핀에 연결합니다.</li>
		<li>FP10, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 및 T4로 표시된 전극 배치를 위한 국제 4-4 시스템을 준수하는 라벨이 붙은 위치에 겔이 없는 캡에 전극을 삽입합니다.</li>
		<li>수돗물 200mL에 5g의 염화나트륨을 섞은 식염수에 EEG 전극용으로 제공된 18개의 스폰지를 15분 동안 담그십시오.</li>
		<li>각 전극의 아래쪽에 적신 스폰지를 삽입하여 두피와 전극 사이의 접촉을 설정합니다.</li>
		<li>참가자들이 조용한 방에 편안하게 앉을 수 있도록 합니다. 젤이 없는 EEG 캡을 참가자의 두피에 놓고 캡이 참가자의 귀에 맞도록 올바르게 정렬되었는지 확인합니다.</li>
		<li>USB 동글을 노트북에 연결합니다. EEG GUI를 열고 EEG 시스템을 클릭한 다음 데이터 소스 옵션에서 직렬(동글에서), 16개 채널 및 AUTO-CONNECT를 선택합니다.</li>
		<li>데이터 수집 화면 내에서 신호 위젯을 선택하여 각 전극 부위(26)에서 &lt;10kΩ의 최적 임피던스 레벨을 확인하여 연결된 전극의 신호 품질을 확인합니다.</li>
		<li>임피던스가 10kΩ보다 높으면 전극 아래의 스폰지에 식염수 몇 방울을 추가합니다. 임피던스 검사 후 GUI를 닫습니다.</li>
		<li>Acquisition Server 소프트웨어를 열고 Driver(드라이버) 에서 적절한 EEG 보드를 선택한 다음 Connect &gt; Play(재생 클릭하여 EEG 시스템과의 연결을 설정합니다.</li>
		<li>VR 헤드셋을 물티슈로 소독하고 EEG 캡 위에 참가자의 머리에 올려 EEG 데이터를 캡처하는 동안 몰입형 상호 작용을 용이하게 하여 준비합니다.</li>
	</ol></li>
	<li>게임 설정 참고: 다음 지침에서는 OSC(Open Sound Control)를 사용하는 두 가지 게임 엔진 시나리오, 즉 모터 이미지 학습(피드포워드)과 모터 이미지 테스트(피드백)의 설정에 대해 간략하게 설명합니다. 피드포워드 시나리오는 OSC 메시지에 의해 트리거된 관찰된 애니메이션을 통해 사용자에게 모터 이미지를 교육합니다. 피드백 시나리오는 OSC 입력을 기반으로 사용자가 상상한 움직임을 애니메이션화하여 모터 이미지 효율성을 테스트합니다.<ol><li>게임 엔진 소프트웨어를 열고 모터 이미지 훈련 프로젝트를 선택합니다. VR 지원 활성화: 플레이어 &gt; XR 설정 &gt; 프로젝트 설정 편집 &gt; 이동하여 가상 현실 지원을 선택하고 VR 헤드셋이 가상 현실 SDK 아래에 나열되어 있는지 확인합니다.</li>
		<li>기본 카메라를 삭제하고 VR 통합 패키지의 장면으로 VR 카메라를 드래그합니다.</li>
		<li>가져온 애니메이션 파일을 장면에 배치합니다. 필요에 따라 배율과 방향을 조정합니다. 사전 작성된 스크립트가 있는 OSCListener 게임 오브젝트가 OSC 메시지를 기반으로 왼쪽 및 오른쪽 움직임에 대한 모델 애니메이션을 트리거하도록 설정되어 있는지 확인하여 모터 이미지 훈련을 위한 봉고 타격 동작을 시뮬레이션합니다.</li>
		<li>게임 엔진 소프트웨어에서 파일 &gt; 빌드 설정을 엽니다. PC, Mac &amp; Linux Standalone을 선택하고 Windows를 대상으로 설정한 다음 Build and Run을 클릭합니다.</li>
		<li>모터 이미지 테스트 프로젝트의 경우 모터 이미지 교육 프로젝트와 유사한 단계를 수행합니다. 참가자가 상상한 손 움직임을 나타내는 OSC 신호를 수신하도록 설계된 스크립트로 구성된 OSCListener 게임 오브젝트를 사용하여 테스트 프로젝트에 해당하는 애니메이션을 트리거합니다.</li>
	</ol></li>
</ol><img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/66859/66859fig01.jpg"> 그림 1: VR-BCI 설정. 전체 VR-BCI 설정은 참가자가 VR 헤드셋과 EEG 캡을 착용하는 것을 보여줍니다. 참가자들은 가상 환경에서 개인화된 3D 아바타를 보고 컴퓨터에 무선으로 전송된 뇌 신호를 사용하여 아바타의 동작을 제어했습니다. <a href="https://www.jove.com/files/ftp_upload/66859/66859fig01large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
2. 실험 설계
<ol><li>신호 검증 단계<ol><li>소프트웨어 도구를 열어 모터 이미지 시나리오를 설계 및 실행하고, 파일로 이동하여 신호 검증, 수집, CSP 교육, 분류기 훈련, 테스트 및 혼동 매트릭스라는 레이블이 지정된 6개의 Motor-Imagery-BCI 시나리오를 로드합니다.</li>
		<li>신호 검증 시나리오로 이동합니다. 최적화된 신호 처리를 위해 디자이너 박스를 사용하여 필터 차수가 4인 1Hz에서 40Hz 사이의 대역 통과 필터를 원시 신호에 적용합니다.</li>
	</ol></li>
	<li>교육 단계<ol><li>참가자가 시각적 신호에 반응하여 손의 움직임을 상상하면서 운동 이미지 작업을 수행하도록 안내하고 지시합니다.</li>
		<li>모터 이미지 훈련을 위해 파일을 열고 VR 헤드셋을 통해 봉고 세트 위에 서 있는 준비된 3D 아바타를 표시합니다.</li>
		<li>Acquisition 시나리오로 이동하여 Graz Motor Imagery Stimulator 를 두 번 클릭하여 상자를 구성합니다.</li>
		<li>왼쪽 및 오른쪽 움직임 모두에 대해 50, 5 초 시도 (cue-1.25 s 및 MI-3.75 s)를 구성하고, 20 초의 기준선 기간을 통합하고 정신적 피로를 피하기 위해 10 번의 시도 후 10 초의 휴식 간격을 통합합니다.</li>
		<li>왼손 및 오른손 시도를 무작위로 구성하고 시도 전에 상상할 패를 나타내는 단서를 갖습니다.</li>
		<li>OSC 박스에 IP 주소와 포트를 연결하여 상상할 수 있는 핸드에 대한 신호를 모터 이미지 훈련 게임 엔진 프로그램에 전송합니다.</li>
		<li>참가자들이 3D 아바타와 함께 아바타와 같은 속도로 해당 손으로 봉고를 칠 때 손의 움직임을 실행하는 것을 상상하도록 안내하고, 어떤 손을 상상할 것인지를 나타내는 텍스트 신호를 따릅니다.</li>
	</ol></li>
	<li>CSP 및 LDA 교육<ol><li>획득 후 CSP 교육 시나리오를 실행하여 획득 단계의 EEG 데이터를 분석하고 CSP(Common Spatial Patterns)를 계산하여 왼쪽 이미지와 오른쪽 이미지를 구분하는 필터를 생성합니다.</li>
		<li>CSP 교육 후 분류자 교육 시나리오로 이동하여 실행하여 효율적인 작업 분류를 위해 CSP 필터를 사용하는 LDA(선형 판별 분석)를 활용하여 실시간 아바타 제어를 위해 시스템을 준비합니다.</li>
	</ol></li>
	<li>테스트 단계<ol><li>참가자가 뇌-컴퓨터 인터페이스(BCI) 기술을 사용하여 실시간으로 3D 아바타를 제어할 수 있도록 테스트 시나리오로 이동합니다.</li>
		<li>참가자가 이러한 상상된 동작을 실시간으로 해석하기 위해 손의 움직임을 상상하는 동안 캡처된 EEG 데이터에 대해 이전 시나리오에서 훈련된 분류기를 적절한 상자에 로드합니다.</li>
		<li>EEG 시스템 및 VR 설정이 작동하고 교육 단계 설정에 따라 올바르게 구성되었는지 확인합니다.</li>
		<li>테스트 절차에 대해 참가자에게 간략히 설명하고, 텍스트 신호에 의해 프롬프트된 손의 움직임(왼손 또는 오른손을 사용하여 봉고를 치는 것)을 명확하게 상상해야 할 필요성을 강조합니다.</li>
		<li>훈련 단계와 유사하게, 각 참가자에 대해 20번의 시도를 수행하고, 왼손과 오른손의 움직임을 상상하는 것과 무작위로 균등하게 나누어 실시합니다.</li>
		<li>게임 엔진 프로그램에서 이미지화할 핸드를 나타내는 텍스트로 표시할 큐 정보를 전송하도록 OSC 박스를 연결하고 구성합니다.</li>
		<li>다른 OSC 박스에 연결하여 게임 엔진 프로그램이 참가자가 상상한 손을 기반으로 해당 애니메이션을 재생할 수 있도록 왼손 및 오른손 움직임에 대한 예측 값을 전송합니다.</li>
		<li>테스트 시나리오를 실행합니다. Motor Imagery Testing 게임 엔진 프로그램을 실행합니다.</li>
	</ol></li>
</ol>3. 데이터 수집 및 분석
<ol><li>125Hz에서 샘플링된 데이터를 사용하여 실험의 수집 및 테스트 단계에서 EEG 데이터 및 분류기 출력을 지속적으로 기록합니다.</li>
	<li>혼동 매트릭스(Confusion Matrix) 시나리오로 이동하여 획득한 EEG 파일을 각 참가자와 획득 및 교육 단계 모두에 대해 Generic stream reader(일반 스트림 리더)라고 표시된 상자에 로드합니다.</li>
	<li>시나리오를 실행하여 BCI 시스템이 운동 영상 신호를 얼마나 정확하게 해석하는지 평가하기 위한 혼동 행렬을 얻습니다.</li>
	<li>EEG 캡과 VR 헤드셋을 착용하는 동안 아바타의 사용 편의성, 제어 기능, 몰입 수준 및 편안함에 대한 경험에 대한 참가자의 피드백을 수집합니다.</li>
</ol>

뇌-컴퓨터 인터페이스 시스템에서 VR 디지털 아바타를 사용한 모터 이미지

<ol><li>Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Separability+of+motor+imagery+of+the+self+from+interpretation+of+motor+intentions+of+others+at+the+single+trial+level%3A+An+eeg+study%5BTitle%5D)+AND+%22J.+NeuroEng.+Rehabil%22%5BJournal%5D)">Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study.</a> J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).</li>
<li>Lorey, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neural+simulation+of+actions%3A+Effector-versus+action-specific+motor+maps+within+the+human+premotor+and+posterior+parietal+area%5BTitle%5D)+AND+%22Hum.+Brain+Mapp%22%5BJournal%5D)">Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area.</a> Hum. Brain Mapp. 35 (4), 1212-1225 (2014).</li>
<li>Ehrsson, H. H., Geyer, S., Naito, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Imagery+of+voluntary+movement+of+fingers%2C+toes%2C+and+tongue+activates+corresponding+body-part-specific+motor+representations%5BTitle%5D)+AND+%22J+Neurophysiol%22%5BJournal%5D)">Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations.</a> J Neurophysiol. 90 (5), 3304-3316 (2003).</li>
<li>Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain+areas+involved+in+the+control+of+speed+during+a+motor+sequence+of+the+foot%3A+Real+movement+versus+mental+imagery%5BTitle%5D)+AND+%22J+Neuroradiol%22%5BJournal%5D)">Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery.</a> J Neuroradiol. 40 (4), 267-280 (2013).</li>
<li>Pfurtscheller, G., Neuper, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Motor+imagery+activates+primary+sensorimotor+area+in+humans%5BTitle%5D)+AND+%22Neurosci+Lett%22%5BJournal%5D)">Motor imagery activates primary sensorimotor area in humans.</a> Neurosci Lett. 239 (2-3), 65-68 (1997).</li>
<li>Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Event-related+%28de%29synchronization+%28erd%2Fers%29+during+motor+imagery+tasks%3A+Implications+for+brain-computer+interfaces%5BTitle%5D)+AND+%22Int.+J.+Ind.+Ergon%22%5BJournal%5D)">Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces.</a> Int. J. Ind. Ergon. 41 (5), 428-436 (2011).</li>
<li>Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mu+and+beta+rhythm+topographies+during+motor+imagery+and+actual+movements%5BTitle%5D)+AND+%22Brain+Topogr%22%5BJournal%5D)">Mu and beta rhythm topographies during motor imagery and actual movements.</a> Brain Topogr. 12 (3), 177-186 (2000).</li>
<li>Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Understanding+motor+events%3A+A+neurophysiological+study%5BTitle%5D)+AND+%22Exp+Brain+Res%22%5BJournal%5D)">Understanding motor events: A neurophysiological study.</a> Exp Brain Res. 91 (1), 176-180 (1992).</li>
<li>Rizzolatti, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+mirror+neuron+system+and+its+function+in+humans%5BTitle%5D)+AND+%22Anat+Embryol+%28Berl%29%22%5BJournal%5D)">The mirror neuron system and its function in humans.</a> Anat Embryol (Berl). 210 (5-6), 419-421 (2005).</li>
<li>Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Functional+cerebral+reorganization+following+motor+sequence+learning+through+mental+practice+with+motor+imagery%5BTitle%5D)+AND+%22Neuroimage%22%5BJournal%5D)">Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery.</a> Neuroimage. 20 (2), 1171-1180 (2003).</li>
<li>Cramer, S. C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Harnessing+neuroplasticity+for+clinical+applications%5BTitle%5D)+AND+%22Brain%22%5BJournal%5D)">Harnessing neuroplasticity for clinical applications.</a> Brain. 134, Pt 6 1591-1609 (2011).</li>
<li>Nojima, I., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Human+motor+plasticity+induced+by+mirror+visual+feedback%29%5BTitle%5D)+AND+%22J+Neurosci%22%5BJournal%5D)">Human motor plasticity induced by mirror visual feedback).</a> J Neurosci. 32 (4), 1293-1300 (2012).</li>
<li>Slater, M. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aSlater%2C+M+%22Implicit+learning+through+embodiment+in+immersive+virtual+reality%22">Implicit learning through embodiment in immersive virtual reality</a>. , Springer. (2017).</li>
<li>Tham, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Understanding+virtual+reality%3A+Presence%2C+embodiment%2C+and+professional+practice%5BTitle%5D)+AND+%22IEEE+Trans.+Prof.+Commun%22%5BJournal%5D)">Understanding virtual reality: Presence, embodiment, and professional practice.</a> IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).</li>
<li>Choi, J. W., Kim, B. H., Huh, S., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Observing+actions+through+immersive+virtual+reality+enhances+motor+imagery+training%5BTitle%5D)+AND+%22IEEE+Trans.+Neural+Syst.+Rehabil.+Eng%22%5BJournal%5D)">Observing actions through immersive virtual reality enhances motor imagery training.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).</li>
<li>Lakshminarayanan, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+effect+of+combining+action+observation+in+virtual+reality+with+kinesthetic+motor+imagery+on+cortical+activity%5BTitle%5D)+AND+%22Front+Neurosci%22%5BJournal%5D)">The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity.</a> Front Neurosci. 17, 1201865(2023).</li>
<li>Juliano, J. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Embodiment+is+related+to+better+performance+on+a+brain-computer+interface+in+immersive+virtual+reality%3A+A+pilot+study%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study.</a> Sensors. 20 (4), 1204(2020).</li>
<li>Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+effects+of+subthreshold+vibratory+noise+on+cortical+activity+during+motor+imagery%5BTitle%5D)+AND+%22Motor+Control%22%5BJournal%5D)">The effects of subthreshold vibratory noise on cortical activity during motor imagery.</a> Motor Control. 27 (3), 559-572 (2023).</li>
<li>Cole, S. W., Yoo, D. J., Knutson, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Interactivity+and+reward-related+neural+activation+during+a+serious+videogame%5BTitle%5D)+AND+%22PLoS+One%22%5BJournal%5D)">Interactivity and reward-related neural activation during a serious videogame.</a> PLoS One. 7 (3), e33909(2012).</li>
<li>Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+combined+impact+of+virtual+reality+neurorehabilitation+and+its+interfaces+on+upper+extremity+functional+recovery+in+patients+with+chronic+stroke%5BTitle%5D)+AND+%22Stroke%22%5BJournal%5D)">The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke.</a> Stroke. 43 (10), 2720-2728 (2012).</li>
<li>Turolla, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+reality+for+the+rehabilitation+of+the+upper+limb+motor+function+after+stroke%3A+A+prospective+controlled+trial%5BTitle%5D)+AND+%22J+Neuroeng+Rehabil%22%5BJournal%5D)">Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial.</a> J Neuroeng Rehabil. 10, 85(2013).</li>
<li>Isaacson, B. M., Swanson, T. M., Pasquina, P. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+use+of+a+computer-assisted+rehabilitation+environment+%28caren%29+for+enhancing+wounded+warrior+rehabilitation+regimens%5BTitle%5D)+AND+%22J+Spinal+Cord+Med%22%5BJournal%5D)">The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens.</a> J Spinal Cord Med. 36 (4), 296-299 (2013).</li>
<li>Alchalabi, B., Faubert, J., Labbe, D. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((EEG+can+be+used+to+measure+embodiment+when+controlling+a+walking+self-avatar%5BTitle%5D)+AND+%22IEEE+Conf.+on+Virtual+Reality+and+3D+User+Interfaces+%28VR%29%22%5BJournal%5D)">EEG can be used to measure embodiment when controlling a walking self-avatar.</a> IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).</li>
<li>Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+eeg-based+brain-computer+interface+to+a+virtual+avatar+enhances+cortical+involvement+in+human+treadmill+walking%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking.</a> Sci Rep. 7 (1), 8895(2017).</li>
<li>Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+brain-computer+interface+to+control+an+avatar+in+a+virtual+reality+environment%5BTitle%5D)+AND+%225th+ISSNIP-IEEE+Biosignals+and+Biorobotics+Conf.+%28BRC%29%22%5BJournal%5D)">Using brain-computer interface to control an avatar in a virtual reality environment.</a> 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).</li>
<li>Hinrichs, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparison+between+a+wireless+dry+electrode+eeg+system+with+a+conventional+wired+wet+electrode+eeg+system+for+clinical+applications%5BTitle%5D)+AND+%22Scientific+reports%22%5BJournal%5D)">Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications.</a> Scientific reports. 10 (1), 5218(2020).</li>
<li>Škola, F., Tinková, S., Liarokapis, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Progressive+training+for+motor+imagery+brain-computer+interfaces+using+gamification+and+virtual+reality+embodiment%5BTitle%5D)+AND+%22Front+Human+Neurosci%22%5BJournal%5D)">Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment.</a> Front Human Neurosci. 13, 329(2019).</li>
</ol>

저자는 공개할 이해 상충이 없습니다.

VR 기술과 함께 MI를 적용하면 운동 계획 및 실행을 위한 뇌의 자연적인 메커니즘을 활용하여 재활을 위한 유망한 방법을 제공합니다. 물리적 움직임 2,3,4의 신경 활동을 반영하여 특정 뇌 주파수 대역에서 이벤트 관련 비동기화를 유도하는 MI의 능력은 운동 제어에 관여하는 신경망을 참여시키고 강화하기 위한 강력한 프레임워크를 제공한다8. 이 과정은 VR의 몰입형 품질에 의해 더욱 향상되며, VR은 존재감과 신체 소유권을 증폭시킬 뿐만 아니라 움직임의 시각화를 용이하게 하여 MI 경험16을 풍부하게 합니다.
그들이 대표하는 주제와 매우 흡사한 개인화 된 3D 아바타의 개발은이 분야에서 주목할만한 혁신을 나타냅니다 13,14,15. 이 접근 방식은 VR 환경에서 게임화된 작업을 사용하여 공동 적응형 MI-BCI 훈련에 대한 Skola et al.27의 작업과 개념적으로 일치합니다. 그러나 이 프로토콜은 Skola et al.이 사용하는 손에 초점을 맞춘 시점 관점과 달리 참가자의 외모를 밀접하게 반영하는 풀 3D 아바타를 사용함으로써 상당한 차별화를 도입합니다. 사용자가 상상한 움직임을 실시간으로 시각적으로 표현함으로써 이러한 아바타는 몰입감을 심화시키고 상상된 움직임과 실제 움직임 사이의 연결을 강화한다18. 이 원고에 자세히 설명된 접근 방식은 보다 뚜렷한 ERD 패턴을 촉진하여 보다 효과적인 신경 적응 및 회복으로 이어질 것으로 예상됩니다.
그러나 오프라인 BCI 방법론에서 아바타의 실시간 제어로의 전환은 특히 사용자가 상상하는 움직임에 대한 시스템의 정확성과 응답성을 보장하는 데 어려움을 겪습니다. 이 시스템은 노트북에 연결된 EEG 데이터 수집 시스템과 관련된 설정을 통해 실시간 컴퓨팅을 보장하며, 이 시스템은 Oculus Rift-S VR 헤드셋과 인터페이스합니다. 이 설정을 통해 EEG 데이터 캡처와 VR 몰입감을 원활하게 통합할 수 있으며, Acquisition Server 및 Game Engine을 통해 맞춤형 개발 3D 아바타를 통한 시각적 피드백 및 상호 작용이 가능합니다.
하이엔드 그래픽 카드가 장착된 게이밍 노트북을 활용하고 큐 및 핸드 예측 값을 위해 OSC를 통해 경량 메시지를 사용함으로써 BCI-VR 통합 시나리오에서 시스템의 전체 대기 시간을 효율적으로 최소화할 수 있습니다. 게이밍 노트북을 사용하면 EEG 보드를 통해 수집된 EEG 데이터를 신속하게 처리할 수 있으며, 초기 디지털화 및 전송 대기 시간이 5ms 미만으로 유지됩니다. 후속 신호 처리 및 분류는 신호 필터링과 특징 추출을 위한 CSP와 같은 알고리즘 실행을 모두 고려하여 약 20-40ms의 추가 대기 시간에 기여할 것으로 예상할 수 있습니다. 시나리오 디자이너와 게임 엔진 간의 통신은 왼손 및 오른손 움직임에 대한 간단한 숫자 신호를 전송하는 OSC에 의해 촉진되며, 오버헤드를 최소화하도록 설계되었으며 대기 시간이 5-10ms 이하로 추가될 수 있습니다. 그래픽 카드의 계산 효율성 덕분에 게임 엔진의 이러한 명령 처리는 매우 빠르며, 지연 시간을 20ms 미만으로 유지하는 것을 목표로 하는 VR 헤드셋이 제공하는 VR 환경에서 시각적 피드백을 렌더링하기 전에 10ms 미만의 지연을 또 다른 원인으로 합니다. 총체적으로 이러한 구성 요소는 시너지 효과를 일으켜 시스템의 총 지연 시간을 바람직한 범위인 45-75ms 내에서 유지하여 몰입형 VR 경험과 효과적인 BCI 애플리케이션에 중요한 실시간 응답성을 보장합니다.
또한, 참가자들은 훈련 단계에서 아바타의 VR 설정과 속도에 익숙해지고 테스트 단계에서 3D 아바타를 제어하기 위해 자신의 생각을 사용할 수 있도록 튜토리얼 모듈의 형태로 충분한 연습 시험을 받았습니다. 신호 품질 검증에 대한 강조, 작업 분류를 위한 CSP 및 LDA 사용, 세부 테스트 단계는 실시간 아바타 제어의 성공에 매우 중요합니다.
본 연구의 결과는 개인화된 3D 아바타의 실시간 BCI 제어를 재활에 활용하기 위한 타당성과 유효성을 입증함으로써 이 분야에 기여할 것으로 기대된다. 이 연구는 운동 영상 훈련 단계와 실시간 테스트 간의 운동 의도 감지 정확도를 비교함으로써 재활 결과를 개선할 수 있는 이 기술의 잠재력에 대한 귀중한 통찰력을 제공할 것입니다. 또한 제어 용이성과 경험 한 몰입 수준에 대한 참가자 피드백은 BCI 및 VR 기술의 향후 개발에 정보를 제공하여 보다 매력적이고 효과적인 재활 인터페이스를 만드는 것을 목표로 합니다.
BCI 및 VR 기술의 발전은 보다 개인화되고 매력적이며 효과적인 재활 프로토콜에 대한 새로운 가능성을 열어줍니다. 향후 연구는 아바타의 실시간 제어를 위한 기술을 개선하고, 신호 분류를 위한 보다 정교한 머신 러닝 알고리즘의 사용을 탐구하고, 이 접근 방식의 적용을 더 광범위한 신경 질환으로 확장하는 데 중점을 두어야 합니다. 또한 신경 장애가 있는 개인의 기능 회복과 삶의 질에 대한 이 재활 방법의 장기적인 영향을 평가하기 위해 종단 연구가 필요합니다.
재활에서 MI와 VR 기술의 통합은 상당한 가능성을 보여주지만 몇 가지 제한 사항에 주의를 기울여야 합니다. 명확한 MI 신호를 생성하는 개인의 능력과 MI 및 VR 중재에 대한 신경 반응에는 상당한 범위가 있습니다. 이러한 가변성은 재활 과정의 효율성이 환자마다 크게 다를 수 있음을 의미하며, 개인차에 맞게 치료를 개인화하는 것이 상당한 도전이 됩니다. 또한 아바타의 실시간 제어에서 높은 정확도와 응답성을 달성하는 것은 복잡한 노력입니다. MI 신호 해석의 지연이나 오류는 몰입형 경험을 방해하여 잠재적으로 재활 프로세스의 효율성을 감소시킬 수 있습니다. VR 기술은 몰입감과 참여도를 향상시킬 수 있지만 일부 사용자에게는 불편함이나 멀미를 유발할 수 있으며, 이는 긴 세션에 참여하는 능력에 영향을 미치고 결과적으로 치료의 전반적인 성공에 영향을 미칠 수 있습니다.
결론적으로, MI 신호를 사용하여 개인화된 3D 아바타의 실시간 제어로 대표되는 BCI와 VR의 통합은 신경 재활에 대한 최첨단 접근 방식을 나타냅니다. 현재 프로토콜은 이러한 통합의 기술적 실현 가능성을 강조할 뿐만 아니라 기술과 신경 과학이 융합되어 인간 두뇌의 회복 및 적응 능력의 잠재력을 최대한 발휘하는 재활의 새로운 시대를 위한 발판을 마련합니다.

신경 장애가 있는 환자를 위한 재활 패러다임은 뇌-컴퓨터 인터페이스(BCI) 및 몰입형 가상 현실(VR)과 같은 첨단 기술의 통합으로 혁신적인 변화를 겪고 있으며, 회복을 촉진하기 위한 보다 미묘하고 효과적인 방법을 제공합니다. BCI 기반 재활의 핵심인 운동 이미지(MI)는 실제 운동 실행 없이 신체 움직임에 대한 정신적 리허설을 포함한다1. MI는 움직임을 상상하는 것이 신체 행동 자체를 수행하는 것과 밀접하게 유사한 뇌 활동 패턴을 유발하는 신경 메커니즘을 이용합니다 2,3,4. 특히, MI에 관여하면 뇌의 전기 활동5,6,7의 알파 (8-13 Hz) 및 베타 (13-25 Hz) 주파수 대역에서 이벤트 관련 비동기화 (ERD)로 알려진 현상이 발생합니다. ERD는 실제 운동 중에도 관찰되는 패턴인 기본 뇌 리듬의 억제를 나타내며, 따라서 BCI 보조 재활 프레임워크7 내에서 MI를 사용하기 위한 신경 기질을 제공합니다. MI와 신체 운동 사이의 대뇌 피질 활성화의 이러한 유사성은 MI가 운동 제어에 관여하는 신경망을 효과적으로 자극할 수 있음을 시사하며, 이는 MI가 운동 결손이 있는 환자에게 유용한 도구가 될 수 있음을 시사한다8. 더욱이, MI의 실천은 단순한 정신적 리허설을 넘어 행동 관찰 전략(action observation strategies)을 포함하도록 확장되었다9. 과제와 관련된 신체 부위의 움직임이나 다른 사람의 행동을 관찰하는 것은 행동 관찰과 실행에 모두 반응하는 뉴런 그룹인 거울 뉴런 네트워크(mirror neuron network, MNN)를 활성화할 수 있다9. 관찰을 통한 MNN의 활성화는 기능적 MRI10, 양전자 방출 단층 촬영(11) 및 경두개 자기 자극(transcranial magnetic stimulation)12을 포함한 다양한 신경 영상 양식에 의해 입증된 바와 같이 대뇌 피질 가소성을 유도하는 것으로 입증되었다. 증거는 행동 관찰에 의해 강화된 MI 훈련이 영향을 받은 개인에게 상당한 신경 적응과 회복으로 이어질 수 있다는 개념을 뒷받침합니다.
가상 현실 기술은 신체 소유 의식을 향상시키고 현실 세계와 가상 세계 사이의 구분을 모호하게하는 몰입 형 환경을 제공함으로써 MI 기반 재활 영역에 혁명을 일으켰습니다 13,14,15. VR의 몰입형 품질은 참가자가 가상 환경을 실제처럼 인식할 수 있도록 하기 때문에 행동 관찰 및 운동 이미지 연습에 효과적인 도구입니다15. 연구에 따르면 VR 장치는 기존 2D 모니터 디스플레이에 비해 MI 훈련에 더 뚜렷한 영향을 미친다고 합니다15,16. 이러한 발견은 감각 운동 피질의 ERD 진폭 비율 증가와 같은 향상된 신경 활동으로 입증되며, 시각 유도 MI 운동 중 뇌 활동을 자극하는 데 있어 더 높은 몰입 수준의 이점을 강조합니다16. 이 시스템은 직접적인 피드백을 제공함으로써 팔 또는 팔다리 움직임과 관련된 작업에 대한 MI 수행을 향상시키는 데 도움을 주어 재활 과정을 향상시킵니다 16,17. MI와 VR의 시너지 효과는 감각, 지각, 인지 및 운동 활동의 통합을 강조합니다18,19. 이 조합은 뇌졸중 생존자20,21와 참전 용사22에게 특히 유익했으며, 연구에 따르면 VR을 MI 기반 재활 프로토콜에 통합하면 재활 시간을 크게 단축하고 회복 결과를 개선할 수 있습니다. 재활 분야에서 VR의 독특한 특징은 특별히 설계된 가상 환경 내에서 존재감을 조성하는 능력에 있으며, 운동 재활 연구에서 점점 더 많이 활용되고 있는 사용자의 신체를 나타내는 가상 아바타를 포함함으로써 재활 경험을 더욱 향상시킬 수 있습니다23. 이 아바타는 팔다리 움직임을 사실적인 3차원으로 표현하여 MI를 돕고 운동 피질 활성화에 큰 영향을 미칩니다. VR은 참가자가 특정 작업을 수행하는 가상 자아를 시각화할 수 있도록 함으로써 MI 경험을 풍부하게 할 뿐만 아니라 보다 빠르고 효과적인 신경 재구성 및 회복 과정을 촉진합니다24. MI 훈련에서 가상 아바타와 시뮬레이션된 환경을 구현하는 것은 몰입형 가상 세계 내에서 가상 신체의 자연스럽고 통합된 사용을 강조합니다.
재활을 위한 MI의 3D 아바타에 대한 BCI 기반 제어의 놀라운 이점에도 불구하고 오프라인 방법론의 우세한 사용에는 상당한 제한이 남아 있습니다. 현재, 대부분의 BCI 애플리케이션은 아바타(24,25)를 조작하기 위해 연속적으로 활용되는 사전 기록된 뇌파(EEG) 데이터를 캡처하는 것을 포함한다. 실시간 아바타 제어가 이루어지는 시나리오에서도 이러한 아바타는 종종 일반적이며 그들이 대표하는 참가자23과 닮지 않았습니다. 이러한 일반적인 접근법은 효과적인 재활에 중요한 몰입감과 신체 소유 의식을 심화시킬 수 있는 중요한 기회를 놓치고 있다24. 피사체의 정확한 모습을 반영하는 3D 아바타를 생성하면 경험의 몰입 경험을 크게 향상시킬 수 있다16. 가상 세계에서 자신을 시각화함으로써 참가자는 상상한 움직임과 실제 움직임 사이에 더 강력한 연결을 촉진할 수 있으며, 잠재적으로 더 뚜렷한 ERD 패턴으로 이어질 수 있으므로 더 효과적인 신경 적응 및 회복으로 이어질 수 있습니다16. BCI 및 VR 분야는 개인화된 3D 아바타의 실시간 제어로 발전함으로써 재활 패러다임을 크게 개선하여 환자 회복을 위한 보다 미묘하고 매력적이며 효과적인 방법을 제공할 수 있습니다.
본 논문은 3D 아바타의 VR 기반 실시간 BCI 제어의 하드웨어와 소프트웨어의 생성, 설계 및 기술적 측면을 제시하며, 운동 재활 환경으로의 통합을 지원하는 혁신적인 결과를 강조합니다. 제안된 시스템은 뇌파(EEG)를 활용하여 피험자에 의해 생성된 운동 이미지 신호를 캡처한 다음 아바타의 움직임과 행동을 실시간으로 제어하는 데 사용됩니다. 현재의 접근 방식은 상상된 움직임과 관련된 뇌 활동을 인식하고 해석하는 데 있어 VR 기술의 고급 기능과 EEG의 정밀도를 결합하여 사용자가 생각의 힘을 통해 디지털 환경과 상호 작용할 수 있는 보다 매력적이고 효과적인 인터페이스를 만드는 것을 목표로 합니다.

<table><tbody><tr><td>Alienware 노트북</td><td>Dell</td><td></td><td>고급 게임용 노트북(GTX1070 그래픽 카드 포함</td></tr>) <tr><td>Oculus Rift-S VR 헤드셋</td><td>Meta</td><td></td><td>VR 헤드셋</td></tr><tr><td>OpenBCI Cyton Daisy</td><td>OpenBCI</td><td></td><td>EEG 시스템</td></tr><tr><td>OpenBCI 젤 프리 캡</td><td>OpenBCI</td><td></td><td>참가자의 두피 위에 EEG 전극을 놓기 위한 젤 프리 캡</td></tr></tbody></table>

가상 현실 지원 뇌-컴퓨터 인터페이스 환경에서 구현된 디지털 트윈을 통한 모터 이미지 성능

Motor Imagery Performance Through Embodied Digital Twins in a Virtual Reality-Enabled Brain-Computer Interface Environment

이 연구는 뇌-컴퓨터 인터페이스(BCI) 및 가상 현실(VR) 기술을 3차원(3D) 아바타의 사용자 정의와 통합하여 신경 재활을 위한 혁신적인 프레임워크를 소개합니다. 재활에 대한 전통적인 접근 방식은 주로 깊이 있는 몰입형 상호 작용 경험을 제공할 수 없기 때문에 환자를 완전히 참여시키지 못하는 경우가 많습니다. 이 연구는 참가자가 실제 실행 없이 신체적 움직임을 시각화하는 MI(Motor Imagery) 기술을 활용하여 이러한 격차를 메우기 위해 노력합니다. 이 방법은 뇌의 신경 메커니즘을 활용하여 움직임을 상상할 때 움직임 실행과 관련된 영역을 활성화하여 회복 과정을 촉진합니다. VR의 몰입형 기능과 뇌파검사(EEG)의 정밀도를 통합하여 상상된 움직임과 관련된 뇌 활동을 포착하고 해석하는 것이 이 시스템의 핵심을 형성합니다. 개인화된 3D 아바타 형태의 디지털 트윈을 사용하여 가상 환경 내에서 몰입감을 크게 향상시킵니다. 이러한 고조된 체감은 효과적인 재활에 매우 중요하며, 환자와 가상 환자 간의 연결을 강화하는 것을 목표로 합니다. 이를 통해 이 시스템은 운동 이미지 성능을 개선하는 것뿐만 아니라 보다 매력적이고 효과적인 재활 경험을 제공하는 것을 목표로 합니다. BCI의 실시간 적용을 통해 이 시스템은 상상한 움직임을 3D 아바타가 수행하는 가상 동작으로 직접 변환하여 사용자에게 즉각적인 피드백을 제공할 수 있습니다. 이 피드백 루프는 운동 제어 및 회복에 관여하는 신경 경로를 강화하는 데 필수적입니다. 개발된 시스템의 궁극적인 목표는 사용자의 인지 과정에 보다 상호 작용적이고 반응적으로 반응하도록 함으로써 운동 이미지 운동의 효과를 크게 향상시켜 신경 재활 분야의 새로운 길을 닦는 것입니다.

표시된 결과는 위에서 설명한 프로토콜을 따른 5명의 개인으로부터 얻은 것입니다. 21세에서 38세 사이의 건강한 성인 총 5명(여성 3명)이 연구에 참여했습니다.
운동 이미지 훈련 및 테스트 조건 모두에서 각 참가자의 개별 분류 성능은 그림 2에 나와 있습니다. 훈련 및 테스트 세션 동안 왼쪽과 오른쪽 MI 신호를 구별하는 분류기의 정확도를 평가하기 위해 모든 피험자에 대한 평균 혼동 행렬을 계산했습니다( 그림 3 참조).
훈련 세션 동안 왼쪽 및 오른쪽 운동 이미지에 대해 계산된 CSP 가중치는 그림 4A에서 대표 참가자에 대한 지형 패턴으로 투영되었습니다. 또한, 왼손에 해당하는 반대쪽 오른쪽 감각 운동 영역에 위치한 C4 전극과 오른손의 왼쪽 감각 운동 영역에 위치한 C3 전극에서 수집된 EEG 데이터에 대해 동일한 참가자에 대해 시간-주파수 분석을 수행했습니다. 이벤트 관련 스펙트럼 섭동(ERSP)을 식별하기 위한 시간-주파수 플롯은 epoch 동안 8Hz에서 30Hz에 이르는 주파수의 진폭이 시간이 지남에 따라 동적으로 어떻게 변하는지 보여주며, 모터 이미지 훈련 세션의 그림 4B 에 나와 있습니다. 알파(8-12Hz) 및 베타(13-30Hz) 대역에 중점을 두고 각 Epoch에 대한 ERSP를 기준 스펙트럼으로 나누어 정규화했으며 이러한 정규화된 값에서 평균 ERSP를 계산했습니다.
또한 참가자들의 피드백은 EEG 캡과 VR 헤드셋의 편안함과 사용 용이성에 대해 대체로 긍정적이었습니다. 참가자들은 특히 3D 아바타의 실시간 제어에 열광했습니다. 그러나 참가자들은 봉고 타격 동작에 더 나은 몰입을 위해 사운드 피드백이 동반될 수 있다고 느꼈습니다.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/66859/66859fig02.jpg"> 그림 2: 운동 이미지 교육 및 테스트 세션 중 각 참가자의 정확도 백분율. 참양성률(TP)은 분류기 모델이 MI 신호로 올바르게 식별한 운동 이미지(MI) 신호의 비율을 보여줍니다. 거짓 긍정(FP) 비율은 왼쪽 MI 신호가 오른쪽 MI 신호로 잘못 분류된 빈도를 나타냅니다. 거짓음성(FN) 비율은 모델이 감지하지 못한 실제 왼쪽 MI 신호의 비율을 나타냅니다. 마지막으로, 진음성(TN) 비율은 모델이 정확하게 인식한 오른쪽 MI 신호의 비율을 나타냅니다. S1, S2, S3, S4 및 S5는 5명의 참가자를 나타냅니다. <a href="https://www.jove.com/files/ftp_upload/66859/66859fig02large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/66859/66859fig03.jpg"> 그림 3: 모터 이미지 훈련 및 테스트 세션 중 분류 성능의 평균 혼동 행렬. 전체 평균 정확도는 왼쪽 및 오른쪽 MI 신호를 모두 올바르게 분류할 수 있는 모델의 능력을 반영합니다. <a href="https://www.jove.com/files/ftp_upload/66859/66859fig03large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/66859/66859fig04.jpg"> 그림 4: 대표 참가자의 운동 이미지 훈련 세션 중 양손에 대한 CSP 필터, 패턴 및 시간-주파수 플롯. (A) 그림은 분산에 따라 두 클래스(왼쪽과 오른쪽)를 최대한 구분하는 S1에 대한 CSP 필터를 보여줍니다. (B) S1에 대한 시간-주파수 플롯. 파란색 영역은 이벤트 관련 비동기화를 나타냅니다. 0ms에서 왼손 또는 오른손을 상상하는 신호는 1250ms 동안 표시되었습니다. 큐를 따라 참가자는 봉고가 해당 손으로 치는 동작을 상상했습니다. <a href="https://www.jove.com/files/ftp_upload/66859/66859fig04large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>

가상 현실 환경에서의 운동 이미지는 뇌-컴퓨터 인터페이스 시스템에 광범위하게 응용됩니다. 이 원고는 가상 현실 환경에서 참가자가 상상한 동작을 수행하는 참가자와 유사한 개인화된 디지털 아바타를 사용하여 몰입감과 신체 소유 의식을 향상시키는 방법을 설명합니다.

This study introduces an innovative framework for neurological rehabilitation by integrating brain-computer interfaces (BCI) and virtual reality (VR) ...

motor-imagery-performance-through-embodied-digital-twins-virtual

Research

연구

JoVE Journal

Bioengineering

생명공학

이 비디오에서는, 우리는 뇌파 뚜껑을 설정하는 시스템을 보정하고, 사용자가 상상 움직임을 사용하여 2 차원에 커서를 이동하는 훈련을 포함한 뇌 - 컴퓨터 인터페이스 실험을 실행하는 데 필요한 단계를 보여줍니다.

BCI2000로 가상 커서 움직임을위한 EEG 기반 뇌 - 컴퓨터 인터페이스를 사용하여

이 문서 전체를 몸 애니메이션 캐릭터가 가상 사회적 상호 작용을 관찰의 신경 상호 조사를 기능성 자기 공명 영상 (fMRI)와 함께 사용되는 실험 디자인을 보여줍니다.

가상 사회 상호 작용을 관찰의 신경 상호의 두뇌 이미징 조사

최근, 잠재 고객의 광대한 금액은 인간 - 로봇 상호 작용 시스템을 사용할왔다. 본 논문에서 우리는 신속하게 상호 작용 기능을 가능한 라이브러리를 만들 수 있습니다 오픈 소스 소프트웨어와 함께 새로운 로봇 장치의 통합을 설명합니다. 우리는 다음 neurorehabilitation 어플 리케이션을위한 임상 응용 프로그램을 설명합니다.

Haptic 그래픽 / 재활 : 가상 환경 도서관에 로봇을 통합하고 뇌졸중 치료에 적용

경두개 자기 자극, 근전도 검사 및 3D 모션 캡처는 인간의 신경근 기능을 조사하기 위해 일반적으로 사용되는 비침습적 기술입니다. 이 백서에서는 이러한 세 가지 도구 모두에서 생성된 데이터를 동기식으로 샘플링하는 프로토콜과 가상 현실 자극 프레젠테이션 및 피드백의 고유한 추가에 대해 설명합니다.

경 두개 자기 자극, 근전도, 모션 캡쳐, 가상 현실을 이용하여 인간의 모터 제어 유학을위한 다기능 설치

이 문서에서는 거울 환상을 사용하여 기계 학습을 이용하여 분석으로 정신 물리학 절차를 결합하는 2 차원 평면 상에 고유 수용성 드리프트를 추정 할 수있는 새로운 방법을 설명합니다.

서포트 벡터 머신을 사용하여 2D 평면에 고유 수용성 드리프트에 대한 시각화 방법

여기, 우리는 가상 손과 몸 관련 자기 인식 / -representation을 연구하는 데 사용할 수있는 가상 얼굴 환상의 패러다임을 설명합니다. 이들은 이미 특정 조건 하에서, 가상 손이나 얼굴 본체 표현 오히려가요임을 시사의 몸 표현으로 통합 될 수 있다는 것을 보여주기를 위해 다양한 연구에 사용되었다.

가상-손과 가상 얼굴 환상을 만드는 것은 자기 표현을 조사하기

(훈련 비) 반면에 모터 기술 성능 향상을 위해 한 손으로의 자발적인 제어를 이용 하는 새로운 가상 현실 기반된 설치를 설명 합니다. 이 마치 훈련 비 손을 움직이는 운동 기반 실시간 감각 피드백을 제공 하 여 이루어집니다. 이 새로운 접근은 일방적인 hemiparesis 환자의 재활을 향상 시키기 위해 사용할 수 있습니다.

가상 현실을 사용 하 여 다른 한 손으로에서 모터 기술 지식을 전송 하

여기 sensate 가상 또는 로봇 인공 손을 제어 개발 기관의 감각 특징 짓는 프로토콜 선물이. Psychophysical 설문 조사 기관의 명시적 경험을 잡으려고 고용 고 시간 간격이 견적 (의도적인 바인딩) 암시적으로 기관의 감각을 측정 하는.

감각 신경-기계 인터페이스 운영 무생물의 작업을 통해 기관의 특성

소설 소개 행동 결합 및 neuroimaging 프로토콜 고용 실시간 비디오 프로젝션 다리에서 자기 공명 화상 진 찰 스캐너 환경 내에서 미러 치료와 관련 된 신경 상호 특성화 목적 팬텀 사지 통증과 수족 과목입니다.

팬텀 사지 통증에 대 한 미러 치료와 관련 된 신경 상관 관계의 특성에 대 한 MRI에서 실시간 비디오 프로젝션

당사는 밀접한 루프에서 인체와 심장 신호를 스트리밍, 매개 변수화, 분석 및 수정하는 공동 적응 인터페이스를 구축하기 위한 프로토콜 및 분석 방법을 제시합니다. 이 설정은 생물 물리학 변화를 추적하는 데 도움이 외부 감각 입력을 가진 사람의 말초 및 중추 신경계에서 파생 된 신호를 인터페이스합니다.

닫기 루프 인터페이스를 사용하여 재매개 변수화된 주변 신호의 실시간 프록시 제어

이 연구의 목적은 뇌졸중 후 상지 운동 기능 장애에 대한 운동 영상 뇌-컴퓨터 인터페이스(MI-BCI)의 표준 임상 작동에 대한 중요한 참고 자료를 제공하는 것입니다.

뇌졸중 후 상지 운동 기능 장애의 재활을 위한 운동 이미지: 뇌-컴퓨터 인터페이스

학습하세요 EEG와 가상 현실을 활용한 뇌-컴퓨터 인터페이스 기반 운동 이미지 재활 방법을. 개인화된 3D 아바타가 몰입감과 신체 소유감을 높여 상지 기능 회복에 효과적입니다.

가상 현실 지원 뇌-컴퓨터 인터페이스 환경에서 구현된 디지털 트윈을 통한 모터 이미지 성능

더 많은 동영상 탐색