Name: 인간형 로봇에 뇌 - 로봇 상호 작용에 대한 실험 절차를 SSVEP 기반 (동영상) | JoVE Journal
Uploaded: 2015-11-24T15:00:00.000+00:00
Duration: 11 min 1 s
Description: 학습하세요 SSVEP 기반 뇌-로봇 상호작용 실험 절차를 인간형 로봇에 적용하는 방법을. EEG 전극 배치와 분류기 훈련을 통해 실시간 로봇 제어를 구현하고 노약자 돌봄 및 위험 작업 수행에 활용할 수 있습니다.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

저자는이 논문에서보고 된 실험을 수행 그의 도움 씨 홍콩 후 그들의 감사의 말씀을드립니다. 이 작품은 중국 국가 자연 과학 재단 (제 61473207)에 의해 부분적으로 지원되었다.

1. 뇌파 신호를 획득 <ol><li> 피사체까지의 실험 과정을 설명하고 실험에 참여 동의서를 얻을 수 있습니다. </li><li> 줄자를 사용하여 피사체의 머리의 둘레를 측정하고 측정에 가까운 EEG 캡 크기를 선택한다. 전극 배열은 &quot;10-20 국제 시스템&quot;(12)에 기초한다. </li><li> nasion 및 inion 사이의 거리를 측정한다. 캡을 정렬하기위한 기준으로 거리의 10 %를 표시하는 피부 마커 연필을 사용하여 환자의 두피에 정점 같은 거리의 중간 점을 표시한다. </li><li> FP1과 FP2 전극의 중간 점에 10 %의 표를 정렬하여 주제에 뇌파​​ 캡을 놓습니다. 정점에 캡의 Cz에 위치 전극. </li><li> FZ, CZ, 년 Pz 오즈는 머리의 중간 선에 있는지 확인하고 정중선의 양쪽에있는 전극의 각 쌍은 수평 라인에 있는지. </li><li>전도성 젤 설정 1과 설정 2 전극을 바르고. 의료용 테이프를 이용하여 좌우 mastoids에 기준 전극을 배치했다. 턱끈을 조입니다. </li><li> 전극 홀더에 무딘 팁 주사기를 삽입하고 다음 순서에 따라 각 전극에 전도성 젤을 주​​입 첫째, 이마 및 &quot;접지&quot;전극 초, O2, O1, 오즈 년 Pz 실험에 사용 된 다섯 전극 그리고 Cz에. </li><li> 자극 모니터 앞에있는 편안한 의자 60cm의 피사체 좌석. 모니터의 센터와 동일한 수평 수준에 그 / 그녀의 눈을 유지하기 위해 주제를 지시한다. </li><li> EEG 데이터 취득 시스템에 전극 와이어를 연결한다. 1 kHz의 샘플링 레이트를 구성. </li><li> 전용 DPC에 뇌파 신호 품질을 검사합니다. 특정 전극에 문제가있는 경우, 다시 분사 겔은 채널의 임피던스를 조정한다. </li><li> 4.615, 12, 15 및 20의 주파수에서 네 개의 로봇 이미지를 깜박 전용 SPC를 사용하여사용자 인터페이스의 시각적 자극 같은 Hz로는도 2에 도시 된 바와 같이. </li></ol> 2. 오프라인 분석 SSVEP 특징 <ol><li> 각각의 주제에 대해 오프라인 교육 실험 (32) 시험을 수행하고이 과정을 통해 뇌파 시스템에서 획득 한 자신의 뇌 신호를 기록한다. 참고 :이 프로세스는 자신의 SSVEP 특징 벡터를 구축하고 분류를 양성하는 실험의 처음 대상으로 실시된다. </li><li> 재판이 시작되면, 무작위 대상으로 한 자극을 선택하고 그 위에 노란색 화살표를 표시합니다. </li><li> 1 초 후, 5 초 동안 사용자 인터페이스 상에 서로 다른 주파수에서 네 시각적 자극을 깜박일. </li><li> 최소로 그 / 그녀의 신체 움직임을 유지하면서 선택된 자극 목표에 초점을 피사체 요청. </li><li> 각 시험 후 휴식을 취할 수있는 대상이 3 초를 제공하고 다음 재판을 시작합니다. </li><li> 모든 시험이 완료되면 저장된 데이터를 읽어 보시기 바랍니다. 3-2 데이터 에포크가 추출 될<html> 트윈 2 초 각 시험의 대상으로 자극을 선택 트리거 후 5 초. </li><li> MATLAB 스크립트에서 오프라인 데이터 분석기를 사용하여 데이터 에포크의 전력 스펙트럼 밀도 (PSD)를 계산한다. 자세한 내용은 아래에 설명 된 처리 알고리즘을 사용하여 <ol><li> 기준 데이터와 다 채널 EEG 데이터의 정준 상관 분석 (CCA) 계수들을 계산한다. CCA는 하부 (13)의 상관 관계를 찾기 위해 두 개의 데이터 세트에 사용되는 다 변수 통계 방법이다. 다 채널 EEG 데이터 X와 참조 데이터와 동일한 길이의 Y의 3S 세그먼트를 고려하여, X = X의 T 폭 x 및 y = Y T 사이 ρ 상관 계수를 최대화하는 웨이트 벡터, W, X 및 W의 Y를 찾는 CCA를 사용 Y W. 특정 자극 주파수에서주기 신호로 상기 기준 데이터를 설정한다. /ftp_upload/53558/53558eq1.jpg &quot;/&gt; 여기서, F (1), F (2), F (3), (4)는 네 개의 시각적 자극의 특징 주파수가 바. </li><li> 공간적으로 참조 데이터의 선형 조합으로 가장 탁월한 상관 관계가 한 차원 필터링 데이터 x를 구하는 계산 CCA 계수 W를 X를 사용하여 다 채널 EEG 데이터 x를 필터링. </li><li> 고속 푸리에 변환 (FFT)을 이용하여 공간적 필터링 된 데이터 (X)의 PSD를 계산한다. <img alt="식 (2)" src="/files/ftp_upload/53558/53558eq2.jpg" /> N FFT는 샘플 데이터 (X)의 크기 및 FFT이고 (X는 N FFT)을 N FFT N&#39;- 포인트 이산 푸리에 변환의 X 반환한다. </li><li> 3 및 30 Hz의 사이의 평균값에 대한 PSD를 정상화. <img alt="식 (3)" src="/files/ftp_upload/53558/53558eq3.jpg" /> 어디에(60); <img alt="식 3 분모" src="/files/ftp_upload/53558/53558eq3denominator.jpg" /> (3)와 30Hz 전력 스펙트럼의 평균을 나타낸다. </li></ol></li><li> 네 자극 주파수에 대한 분류 매개 변수를 보정합니다. 첫째, 자극 타겟에 대응 스펙트럼 정규화 PSD를 관찰하고, 수동 기능 주파수로서 최강 PSD 진폭 주파수를 설정. 대응하는 자극을 타겟으로 선택되면 하나를 취득하고, 비 표적 자극이 선택되면, 다른 취득 : 주파수 특성에 기초하여, 두 개의 세트들로 정규화 PSD 데이터를 나눈다. 각각 설정 한 각의 평균 값을 계산합니다. 대상 및 비 대상 (14)을 설정 분류하는 두 평균 값의 중간 값으로 임계 값을 결정합니다. </li></ol> 3. 온라인 처리 뇌 신호 <ol><li> b를 개발도 3에 나타낸 바와 같이 온라인 신호 처리기를 열고온라인 처리 뇌 신호 DPC에 OpenViBE 환경 및 MATLAB 스크립트에 ased. </li><li> 더블 OpenViBE 설정 창을 열고, 그림 3에 빨간색주기 표시되어 획득 및 프로세스 신호 상자를 클릭합니다. 피사체에 대한 분류 파라미터를 구성. 오프라인 분석의 결과에 따라 1 kHz에서 같이 샘플링 속도 설정, 3 초간으로 FFT에 대한 시간 길이를 설정하고, 특징 주파수를 설정 예, 4.667, 24, 15 및 20 Hz에서 . </li><li> 세 단계에서, 다음의 알고리즘을 사용하여 실시간 데이터를 처리하는 온라인 신호 프로세서, 실행 시작 버튼을 클릭한다. </li><li> 첫째 알고리즘은 채널 오즈, O1, O2, 및 년 Pz EEG 시스템의 매 0.5 초 CPZ에서 EEG 데이터를 취득하고, 온라인 처리에 마지막 3S의 데이터 세그먼트를 추출한다. </li><li> 둘째, 알고리즘은 단계 270에서 설명 된 알고리즘을 사용하여 3-2 급 데이터 세그먼트를 처리하고, classifica 대해 리얼 타임을 계산 PSD기. </li><li> 세 번째로, 알고리즘은 네 개의 피쳐 주파수 진폭에 따라 PSD 뇌파 패턴을 분류한다. 하나의 특징 주파수의 진폭이 소정의 임계 값 이상이되면, SSVEP 대상으로 해당 주파수에서 점멸 자극을 분류. </li></ol> 4. 인간형 로봇 연결 <ol><li> 인간형 로봇의 가슴 버튼을 누릅니다하고 시작할 때까지 기다립니다. 참고 :이 과정은 약 1 분 소요 가슴 버튼이 흰색이된다 동안 로봇이 &quot;OGNAK GNOUK&quot;를 말할 때 완료된다. </li><li> DPC (15)과의 무선 피델리티 (와이파이) 연결을 설정합니다. </li><li> 로봇 컨트롤러는 DPC에서 Visual C ++ 스크립트에서 프로그램을 엽니 다. 컨트롤러는 로봇 명령어로 변환 해, 가상 현실 주변 네트워크 (VRPN) 인터페이스를 통해 온라인 신호 처리부로부터 분류 결과를 수신하고, humanoi의 대응 동작을 제어무선 연결을 통해 D 로봇. </li><li> 될 수있는 로봇 동작의 세 세트를 정의하는, 그것의 무선 접속에 따른 로봇의 IP 주소를 입력함으로써 로봇 컨트롤러를 구성 쉽게 세 개의 다른 작업을 수행하도록 전환하고 (이러한 행동의 실행 파라미터를 설정하는 예., 보행 속도 또는 거리) 작업 요구 사항에 맞게. 참고 : 이러한 행동 자세한 내용은 단계 5.2.1, 5.3.1 및 5.4.1에 설명되어 있습니다. </li><li> 로봇 컨트롤러를 실행하는 비주얼 스튜디오 플랫폼의 빌드 버튼을 클릭합니다. </li><li> SPC에 Choregraphe 프로그램을 엽니 다. 클릭 버튼을 연결 위젯을 팝업 &quot;연결&quot;. IP 주소에 따라 제어 할 수있는 로봇을 선택하고 두 번에 연결하기 위해 아이콘을 클릭합니다. </li><li> Choregraphe 메뉴 표시 줄의 [보기] 메뉴에서 [비디오 모니터를 열고 로봇의 카메라에서 라이브 비디오 피드백을 표시하는 사용자 인터페이스의 전면에 모니터를 이동합니다. </li></ol> &lt;P 클래스 = &quot;jove_title&quot;&gt; 5. 폐쇄 루프 제어 실험을 실시 <ol><li> 뇌 로봇의 상호 작용 성능을 평가하기 위해 다른 환경 내에서 세 가지 특정 폐쇄 루프 제어 작업을 수행하도록 요청 될. 참고 : 그들은 그들의 일상 생활에서 장애인과 노인을 지원하는 데 도움이 있기 때문에 로봇 애플리케이션에서 중요하다 이러한 작업은 다른 로봇 동작을 활성화해야합니다. </li><li> 도 4에 도시 된 바와 같이, 장애물을 통해 걸어 라이트를 켜 광 스위치를 밀어 뇌 신호들을 통해 인간형 로봇을 제어하는 텔레프레즌스 제 폐쇄 루프 제어 태스크를 수행. <ol><li> 첫 번째 작업을 수행으로 네 SSVEP의 자극에 의​​해 인코딩 된 로봇의 동작을 제어하려면, 0.15 m의 거리를 고정 앞으로 스테핑 0.3 방사선의 고정 라디안으로 좌회전을 마우스 오른쪽 0.3 방사선의 고정 라디안으로 회전, 및 오른손을 사용하여 스위치를 누름. 참고 : 형 구성기 처리는 단계 4.4에 기재되어있다. </li><li> 작업 목표의 대상이 4 개의 행동을 통보하는 제어 할 수 있습니다. </li><li> 단계 4.5-4.7과 로봇 컨트롤러를 실행하고 실험을 시작합니다. 환경을 인식하고 라이브 비디오 피드백을 기반으로 의사 결정을하고, 해당 자극에 응시하여 로봇 동작을 활성화하기 위해 대상에게 자유를 준다. . 주 : 긴급 상황, 예에서, 로봇이 장애물과 충돌하는 것입니다하지 않는 한 명령 또는 도움이 주제에 부여 될 수 없습니다. </li></ol></li><li> 행인 대향하면,도 5에 나타낸 바와 같이, 종료 기호 다음 계단쪽으로 걸어 뇌 신호들을 통해 인간형 로봇을 제어 텔레프레즌스 번째 작업을 수행. 말하는 &quot;실례&quot;를 기다릴 로봇을 제어하기 위해 피사체를 물어 행인은 방법을 제공합니다. <ol><li> continuousl 앞으로 걷기로 : 네 SSVEP 자극에 의​​해 암호화 된 로봇의 동작을 제어0.05 m / sec의 속도에서 Y는 0.1 라드 / 초의 속도로 연속적으로 오른쪽으로 선회하고, 모든 보행 동작을 중지 0.1 라드 / 초의 속도로 연속적으로 좌회전. </li><li> 자세에 의존하는 제어 기능 (16)에 로봇 컨트롤러를 전환합니다. 주 : 로봇이 보행 할 때,이 기능은 보행 동작을 정지시키는 명령과 넷째 자극을 사용한다; 보행 로봇이되지 않을 때, 이는 &quot;실례&quot;라고하는 로봇을 제어하기 위해 네 번째 자극을 사용한다. 기능은 로봇의 보행 상태를 검출함으로써, C ++ 스크립트에서 구현된다. </li><li> 작업 목적의 주제와 다섯 행동을 통보하는 제어 할 수 있습니다. </li><li> 단계 5.2.3에 기술 된 바와 같이, 로봇 컨트롤러를 실행하고 실험을 시작합니다. </li></ol></li><li> 그림 6과 같이, 그것을 선택하고, 피사체의 손에 전달하기 위해, 풍선 목표를 향해 걷는 인간형 로봇을 제어하는 텔레프레즌스 세 번째 작업을 실시. <ol><li> 같은 네 SSVEP 자극에 의​​해 암호화 된 로봇 동작을 제어 : 0.15 m의 거리를 고정 앞으로 스테핑, 0.3 RAD의 고정 라디안 왼쪽 0.3 방사선의 고정 라디안으로 우회전, 및 개체를 따기 선회. </li><li> 이미 포착 된 경우 개체를 아래로두기의 명령과 네 번째 자극을 재사용 로봇 컨트롤러의 자세에 의존하는 제어 기능을 활성화합니다. </li><li> 작업 목적의 주제와 다섯 행동을 통보하는 제어 할 수 있습니다. </li><li> 단계 5.2.3에 기술 된 바와 같이, 로봇 컨트롤러를 실행하고 실험을 시작합니다. </li></ol></li></ol>

<ol><li>McFarland, D. J., Wolpaw, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-Computer+Interface+Operation+of+Robotic+and+Prosthetic+Devices%5BTitle%5D)+AND+%22Computer%22%5BJournal%5D)">Brain-Computer Interface Operation of Robotic and Prosthetic Devices.</a> Computer. 41, 52-56 (2008).</li>
<li>Lebedev, M. A., Nicolelis, M. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-machine+interfaces%3A+Past%2C+present+and+future%5BTitle%5D)+AND+%22Trends+Neruosci%22%5BJournal%5D)">Brain-machine interfaces: Past, present and future.</a> Trends Neruosci. 29 (9), 536-546 (2006).</li>
<li>Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Brain-computer+interfaces+for+communication+and+control%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Brain-computer interfaces for communication and control.</a> Clin. Neurophysiol. 113, 767-791 (2002).</li>
<li>Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+a+humanoid+robot+by+a+noninvasive+brain-computer+interface+in+humans%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Control of a humanoid robot by a noninvasive brain-computer interface in humans.</a> J. Neural. Eng. 5, 214-220 (2008).</li>
<li>Li, W., Li, M., Zhao, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Control+of+humanoid+robot+via+motion-onset+visual+evoked+potentials%5BTitle%5D)+AND+%22Front.+Syst.+Neurosci%22%5BJournal%5D)">Control of humanoid robot via motion-onset visual evoked potentials.</a> Front. Syst. Neurosci. 8, 247(2014).</li>
<li>Regan, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Some+characteristics+of+average+steady-state+and+transient+responses+evoked+by+modulated+light%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Some characteristics of average steady-state and transient responses evoked by modulated light.</a> Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).</li>
<li>Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visually+evoked+potentials%3A+focus+on+essential+paradigms+and+future+perspectives%5BTitle%5D)+AND+%22Prog.+Neurobiol%22%5BJournal%5D)">Steady-state visually evoked potentials: focus on essential paradigms and future perspectives.</a> Prog. Neurobiol. 90, 418-438 (2010).</li>
<li>Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+high-speed+BCI+based+on+code+modulation+VEP%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">A high-speed BCI based on code modulation VEP.</a> J. Neural. Eng. 8, 025015(2011).</li>
<li>Sutton, S., Braren, M., Zubin, J., John, E. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evoked-potential+correlates+of+stimulus+uncertainty%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Evoked-potential correlates of stimulus uncertainty.</a> Science. 150, 1187-1188 (1965).</li>
<li>Pfurtscheller, G., Lopes da Silva, H. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Event-related+EEG%2FMEG+synchronization+and+desynchronization%3A+basic+principles%5BTitle%5D)+AND+%22Clin.+Neurophysiol%22%5BJournal%5D)">Event-related EEG/MEG synchronization and desynchronization: basic principles.</a> Clin. Neurophysiol. 110, 1842-1857 (1999).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).</li>
<li>Homan, R. W., Herman, J., Purdy, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cerebral+location+of+international+10-20+system+electrode+placement%5BTitle%5D)+AND+%22Electroencephalogr.+Clin.+Neurophysiol%22%5BJournal%5D)">Cerebral location of international 10-20 system electrode placement.</a> Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).</li>
<li>Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+online+multi-channel+SSVEP-based+brain-computer+interface+using+a+canonical+correlation+analysis+method%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.</a> J. Neural. Eng. 6, 046002(2009).</li>
<li>Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+practical+VEP-based+brain-computer+interface%5BTitle%5D)+AND+%22IEEE+Trans.+Neural+Syst.+Rehabil.+Eng%22%5BJournal%5D)">A practical VEP-based brain-computer interface.</a> IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).</li>
<li>Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from:
 <a target="_blank" href="http://doc.aldebaran.com/2-1/nao/nao-connecting.html">http://doc.aldebaran.com/2-1/nao/nao-connecting.html</a> (2015).</li>
<li>Chae, Y., Jeong, J., Jo, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Toward+brain-actuated+humanoid+robots%3A+asynchronous+direct+control+using+an+EEG-based+BCI%5BTitle%5D)+AND+%22IEEE+T.+Robot%22%5BJournal%5D)">Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI.</a> IEEE T. Robot. 28, 1131-1144 (2012).</li>
<li>Croft, R. J., Barry, R. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Removal+of+ocular+artifact+from+the+EEG%3A+a+review%5BTitle%5D)+AND+%22Neurophysiol.+Clin%22%5BJournal%5D)">Removal of ocular artifact from the EEG: a review.</a> Neurophysiol. Clin. 30, 5-19 (2000).</li>
<li>Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+dual-frequency+stimulation+method+to+increase+the+number+of+visual+stimuli+for+multi-class+SSVEP-based+brain-computer+interface+%28BCI%29%5BTitle%5D)+AND+%22Brain+Res%22%5BJournal%5D)">A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI).</a> Brain Res. 1515, 66-77 (2013).</li>
<li>Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+hybrid+BCI+paradigm+based+on+P300+and+SSVEP%5BTitle%5D)+AND+%22J+Neurosci+Methods%22%5BJournal%5D)">A new hybrid BCI paradigm based on P300 and SSVEP.</a> J Neurosci Methods. 244, 16-25 (2015).</li>
<li>Allison, B. Z., Jin, J., Zhang, Y., Wang, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+four-choice+hybrid+P300+SSVEP+BCI+for+improved+accuracy%5BTitle%5D)+AND+%22Brain-Computer+Interfaces%22%5BJournal%5D)">A four-choice hybrid P300 SSVEP BCI for improved accuracy.</a> Brain-Computer Interfaces. 1, 17-26 (2014).</li>
<li>Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+awareness+in+patients+with+disorders+of+consciousness+using+a+hybrid+brain-computer+interface%5BTitle%5D)+AND+%22J.+Neural.+Eng%22%5BJournal%5D)">Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface.</a> J. Neural. Eng. 11, 056007(2014).</li>
<li>Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluation+and+application+of+a+hybrid+brain+computer+interface+for+real+wheelchair+parallel+control+with+multi-degree+of+freedom%5BTitle%5D)+AND+%22Int+J+Neural+Syst%22%5BJournal%5D)">Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom.</a> Int J Neural Syst. 24, 1450014-14 (2014).</li>
<li>Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).</li>
<li>Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+of+stimulation+methods+used+in+SSVEP-based+BCIs%5BTitle%5D)+AND+%22Comput+Intell+Neurosci%22%5BJournal%5D)">A survey of stimulation methods used in SSVEP-based BCIs.</a> Comput Intell Neurosci. 2010, 1-12 (2010).</li>
<li>Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Steady-state+visual+evoked+potential+%28SSVEP%29-based+communication%3A+impact+of+harmonic+frequency+components%5BTitle%5D)+AND+%22J+Neural+Eng%22%5BJournal%5D)">Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components.</a> J Neural Eng. 2, 123-130 (2005).</li>
</ol>

저자는 공개할 것이 없습니다.

이 논문은 다수의 소프트웨어 프로그램을 통합하여 휴머노이드 로봇 뇌 로봇 작용 장치를 확립 SSVEP 기반 실험 절차를 제시한다. 인간이 의도 실시간 EEG 신호를 해석에 의해 인식되기 때문에, 실험을 실시하기 전에, 전극 연결부와 EEG 신호 품질 정보를 확인하는 것이 중요하다. 모든 전극으로부터 획득 된 신호의 품질이 불량한 경우, 먼저 접지 전극과 기준 전극의 연결 상태를 확인하는 것이 필요하다. 전극 부분에 문제가 있으면, 그 채널의 임피던스를 조정하는 도전성 겔을 재 주입. 뇌파 신호를 획득하는 동안 또 다른 일반적인 문제는 유물의 간섭과 17 소음. EEG 신호 대 잡음비 (SNR), 잡음 및 아티펙트 SSVEP 응답의 PSD에 쉽게 모호한 작은 신호 변화를 가지고있다. 그것은 POW 멀리 EEG 시스템의 신호 증폭기를 유지하는 것이 중요어 공급 장치 및 기타 잡음 소스. 실험 기간 동안, 눈 깜박임 및 신체 움직임 아티팩트를 감소시키기 위해 최...

뇌 - 로봇 상호 작용 인간의 뇌 신호를 통해 ​​로봇 장치 사이의 혁신적인 통신 경로를 제공합니다 (BRI)는, 일상 생활 1, 2에서 장애인을 돕는 미래입니다. 다양한 방법을 구축 등 electrocorticography (ECOG), 뇌전도 (EEG), 기능적 자기 공명 영상 (fMRI)로서, 어느 침습적 또는 비 침습적으로 가장 일반적으로 사용되는 비 침습적 방법을 뇌 신호를 획득 할 수있다 BRI 시스템은 두피에 배치 전극으로부터의 EEG 신호를 획득하는 것이다. 이 방법은 저가의 사용이 용이하고, 허용 가능한 시간 해상도를 제공한다 (3). 그들은 인간이 매일 겪는 동일한 물리적, 정신적 작업의 일부를 모방하기 위해 만든대로 로봇 다양한 장치 중 인간형 로봇은 고급이다. 인간형 로봇 BRI는이 아픈 노인 지원뿐만 아니라 비위생적 또는 위험한 작업을 수행하는 데 중요한 역할을 할 것이다. 그러나 제어전신 운동과 인간형 로봇이 개인 지원 4, 5로 복잡한 작업을 수행하기 위해 개발로 BRI 시스템을 통해 인간형 로봇의 매우 도전이다. 정상 상태 시각 유발 전위 (SSVEP) 지정된 주파수 6시에 시각적 자극의 변조에 의해 유발 된 뇌 신호의 유형입니다. 이 깜박이는 자극의 기본 및 고조파 주파수에서 사인 곡선을 포함하고, 눈에 띄게 두피 7의 후두부에있는 시각 피질 전반에 걸쳐 나타납니다. SSVEP 신호를 선택하는 이유는 SSVEP 기반 BRI 시스템은 상대적으로 높은 정보 전송 속도를 산출하고 8 이하 훈련을 필요로한다는 것이다. 이러한 이벤트 관련 전위 (ERPS) (9) 또는 모터 - 이미지 (MI) (10)에서, 전위 뇌파 등의 다른 유형은 또한이 실험 절차에 내장 될 수있다. 인간과 뇌 - 로봇 상호 작용을위한 우리의 절차로봇 Cerebot을 기반으로 - 마음 제어 인간형 로봇 플랫폼 - 뇌파 데이터 수집 시스템과 인간형 로봇 (11)로 구성. EEG 시스템은 전 공정 및 전극의 다양한 유형에 의해 취득 된 디스플레이 생체 전위 신호를 기록 할 수있다. 그것은 다수의 아날로그 I / OS 및 디지털 I / O를 제공하고, 16 비트 해상도로 30 kHz의 샘플링 레이트에서 128 동시 신호 채널을 녹화 할 수있다. C ++ 및 MATLAB에서 자사의 소프트웨어 개발 키트는 사용자가 실험 절차를 설계하기가 쉽다. 인간형 로봇은 자유 25도를 가지고 있으며, 2 카메라, 4 마이크, 2 소나 거리 측정기, 2 IR 이미 터와 수신기, 1 관성 보드, 9 촉각 센서, 8 압력 센서 등 다양한 센서가 장착되어 있습니다. 그것은 생성 및 편집 움직임과 상호 작용하는 로봇의 행동에 대한 Choregraphe 및 C ++ SDK를 제공합니다. 이 방법의 전반적인 목표는 SSVEP 기반 실험 proce을을 구축하는 것입니다틀리면 인간형 로봇 (11)의 뇌 로봇의 상호 작용의 연구를 가능하게하기 위해, 이러한 OpenViBE, Choregraph 중앙 소프트웨어와 같은 다수의 소프트웨어 프로그램뿐만 아니라, C ++ 및 MATLAB 작성된 사용자 개발 프로그램을 통합하여. 1 시스템 구조를 도시한다. 전용 자극 프레 젠 테이션 컴퓨터 (SPC)는 시각적 자극, 지침 및 환경 피드백와 주제를 제공하는 사용자 인터페이스를 표시합니다. 전용 데이터 처리 시스템 (DPC)를 오프라인 트레이닝 프로세스의 데이터 기록 및 오프라인 데이터 분석을 실행하고, 온라인 신호 프로세서 및 인간형 로봇의 온라인 제어용 로봇 컨트롤러를 실행. 다른 SSVEP 기반 제어 시스템과 비교하여, 우리의 시스템은 재사용하고 그러한 OpenViBE, Choregraph 중앙 소프트웨어와 같은 표준화 된 소프트웨어 패키지들을 통합하여 개발로 업그레이드 될 것이 더 유연하고 더 신뢰성, 특히 더 편리 모듈은 C ++로 작성및 MATLAB. 다음 절차를 검토하고 천진 의과 대학 종합 병원 윤리위원회의 승인을하고, 모든 주제는 서면 동의를 주었다.

<table><tbody><tr><td>Cerebus EEG 데이터 수집 시스템</td><td>Blackrock Microsystems</td><td>4176-9967</td><td></td></tr><tr><td>NAO 휴머노이드 로봇</td><td>Aldebaran Robotics</td><td>H25</td><td></td></tr><tr><td>EEG 캡</td><td>Neuroscan</td><td>8732</td><td></td></tr><tr><td>Ten20 전도성 젤</td><td>위버 및 회사</td><td>10-20-8</td><td></td></tr></tbody></table>

인간형 로봇에 뇌 - 로봇 상호 작용에 대한 실험 절차를 ssvep 기반

SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots

Brain-Robot Interaction(BRI)은 뇌 신호를 통해 인간과 로봇 장치 간의 혁신적인 통신 경로를 제공하여 장애인의 일상 생활을 돕는 데 도움이 될 것입니다. 우리 방법의 전반적인 목표는 OpenViBE, Choregraph 및 Central 소프트웨어와 같은 여러 소프트웨어 프로그램과 C++ 및 MATLAB으로 작성된 사용자 개발 프로그램을 통합하여 SSVEP 기반 실험 절차를 수립하여 휴머노이드 로봇과 뇌-로봇 상호 작용에 대한 연구를 가능하게 하는 것입니다.
이것은 EEG 데이터 수집 시스템을 통해 뇌 반응을 측정하기 위해 먼저 인간 피험자에게 EEG 전극을 배치함으로써 달성됩니다. 사용자 인터페이스는 SSVEP 응답을 유도하고 폐쇄 루프 제어 실험에서 비디오 피드백을 표시하는 데 사용됩니다. 두 번째 단계는 처음 피험자의 EEG 신호를 기록하고, 오프라인에서 SSVEP 기능을 분석하고, 각 피험자에 대한 분류기를 훈련시키는 것입니다. 다음으로, 온라인 신호 프로세서와 로봇 컨트롤러는 휴머노이드 로봇의 온라인 제어를 위해 구성됩니다. 마지막 단계로, 피험자는 뇌-로봇 상호 작용 성능을 평가하기 위해 서로 다른 환경 내에서 세 가지 특정 폐쇄 루프 제어 실험을 완료합니다.
이 접근 방식의 장점은 여러 소프트웨어 프로그램을 통합하여 개발되었기 때문에 신뢰성과 유연성입니다. 결과는 이 접근 방식을 사용하여 피험자가 뇌 신호를 통해 휴머노이드 로봇과 상호 작용할 수 있음을 보여줍니다. 이를 통해 마인드 제어 휴머노이드 로봇은 로봇 연구에서 널리 사용되고 장애인을 돕는 데 도움이 되는 일반적인 작업을 수행할 수 있습니다.

여기에 제시된 결과는 남성 대상 보정 투 정상적인 것으로부터 수득 된 버전.도 7은 공간적 CCA 계수를 이용하여 데이터를 필터링하는, 멀티 채널 데이터 에포크에게 (도 7A)를 추출 포함한 처리 EEG 데이터의 순서를 나타낸다 (도 7b) 및 상기 정규화 된 PSD (도 7C)를 계산. 그림 8은 표준화 된 PSD는 피사체가 서로 다른 주파수에서 깜빡 대상에 응시하는 하나의 시련을 사용하여 얻은 보여줍니다. 눈에 띄는 피크는 깜박이는 자극의 기본 또는 고조파 주파수에서 나타납니다. BRI 시스템은 다른 로봇 동작의 제어를위한 명령에 SSVEP 응답의 이러한 패턴을 매핑합니다. <p class="jove...

이 방법의 전반적인 목표는 비위생적이거나 위험한 작업을 수행하는 것뿐만 아니라 병자와 노인을 돕는 데 유망한 휴머노이드 로봇과 뇌-로봇 상호 작용에 대한 연구를 가능하게 하는 여러 소프트웨어 프로그램을 통합하여 SSVEP 기반 실험 절차를 수립하는 것입니다.

인간형 로봇에 뇌 - 로봇 상호 작용에 대한 실험 절차를 SSVEP 기반

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in ...

이 방법의 전반적인 목표는 여러 소프트웨어 프로그램을 통합하여 S-S-V-E-P 기반의 실험 절차를 구축함으로써 휴머노이드 로봇과의 뇌-로봇 상호작용 연구를 가능하게 하는 것입니다. 이는 먼저 피험자에게 EEG 전극을 부착하고 EEG 데이터 수집 시스템을 통해 뇌 반응을 측정함으로써 달성됩니다. 사용자 인터페이스는 S-S-V-E-P 반응을 유도하고 폐루프 제어 실험에서 비디오 피드백을 표시하는 데 사용됩니다.두 번째 단계는 대상자의 S-S-V-E-P 특징을 오프라인으로 분석하고 각 대상자에 대한 분류기를 학습시키기 위해 대상자의 EEG 신호를 기록하는 것입니다. 다음으로, 휴머노이드 로봇의 온라인 제어를 위해 온라인 신호 처리기와 로봇 컨트롤러를 설정합니다. 마지막 단계로, 대상자는 서로 다른 환경에서 세 가지 특정 폐루프 제어 실험을 완료합니다.뇌-로봇 상호작용 성능을 평가하기 위해, 서로 다른 주파수로 깜빡이는 자극을 응시하는 동안 생성된 뇌 신호의 정규화된 전력 스펙트럼 밀도 결과를 보여줍니다. 본 시스템은 이러한 뇌파 패턴을 로봇의 행동을 제어하기 위한 명령어로 변환합니다. 이 접근 방식을 통해 피실험자는 뇌 신호로 휴머노이드 로봇과 상호작용할 수 있습니다.이를 통해 휴머노이드 로봇인 Robert는 로봇 연구에서 널리 쓰이며 장애인 보조에 유용한 일반적인 작업들을 수행할 수 있습니다. 이 접근 방식의 장점은 open wide graph 및 central software와 같은 여러 소프트웨어 프로그램뿐만 아니라 C++ 및 MATLAB으로 개발된 사용자 프로그램을 통합하여 구축되었기 때문에 신뢰성과 유연성이 높다는 점입니다. 이 방법을 통해 휴머노이드 로봇을 이용한 뇌-로봇 인터페이스의 실제 작동 과정을 연구할 수 있습니다.본 연구는 환자와 노약자를 돕는 것뿐만 아니라 비위생적이거나 위험한 작업을 수행하는 데 도움을 주는 것을 목표로 합니다. 이제 저의 팀원인 Lim과 Han이 각각 EEG 센서의 배치 방법과 인간-로봇 연결 방법을 시연하겠습니다. 피험자에게 실험 절차를 설명하십시오.실험 참여 동의서를 받습니다. 피험자의 머리 둘레를 측정하고, 측정값과 가장 유사한 크기의 EEG 캡을 선택합니다. NAS 표시 사이의 거리를 측정하고, 캡의 정렬 기준으로 삼기 위해 해당 거리의 10%를 측정합니다.피험자의 정수리 위치에 있는 정점 거리의 중간 지점을 표시합니다. E EEG 캡의 정점 부분에 있는 cz 전극의

ssvep-based-experimental-procedure-for-brain-robot-interaction-with

Research

연구

JoVE Journal

Engineering

공학

우리의 연결을 제어 일반적인 원리를 조사하기 위해 폐루프 플라이 - 기계 인터페이스를 사용합니다.

뇌 - 기계 인터페이스의 폐쇄 루프 성능을 연구하기 위해 실험 플랫폼

최근, 잠재 고객의 광대한 금액은 인간 - 로봇 상호 작용 시스템을 사용할왔다. 본 논문에서 우리는 신속하게 상호 작용 기능을 가능한 라이브러리를 만들 수 있습니다 오픈 소스 소프트웨어와 함께 새로운 로봇 장치의 통합을 설명합니다. 우리는 다음 neurorehabilitation 어플 리케이션을위한 임상 응용 프로그램을 설명합니다.

Haptic 그래픽 / 재활 : 가상 환경 도서관에 로봇을 통합하고 뇌졸중 치료에 적용

3T의 fMRI에 haptic 로봇의 적응과 사용 설명합니다.

3T의 fMRI에 Haptic 로봇의 적응

본 논문에서는 로봇 신체와의 지속적인 상호작용 중에 정보 처리(즉, 코딩 및 디코딩)와 뉴런 어셈블리의 학습을 연구하는 폐쇄 루프 실험을 수행하기 위한 실험적 프레임워크를 제시합니다.

폐쇄 루프 신경 로봇 실험은 신경 네트워크의 전산 등록을 테스트하는

이 기사에서는 뇌졸중 후 대화형 균형 재활 시스템을 위한 새로운 저비용 인간-기계 인터페이스를 제시합니다. 이 시스템은 자발적으로 구동되는 전기 요법 패러다임을 향해 기성품인 저비용 센서를 통합합니다. 개념 증명 소프트웨어 인터페이스는 건강한 지원자를 대상으로 시연되었습니다.

후 스트로크 균형 재활을위한 신경 근육 전기 자극 시스템과 저가 센서를 통합하는 인간 - 기계 인터페이스

여기, 우리는 가상 손과 몸 관련 자기 인식 / -representation을 연구하는 데 사용할 수있는 가상 얼굴 환상의 패러다임을 설명합니다. 이들은 이미 특정 조건 하에서, 가상 손이나 얼굴 본체 표현 오히려가요임을 시사의 몸 표현으로 통합 될 수 있다는 것을 보여주기를 위해 다양한 연구에 사용되었다.

가상-손과 가상 얼굴 환상을 만드는 것은 자기 표현을 조사하기

당사는 밀접한 루프에서 인체와 심장 신호를 스트리밍, 매개 변수화, 분석 및 수정하는 공동 적응 인터페이스를 구축하기 위한 프로토콜 및 분석 방법을 제시합니다. 이 설정은 생물 물리학 변화를 추적하는 데 도움이 외부 감각 입력을 가진 사람의 말초 및 중추 신경계에서 파생 된 신호를 인터페이스합니다.

닫기 루프 인터페이스를 사용하여 재매개 변수화된 주변 신호의 실시간 프록시 제어

전 세계 6명 중 1명은 일생 동안 뇌졸중을 앓아 장기적인 장애를 유발하는 것으로 추정되며, 이러한 재활 메커니즘은 아직 잘 알려져 있지 않습니다. 이 연구는 하지 로봇 치료 세션 동안 기능적 근적외선 분광법(fNIRS)으로 뇌 활성화를 평가하는 프로토콜을 제안합니다.

기능적 근적외선 분광법과 하지의 로봇 보조 다관절 포인팅 운동을 이용한 실험

가상 현실 환경에서의 운동 이미지는 뇌-컴퓨터 인터페이스 시스템에 광범위하게 응용됩니다. 이 원고는 가상 현실 환경에서 참가자가 상상한 동작을 수행하는 참가자와 유사한 개인화된 디지털 아바타를 사용하여 몰입감과 신체 소유 의식을 향상시키는 방법을 설명합니다.

가상 현실 지원 뇌-컴퓨터 인터페이스 환경에서 구현된 디지털 트윈을 통한 모터 이미지 성능

본 연구는 뇌졸중 환자를 위한 뇌-컴퓨터 인터페이스(BCI) 시스템을 소개하고 있으며, 이 시스템은 뇌파검사와 전기굴절 신호를 결합하여 상지 로봇 손을 제어하여 일상 활동을 향상시킵니다. 이 평가는 BeBiTS(Berlin Bimanual Test for Stroke)를 사용했습니다.

뇌졸중 환자의 일상 활동을 향상시키기 위한 뇌-컴퓨터 인터페이스 제어 상지 로봇 시스템

학습하세요 SSVEP 기반 뇌-로봇 상호작용 실험 절차를 인간형 로봇에 적용하는 방법을. EEG 전극 배치와 분류기 훈련을 통해 실시간 로봇 제어를 구현하고 노약자 돌봄 및 위험 작업 수행에 활용할 수 있습니다.

인간형 로봇에 뇌 - 로봇 상호 작용에 대한 실험 절차를 SSVEP 기반

더 많은 동영상 탐색