Introduction
뇌 - 로봇 상호 작용 인간의 뇌 신호를 통해 로봇 장치 사이의 혁신적인 통신 경로를 제공합니다 (BRI)는, 일상 생활 1, 2에서 장애인을 돕는 미래입니다. 다양한 방법을 구축 등 electrocorticography (ECOG), 뇌전도 (EEG), 기능적 자기 공명 영상 (fMRI)로서, 어느 침습적 또는 비 침습적으로 가장 일반적으로 사용되는 비 침습적 방법을 뇌 신호를 획득 할 수있다 BRI 시스템은 두피에 배치 전극으로부터의 EEG 신호를 획득하는 것이다. 이 방법은 저가의 사용이 용이하고, 허용 가능한 시간 해상도를 제공한다 (3). 그들은 인간이 매일 겪는 동일한 물리적, 정신적 작업의 일부를 모방하기 위해 만든대로 로봇 다양한 장치 중 인간형 로봇은 고급이다. 인간형 로봇 BRI는이 아픈 노인 지원뿐만 아니라 비위생적 또는 위험한 작업을 수행하는 데 중요한 역할을 할 것이다. 그러나 제어전신 운동과 인간형 로봇이 개인 지원 4, 5로 복잡한 작업을 수행하기 위해 개발로 BRI 시스템을 통해 인간형 로봇의 매우 도전이다.
정상 상태 시각 유발 전위 (SSVEP) 지정된 주파수 6시에 시각적 자극의 변조에 의해 유발 된 뇌 신호의 유형입니다. 이 깜박이는 자극의 기본 및 고조파 주파수에서 사인 곡선을 포함하고, 눈에 띄게 두피 7의 후두부에있는 시각 피질 전반에 걸쳐 나타납니다. SSVEP 신호를 선택하는 이유는 SSVEP 기반 BRI 시스템은 상대적으로 높은 정보 전송 속도를 산출하고 8 이하 훈련을 필요로한다는 것이다. 이러한 이벤트 관련 전위 (ERPS) (9) 또는 모터 - 이미지 (MI) (10)에서, 전위 뇌파 등의 다른 유형은 또한이 실험 절차에 내장 될 수있다.
인간과 뇌 - 로봇 상호 작용을위한 우리의 절차로봇 Cerebot을 기반으로 - 마음 제어 인간형 로봇 플랫폼 - 뇌파 데이터 수집 시스템과 인간형 로봇 (11)로 구성. EEG 시스템은 전 공정 및 전극의 다양한 유형에 의해 취득 된 디스플레이 생체 전위 신호를 기록 할 수있다. 그것은 다수의 아날로그 I / OS 및 디지털 I / O를 제공하고, 16 비트 해상도로 30 kHz의 샘플링 레이트에서 128 동시 신호 채널을 녹화 할 수있다. C ++ 및 MATLAB에서 자사의 소프트웨어 개발 키트는 사용자가 실험 절차를 설계하기가 쉽다. 인간형 로봇은 자유 25도를 가지고 있으며, 2 카메라, 4 마이크, 2 소나 거리 측정기, 2 IR 이미 터와 수신기, 1 관성 보드, 9 촉각 센서, 8 압력 센서 등 다양한 센서가 장착되어 있습니다. 그것은 생성 및 편집 움직임과 상호 작용하는 로봇의 행동에 대한 Choregraphe 및 C ++ SDK를 제공합니다.
이 방법의 전반적인 목표는 SSVEP 기반 실험 proce을을 구축하는 것입니다틀리면 인간형 로봇 (11)의 뇌 로봇의 상호 작용의 연구를 가능하게하기 위해, 이러한 OpenViBE, Choregraph 중앙 소프트웨어와 같은 다수의 소프트웨어 프로그램뿐만 아니라, C ++ 및 MATLAB 작성된 사용자 개발 프로그램을 통합하여. 1 시스템 구조를 도시한다. 전용 자극 프레 젠 테이션 컴퓨터 (SPC)는 시각적 자극, 지침 및 환경 피드백와 주제를 제공하는 사용자 인터페이스를 표시합니다. 전용 데이터 처리 시스템 (DPC)를 오프라인 트레이닝 프로세스의 데이터 기록 및 오프라인 데이터 분석을 실행하고, 온라인 신호 프로세서 및 인간형 로봇의 온라인 제어용 로봇 컨트롤러를 실행. 다른 SSVEP 기반 제어 시스템과 비교하여, 우리의 시스템은 재사용하고 그러한 OpenViBE, Choregraph 중앙 소프트웨어와 같은 표준화 된 소프트웨어 패키지들을 통합하여 개발로 업그레이드 될 것이 더 유연하고 더 신뢰성, 특히 더 편리 모듈은 C ++로 작성및 MATLAB.
다음 절차를 검토하고 천진 의과 대학 종합 병원 윤리위원회의 승인을하고, 모든 주제는 서면 동의를 주었다.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. 뇌파 신호를 획득
- 피사체까지의 실험 과정을 설명하고 실험에 참여 동의서를 얻을 수 있습니다.
- 줄자를 사용하여 피사체의 머리의 둘레를 측정하고 측정에 가까운 EEG 캡 크기를 선택한다. 전극 배열은 "10-20 국제 시스템"(12)에 기초한다.
- nasion 및 inion 사이의 거리를 측정한다. 캡을 정렬하기위한 기준으로 거리의 10 %를 표시하는 피부 마커 연필을 사용하여 환자의 두피에 정점 같은 거리의 중간 점을 표시한다.
- FP1과 FP2 전극의 중간 점에 10 %의 표를 정렬하여 주제에 뇌파 캡을 놓습니다. 정점에 캡의 Cz에 위치 전극.
- FZ, CZ, 년 Pz 오즈는 머리의 중간 선에 있는지 확인하고 정중선의 양쪽에있는 전극의 각 쌍은 수평 라인에 있는지.
- 전도성 젤 설정 1과 설정 2 전극을 바르고. 의료용 테이프를 이용하여 좌우 mastoids에 기준 전극을 배치했다. 턱끈을 조입니다.
- 전극 홀더에 무딘 팁 주사기를 삽입하고 다음 순서에 따라 각 전극에 전도성 젤을 주입 첫째, 이마 및 "접지"전극 초, O2, O1, 오즈 년 Pz 실험에 사용 된 다섯 전극 그리고 Cz에.
- 자극 모니터 앞에있는 편안한 의자 60cm의 피사체 좌석. 모니터의 센터와 동일한 수평 수준에 그 / 그녀의 눈을 유지하기 위해 주제를 지시한다.
- EEG 데이터 취득 시스템에 전극 와이어를 연결한다. 1 kHz의 샘플링 레이트를 구성.
- 전용 DPC에 뇌파 신호 품질을 검사합니다. 특정 전극에 문제가있는 경우, 다시 분사 겔은 채널의 임피던스를 조정한다.
- 4.615, 12, 15 및 20의 주파수에서 네 개의 로봇 이미지를 깜박 전용 SPC를 사용하여사용자 인터페이스의 시각적 자극 같은 Hz로는도 2에 도시 된 바와 같이.
2. 오프라인 분석 SSVEP 특징
- 각각의 주제에 대해 오프라인 교육 실험 (32) 시험을 수행하고이 과정을 통해 뇌파 시스템에서 획득 한 자신의 뇌 신호를 기록한다.
참고 :이 프로세스는 자신의 SSVEP 특징 벡터를 구축하고 분류를 양성하는 실험의 처음 대상으로 실시된다. - 재판이 시작되면, 무작위 대상으로 한 자극을 선택하고 그 위에 노란색 화살표를 표시합니다.
- 1 초 후, 5 초 동안 사용자 인터페이스 상에 서로 다른 주파수에서 네 시각적 자극을 깜박일.
- 최소로 그 / 그녀의 신체 움직임을 유지하면서 선택된 자극 목표에 초점을 피사체 요청.
- 각 시험 후 휴식을 취할 수있는 대상이 3 초를 제공하고 다음 재판을 시작합니다.
- 모든 시험이 완료되면 저장된 데이터를 읽어 보시기 바랍니다. 3-2 데이터 에포크가 추출 될 트윈 2 초 각 시험의 대상으로 자극을 선택 트리거 후 5 초.
- MATLAB 스크립트에서 오프라인 데이터 분석기를 사용하여 데이터 에포크의 전력 스펙트럼 밀도 (PSD)를 계산한다. 자세한 내용은 아래에 설명 된 처리 알고리즘을 사용하여
- 기준 데이터와 다 채널 EEG 데이터의 정준 상관 분석 (CCA) 계수들을 계산한다. CCA는 하부 (13)의 상관 관계를 찾기 위해 두 개의 데이터 세트에 사용되는 다 변수 통계 방법이다. 다 채널 EEG 데이터 X와 참조 데이터와 동일한 길이의 Y의 3S 세그먼트를 고려하여, X = X의 T 폭 x 및 y = Y T 사이 ρ 상관 계수를 최대화하는 웨이트 벡터, W, X 및 W의 Y를 찾는 CCA를 사용 Y W. 특정 자극 주파수에서주기 신호로 상기 기준 데이터를 설정한다.
/ftp_upload/53558/53558eq1.jpg "/>
여기서, F (1), F (2), F (3), (4)는 네 개의 시각적 자극의 특징 주파수가 바. - 공간적으로 참조 데이터의 선형 조합으로 가장 탁월한 상관 관계가 한 차원 필터링 데이터 x를 구하는 계산 CCA 계수 W를 X를 사용하여 다 채널 EEG 데이터 x를 필터링.
- 고속 푸리에 변환 (FFT)을 이용하여 공간적 필터링 된 데이터 (X)의 PSD를 계산한다.
N FFT는 샘플 데이터 (X)의 크기 및 FFT이고 (X는 N FFT)을 N FFT N'- 포인트 이산 푸리에 변환의 X 반환한다. - 3 및 30 Hz의 사이의 평균값에 대한 PSD를 정상화.
어디에(60);
(3)와 30Hz 전력 스펙트럼의 평균을 나타낸다.
- 기준 데이터와 다 채널 EEG 데이터의 정준 상관 분석 (CCA) 계수들을 계산한다. CCA는 하부 (13)의 상관 관계를 찾기 위해 두 개의 데이터 세트에 사용되는 다 변수 통계 방법이다. 다 채널 EEG 데이터 X와 참조 데이터와 동일한 길이의 Y의 3S 세그먼트를 고려하여, X = X의 T 폭 x 및 y = Y T 사이 ρ 상관 계수를 최대화하는 웨이트 벡터, W, X 및 W의 Y를 찾는 CCA를 사용 Y W. 특정 자극 주파수에서주기 신호로 상기 기준 데이터를 설정한다.
- 네 자극 주파수에 대한 분류 매개 변수를 보정합니다. 첫째, 자극 타겟에 대응 스펙트럼 정규화 PSD를 관찰하고, 수동 기능 주파수로서 최강 PSD 진폭 주파수를 설정. 대응하는 자극을 타겟으로 선택되면 하나를 취득하고, 비 표적 자극이 선택되면, 다른 취득 : 주파수 특성에 기초하여, 두 개의 세트들로 정규화 PSD 데이터를 나눈다. 각각 설정 한 각의 평균 값을 계산합니다. 대상 및 비 대상 (14)을 설정 분류하는 두 평균 값의 중간 값으로 임계 값을 결정합니다.
(3)와 30Hz 전력 스펙트럼의 평균을 나타낸다. 3. 온라인 처리 뇌 신호
- b를 개발도 3에 나타낸 바와 같이 온라인 신호 처리기를 열고온라인 처리 뇌 신호 DPC에 OpenViBE 환경 및 MATLAB 스크립트에 ased.
- 더블 OpenViBE 설정 창을 열고, 그림 3에 빨간색주기 표시되어 획득 및 프로세스 신호 상자를 클릭합니다. 피사체에 대한 분류 파라미터를 구성. 오프라인 분석의 결과에 따라 1 kHz에서 같이 샘플링 속도 설정, 3 초간으로 FFT에 대한 시간 길이를 설정하고, 특징 주파수를 설정 예, 4.667, 24, 15 및 20 Hz에서 .
- 세 단계에서, 다음의 알고리즘을 사용하여 실시간 데이터를 처리하는 온라인 신호 프로세서, 실행 시작 버튼을 클릭한다.
- 첫째 알고리즘은 채널 오즈, O1, O2, 및 년 Pz EEG 시스템의 매 0.5 초 CPZ에서 EEG 데이터를 취득하고, 온라인 처리에 마지막 3S의 데이터 세그먼트를 추출한다.
- 둘째, 알고리즘은 단계 270에서 설명 된 알고리즘을 사용하여 3-2 급 데이터 세그먼트를 처리하고, classifica 대해 리얼 타임을 계산 PSD기.
- 세 번째로, 알고리즘은 네 개의 피쳐 주파수 진폭에 따라 PSD 뇌파 패턴을 분류한다. 하나의 특징 주파수의 진폭이 소정의 임계 값 이상이되면, SSVEP 대상으로 해당 주파수에서 점멸 자극을 분류.
4. 인간형 로봇 연결
- 인간형 로봇의 가슴 버튼을 누릅니다하고 시작할 때까지 기다립니다.
참고 :이 과정은 약 1 분 소요 가슴 버튼이 흰색이된다 동안 로봇이 "OGNAK GNOUK"를 말할 때 완료된다. - DPC (15)과의 무선 피델리티 (와이파이) 연결을 설정합니다.
- 로봇 컨트롤러는 DPC에서 Visual C ++ 스크립트에서 프로그램을 엽니 다. 컨트롤러는 로봇 명령어로 변환 해, 가상 현실 주변 네트워크 (VRPN) 인터페이스를 통해 온라인 신호 처리부로부터 분류 결과를 수신하고, humanoi의 대응 동작을 제어무선 연결을 통해 D 로봇.
- 될 수있는 로봇 동작의 세 세트를 정의하는, 그것의 무선 접속에 따른 로봇의 IP 주소를 입력함으로써 로봇 컨트롤러를 구성 쉽게 세 개의 다른 작업을 수행하도록 전환하고 (이러한 행동의 실행 파라미터를 설정하는 예., 보행 속도 또는 거리) 작업 요구 사항에 맞게.
참고 : 이러한 행동 자세한 내용은 단계 5.2.1, 5.3.1 및 5.4.1에 설명되어 있습니다. - 로봇 컨트롤러를 실행하는 비주얼 스튜디오 플랫폼의 빌드 버튼을 클릭합니다.
- SPC에 Choregraphe 프로그램을 엽니 다. 클릭 버튼을 연결 위젯을 팝업 "연결". IP 주소에 따라 제어 할 수있는 로봇을 선택하고 두 번에 연결하기 위해 아이콘을 클릭합니다.
- Choregraphe 메뉴 표시 줄의 [보기] 메뉴에서 [비디오 모니터를 열고 로봇의 카메라에서 라이브 비디오 피드백을 표시하는 사용자 인터페이스의 전면에 모니터를 이동합니다.
- 뇌 로봇의 상호 작용 성능을 평가하기 위해 다른 환경 내에서 세 가지 특정 폐쇄 루프 제어 작업을 수행하도록 요청 될.
참고 : 그들은 그들의 일상 생활에서 장애인과 노인을 지원하는 데 도움이 있기 때문에 로봇 애플리케이션에서 중요하다 이러한 작업은 다른 로봇 동작을 활성화해야합니다. - 도 4에 도시 된 바와 같이, 장애물을 통해 걸어 라이트를 켜 광 스위치를 밀어 뇌 신호들을 통해 인간형 로봇을 제어하는 텔레프레즌스 제 폐쇄 루프 제어 태스크를 수행.
- 첫 번째 작업을 수행으로 네 SSVEP의 자극에 의해 인코딩 된 로봇의 동작을 제어하려면, 0.15 m의 거리를 고정 앞으로 스테핑 0.3 방사선의 고정 라디안으로 좌회전을 마우스 오른쪽 0.3 방사선의 고정 라디안으로 회전, 및 오른손을 사용하여 스위치를 누름.
참고 : 형 구성기 처리는 단계 4.4에 기재되어있다. - 작업 목표의 대상이 4 개의 행동을 통보하는 제어 할 수 있습니다.
- 단계 4.5-4.7과 로봇 컨트롤러를 실행하고 실험을 시작합니다. 환경을 인식하고 라이브 비디오 피드백을 기반으로 의사 결정을하고, 해당 자극에 응시하여 로봇 동작을 활성화하기 위해 대상에게 자유를 준다.
. 주 : 긴급 상황, 예에서, 로봇이 장애물과 충돌하는 것입니다하지 않는 한 명령 또는 도움이 주제에 부여 될 수 없습니다.
- 첫 번째 작업을 수행으로 네 SSVEP의 자극에 의해 인코딩 된 로봇의 동작을 제어하려면, 0.15 m의 거리를 고정 앞으로 스테핑 0.3 방사선의 고정 라디안으로 좌회전을 마우스 오른쪽 0.3 방사선의 고정 라디안으로 회전, 및 오른손을 사용하여 스위치를 누름.
- 행인 대향하면,도 5에 나타낸 바와 같이, 종료 기호 다음 계단쪽으로 걸어 뇌 신호들을 통해 인간형 로봇을 제어 텔레프레즌스 번째 작업을 수행. 말하는 "실례"를 기다릴 로봇을 제어하기 위해 피사체를 물어 행인은 방법을 제공합니다.
- continuousl 앞으로 걷기로 : 네 SSVEP 자극에 의해 암호화 된 로봇의 동작을 제어0.05 m / sec의 속도에서 Y는 0.1 라드 / 초의 속도로 연속적으로 오른쪽으로 선회하고, 모든 보행 동작을 중지 0.1 라드 / 초의 속도로 연속적으로 좌회전.
- 자세에 의존하는 제어 기능 (16)에 로봇 컨트롤러를 전환합니다.
주 : 로봇이 보행 할 때,이 기능은 보행 동작을 정지시키는 명령과 넷째 자극을 사용한다; 보행 로봇이되지 않을 때, 이는 "실례"라고하는 로봇을 제어하기 위해 네 번째 자극을 사용한다. 기능은 로봇의 보행 상태를 검출함으로써, C ++ 스크립트에서 구현된다. - 작업 목적의 주제와 다섯 행동을 통보하는 제어 할 수 있습니다.
- 단계 5.2.3에 기술 된 바와 같이, 로봇 컨트롤러를 실행하고 실험을 시작합니다.
- 그림 6과 같이, 그것을 선택하고, 피사체의 손에 전달하기 위해, 풍선 목표를 향해 걷는 인간형 로봇을 제어하는 텔레프레즌스 세 번째 작업을 실시.
- 같은 네 SSVEP 자극에 의해 암호화 된 로봇 동작을 제어 : 0.15 m의 거리를 고정 앞으로 스테핑, 0.3 RAD의 고정 라디안 왼쪽 0.3 방사선의 고정 라디안으로 우회전, 및 개체를 따기 선회.
- 이미 포착 된 경우 개체를 아래로두기의 명령과 네 번째 자극을 재사용 로봇 컨트롤러의 자세에 의존하는 제어 기능을 활성화합니다.
- 작업 목적의 주제와 다섯 행동을 통보하는 제어 할 수 있습니다.
- 단계 5.2.3에 기술 된 바와 같이, 로봇 컨트롤러를 실행하고 실험을 시작합니다.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
여기에 제시된 결과는 남성 대상 보정 투 정상적인 것으로부터 수득 된 버전.도 7은 공간적 CCA 계수를 이용하여 데이터를 필터링하는, 멀티 채널 데이터 에포크에게 (도 7A)를 추출 포함한 처리 EEG 데이터의 순서를 나타낸다 (도 7b) 및 상기 정규화 된 PSD (도 7C)를 계산.
그림 8은 표준화 된 PSD는 피사체가 서로 다른 주파수에서 깜빡 대상에 응시하는 하나의 시련을 사용하여 얻은 보여줍니다. 눈에 띄는 피크는 깜박이는 자극의 기본 또는 고조파 주파수에서 나타납니다. BRI 시스템은 다른 로봇 동작의 제어를위한 명령에 SSVEP 응답의 이러한 패턴을 매핑합니다.
4-6 세 폐 루프를 계속 보여준다ROL 태스크 뇌 로봇의 상호 작용 성능을 평가하기 위해 수행 하였다. 이러한 작업은 로봇 연구에서 인기가 있고, 일상 생활에서 장애인과 노인을 지원에 도움이됩니다. (4) 장애물을 통해 산책과 뇌파를 통해 빛을 켜려면 스위치를 누르기의 텔레프레즌스 제어 실험을 보여줍니다. 그림 5 텔레프레즌스 컨트롤을 보여줍니다 종료 기호 다음 계단 케이스 향해 걷고의 실험. 그림 6은 풍선을 따기와 피사체의 손에 전달하는 텔레프레즌스 제어 실험을 보여줍니다.
그림 인간형 로봇에 뇌 - 로봇 상호 작용 1. 시스템 구조. 뇌 신호를 뇌파 데이터 수집 시스템을 통해 측정된다. 사용자 인터페이스는 SSVEP 응답 및 표시 비디오 피드백을 살고 이끌어 폐 루프 제어 실험. 처음 주제를 들어, 데이터 레코더 및 오프라인 데이터 분석은 SSVEP 오프라인 기능을 분석하고 각 과목에 대한 분류를 양성하는 오프라인 교육 과정에서 사용된다. 그런 다음 온라인 신호 프로세서 및 로봇 컨트롤러는 인간형 로봇의 온라인 제어를 위해 구성되어 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
SSVEP 기반 BRI 시스템 그림 2. 사용자 인터페이스. 사용자 인터페이스 디스플레이는 중간 창에 비디오 피드백을 살고있는 네 개의 주파수에서 인간형 로봇의 동작을 나타내는 주변에 네 개의 이미지를 깜박입니다. 오른쪽 패널에서 3D 표현은 인간형 로봇의 현재 상태를 나타냅니다. /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg "대상 ="_ 빈 ">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
도 3 온라인 신호 처리부 OpenViBE 프로그래밍 환경에서 구현. 빨간색으로 표시주기 신호 획득 프로세스 상자 MATLAB 스크립트에 기록 된 처리 알고리즘을 호출한다. 메뉴 패널에있는 시작 버튼을 눌러 프로그램을 시작합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
장애물을 통해 산책과 전등 스위치를 누르면 4. 텔레프레즌스 제어 실험 그림.ES / ftp_upload / 53558 / 53558fig4large.jpg "대상 ="_ 빈 ">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 종료 기호에 따라 계단을 향해 걷는 5. 텔레프레즌스 제어 실험. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 6. 주제에 풍선을 전달하는 텔레프레즌스 제어 실험. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
처리 멀티 채널 뇌파 데이터의 그림 7. 절차 (A) 피사체가 4.615 Hz에서 자극에 응시하는 시험에서 추출 된 멀티 채널 데이터 시대.; (B) CCA 계수를 이용하여 공간적 필터링 된 데이터; (C) 공간적으로 필터링 된 데이터의 표준화 PSD. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
제목이 서로 다른 주파수에서 자극 점멸 쳐다보고있는 단일 시험에서 얻어진 그림 8. 표준화 PSD. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
이 논문은 다수의 소프트웨어 프로그램을 통합하여 휴머노이드 로봇 뇌 로봇 작용 장치를 확립 SSVEP 기반 실험 절차를 제시한다. 인간이 의도 실시간 EEG 신호를 해석에 의해 인식되기 때문에, 실험을 실시하기 전에, 전극 연결부와 EEG 신호 품질 정보를 확인하는 것이 중요하다. 모든 전극으로부터 획득 된 신호의 품질이 불량한 경우, 먼저 접지 전극과 기준 전극의 연결 상태를 확인하는 것이 필요하다. 전극 부분에 문제가 있으면, 그 채널의 임피던스를 조정하는 도전성 겔을 재 주입.
뇌파 신호를 획득하는 동안 또 다른 일반적인 문제는 유물의 간섭과 17 소음. EEG 신호 대 잡음비 (SNR), 잡음 및 아티펙트 SSVEP 응답의 PSD에 쉽게 모호한 작은 신호 변화를 가지고있다. 그것은 POW 멀리 EEG 시스템의 신호 증폭기를 유지하는 것이 중요어 공급 장치 및 기타 잡음 소스. 실험 기간 동안, 눈 깜박임 및 신체 움직임 아티팩트를 감소시키기 위해 최소로 유지되어야한다. 또한 이러한 간섭에 대한 견고성을 개선하기 위해, 우리의 방법은 멀티 채널 뇌파 데이터를 해석하는 CCA 기반 기술을 활용합니다. 결과는이 기술이 노이즈 및 인공물을 포함하는 EEG 신호로부터 특징을 추출하는데 효과적임을 보여준다.
인간형 로봇의 폐 - 루프 제어의 새로운 작업을 시작하기 위해 수동으로 새로운 태스크 요구 사항에 맞도록 각각의 로봇의 동작 파라미터를 정의하고 구성 할 필요가있다. 이것은 현재의 BRI 시스템에서 사용 가능한 제어 명령의 수가 제한으로 인해, 따라서 뇌파 패턴 종 이상을 불러 일으키는함으로써 개선 될 수있다. 황 등. (18)는 시각적 자극을 생성하기위한 듀얼 주파수 자극 방법을 제안 하였다. 왕 등. 19 앨리슨 외. (20), 팬 등. (21), 및 리 <EM> 등. 22 ERPS과 심근 경색을 포함한 다른 브레인 웨이브 패턴과 SSVEP 기반 모델을 결합하는 몇 가지 하이브리드 방법을 제안 하였다. 또한 기계 학습 또는 제한 브레인 웨이브 패턴 (23)을 사용하여 휴머노이드 로봇의 몸 전체의 움직임을 제어하는 계층 아키텍처를 기반으로 기술을 전환 채택 가능하다.
LCD 모니터 (24) 및 SSVEPs (25)의 고조파 성분 간의 영향 가능한 점멸 주파수를 감안할 때 1 ~ 60 Hz로하고, 네 개의 주파수를 사용하여 발견 즉,., 4.615, 12, 15, 및 20에있는 모든 가능한 점멸 주파수를 스캔 그들은 우리의 주제에 대한 가장 높은 평균 정확도 속도를 달성으로 Hz로는 최선의 선택 가능성이있다. 따라서, 우리는 가능한 EN있는 개체를, 좌회전, 앞으로 걸어 우회전, 도보를 정지 / 스위치를 밀어 / 따기 포함 인간형 로봇의 동작을 제어하는 인터페이스에있는 네 개의 자극을 사용이 논문에서 제시 작업을 수행하는 인간형 로봇을 제어하기 깨닫지 못하고 있거나 남의.
그것은 그러한 OpenViBE, Choregraph, 중앙에서 소프트웨어 및 사용자 C ++ 프로그램 개발 및 MATLAB 같은 다양한 소프트웨어 프로그램을, 적분에 의해 개발 된 바와 같이 BRI 시스템의 장점은 그 안정성과 유연성이다. 이는 표준화 된 소프트웨어를 이용하여 다른 실험 절차를 설계하기위한 효율적이고 신뢰할 수있다. 우리의 시스템은 인간형 로봇에 뇌 - 로봇 상호 작용에 대한 새로운 알고리즘과 기술을 조사하는 강력한 도구입니다. 그것은 쉽게 병자와 노인, 그리고 수행 비위생적 또는 위험한 작업을 돕는 BRI 응용 프로그램을 탐험하기 위해 업그레이드 할 수 있습니다.
Subscription Required. Please recommend JoVE to your librarian.
Acknowledgments
저자는이 논문에서보고 된 실험을 수행 그의 도움 씨 홍콩 후 그들의 감사의 말씀을드립니다. 이 작품은 중국 국가 자연 과학 재단 (제 61473207)에 의해 부분적으로 지원되었다.
Materials
| Name | Company | Catalog Number | Comments |
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
