인간형 로봇에 뇌 - 로봇 상호 작용에 대한 실험 절차를 SSVEP 기반

요약

이 방법의 전반적인 목표는 비위생적이거나 위험한 작업을 수행하는 것뿐만 아니라 병자와 노인을 돕는 데 유망한 휴머노이드 로봇과 뇌-로봇 상호 작용에 대한 연구를 가능하게 하는 여러 소프트웨어 프로그램을 통합하여 SSVEP 기반 실험 절차를 수립

하는 것입니다.

초록

Brain-Robot Interaction(BRI)은 뇌 신호를 통해 인간과 로봇 장치 간의 혁신적인 통신 경로를 제공하여 장애인의 일상 생활을 돕는 데 도움이 될 것입니다. 우리 방법의 전반적인 목표는 OpenViBE, Choregraph 및 Central 소프트웨어와 같은 여러 소프트웨어 프로그램과 C++ 및 MATLAB으로 작성된 사용자 개발 프로그램을 통합하여 SSVEP 기반 실험 절차를 수립하여 휴머노이드 로봇과 뇌-로봇 상호 작용에 대한 연구를 가능하게 하는 것입니다.

이것은 EEG 데이터 수집 시스템을 통해 뇌 반응을 측정하기 위해 먼저 인간 피험자에게 EEG 전극을 배치함으로써 달성됩니다. 사용자 인터페이스는 SSVEP 응답을 유도하고 폐쇄 루프 제어 실험에서 비디오 피드백을 표시하는 데 사용됩니다. 두 번째 단계는 처음 피험자의 EEG 신호를 기록하고, 오프라인에서 SSVEP 기능을 분석하고, 각 피험자에 대한 분류기를 훈련시키는 것입니다. 다음으로, 온라인 신호 프로세서와 로봇 컨트롤러는 휴머노이드 로봇의 온라인 제어를 위해 구성됩니다. 마지막 단계로, 피험자는 뇌-로봇 상호 작용 성능을 평가하기 위해 서로 다른 환경 내에서 세 가지 특정 폐쇄 루프 제어 실험을 완료합니다.

이 접근 방식의 장점은 여러 소프트웨어 프로그램을 통합하여 개발되었기 때문에 신뢰성과 유연성입니다. 결과는 이 접근 방식을 사용하여 피험자가 뇌 신호를 통해 휴머노이드 로봇과 상호 작용할 수 있음을 보여줍니다. 이를 통해 마인드 제어 휴머노이드 로봇은 로봇 연구에서 널리 사용되고 장애인을 돕는 데 도움이 되는 일반적인 작업을 수행할 수 있습니다.

서론

뇌 - 로봇 상호 작용 인간의 뇌 신호를 통해 ​​로봇 장치 사이의 혁신적인 통신 경로를 제공합니다 (BRI)는, 일상 생활 ^{1, 2에서} 장애인을 돕는 미래입니다. 다양한 방법을 구축 등 electrocorticography (ECOG), 뇌전도 (EEG), 기능적 자기 공명 영상 (fMRI)로서, 어느 침습적 또는 비 침습적으로 가장 일반적으로 사용되는 비 침습적 방법을 뇌 신호를 획득 할 수있다 BRI 시스템은 두피에 배치 전극으로부터의 EEG 신호를 획득하는 것이다. 이 방법은 저가의 사용이 용이하고, 허용 가능한 시간 ^해상도를 제공한다 ^(3). 그들은 인간이 매일 겪는 동일한 물리적, 정신적 작업의 일부를 모방하기 위해 만든대로 로봇 다양한 장치 중 인간형 로봇은 고급이다. 인간형 로봇 BRI는이 아픈 노인 지원뿐만 아니라 비위생적 또는 위험한 작업을 수행하는 데 중요한 역할을 할 것이다. 그러나 제어전신 운동과 인간형 로봇이 개인 지원 ^{4, 5로} 복잡한 작업을 수행하기 위해 개발로 BRI 시스템을 통해 인간형 로봇의 매우 도전이다.

정상 상태 시각 유발 전위 (SSVEP) 지정된 주파수 ^6시에 시각적 자극의 변조에 의해 유발 된 뇌 신호의 유형입니다. 이 깜박이는 자극의 기본 및 고조파 주파수에서 사인 곡선을 포함하고, 눈에 띄게 두피 ^7의 후두부에있는 시각 피질 전반에 걸쳐 나타납니다. SSVEP 신호를 선택하는 이유는 SSVEP 기반 BRI 시스템은 상대적으로 높은 정보 전송 속도를 산출하고 ⁸ 이하 ^훈련을 필요로한다는 것이다. 이러한 이벤트 관련 전위 (ERPS) ⁽⁹⁾ 또는 모터 - 이미지 (MI) ^(10)에서, 전위 뇌파 등의 다른 유형은 또한이 실험 절차에 내장 될 수있다.

인간과 뇌 - 로봇 상호 작용을위한 우리의 절차로봇 Cerebot을 기반으로 - 마음 제어 인간형 로봇 플랫폼 - 뇌파 데이터 수집 시스템과 인간형 로봇 ^(11)로 구성. EEG 시스템은 전 공정 및 전극의 다양한 유형에 의해 취득 된 디스플레이 생체 전위 신호를 기록 할 수있다. 그것은 다수의 아날로그 I / OS 및 디지털 I / O를 제공하고, 16 비트 해상도로 30 kHz의 샘플링 레이트에서 128 동시 신호 채널을 녹화 할 수있다. C ++ 및 MATLAB에서 자사의 소프트웨어 개발 키트는 사용자가 실험 절차를 설계하기가 쉽다. 인간형 로봇은 자유 25도를 가지고 있으며, 2 카메라, 4 마이크, 2 소나 거리 측정기, 2 IR 이미 터와 수신기, 1 관성 보드, 9 촉각 센서, 8 압력 센서 등 다양한 센서가 장착되어 있습니다. 그것은 생성 및 편집 움직임과 상호 작용하는 로봇의 행동에 대한 Choregraphe 및 C ++ SDK를 제공합니다.

이 방법의 전반적인 목표는 SSVEP 기반 실험 proce을을 구축하는 것입니다틀리면 인간형 로봇 ^(11)의 뇌 로봇의 상호 작용의 연구를 가능하게하기 위해, 이러한 OpenViBE, Choregraph 중앙 소프트웨어와 같은 다수의 소프트웨어 프로그램뿐만 아니라, C ++ 및 MATLAB 작성된 사용자 개발 프로그램을 통합하여. 1 시스템 구조를 도시한다. 전용 자극 프레 젠 테이션 컴퓨터 (SPC)는 시각적 자극, 지침 및 환경 피드백와 주제를 제공하는 사용자 인터페이스를 표시합니다. 전용 데이터 처리 시스템 (DPC)를 오프라인 트레이닝 프로세스의 데이터 기록 및 오프라인 데이터 분석을 실행하고, 온라인 신호 프로세서 및 인간형 로봇의 온라인 제어용 로봇 컨트롤러를 실행. 다른 SSVEP 기반 제어 시스템과 비교하여, 우리의 시스템은 재사용하고 그러한 OpenViBE, Choregraph 중앙 소프트웨어와 같은 표준화 된 소프트웨어 패키지들을 통합하여 개발로 업그레이드 될 것이 더 유연하고 더 신뢰성, 특히 더 편리 모듈은 C ++로 작성및 MATLAB.

다음 절차를 검토하고 천진 의과 대학 종합 병원 윤리위원회의 승인을하고, 모든 주제는 서면 동의를 주었다.

프로토콜

1. 뇌파 신호를 획득

1. 피사체까지의 실험 과정을 설명하고 실험에 참여 동의서를 얻을 수 있습니다.
2. 줄자를 사용하여 피사체의 머리의 둘레를 측정하고 측정에 가까운 EEG 캡 크기를 선택한다. 전극 배열은 "10-20 국제 ^{시스템"(12)에} 기초한다.
3. nasion 및 inion 사이의 거리를 측정한다. 캡을 정렬하기위한 기준으로 거리의 10 %를 표시하는 피부 마커 연필을 사용하여 환자의 두피에 정점 같은 거리의 중간 점을 표시한다.
4. FP1과 FP2 전극의 중간 점에 10 %의 표를 정렬하여 주제에 뇌파​​ 캡을 놓습니다. 정점에 캡의 Cz에 위치 전극.
5. FZ, CZ, 년 Pz 오즈는 머리의 중간 선에 있는지 확인하고 정중선의 양쪽에있는 전극의 각 쌍은 수평 라인에 있는지.
6. 전도성 젤 설정 1과 설정 2 전극을 바르고. 의료용 테이프를 이용하여 좌우 mastoids에 기준 전극을 배치했다. 턱끈을 조입니다.
7. 전극 홀더에 무딘 팁 주사기를 삽입하고 다음 순서에 따라 각 전극에 전도성 젤을 주​​입 첫째, 이마 및 "접지"전극 초, O2, O1, 오즈 년 Pz 실험에 사용 된 다섯 전극 그리고 Cz에.
8. 자극 모니터 앞에있는 편안한 의자 60cm의 피사체 좌석. 모니터의 센터와 동일한 수평 수준에 그 / 그녀의 눈을 유지하기 위해 주제를 지시한다.
9. EEG 데이터 취득 시스템에 전극 와이어를 연결한다. 1 kHz의 샘플링 레이트를 구성.
10. 전용 DPC에 뇌파 신호 품질을 검사합니다. 특정 전극에 문제가있는 경우, 다시 분사 겔은 채널의 임피던스를 조정한다.
11. 4.615, 12, 15 및 20의 주파수에서 네 개의 로봇 이미지를 깜박 전용 SPC를 사용하여사용자 인터페이스의 시각적 자극 같은 Hz로는도 2에 도시 된 바와 같이.

2. 오프라인 분석 SSVEP 특징

1. 각각의 주제에 대해 오프라인 교육 실험 (32) 시험을 수행하고이 과정을 통해 뇌파 시스템에서 획득 한 자신의 뇌 신호를 기록한다.
   참고 :이 프로세스는 자신의 SSVEP 특징 벡터를 구축하고 분류를 양성하는 실험의 처음 대상으로 실시된다.
2. 재판이 시작되면, 무작위 대상으로 한 자극을 선택하고 그 위에 노란색 화살표를 표시합니다.
3. 1 초 후, 5 초 동안 사용자 인터페이스 상에 서로 다른 주파수에서 네 시각적 자극을 깜박일.
4. 최소로 그 / 그녀의 신체 움직임을 유지하면서 선택된 자극 목표에 초점을 피사체 요청.
5. 각 시험 후 휴식을 취할 수있는 대상이 3 초를 제공하고 다음 재판을 시작합니다.
6. 모든 시험이 완료되면 저장된 데이터를 읽어 보시기 바랍니다. 3-2 데이터 에포크가 추출 될 트윈 2 초 각 시험의 대상으로 자극을 선택 트리거 후 5 초.
7. MATLAB 스크립트에서 오프라인 데이터 분석기를 사용하여 데이터 에포크의 전력 스펙트럼 밀도 (PSD)를 계산한다. 자세한 내용은 아래에 설명 된 처리 알고리즘을 사용하여
   1. 기준 데이터와 다 채널 EEG 데이터의 정준 상관 분석 (CCA) 계수들을 계산한다. CCA는 하부 ^(13)의 상관 ^관계를 찾기 위해 두 개의 데이터 세트에 사용되는 다 변수 통계 방법이다. 다 채널 EEG 데이터 X와 참조 데이터와 동일한 길이의 Y의 3S 세그먼트를 고려하여, X = X의 ^T 폭 _^x 및 y = Y ^T 사이 ρ 상관 계수를 최대화하는 웨이트 벡터, _{W, X} 및 W의 _Y를 찾는 CCA를 사용 _Y W. 특정 자극 주파수에서주기 신호로 상기 기준 데이터를 설정한다.
      /ftp_upload/53558/53558eq1.jpg "/>
      여기서, F _(1), F _(2), F _{(3), (4)는} 네 개의 시각적 자극의 특징 주파수가 바.
   2. 공간적으로 참조 데이터의 선형 조합으로 가장 탁월한 상관 관계가 한 차원 필터링 데이터 x를 구하는 계산 CCA 계수 W를 _X를 사용하여 다 채널 EEG 데이터 x를 필터링.
   3. 고속 푸리에 변환 (FFT)을 이용하여 공간적 필터링 된 데이터 (X)의 PSD를 계산한다.
      
      N _FFT는 샘플 데이터 (X)의 크기 및 FFT이고 (X는 N _FFT)을 N _FFT N'- 포인트 이산 푸리에 변환의 X 반환한다.
   4. 3 및 30 Hz의 사이의 평균값에 대한 PSD를 정상화.
      
      어디에(60); (3)와 30Hz 전력 스펙트럼의 평균을 나타낸다.
8. 네 자극 주파수에 대한 분류 매개 변수를 보정합니다. 첫째, 자극 타겟에 대응 스펙트럼 정규화 PSD를 관찰하고, 수동 기능 주파수로서 최강 PSD 진폭 주파수를 설정. 대응하는 자극을 타겟으로 선택되면 하나를 취득하고, 비 표적 자극이 선택되면, 다른 취득 : 주파수 특성에 기초하여, 두 개의 세트들로 정규화 PSD 데이터를 나눈다. 각각 설정 한 각의 평균 값을 계산합니다. 대상 및 비 대상 ^(14)을 설정 분류하는 두 평균 값의 중간 값으로 임계 값을 결정합니다.

3. 온라인 처리 뇌 신호

1. b를 개발도 3에 나타낸 바와 같이 온라인 신호 처리기를 열고온라인 처리 뇌 신호 DPC에 OpenViBE 환경 및 MATLAB 스크립트에 ased.
2. 더블 OpenViBE 설정 창을 열고, 그림 3에 빨간색주기 표시되어 획득 및 프로세스 신호 상자를 클릭합니다. 피사체에 대한 분류 파라미터를 구성. 오프라인 분석의 결과에 따라 1 kHz에서 같이 샘플링 속도 설정, 3 초간으로 FFT에 대한 시간 길이를 설정하고, 특징 주파수를 설정 예, 4.667, 24, 15 및 20 Hz에서 .
3. 세 단계에서, 다음의 알고리즘을 사용하여 실시간 데이터를 처리하는 온라인 신호 프로세서, 실행 시작 버튼을 클릭한다.
4. 첫째 알고리즘은 채널 오즈, O1, O2, 및 년 Pz EEG 시스템의 매 0.5 초 CPZ에서 EEG 데이터를 취득하고, 온라인 처리에 마지막 3S의 데이터 세그먼트를 추출한다.
5. 둘째, 알고리즘은 단계 270에서 설명 된 알고리즘을 사용하여 3-2 급 데이터 세그먼트를 처리하고, classifica 대해 리얼 타임을 계산 PSD기.
6. 세 번째로, 알고리즘은 네 개의 피쳐 주파수 진폭에 따라 PSD 뇌파 패턴을 분류한다. 하나의 특징 주파수의 진폭이 소정의 임계 값 이상이되면, SSVEP 대상으로 해당 주파수에서 점멸 자극을 분류.

4. 인간형 로봇 연결

1. 인간형 로봇의 가슴 버튼을 누릅니다하고 시작할 때까지 기다립니다.
   참고 :이 과정은 약 1 분 소요 가슴 버튼이 흰색이된다 동안 로봇이 "OGNAK GNOUK"를 말할 때 완료된다.
2. DPC ^(15)과의 무선 피델리티 (와이파이) 연결을 설정합니다.
3. 로봇 컨트롤러는 DPC에서 Visual C ++ 스크립트에서 프로그램을 엽니 다. 컨트롤러는 로봇 명령어로 변환 해, 가상 현실 주변 네트워크 (VRPN) 인터페이스를 통해 온라인 신호 처리부로부터 분류 결과를 수신하고, humanoi의 대응 동작을 제어무선 연결을 통해 D 로봇.
4. 될 수있는 로봇 동작의 세 세트를 정의하는, 그것의 무선 접속에 따른 로봇의 IP 주소를 입력함으로써 로봇 컨트롤러를 구성 쉽게 세 개의 다른 작업을 수행하도록 전환하고 (이러한 행동의 실행 파라미터를 설정하는 예., 보행 속도 또는 거리) 작업 요구 사항에 맞게.
   참고 : 이러한 행동 자세한 내용은 단계 5.2.1, 5.3.1 및 5.4.1에 설명되어 있습니다.
5. 로봇 컨트롤러를 실행하는 비주얼 스튜디오 플랫폼의 빌드 버튼을 클릭합니다.
6. SPC에 Choregraphe 프로그램을 엽니 다. 클릭 버튼을 연결 위젯을 팝업 "연결". IP 주소에 따라 제어 할 수있는 로봇을 선택하고 두 번에 연결하기 위해 아이콘을 클릭합니다.
7. Choregraphe 메뉴 표시 줄의 [보기] 메뉴에서 [비디오 모니터를 열고 로봇의 카메라에서 라이브 비디오 피드백을 표시하는 사용자 인터페이스의 전면에 모니터를 이동합니다.

5. 폐쇄 루프 제어 실험을 실시

1. 뇌 로봇의 상호 작용 성능을 평가하기 위해 다른 환경 내에서 세 가지 특정 폐쇄 루프 제어 작업을 수행하도록 요청 될.
   참고 : 그들은 그들의 일상 생활에서 장애인과 노인을 지원하는 데 도움이 있기 때문에 로봇 애플리케이션에서 중요하다 이러한 작업은 다른 로봇 동작을 활성화해야합니다.
2. 도 4에 도시 된 바와 같이, 장애물을 통해 걸어 라이트를 켜 광 스위치를 밀어 뇌 신호들을 통해 인간형 로봇을 제어하는 텔레프레즌스 제 폐쇄 루프 제어 태스크를 수행.
   1. 첫 번째 작업을 수행으로 네 SSVEP의 자극에 의​​해 인코딩 된 로봇의 동작을 제어하려면, 0.15 m의 거리를 고정 앞으로 스테핑 0.3 방사선의 고정 라디안으로 좌회전을 마우스 오른쪽 0.3 방사선의 고정 라디안으로 회전, 및 오른손을 사용하여 스위치를 누름.
      참고 : 형 구성기 처리는 단계 4.4에 기재되어있다.
   2. 작업 목표의 대상이 4 개의 행동을 통보하는 제어 할 수 있습니다.
   3. 단계 4.5-4.7과 로봇 컨트롤러를 실행하고 실험을 시작합니다. 환경을 인식하고 라이브 비디오 피드백을 기반으로 의사 결정을하고, 해당 자극에 응시하여 로봇 동작을 활성화하기 위해 대상에게 자유를 준다.
      . 주 : 긴급 상황, 예에서, 로봇이 장애물과 충돌하는 것입니다하지 않는 한 명령 또는 도움이 주제에 부여 될 수 없습니다.
3. 행인 대향하면,도 5에 나타낸 바와 같이, 종료 기호 다음 계단쪽으로 걸어 뇌 신호들을 통해 인간형 로봇을 제어 텔레프레즌스 번째 작업을 수행. 말하는 "실례"를 기다릴 로봇을 제어하기 위해 피사체를 물어 행인은 방법을 제공합니다.
   1. continuousl 앞으로 걷기로 : 네 SSVEP 자극에 의​​해 암호화 된 로봇의 동작을 제어0.05 m / sec의 속도에서 Y는 0.1 라드 / 초의 속도로 연속적으로 오른쪽으로 선회하고, 모든 보행 동작을 중지 0.1 라드 / 초의 속도로 연속적으로 좌회전.
   2. 자세에 의존하는 제어 기능 ^(16)에 로봇 컨트롤러를 전환합니다.
      주 : 로봇이 보행 할 때,이 기능은 보행 동작을 정지시키는 명령과 넷째 자극을 사용한다; 보행 로봇이되지 않을 때, 이는 "실례"라고하는 로봇을 제어하기 위해 네 번째 자극을 사용한다. 기능은 로봇의 보행 상태를 검출함으로써, C ++ 스크립트에서 구현된다.
   3. 작업 목적의 주제와 다섯 행동을 통보하는 제어 할 수 있습니다.
   4. 단계 5.2.3에 기술 된 바와 같이, 로봇 컨트롤러를 실행하고 실험을 시작합니다.
4. 그림 6과 같이, 그것을 선택하고, 피사체의 손에 전달하기 위해, 풍선 목표를 향해 걷는 인간형 로봇을 제어하는 텔레프레즌스 세 번째 작업을 실시.
   1. 같은 네 SSVEP 자극에 의​​해 암호화 된 로봇 동작을 제어 : 0.15 m의 거리를 고정 앞으로 스테핑, 0.3 RAD의 고정 라디안 왼쪽 0.3 방사선의 고정 라디안으로 우회전, 및 개체를 따기 선회.
   2. 이미 포착 된 경우 개체를 아래로두기의 명령과 네 번째 자극을 재사용 로봇 컨트롤러의 자세에 의존하는 제어 기능을 활성화합니다.
   3. 작업 목적의 주제와 다섯 행동을 통보하는 제어 할 수 있습니다.
   4. 단계 5.2.3에 기술 된 바와 같이, 로봇 컨트롤러를 실행하고 실험을 시작합니다.

결과

여기에 제시된 결과는 남성 대상 보정 투 정상적인 것으로부터 수득 된 버전.도 7은 공간적 CCA 계수를 이용하여 데이터를 필터링하는, 멀티 채널 데이터 에포크에게 (도 7A)를 추출 포함한 처리 EEG 데이터의 순서를 나타낸다 (도 7b) 및 상기 정규화 된 PSD (도 7C)를 계산.

그림 8은 표준화 된 PSD는 피사체가 서로 다른 주파수에서 깜빡 대상에 응시하는 하나의 시련을 사용하여 얻은 보여줍니다. 눈에 띄는 피크는 깜박이는 자극의 기본 또는 고조파 주파수에서 나타납니다. BRI 시스템은 다른 로봇 동작의 제어를위한 명령에 SSVEP 응답의 이러한 패턴을 매핑합니다.

토론

이 논문은 다수의 소프트웨어 프로그램을 통합하여 휴머노이드 로봇 뇌 로봇 작용 장치를 확립 SSVEP 기반 실험 절차를 제시한다. 인간이 의도 실시간 EEG 신호를 해석에 의해 인식되기 때문에, 실험을 실시하기 전에, 전극 연결부와 EEG 신호 품질 정보를 확인하는 것이 중요하다. 모든 전극으로부터 획득 된 신호의 품질이 불량한 경우, 먼저 접지 전극과 기준 전극의 연결 상태를 확인하는 것이 필요하다. 전극 부분에 문제가 있으면, 그 채널의 임피던스를 조정하는 도전성 겔을 재 주입.

뇌파 신호를 획득하는 동안 또 다른 일반적인 문제는 유물의 간섭과 ¹⁷ 소음. EEG 신호 대 잡음비 (SNR), 잡음 및 아티펙트 SSVEP 응답의 PSD에 쉽게 모호한 작은 신호 변화를 가지고있다. 그것은 POW 멀리 EEG 시스템의 신호 증폭기를 유지하는 것이 중요어 공급 장치 및 기타 잡음 소스. 실험 기간 동안, 눈 깜박임 및 신체 움직임 아티팩트를 감소시키기 위해 최...

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
Cerebus EEG 데이터 수집 시스템	Blackrock Microsystems	4176-9967
NAO 휴머노이드 로봇	Aldebaran Robotics	H25
EEG 캡	Neuroscan	8732
Ten20 전도성 젤	위버 및 회사	10-20-8