뇌 - 기계 인터페이스의 폐쇄 루프 성능을 연구하기 위해 실험 플랫폼

요약

우리의 연결을 제어 일반적인 원리를 조사하기 위해 폐루프 플라이 - 기계 인터페이스를 사용합니다.

초록

의 연결 신호가 아닌 고정 자연과 변화는 두뇌 - 기계 인터페이스의 근본적인 문제입니다. 우리는 폐쇄 루프 이미지 안정화 작업에 적용되는 여러 제어 법률의 견고을 평가하는 뇌 - 기계 인터페이스를 개발했습니다. 활용 잘 특징인 visuomotor 경로 우리는 두 바퀴 로봇의 편주 회전​​을 제어하는​​, 확인, 모션에 민감한 신경 세포, H1에서 전기 활동을 기록을 비행. 로봇 2 CRT 컴퓨터 모니터 앞에 놓인 비행 영상 모션 입력을 제공하는이 고속 비디오 카메라를 갖추고 있습니다. H1 신경 세포의 활동이 로봇의 회전의 방향과 상대 속도를 나타냅니다. 신경 활동이 필터링과 비례와 적응 / 비례 제어에 의해 로봇의 운영 시스템에 다시 공급됩니다. 우리의 목표는 다른 뇌 컴퓨터 인터페이스에서 광범위한 응용 프로그램에 대한 폐루프 조건 하에서 각종 통제 법의 성능을 테스트하고 최적화하는 것입니다.

프로토콜

1. 준비 플라이

1. 실험을 설정하는 첫 번째 단계는 파리를 준비 있도록없이 불수의 운동은 부패의 연결을 레코딩과 비행의 머리는 시각적 자극 장비를 제대로 지향되는 안정성. 관련 비행 준비를 시작하려면, 얼음에 냉각 후 날개를 잡아 무딘 칵테일 막대기를 사용하고, 현미경 슬라이드에 양면 테이프의 종이 비행의 뒷면을 수정.
2. 다음 슬라이드에 날개를 부착하고 또한 비행 모터의 동작을 차단하기 위해 꿀벌의 왁스를 적용하는 전자 cauterizing 바늘을 사용합니다. 비행이 절차를 수행하는 동안 따뜻하게하지 않도록이 단계는 신속하고 정확한 처리가 필요합니다.
3. 이제 현미경, 포셉 각 다리를 잡고 몸을 가장 가까운 관절에 그들을 잘라 작은 가위를 사용합니다. 코이 단계를 반복합니다. 밖으로 건조에서 비행을 방지하기 위해 구멍이 밀랍과 함께 봉인해야합니다.
4. 다음, 날개 중 하나를 잘라 다음의 측면에있는 파리를 켜십시오. halteres을 덮고있는 calyptra을 떠나면서, 날개의 나머지 조각을 제거하고 왁스로 입구를 밀봉. 다른 쪽 날개에 대해이 절차를 반복합니다.
5. 정의된 방법으로 대상 신경 세포를 자극하려면, 파리의 머리는 제대로 컴퓨터 모니터에 부합되어야한다. 이렇게하려면, 당신은 비행기의 목을 배치됩니다 노치 컷 한 끝에있는 파리의 신체 돌출부에 대한 광범위한 공간이있는 맞춤 홀더가 필요합니다.
6. gluing 동안 자리에 복부 그것을 아래로 눌러, 노치의 목을와 홀더에 파리를 놓습니다. 당신이 현미경을 통해 파리의 머리의 전면을 볼 수 있도록 지금은 독립에 플라이 홀더를 놓으십시오.
7. 빨간 불빛과 함께 파리를 보는 광학 현상이 의사 학생 각 눈에 볼 수있다했다. 의사 - 동공의 자극 (Franceschini 1975)와 파리의 머리를 정렬하는 데 사용할 수있는 참조 프레임을 제공합니다. 의사 - 학생은 아래 이미지 삽입으로 표시된 특정 형태를 가정한다면, 파리의 머리의 방향은 완벽하게 정의됩니다.
   
   
   
8. 접착제 그것 보유자에 왁스를 사용하여 다음 올바르게 방향 파리의 머리를 micromanipulator를 사용합니다.
9. 다음 평면 아래 흉부을 눌러 홀더에 왁스. 이것은 전극이 파리 두뇌에 삽입 할 수 있도록 뒤쪽 머리 캡슐을 열 수 있습니다.
10. 신중하게 오른쪽 머리 캡슐의 표피에 창문을 절단하는 마이크로 메스 또는 벌금 주사 바늘을 사용합니다. 표피 밑에있는 신경 조직 권한을 건드리지 않게 조심해야. 표피의 조각이 제거되면 링어 솔루션의 몇 방울을 추가합니다.
11. lobula 플레이트를 커버 수있는 부동 머리카락, 지방 예금, 또는 근육 조직을 제거하는 집게를 사용하십시오. lobula 판은 그 후부 표면을 커버 은빛 기관의 특성 분기 패턴으로 확인할 수 있습니다.
12. 참조 전극을 위치의 왼쪽 후면 머리 캡슐의 표피에 작은 구멍을 잘라 버릴거야. 파리가 준비 상태에서 기록 전극을 위치하는 방법을 볼 수 있습니다.

2. 기록 전극 위치

1. 파리가 준비 상태에서 H1 신경 세포로부터 신호를 찾기 및 녹화를 진행하자. 기록 전극은 H1 신경 가까이에 배치해야합니다. H1 신경 세포는 주로 자사의 수용 필드 (Krapp 외. 2001)에게 제공 수평 다시 - 투 - 프론트 움직임에 응답합니다.
2. 기록 전극을 위치, 시각 랜드마크로 기관을 사용합니다. 처음에는 맨 위에의 기관 사이에 전극을 배치.
3. 그것은 음향 신호로 기록된 전기 잠재력을 변환 오디오 앰프를 사용하는 데 도움이됩니다. 각각의 스파이크는 특성을 클릭 소리로 설정되어 있습니다. 가까이 전극은 개별 신경 세포에 도달, 명확 클릭 소리가된다.
4. 의 동작 환경 설정을 통해 H1의 신경 세포를 식별하려면, 수평 방향으로 운동으로 자극. 장소에 기록 전극을 통해 시각적인 자극과 녹음로 이동하실 수 있습니다.

3. 시각적 자극과 레코딩

1. 폐쇄 루프 실험은 그 턴 테이블의 움직임에 대한 로봇 보상에서 H1의 신경 세포의 결과와 같은 것을 자극. 설치 아르 시작하려면, 두 CRT 컴퓨터 모니터 앞에 파리를 넣으십시오. 비행 영상 시스템은 인간보다 10 배 빠른이기 때문에, 모니터는 초당 200 프레임을 표시해야합니다. 모니터 및 기타 전기 장비 electromagnetically 측정된 신호의 연결에 외부 노이즈를 최소화하기 위해 차폐되어야합니다.
2. 파리의 방향에 상대적으로 45도 - + /에서 모니터의 센터 위치. 이름으로 파리의 눈 적도에서 본 각 모니터는 수평에서 + / -25 도의 각도를 subtends, 그리고 +수직 비행기 / -19도.
3. 컴퓨터 모니터에 동기 입력이 실험을 위해 수정되었습니다 작은 두 바퀴 ASURO 로봇에 장착된이 비디오 카메라에 의해 제공됩니다.
4. 누구의 벽 수직 방향으로, 검은색과 흰색 줄무늬의 패턴 줄지어하는 원주 지역 설정 테이블에 로봇을 위치. 수평면에서 회전 테이블을 회전하여 로봇의 움직임은 자유의 한 정도로 제한됩니다.
5. 처음에는 회전 테이블과 로봇 모두 휴식하고 있습니다. 회전 테이블이 이동 시작되면 그 회전 같은 방향으로, 로봇을 수행하고 비디오 카메라는 로봇과 경기장의 줄무늬 패턴 사이의 상대적인 움직임을 기록합니다.
6. 45도 - 로봇의 배터리 구동 비디오 카메라는 + /의 오리 엔테이션에 탑재하고 있습니다. 그들은 비행의 앞에 컴퓨터 모니터의 프레임 속도와 일치하도록 초당 200 이미지를 캡처합니다.
7. 640 X 480 (회색 규모)의 해상도에서 초당 200 프레임의 컴퓨터 모니터에 표시되는 이미지를 로그인합니다.
8. 파리의 줄무늬 패턴의 움직임을보고 있지만, 기록 대역 통과 적어도 10 kHz에서의 샘플링 속도를 사용하여 디지털 수집 보드 (예 : 300 사이의 2 kHz에서) 전기 신호를 필터링.
9. 임계값이 적용되는 대역 통과 배경 활동에서 스파이크를 분리하는 필터 전기 신호를. 인과 관계, 절반 가우스 필터는 H1 세포에 대한 원활한 급상승 활동 추정치를 얻을 수있는 스파이크와 convolved 있습니다.
10. 두뇌 기계 인터페이스의 루프를 닫으려면, 제어 알고리즘은 로봇의 바퀴를 구동 두 DC 모터를 제어하는​​ 블루투스 인터페이스를 통해 다시 공급되는 로봇 속도 H1 세포의 증가 속도를 변환하는 데 사용됩니다.
11. 순수 사인파 물결은 회전 테이블에 대한 속도 프로파일로 선택됩니다. 사인 파도가 회전 테이블은 그 기본 방향을 따라 H1의 신경을 자극 방향으로 회전하는 DC - 오프셋 등이 있습니다. 턴 테이블의 움직임에 대한 로봇 보상에서 H1의 뉴런 결과의 자극.
    
    
    그림 1 : 폐루프 설정. 우리의 설정에서 왼쪽 H1 세포의 급상승 활동 턴테이블에 탑재된 로봇의 움직임을 제어하는​​ 데 사용됩니다. 로봇과 턴 테이블 사이의 상대 운동의 결과로 생성되는 영상의 움직임은 고속 카메라를 통해 캡처 및 비행의 앞에 두 개의 CRT 모니터에 표시됩니다. 왼쪽 반구에서 H1 급상승 활동은 다음 로봇에 대한 보상 속도를 계산 컨트롤 법을 사용하여 실시간 스파이크 속도를 추정하는 데 사용됩니다. 로봇 카운터 - 회전은 폐쇄 루프 제어 동안 비행에 의해 관찰된 영상의 움직임을 안정화.
    
    

4. 대표 성과 및 결과

1. 올바르게 설정되면, 영상 안정화는 로봇의 카운터 - 회전은 컴퓨터 모니터에 거의 또는 전혀 패턴 운동의 결과, 턴 테이블의 회전을 일치하면 이루어진다. 시스템의 전반적인 성능은 루프를 종료하는 데 사용되는 제어 알고리즘에 따라 달라집니다.
2. 우리가 테스트 첫 번째 알고리즘은 업데이트된 로봇 속도가 로봇, ωr 및 턴 - 테이블 ωp 사이 각도 판매율의 차이에 비례 비례 컨트롤러 (그림 2)입니다. 정적 이득, KP, 그리고 턴 테이블 신호 ωp에 대한 입력 주파수에 대해 서로 다른 값은 컨트롤러의 성능을 테스트하기 위해 선택됩니다.
   
   
   
   그림 2 : 비례 컨트롤러. (A) 원하는 방향으로 로봇과 턴 테이블 사이의 상대 운동은 스파이크 속도를 제공 H1 세포를 자극, F.이 스파이크 속도는 속도 오류, E로 변환하고, 비례 컨트롤러를 추정하는 데 사용됩니다 업데이트된 로봇 속도, VR (t +1). 스파이크 속도, F는 그것보다 작거나 자연 스파이크 속도, Fspont보다 큰 여부에 따라 속도 오류, E로 변환됩니다. 오류 변환 속도 스파이크 속도는 속도 임계값 nonlinearities 춤을 추는위한 계정에 코사인 (간격 [π, 0]) 이상의 F를 예상하여 이루어집니다. 상수 70과 150은 회전 테이블의 최소와 최대 각도 판매율로 로봇의 8 비트 입력 속도와 일치하는 데 사용됩니다. 비례 제어기를 사용하여 폐루프 시스템을 보여주는 (B) 블록 다이어그램. 시스템에 입력 턴 테이블 각속도의 sinosuidal 변조입니다 ωp (T), 그리고 해당 로봇 응답 ωr (T 일)가 기록됩니다.
   
   
3. ω ω _{P와 R에} 대한 샘플 흔적이 K _P = 1 여기에 표시하고 ω _P위한 0.6 Hz에서 (그림 3 참조)의 입력 주파수입니다. 로봇 (녹색)을 지연과 (파란색)를 차례 테이블을 따릅니다그리고 피크 - 진폭 작은. H1 세포를 자극 패턴 운동의 수평 구성 요소 (빨간색)을 아래와 같습니다.
   
   
   
   그림 3 : 폐쇄 루프 응답. 입력 주파수 = 0.6 Hz에서에서 (A) 각도 설정 테이블에 대한 판매율 (파란색), ωp, 그리고 로봇 (녹색), ωr. (B) 수평 광 흐름으로 로그인 이미지 (빨간색)부터 계산 표시됩니다. 피라미드 루카스 Kanade 방법 (3 피라미드 수준)가 연속 이미지 프레임 사이의 광 흐름 필드를 계산하는 데 사용됩니다. 수평 각도 속도는 수평 단위 벡터 전에 흐름 분야에서 개별 벡터의 투영을 합산하여 계산 H1 세포를 억제 수평 앞에서 뒤로의 움직임은 ND (NULL 방향)로 언급하는 동안 H1 세포를 자극 수평 다시 - 투 - 프론트 모션은 PD (선호 방향)이라고합니다.
   
   
4. 턴 테이블 신호 ωp에 대한 입력 주파수는 0.03-3 Hz에서 그리고 해당 로봇 신호 ωr 사이에 선택됩니다 기록됩니다. 두 신호는 고속 푸리에 변환하여 주파수 영역으로 변환입니다 (그림 4 참조) 및 진폭 및 위상 값은 입력 주파수에서 계산됩니다.
   
   
   
   그림 4 : 주파수 응답 턴 테이블, ωp하고, 로봇, ωr에 대한 각속도 신호가 입력 주파수에서 진폭 및 위상 구성 요소를 계산하는 고속 푸리에 변환 (FFT) 방법을 사용하여 주파수 영역으로 변환됩니다.. FFT의 단계 구성 요소는 그림에 표시되지 않습니다.
   
   
5. K _{P =} 1 보여줍니다 테스트 입력 주파수를 통해 시스템의 응답 (그림 참조 5 - A)에 비례 컨트롤러에 대한 크기의 음모 보드. 컨트롤러의 성능은 일반적으로 주파수 증가와 함께 감소하게된다. 1 Hz에서에서 약간 증가 증가로 인해 누구의 동적 (출력) 범위 주로 다시 - 투 - 앞 움직임을 수평 커버 하나만 H1 세포를 사용하는 로봇 신호에 oscillations의 결과로이다.
   
   
   
   그림 5 : 비례 제어기 성능을 제공합니다. 비례 제어기 (8 날아 이상 평균), 고정 게인 KP = 1.0 크기 및 위상 플롯 보드 (A) 크기의 줄거리는 대략 낮은 패스 필터 특성을 다음과 징조. 1 Hz에서에서 약간 증가 증가로 인해 누구의 동적 (출력) 범위를 중심으로 앞 운동으로 수평 커버 유일한 H1 세포를 사용하는 로봇 신호 ωr에 oscillations의 결과로이다. 로봇 신호 ωr에 oscillations의 숫자는,이 주파수에서 약간 증가 얻기 위해 선도적인 증가 입력 주파수로 감소. (B) 위상 줄거리 미만 180 입력 주파수에 대한 ° ≤ 3 Hz에서 1 Hz에서와 접근법의 불안정성. 것입니다 보드 특정 입력 주파수 외에도, 컨트롤러는 로봇의 운동학에 instable 인해됩니다. 이 불안정은 비행 영상 시스템 (Warzecha 외. 1999)의 알려진 최적의 응답 범위를 넘어 발생합니다.
   
   
6. 보드 위상 줄거리 (5 - B 그림 참조) 컨트롤러 단계는 입력 주파수에 대한 <0.6 Hz에서를 Π보다 지연 보여줍니다. 컨트롤러가 주파수에 대한 안정되는이 보여주는 <0.6 Hz에서와 입력 주파수에 대한 불안 ≥ 1 Hz에서.
7. 정적 KP (파란색)와 비례 컨트롤러의 성능은 K _P의 가치가 시간 간격 동안 계산 정상 스파이크 속도, F _맥스에 따라 모든 50 MS 업데이 트됩니다 적응 컨트롤러 (빨간색)와 비교했다 [T - 500ms - T] (그림 6 참조). 대형 적분 시간 윈도우의 결과로, 비례 컨트롤러가 테스트 매개 변수 범위에 대한 적응력 컨트롤러보다 나은 성능 (그림 참조 7 - A). 500 MS의 초기 시간 통합 창이 우리가 사용하고있는 로봇 플랫폼에 관한 기술적인 이유로 선정되었습니다. 적응 컨트롤러는 비례 컨트롤러 (그림 7 - B 참조)과 비슷한 위상 특성을했다.
   
   
   
   그림 6 : 적응형 컨트롤러 이득. 적응 컨트롤러가 폐쇄 루프 제어하는​​ 동안 지속적으로 게인을 추정 반면 비례 컨트롤러는 정적 이득, KP를 사용합니다. 동적 이득, KP는 간격 T - 500ms ≤ τ ≤ T. 이상, 최대 스파이크 속도, Fmax에 반비례 그림 Fmax가 시간이 지남에 따라 예상되는 세 인스턴스를 보여줍니다. Fmax의 추정 값을 기준으로, KP 시간 창 3 (오렌지색) 동안 시간 창 2 (녹색) 및 낮은 중에 최고입니다.
   
   
   
   그림 7 : 비례 대 적응 컨트롤러. (KP = 1) 비례 및 적응력 컨트롤러에 대한 크기 및 위상 플롯 보드(A) KP의 값을 매 50ms 적응 컨트롤러 업데이 트를 지난 500ms 동안 정상 스파이크 속도 견적 Fmax에 따라. 비례 제어기 이득 음모 (파란색)은 모든 입력 주파수에서 더 나은 실적을 나타내는 적응 컨트롤러 (적색)보다 높다. 두 컨트롤러는 F = 0.3 Hz에서에서 상당한 차이와 유사에 대한 (B) 위상 플롯 보드. 두 컨트롤러는 3 Hz에서에서 불안 정한 접근. 크게 다른 이득 및 위상 값은 아스테릭스 (윌콕슨이 순위 합계 방법, P = 0.05)으로 표시됩니다.
   
   
8. 턴테이블 주변의 격자 패턴이 제거되었고 실험실 환경은 비행 H1 세포에 대한 자연 영상 입력의 근사치로 사용되었다. 평균 크기의 줄거리 보드 (그림 참조 8 - A) 자연 영상 입력 (파란색)에 대한 아마 격자 영상 입력 (적색)와보다​​ 약간 높은 이익을 보여주 때문에 자연 영상의 공간 주파수의 넓은 범위 착취이다. 격자 대 자연 영상 입력에 대한 보드 위상 플롯 특성은 (그림 8 - B 참조)와 유사했다.
   
   
   
   그림 8 : 패턴 비교 실험실 환경을 찟겼어. 폐루프 이하 벗겨지고 패턴 (적색) VS 실험실 환경 (파란색) 영상과 함께 제시하면 비례 컨트롤러에 대한 크기 및 위상 플롯 보드 (A) 실험실 환경 이미지를 사용하는 경우에 대한 크기의 줄거리 때 벗겨지고 패턴보다 marginally 높은 보드 이러한 자극에 따라 더 나은 성능을 나타내는 (F = 0.1 Hz에서에서 제외) 사용됩니다. (B) 두 시각 조건에서 위상 플롯 3 Hz에서에서 접근 불안정 모두 같은 패턴을 따라 보드. 크게 다른 이득 및 위상 값은 아스테릭스 (윌콕슨이 순위 합계 방법, P = 0.05)으로 표시됩니다.
   
   

토론

1. 플라이 해부은 신중하게 진행해야하는지 우리가 올바르게 방향 컴퓨터 모니터와 관련하여 비행을 것을.
2. 다음 안정적으로 로봇을 제어하는​​ 데 사용할 수있는 잡음 비율에 좋은 신호를 얻기 위해 모든 다른 뉴런에서 스파이크에서 H1 뉴런의 스파이크를 분리.
3. 케어는 실험 기간 동안 밖으로 건조로부터 신경 조직을 방지하기 위해 이동해야합니다.
4. 카메라는 이더넷 케이블을 사용하여 컴퓨터에 연결되어 있습니다. 관리들은 로봇의 회전에 영향을 줄로 실험을하는 동안 - 상처하지 않도록 주의해야한다.
5. 현재 우리는 편주 순환의 한 방향으로 안정화 작업을 설정 한 H1의 스파이크 활동을 사용하고 있습니다. 우리는 왼쪽과 오른쪽 모두 H1 우리가 편주 회전​​의 두 방향으로 안정화 제어 알고리즘을 배울 수 있도록의의 신호를 얻으려면 두 번째 전극을 추가할 수 있습니다.
6. 우리는 수직 방향으로 검정과 흰색 줄무늬가 들어있는 무대를 제거하고 비행에 대한 시각적인 자극으로 실험실 환경을 사용할 수 있습니다. 이것은 우리가 자연 이미지 폐쇄 루프 성능을 공부하실 수 있습니다.
7. 로봇은 회전 테이블에서 제거 및 폐쇄 루프 제어 동안 실험실 환경 이동할 수 있습니다. 이것은 충돌 회피에 관련된 제어 알고리즘을 조사할 수 있습니다.
8. 컴퓨터에 카메라를 연결하는 전선은 우리에게 완전히 억제 로봇 설치를 제공, 무선 전송 시스템을 구현하여 제거할 수 있습니다.
9. 다른 제어 알고리즘의 성능 조치는 우리에게 다른 전략이 아닌 고정과 변수의 연결 신호에 대처 수있는 방법에 대한 이해를 제공할 것입니다. 이 지식은 그때 다른 임상이 아닌 임상 뇌 - 기계 인터페이스에 적용할 수 있습니다.
10. 이 실험 설정은 동물 행동의 연결에서 신호를 녹화 향한 첫 번째 단계입니다. 우리의 목표는 로봇에 비행을 배치하고 폐쇄 루프 제어에 대한 신경 활동을 사용하는 것입니다. 이러한 설정에서는, 우리는 로봇의 움직임의 결과로 multisensory 자극을 받고있는 동안 파리에서 신경 활동을 기록할 수있을 것입니다.
11. 세포 하나에서만 신호를 기록합니다. 우리가해야하는 구성에서 가장 적합한 세포가 H1 - 세포 것입니다. 유사한 수용 필드의 다른 뉴런 예 H2에서 H1 신경 세포의 반응을 분리하면 레코딩의 연결에 대한 잡음 비율에 좋은 신호를 유지하는 것이 중요합니다. H1과 H2의 뉴런의 반응은 H2가 특질상 낮은 자연 있으며 H1 신경 세포보다 요동 치고 속도를 의미가 있다고 지적함으로써 차별하실 수 있습니다. 뉴런은 또한 형태의 기초 (Krapp 외. 2001)에서 차별하실 수 있습니다.
12. Google 시스템은 우리가 이미지 안정화 작업에 우리의 비행 - 로봇 인터페이스에 의해 달성 폐쇄 루프 이득을 비교할 수 있습니다, 파리 (벤더 및 디킨스 2006 Warzecha 외에 대한 이전의 실험에서 관찰 폐루프 optomotor 향상과 실적을 비교하는 . 1996, Heisenberg & 울프, 1990). 또한, 우리는 폐쇄 루프 조건 (Chiappe 외. 2010 Maimon 외. 2010 롱든 & Krapp 2009 롱든 & Krapp 2010)에서 Visual 정보 처리 상태 종속적인 변화를 조사 수 있습니다.

재료

1. 1) 고속 CRT 디스플레이 (LG Studioworks 221U)
2. 고속 카메라 (Prosilica, GC640)
3. 로봇 플랫폼 (사용자 수정 ASURO)
4. 시리얼 블루투스 모뎀 (Bluesmirf)
5. 마이크로 스텝 드라이브 (응용 모션 시스템, ST5 - SI)
6. 스테퍼 모터 (산요 전기, 103H6704 - 0140)
7. 텅스텐 전극 (FH - co.com - 상품 코드 - UEW SHG SE 3P1M)
8. 세포외 앰프 (NPI EXT 10 층)
9. 전동 Micromanipulator (Scientifica, PS - 700 - Z)
10. 스테레오 현미경 (Leica, MZ95)