감각 신경-기계 인터페이스 운영 무생물의 작업을 통해 기관의 특성

요약

여기 sensate 가상 또는 로봇 인공 손을 제어 개발 기관의 감각 특징 짓는 프로토콜 선물이. Psychophysical 설문 조사 기관의 명시적 경험을 잡으려고 고용 고 시간 간격이 견적 (의도적인 바인딩) 암시적으로 기관의 감각을 측정 하는.

초록

이 작품에는 암시적으로 sensate 가상 또는 로봇 인공 손의 신경-기계 인터페이스 (NMI) 제어 개발 기관의 감각을 특성화 한 방법론 프레임 워크를를 명시적으로 사용할 수 있는 설명 합니다. 기관의 형성은 우리가 우리 자신의 것으로 우리의 사지와 수행 하는 작업을 구별 하는에 기본적 이다. 이 같은 지 각 메커니즘에 고급 위 사지 무생물을 통합 하는 노력을 하 고, 여 우리 다리 제어를 위한 사용자의 기존 인식 프레임 워크에 인공 다리를 더 밀접 하 게 통합 시작할 수 있습니다. 이 사용자 수용, 사용, 및 고급 위 사지 무생물의 효과적인 제어를 홍보에 중요 한 의미를 갖는다. 이 프로토콜에 참가자는 가상 인공 손을 제어 하 고 그들의 기존 Nmi 통해 kinesthetic 감각 피드백을 받을. 일련의 가상 쥐고 작업 수행 되 고 섭 kinesthetic 피드백 및 가상 손 움직임을 체계적으로 소개 된다. 두 개의 별도 측정 기관 고용: psychophysical 설문 조사 (기관의 명시적 경험을 잡으려고) 및 시간 간격 추정 기관 (의도적인 바인딩)의 암시적 의미를 캡처 작업을 설립. 이 프로토콜의 결과 (설문지 점수와 시간 간격 추정) 기관 형성의 정도 계량 분석 될 수 있다.

서론

로봇 prostheses 될 점점 더 고급, 관련 감각 피드백의 중요성 성장을 계속할 것 이다. 감각 피드백 어떻게 인간 인식, 상호 작용 하 고 심지어 그들의 몸 스키마로 기계를 통합에 영향을 줍니다. 최근 NMI 기법 수 이제 보 철 다리 사용자 직관적인 컨트롤 제공 하 고 달성과 관련 된 감각 터치^{1,2,,34,,56 , 7} 과 kinesthesia (움직임 감지)^8,9 실종 사지에. 이 감각 정보 작업 중 인공 사지를 보고에서 제공 하는 시각적 정보와 결합 될 때 우리에 접근이 핵심 요소는 자기대의 구별을 알려-다른. 이 액세스를 활용 하는 보 철 다리 사용자에 게 도구 보다는 오히려 그들의 몸의 한 부분으로 운영 하는 인공 다리를 한 걸음 더 가까이가지고 하는 것을 도울 수 있다.

몸 인식 및 구현 되 고 감각 기관 (다리의 작업을 통해 작가의 경험)와 소유권 (느낌 사지 신체의 부분)의 설립에서 발생^10,11. 소유권은 주로 시각적 정보¹²의 통합을 통해 중재 됩니다. 기관 의도, 운동 감각 (kinesthesia), 시각적 정보와 예측 인지 모델¹¹의 통합에서 나온다. 자발적 행동의 성능 동안 기관 해당 작업의 감각 결과 정렬 수행자의 의도와 수행자의 내부 모델¹³에서 예측 하는 때 형성 된다. 기관은 별도 프로세스와 다른 소유권 이다. 족 문학¹⁴자주 사지 소유권의 개념을 공부 되었습니다 했다. NMI 참가자 터치 피드백은 공간 및 일시적으로 적절 한, 설문 조사를 통해 명시적으로 또는 암시적으로 잔여 다리 온도 변화를 통해 측정 또는 시간적 순서 판단¹⁵때에 사지 소유권 형태의 감각. 그러나, 적은 기회 탐험 NMI¹⁶의 맥락에서 기관 존재 합니다. NMI 참가자와 함께 최근 작품 기관이 의도적으로 승격 될 수 있습니다 및 소유권⁸의 경험에서 별도 시연 하고있다.

그것은 인과 관계, 느낌의 경험을 통해 인공 사지의 물리적 행동 컨트롤 인지 링크 기구는 로봇 무생물의 작업에 특히 중요 한 인공 사지를 제어 하거나 뭔가를 ¹⁷일이. 로봇 prostheses 효과적으로 작업을 전산화 컴퓨터 사용자와 협력 해야 합니다 고급입니다. 일부 인공 사지 그립-슬립 감지 및 보정; 자치 기능 통합 그러나 이러한 시스템으로 사용자의 컨트롤 외부 실행 기능 볼 수 있습니다 실망 적절 하 게 구현 되지^8,18제한 채용을 보았다. 이 자동 기계와 인간 협력의 응용 프로그램에 걸쳐 에코 근본적인 도전을 선물 한다. 즉, 인간 컴퓨터 또는 기계, 협력에서 인 동안 그들의 자신의 행동 신뢰 하 고이 신뢰 직접 자치 기능^19,20를 사용 하 여 운영자의 가능성에 영향을 미칩니다. 인간으로 서, 우리 innately 신뢰와 우리 몸이 우리 것; 작업을 수행 하 때이 이루어집니다, 우리 기관의 본질적인 의미를 설정 합니다. 흥미롭게도, 기관 형성은 협력 인간-컴퓨터 작업에 영향을. 인간-인간 협동 작업을 하는 동안 공유 감각 기관의 운동²¹; 이상 형성 될 수 있습니다. 그러나, 문학 공유 기관이 인간-컴퓨터 협력^22,23동안 지 장 나왔다. 이러한 보 철 위 다리 사용에 반영 됩니다 그리고 로봇 장치 거부 비율 높은, 사용자가 자신의 사용²⁴중단의 23%-39%와 함께 남아 있다. 사실, 많은 족 사용자는 여전히 몸 전원 시스템²⁵를 선호합니다. 이 시스템 제어 루프에서 컴퓨터 기계를 제거 하 고 더 와이어 케이블을 통해 족 운동에 사용자의 신체 움직임을 속속들이 커플. 이 더 고급 보 철 장치 사용에서 인지 통합의 중요성을 강화 한다. NMI 시스템 구축 협력 기관, 감각 인공 사지 가까이 이동할 수 있도록 필요한 감각 및 모터 조각의 숫자를 제공할 수 있습니다 그리고이 수용 및이의 진정한 통합을 추진 하는 수단이 될 것입니다 하는 것이 좋습니다. 그들의 사용자와 컴퓨터 기계입니다.

기구는 여러 가지 방법으로 측정 될 수 있습니다. 간단한 조치 사용 psychophysical 설문 또는 비늘을 명시적으로 누구 또는 무엇을 참가자 들에 게 그들이 이벤트^17,,2627특성. 이 개인의 기존 인식에 의존 자체 속성 (즉, 명시적으로 "나" 또는 다른 작업 또는 이벤트에 대 한 책임은 여부 판단)의 날개 식 판단을 내릴 참가자를 요구 하 여 "자기". 암시적 측정값 모터 행동 및 감각 이벤트 동안 발생 하는 인지 프로세스 백그라운드에 대 한 통찰력을 제공 합니다. 기관의이 보기는 개인에 의해 명시적으로 인식 되지 않습니다을 측정 하려고 합니다. 일반적으로 이것은 참가자 자체-와 외부-생성 작업, 예를 들어 참가자를 데 그들은 자기-와 외부-생성 이벤트 사이 발생을 인식 하는 시간의 기간을 보고 인식된 차이 특성화 함으로써 얻을 수 ^{17 , 28}. 자체 생성 된 작업의 성능 동안 암시적으로 기관 활동 및 의도 바인딩²⁸로 알려진 그들의 감각 결과 사이의 시간에 지 각 압축으로 명단. 개인 그들 사이 행동 그리고 그 결과 발생을 인식 하는 시간을 보고, 시간 시간 단축 인식된 기관^29,30의 더 강력 하 게 형성 된 감각에 해당 합니다. 흥미롭게도, 그들은 가능성이 기관의 감각을 함께 알려 다른 지 각 메커니즘¹⁷ 특성화는으로 명시적 및 암시적 측정값 직접 연결 되지 수는 입증 되었습니다. 따라서,의 족 사용 하는 동안 기관 형성의 보다 포괄적인 이해를 수립 필요 합니다 명시적 및 암시적 사용 실험 프로토콜.

이 작품에는 암시적으로 sensate 가상 또는 로봇 인공 손의 NMI 컨트롤 위에 개발 하는 기관의 감각을 특성화 한 방법론 프레임 워크를를 명시적으로 사용할 수 있는 설명 합니다. 기관 중 sensorimotor 개체 파악 하는 작업의 성능을 측정 하는 두 가지 기술은 강조 표시 됩니다. 설립된 psychophysical 설문 조사 경험을 캡처하는 명시적 기관의 시간 간격 견적 (의도적인 바인딩) 암시적으로 감각 기관의 측정 하 고용은 고용 된다.

이 프로토콜의 범위 기관 생리학 관련 활성 모터 제어 및 근육 감각 피드백을 제공 하는 NMI의 맥락에서의 의미를 평가 하는 것입니다. 이 기술은 가상 또는 실제 보 철 NMI 시스템을 받아들이기는 있습니다. 이 프로토콜을 수행 하기 위해 채용 될 수 있습니다 인구에 최소한의 제한이 있습니다. 예를 들어, 참가자의 위 사지의 이동성 양측 영향을 받을 수 (그들은 하나의 사운드 사지를가지고 있어야 합니다), 그리고 그들은 시간을 기준으로 판단 하 고 똑 경험된 감각 인지 능력을 보유 해야 합니다.

프로토콜

이 프로토콜은 이전 승인 하 고 클리블랜드 클리닉의 인간 연구 윤리 위원회의 지침을 따릅니다.

1. 하드웨어와 소프트웨어는 NMI의

1. 그렇게 운동을 수행 하는 경우, 그들은 보고 느낌 그 운동을 완료 가상 족 각 개별 참가자의 NMI 컨트롤 및 피드백을 설정 합니다.
   1. 참가자의 NMI 통해 손 kinesthetic percept를 생성 하 고 그들이 어떤 느낌을 설명 하는 참가자를 함으로써 인식된 동작의 운동학을 캡처 그대로 그들의 손을 사용 하 여.
      참고: kinesthetic percept 운동학의 특성을 기술 다른 작품⁸ 에 설명 하 고 데이터 장갑 또는 광학 모션 캡처 시스템을 사용 하 여 얻을 수 있습니다.
   2. 가상 손/보 철 시뮬레이션을 사용 하 여 운동 percept 운동학을 재현.
   3. 참가자의 NMI에서 의도적인 손 움직임 제어 신호를 캡처 하드웨어를 설정 합니다.
   4. 가상 족의 활동에이 제어 신호를 매핑하십시오.
   5. NMI 제어 신호를 획득, 가상의 족의 움직임과 실시간으로 kinesthetic NMI 피드백의 생성을 조정 하는 마스터 제어 프로그램을 만듭니다.

2. 실험 설치

1. 참가자 좌석 및 위치는 모니터를 가로로 (즉, 위쪽으로 직면 하는 그것의 뒤에) 그들의 앞에 테이블에.
2. 모니터에 가상 족을 표시 하 고 그것은 그들의 실종 사지의 위치 congruently 위치 그것의 크기와 위치 조정.
3. 손 (운동 끝점) 닫고 열려 위치에 대 한 중지 포인트 역할을 가상 환경에서 (예를 들어, 공에 떠 있는) 개체를 렌더링 합니다.
4. 가상 자리를 만들 때 마스터 제어 프로그램 구성 가상 정지 포인트와 접촉, 청각 음색 재생 후 가변 시간 지연 (300, 500, 700, 또는 1000 ms).

3. 실험 조건

1. 상관 NMI 피드백은 온/오프, 속도 방향을 가상 손 운동과 명령 사이의 지연 청각 음색 지연를 포함 하 여 각 시험에 대 한 설정을 지정 하는 마스터 제어 프로그램에 대 한 입력된 파일 작성 및 가상 손 운동입니다.
   1. 두 개의 제어 조건, 기준 및 수동 상태를 만듭니다.
      1. 초기 조건에 대 한 기구학 및 NMI kinesthetic percept에 맞게 가상 손의 제어를 구성 합니다.
         참고: 초기 조건을 나타냅니다 모터 의도, 운동 운동학 및 근육 감각 피드백의 이상적인 기분을.
      2. 가상 손 운동 (사용자에서 컨트롤을 제거) 조사에 의해 발생 하는 경우 여전히 NMI kinesthetic percept 참가자를 제공 하는 동안 수행 하 수동 상태를 프로그램.
         참고: 수동 상태 캡처 이론적인 최악의 기관 조건 (즉, 하나의 시체를 수 동적으로 이동 되 고 비슷한 [의도]을 사용 하지 않고 컨트롤의 부재에 운동).
   2. 프로그램 추가 조건 모터 의도, kinesthetic 감각, 그리고 가상의 지의 표시 된 기구학 시간적 불일치의 기관에 기부 밖으로 구문 분석 하도록 설계 되었습니다. 다음과 같은 다섯 가지 조건을 사용 하는 것이 좋습니다.
      1. 반대 운동: NMI kinesthetic 피드백 나타냅니다 손 손 시각화는 동안 닫힙니다.
      2. 너무 빨리: 손 시각화 NMI 근육 감각 피드백에 의해 표시 된 것 보다 더 빨리 닫습니다.
      3. 너무 느린: 손 시각화 NMI 근육 감각 피드백에 의해 표시 된 것 보다 더 느리게 닫습니다.
      4. 발병 지연: NMI 근육 감각 피드백에 의해 표시 된 것 보다 나중 손 시각화 닫히고 1 s.
      5. 피드백 없음: 손 시각화 NMI kinesthetic 피드백 없이 닫습니다.

4입니다. 성능 실험의

1. 언제 가상 자리 연락 그들은 청각 음색을 들었을 때 가상 정지 포인트에서 시간 지연의 그들의 견적을 보고 하 고 멈추지 않고 닫힌된 위치에 오픈에서 드라이브 손 참가자를 지시 합니다.
   참고: 참가자는 어떤 표현 (예를 들어, 밀리초, 초, 0-10 스케일 부분) 그들에 게 가장 적합 하 게 0과 1 s 사이의 시간을 사용할 수 있습니다.
2. 가상 손 재판의 시작을 신호 하는 시작 위치를 이동 하는 마스터 제어 프로그램에는 시작 버튼을 누르면 각 평가판을 시작 합니다. 이 청각 음색 무작위 지연 후 재생을 하면 가상 정지 포인트를 가상 손을 드라이브를 참가자 단서 (300, 500, 또는 700 ms).
   1. 시간 지연 간격의 참가자의 구두로 보고 의견을 기록 합니다.
3. 실험 실험 블록으로 구성 합니다.
   1. 두 개의 연습 세션을 시작 하 고 최종 분석에서 제외.
      1. 첫 번째 연습 세션에서 참가자 드라이브 손을 이동 끝점에 있고 가상 자리 10 타석에 대 한 가상 정지 지점에 도달 후 1000 ms 청각 음색을 재생.
         1. 참가자 들이 연습 세션에 대 한 예상된으로 보고 필요가 없습니다.
            참고:이 단계는 얼마나 단일 둘째 느낌에 참가자의 방향을 하는 데 필요한.
      2. 두 번째 연습 세션에서 다시,가지고 참가자 드라이브 이동 끝점에 손을. 300, 500, 700 ms 지연 간격으로 적어도 5 각 배를 제시 하는 청각 음색을 무작위.
         1. 예상된 지연 간격을 보고 참가자 들을 요구 하십시오.
         2. 얼마나 가까이 지연 간격의 그들의 견적은 실제 지연 이러한 연습 시험 또는 실험 블록에 후속 재판 기간 동안 참가자를 알리지 않습니다.
            참고:이 단계는 중요 한 참가자 없게 됩니다, 두 번째의 분수의 규모에 시간 판단을 만들기에서 경험 하 고 테스트 절차 unpracticed 테스트 참가자에 게 직관적 되지 않을 수 있습니다.
   2. 각 조건에 대 한 15 실험의 실험 세트를 이동 합니다. 무작위 순서로 조건을 제시 하 고 각 조건 끝에 질문 서를 관리.
      1. 재판의 최신 설정에 따라 반영 (기관의 명시적 경험 척도를 4 개의 질문 및 4 개의 컨트롤 질문 [는 에서 제공 되는 예제의 포함 8 문 기관 설문 조사를 완료 하는 참가자를 지시 보조 파일])^8,26.
         1. 무작위 참가자 들에 게 무작위로 증정 적어도 5 개의 독특한 질문 순서를 제공 하기 위해 설문 문.
   3. 수동 상태에 대 한 15 실험의 세트 실험 블록을 종료 하 고이 시험을 완료 한 후 설문 조사를 관리.
      참고: 관리 기관 설립된 감각을 방해 하지 않으려면 각 실험 블록의 끝에서 수동 시험.
4. 완전 한 4 개의 실험 블록을 다른 무작위 실험 조건의 주문.
5. 휴식을 취하는 참가자에 대 한 테스트의 기간 동안 여러 기회를 제공 합니다. 최소 시간이 나 이러한 휴식에 대 한 제한 시간 이지만 참가자는 육체적으로 나 정신적으로 피로 테스트를 계속 하기 전에 확인.

결과

실험 프로토콜은 그들의 NMI⁸ (그림 1)는 sensate 가상 족 통해 운영 3 수족 참가자와 함께 수행 되었다. 설치 사용 참가자가 제어할 수 있는 가상 손³¹MuJoCo HAPTIX 물리 엔진 사용 하 여 프로그램 된 운동학 프로필을 통해 이동 합니다. 가상 손 위치를 공간적으로 일치 하는 그들의 없는 사지에 참가자 앞 가로 모니터에 표시 됩니다. NMI 참가자 신경 rewiring 수술 (대상된 reinnervation), 가상 손³²;의 직관적인 컨트롤을 제공 하는 표준 보 철 다리 myoelectric (EMG) 제어 전략 결합 했다 받은 이전 했다 따라서, 참가자 그들의 없는 손 개폐에 대 한 '생각'에 의해 가상 손을 드라이브 수 있습니다. 참가자 수술 마켓된...

토론

여기 방법론 프레임 워크는 sensate prostheses 통해 Nmi 동안 형성 하는 기관의 경험 하 여. 이러한 맥락에서 기관 관계가 특히 지 각을 형성 하는 배경 인지 프로세스를 실제 행동 교량 으로입니다. 통해 참가자의 족 NMI, 우리는 기관의 감각을 설정 하는 핵심 요소 수에 대 한 직접 액세스: 의도, 모터 출력 및 운동 감각. 고급 보 철 다리 제어에 중요성의이 작품에서 제공 하는 도구 활용 어떻게 이러한 요소, 컨트롤의 사용자의 감각을 촉진 수도 고의 인지 통합의 작업에 대 한 이해를 잠금 해제에 대 한이 직접 액세스 그들의 족입니다.

강조 기법은 유연한 너무 오랫동안 그들은 실시간 perceptually 관련 제어 및 근육 감각 피드백에 대 한 기준을 충족 어떤 NMI 연구와 임상 보 철 시스템 채택 될 수 있다. 많은 Nmi에 내재 된 장점은 직관적인 제어 postamputation 남아 있는 신경 경로 활용 하 여 달성에 대 한 가능성입니다...

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
LabVIEW 2015, Service Pack 1, Version 15.0.1f2 64-bit	National Instruments, Austin, TX, USA	정식 버전	우리는 LabVIEW에서 사용자 정의 소프트웨어를 작성하여 운동 감각 피드백으로 가상 보철물 제어를 조정하고 실험 조건을 제시하고 데이터를 기록했습니다.
8슬롯, USB CompactDAQ 섀시	National Instruments, 미국 텍사스주 오스틴	cDAQ-9178
± 60 V, 800 kS/s, 12 비트, 8 채널 C 시리즈 전압 입력 모듈	National Instruments, 미국 텍사스주 오스틴	NI-9221
100 kS/s/ch 동시; 10 V, 4-채널 C 시리즈 전압 출력 모듈	National Instruments, Austin, TX, USA	NI-9263
Custom Wearable Kinesthetic	Tactor HDT Global, Solon, OH, USA	N/A	이 제품은 맞춤 제작되었습니다. 운동 감각 피드백을 전달하는 다른 방법은 참가자가 가상 손의 움직임과 함께 실시간으로 움직이는 손의 감각을 느끼는 한 허용됩니다.
MuJoCo Physics Engine, HAPTIX Version	Roboti LLC, Redmond, WA, USA	mjhaptix150	MuJoCo의 최신 버전도 허용되어야 합니다. MPL 그리퍼 모델을 사용했습니다.
MyoBoy 배터리 소켓의 Otto Bock EnergyPack으로 구동되는 Myobock 전극	Ottobock, Duderstadt, Germany	전극: 13E200=60 배터리: 757B21 배터리 소켓: 757Z191=2	증폭, 필터링 및 정류된 EMG 또는 신경 제어 신호를 제공하는 모든 설정을 사용할 수 있습니다.