Summary
여기 sensate 가상 또는 로봇 인공 손을 제어 개발 기관의 감각 특징 짓는 프로토콜 선물이. Psychophysical 설문 조사 기관의 명시적 경험을 잡으려고 고용 고 시간 간격이 견적 (의도적인 바인딩) 암시적으로 기관의 감각을 측정 하는.
Abstract
이 작품에는 암시적으로 sensate 가상 또는 로봇 인공 손의 신경-기계 인터페이스 (NMI) 제어 개발 기관의 감각을 특성화 한 방법론 프레임 워크를를 명시적으로 사용할 수 있는 설명 합니다. 기관의 형성은 우리가 우리 자신의 것으로 우리의 사지와 수행 하는 작업을 구별 하는에 기본적 이다. 이 같은 지 각 메커니즘에 고급 위 사지 무생물을 통합 하는 노력을 하 고, 여 우리 다리 제어를 위한 사용자의 기존 인식 프레임 워크에 인공 다리를 더 밀접 하 게 통합 시작할 수 있습니다. 이 사용자 수용, 사용, 및 고급 위 사지 무생물의 효과적인 제어를 홍보에 중요 한 의미를 갖는다. 이 프로토콜에 참가자는 가상 인공 손을 제어 하 고 그들의 기존 Nmi 통해 kinesthetic 감각 피드백을 받을. 일련의 가상 쥐고 작업 수행 되 고 섭 kinesthetic 피드백 및 가상 손 움직임을 체계적으로 소개 된다. 두 개의 별도 측정 기관 고용: psychophysical 설문 조사 (기관의 명시적 경험을 잡으려고) 및 시간 간격 추정 기관 (의도적인 바인딩)의 암시적 의미를 캡처 작업을 설립. 이 프로토콜의 결과 (설문지 점수와 시간 간격 추정) 기관 형성의 정도 계량 분석 될 수 있다.
Introduction
로봇 prostheses 될 점점 더 고급, 관련 감각 피드백의 중요성 성장을 계속할 것 이다. 감각 피드백 어떻게 인간 인식, 상호 작용 하 고 심지어 그들의 몸 스키마로 기계를 통합에 영향을 줍니다. 최근 NMI 기법 수 이제 보 철 다리 사용자 직관적인 컨트롤 제공 하 고 달성과 관련 된 감각 터치1,2,,34,,56 , 7 과 kinesthesia (움직임 감지)8,9 실종 사지에. 이 감각 정보 작업 중 인공 사지를 보고에서 제공 하는 시각적 정보와 결합 될 때 우리에 접근이 핵심 요소는 자기대의 구별을 알려-다른. 이 액세스를 활용 하는 보 철 다리 사용자에 게 도구 보다는 오히려 그들의 몸의 한 부분으로 운영 하는 인공 다리를 한 걸음 더 가까이가지고 하는 것을 도울 수 있다.
몸 인식 및 구현 되 고 감각 기관 (다리의 작업을 통해 작가의 경험)와 소유권 (느낌 사지 신체의 부분)의 설립에서 발생10,11. 소유권은 주로 시각적 정보12의 통합을 통해 중재 됩니다. 기관 의도, 운동 감각 (kinesthesia), 시각적 정보와 예측 인지 모델11의 통합에서 나온다. 자발적 행동의 성능 동안 기관 해당 작업의 감각 결과 정렬 수행자의 의도와 수행자의 내부 모델13에서 예측 하는 때 형성 된다. 기관은 별도 프로세스와 다른 소유권 이다. 족 문학14자주 사지 소유권의 개념을 공부 되었습니다 했다. NMI 참가자 터치 피드백은 공간 및 일시적으로 적절 한, 설문 조사를 통해 명시적으로 또는 암시적으로 잔여 다리 온도 변화를 통해 측정 또는 시간적 순서 판단15때에 사지 소유권 형태의 감각. 그러나, 적은 기회 탐험 NMI16의 맥락에서 기관 존재 합니다. NMI 참가자와 함께 최근 작품 기관이 의도적으로 승격 될 수 있습니다 및 소유권8의 경험에서 별도 시연 하고있다.
그것은 인과 관계, 느낌의 경험을 통해 인공 사지의 물리적 행동 컨트롤 인지 링크 기구는 로봇 무생물의 작업에 특히 중요 한 인공 사지를 제어 하거나 뭔가를 17일이. 로봇 prostheses 효과적으로 작업을 전산화 컴퓨터 사용자와 협력 해야 합니다 고급입니다. 일부 인공 사지 그립-슬립 감지 및 보정; 자치 기능 통합 그러나 이러한 시스템으로 사용자의 컨트롤 외부 실행 기능 볼 수 있습니다 실망 적절 하 게 구현 되지8,18제한 채용을 보았다. 이 자동 기계와 인간 협력의 응용 프로그램에 걸쳐 에코 근본적인 도전을 선물 한다. 즉, 인간 컴퓨터 또는 기계, 협력에서 인 동안 그들의 자신의 행동 신뢰 하 고이 신뢰 직접 자치 기능19,20를 사용 하 여 운영자의 가능성에 영향을 미칩니다. 인간으로 서, 우리 innately 신뢰와 우리 몸이 우리 것; 작업을 수행 하 때이 이루어집니다, 우리 기관의 본질적인 의미를 설정 합니다. 흥미롭게도, 기관 형성은 협력 인간-컴퓨터 작업에 영향을. 인간-인간 협동 작업을 하는 동안 공유 감각 기관의 운동21; 이상 형성 될 수 있습니다. 그러나, 문학 공유 기관이 인간-컴퓨터 협력22,23동안 지 장 나왔다. 이러한 보 철 위 다리 사용에 반영 됩니다 그리고 로봇 장치 거부 비율 높은, 사용자가 자신의 사용24중단의 23%-39%와 함께 남아 있다. 사실, 많은 족 사용자는 여전히 몸 전원 시스템25를 선호합니다. 이 시스템 제어 루프에서 컴퓨터 기계를 제거 하 고 더 와이어 케이블을 통해 족 운동에 사용자의 신체 움직임을 속속들이 커플. 이 더 고급 보 철 장치 사용에서 인지 통합의 중요성을 강화 한다. NMI 시스템 구축 협력 기관, 감각 인공 사지 가까이 이동할 수 있도록 필요한 감각 및 모터 조각의 숫자를 제공할 수 있습니다 그리고이 수용 및이의 진정한 통합을 추진 하는 수단이 될 것입니다 하는 것이 좋습니다. 그들의 사용자와 컴퓨터 기계입니다.
기구는 여러 가지 방법으로 측정 될 수 있습니다. 간단한 조치 사용 psychophysical 설문 또는 비늘을 명시적으로 누구 또는 무엇을 참가자 들에 게 그들이 이벤트17,,2627특성. 이 개인의 기존 인식에 의존 자체 속성 (즉, 명시적으로 "나" 또는 다른 작업 또는 이벤트에 대 한 책임은 여부 판단)의 날개 식 판단을 내릴 참가자를 요구 하 여 "자기". 암시적 측정값 모터 행동 및 감각 이벤트 동안 발생 하는 인지 프로세스 백그라운드에 대 한 통찰력을 제공 합니다. 기관의이 보기는 개인에 의해 명시적으로 인식 되지 않습니다을 측정 하려고 합니다. 일반적으로 이것은 참가자 자체-와 외부-생성 작업, 예를 들어 참가자를 데 그들은 자기-와 외부-생성 이벤트 사이 발생을 인식 하는 시간의 기간을 보고 인식된 차이 특성화 함으로써 얻을 수 17 , 28. 자체 생성 된 작업의 성능 동안 암시적으로 기관 활동 및 의도 바인딩28로 알려진 그들의 감각 결과 사이의 시간에 지 각 압축으로 명단. 개인 그들 사이 행동 그리고 그 결과 발생을 인식 하는 시간을 보고, 시간 시간 단축 인식된 기관29,30의 더 강력 하 게 형성 된 감각에 해당 합니다. 흥미롭게도, 그들은 가능성이 기관의 감각을 함께 알려 다른 지 각 메커니즘17 특성화는으로 명시적 및 암시적 측정값 직접 연결 되지 수는 입증 되었습니다. 따라서,의 족 사용 하는 동안 기관 형성의 보다 포괄적인 이해를 수립 필요 합니다 명시적 및 암시적 사용 실험 프로토콜.
이 작품에는 암시적으로 sensate 가상 또는 로봇 인공 손의 NMI 컨트롤 위에 개발 하는 기관의 감각을 특성화 한 방법론 프레임 워크를를 명시적으로 사용할 수 있는 설명 합니다. 기관 중 sensorimotor 개체 파악 하는 작업의 성능을 측정 하는 두 가지 기술은 강조 표시 됩니다. 설립된 psychophysical 설문 조사 경험을 캡처하는 명시적 기관의 시간 간격 견적 (의도적인 바인딩) 암시적으로 감각 기관의 측정 하 고용은 고용 된다.
이 프로토콜의 범위 기관 생리학 관련 활성 모터 제어 및 근육 감각 피드백을 제공 하는 NMI의 맥락에서의 의미를 평가 하는 것입니다. 이 기술은 가상 또는 실제 보 철 NMI 시스템을 받아들이기는 있습니다. 이 프로토콜을 수행 하기 위해 채용 될 수 있습니다 인구에 최소한의 제한이 있습니다. 예를 들어, 참가자의 위 사지의 이동성 양측 영향을 받을 수 (그들은 하나의 사운드 사지를가지고 있어야 합니다), 그리고 그들은 시간을 기준으로 판단 하 고 똑 경험된 감각 인지 능력을 보유 해야 합니다.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
이 프로토콜은 이전 승인 하 고 클리블랜드 클리닉의 인간 연구 윤리 위원회의 지침을 따릅니다.
1. 하드웨어와 소프트웨어는 NMI의
- 그렇게 운동을 수행 하는 경우, 그들은 보고 느낌 그 운동을 완료 가상 족 각 개별 참가자의 NMI 컨트롤 및 피드백을 설정 합니다.
- 참가자의 NMI 통해 손 kinesthetic percept를 생성 하 고 그들이 어떤 느낌을 설명 하는 참가자를 함으로써 인식된 동작의 운동학을 캡처 그대로 그들의 손을 사용 하 여.
참고: kinesthetic percept 운동학의 특성을 기술 다른 작품8 에 설명 하 고 데이터 장갑 또는 광학 모션 캡처 시스템을 사용 하 여 얻을 수 있습니다. - 가상 손/보 철 시뮬레이션을 사용 하 여 운동 percept 운동학을 재현.
- 참가자의 NMI에서 의도적인 손 움직임 제어 신호를 캡처 하드웨어를 설정 합니다.
- 가상 족의 활동에이 제어 신호를 매핑하십시오.
- NMI 제어 신호를 획득, 가상의 족의 움직임과 실시간으로 kinesthetic NMI 피드백의 생성을 조정 하는 마스터 제어 프로그램을 만듭니다.
- 참가자의 NMI 통해 손 kinesthetic percept를 생성 하 고 그들이 어떤 느낌을 설명 하는 참가자를 함으로써 인식된 동작의 운동학을 캡처 그대로 그들의 손을 사용 하 여.
2. 실험 설치
- 참가자 좌석 및 위치는 모니터를 가로로 (즉, 위쪽으로 직면 하는 그것의 뒤에) 그들의 앞에 테이블에.
- 모니터에 가상 족을 표시 하 고 그것은 그들의 실종 사지의 위치 congruently 위치 그것의 크기와 위치 조정.
- 손 (운동 끝점) 닫고 열려 위치에 대 한 중지 포인트 역할을 가상 환경에서 (예를 들어, 공에 떠 있는) 개체를 렌더링 합니다.
- 가상 자리를 만들 때 마스터 제어 프로그램 구성 가상 정지 포인트와 접촉, 청각 음색 재생 후 가변 시간 지연 (300, 500, 700, 또는 1000 ms).
3. 실험 조건
- 상관 NMI 피드백은 온/오프, 속도 방향을 가상 손 운동과 명령 사이의 지연 청각 음색 지연를 포함 하 여 각 시험에 대 한 설정을 지정 하는 마스터 제어 프로그램에 대 한 입력된 파일 작성 및 가상 손 운동입니다.
- 두 개의 제어 조건, 기준 및 수동 상태를 만듭니다.
- 초기 조건에 대 한 기구학 및 NMI kinesthetic percept에 맞게 가상 손의 제어를 구성 합니다.
참고: 초기 조건을 나타냅니다 모터 의도, 운동 운동학 및 근육 감각 피드백의 이상적인 기분을. - 가상 손 운동 (사용자에서 컨트롤을 제거) 조사에 의해 발생 하는 경우 여전히 NMI kinesthetic percept 참가자를 제공 하는 동안 수행 하 수동 상태를 프로그램.
참고: 수동 상태 캡처 이론적인 최악의 기관 조건 (즉, 하나의 시체를 수 동적으로 이동 되 고 비슷한 [의도]을 사용 하지 않고 컨트롤의 부재에 운동).
- 초기 조건에 대 한 기구학 및 NMI kinesthetic percept에 맞게 가상 손의 제어를 구성 합니다.
- 프로그램 추가 조건 모터 의도, kinesthetic 감각, 그리고 가상의 지의 표시 된 기구학 시간적 불일치의 기관에 기부 밖으로 구문 분석 하도록 설계 되었습니다. 다음과 같은 다섯 가지 조건을 사용 하는 것이 좋습니다.
- 반대 운동: NMI kinesthetic 피드백 나타냅니다 손 손 시각화는 동안 닫힙니다.
- 너무 빨리: 손 시각화 NMI 근육 감각 피드백에 의해 표시 된 것 보다 더 빨리 닫습니다.
- 너무 느린: 손 시각화 NMI 근육 감각 피드백에 의해 표시 된 것 보다 더 느리게 닫습니다.
- 발병 지연: NMI 근육 감각 피드백에 의해 표시 된 것 보다 나중 손 시각화 닫히고 1 s.
- 피드백 없음: 손 시각화 NMI kinesthetic 피드백 없이 닫습니다.
- 두 개의 제어 조건, 기준 및 수동 상태를 만듭니다.
4입니다. 성능 실험의
- 언제 가상 자리 연락 그들은 청각 음색을 들었을 때 가상 정지 포인트에서 시간 지연의 그들의 견적을 보고 하 고 멈추지 않고 닫힌된 위치에 오픈에서 드라이브 손 참가자를 지시 합니다.
참고: 참가자는 어떤 표현 (예를 들어, 밀리초, 초, 0-10 스케일 부분) 그들에 게 가장 적합 하 게 0과 1 s 사이의 시간을 사용할 수 있습니다. - 가상 손 재판의 시작을 신호 하는 시작 위치를 이동 하는 마스터 제어 프로그램에는 시작 버튼을 누르면 각 평가판을 시작 합니다. 이 청각 음색 무작위 지연 후 재생을 하면 가상 정지 포인트를 가상 손을 드라이브를 참가자 단서 (300, 500, 또는 700 ms).
- 시간 지연 간격의 참가자의 구두로 보고 의견을 기록 합니다.
- 실험 실험 블록으로 구성 합니다.
- 두 개의 연습 세션을 시작 하 고 최종 분석에서 제외.
- 첫 번째 연습 세션에서 참가자 드라이브 손을 이동 끝점에 있고 가상 자리 10 타석에 대 한 가상 정지 지점에 도달 후 1000 ms 청각 음색을 재생.
- 참가자 들이 연습 세션에 대 한 예상된으로 보고 필요가 없습니다.
참고:이 단계는 얼마나 단일 둘째 느낌에 참가자의 방향을 하는 데 필요한.
- 참가자 들이 연습 세션에 대 한 예상된으로 보고 필요가 없습니다.
- 두 번째 연습 세션에서 다시,가지고 참가자 드라이브 이동 끝점에 손을. 300, 500, 700 ms 지연 간격으로 적어도 5 각 배를 제시 하는 청각 음색을 무작위.
- 예상된 지연 간격을 보고 참가자 들을 요구 하십시오.
- 얼마나 가까이 지연 간격의 그들의 견적은 실제 지연 이러한 연습 시험 또는 실험 블록에 후속 재판 기간 동안 참가자를 알리지 않습니다.
참고:이 단계는 중요 한 참가자 없게 됩니다, 두 번째의 분수의 규모에 시간 판단을 만들기에서 경험 하 고 테스트 절차 unpracticed 테스트 참가자에 게 직관적 되지 않을 수 있습니다.
- 첫 번째 연습 세션에서 참가자 드라이브 손을 이동 끝점에 있고 가상 자리 10 타석에 대 한 가상 정지 지점에 도달 후 1000 ms 청각 음색을 재생.
- 각 조건에 대 한 15 실험의 실험 세트를 이동 합니다. 무작위 순서로 조건을 제시 하 고 각 조건 끝에 질문 서를 관리.
- 재판의 최신 설정에 따라 반영 (기관의 명시적 경험 척도를 4 개의 질문 및 4 개의 컨트롤 질문 [는 에서 제공 되는 예제의 포함 8 문 기관 설문 조사를 완료 하는 참가자를 지시 보조 파일])8,26.
- 무작위 참가자 들에 게 무작위로 증정 적어도 5 개의 독특한 질문 순서를 제공 하기 위해 설문 문.
- 재판의 최신 설정에 따라 반영 (기관의 명시적 경험 척도를 4 개의 질문 및 4 개의 컨트롤 질문 [는 에서 제공 되는 예제의 포함 8 문 기관 설문 조사를 완료 하는 참가자를 지시 보조 파일])8,26.
- 수동 상태에 대 한 15 실험의 세트 실험 블록을 종료 하 고이 시험을 완료 한 후 설문 조사를 관리.
참고: 관리 기관 설립된 감각을 방해 하지 않으려면 각 실험 블록의 끝에서 수동 시험.
- 두 개의 연습 세션을 시작 하 고 최종 분석에서 제외.
- 완전 한 4 개의 실험 블록을 다른 무작위 실험 조건의 주문.
- 휴식을 취하는 참가자에 대 한 테스트의 기간 동안 여러 기회를 제공 합니다. 최소 시간이 나 이러한 휴식에 대 한 제한 시간 이지만 참가자는 육체적으로 나 정신적으로 피로 테스트를 계속 하기 전에 확인.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
실험 프로토콜은 그들의 NMI8 (그림 1)는 sensate 가상 족 통해 운영 3 수족 참가자와 함께 수행 되었다. 설치 사용 참가자가 제어할 수 있는 가상 손31MuJoCo HAPTIX 물리 엔진 사용 하 여 프로그램 된 운동학 프로필을 통해 이동 합니다. 가상 손 위치를 공간적으로 일치 하는 그들의 없는 사지에 참가자 앞 가로 모니터에 표시 됩니다. NMI 참가자 신경 rewiring 수술 (대상된 reinnervation), 가상 손32;의 직관적인 컨트롤을 제공 하는 표준 보 철 다리 myoelectric (EMG) 제어 전략 결합 했다 받은 이전 했다 따라서, 참가자 그들의 없는 손 개폐에 대 한 '생각'에 의해 가상 손을 드라이브 수 있습니다. 참가자 수술 마켓된 근육의 전략적 진동 kinesthetic 감각 피드백8위한 플랫폼을 제공 하는 손 운동의 환상 지 각을 유도 한다. 사용자 정의 소프트웨어를 통해 EMG 제어 신호 및 가상 족 렌더링 진동 피드백 장치의 출력으로 통합 했다. 참가자 시작 표시 가상 손의 움직임, 진동 없는 손에서 복잡 한 그립 운동의 해당 일치 센 세이 션을 유도 것 이다.
그림 1: 기관 특성 요구 사항을 만족 하는 예를 들어 설치. 이 설치 사용자를 직관적인 제어 및 표시 가상 손의 근육 감각 피드백을 제공합니다. 가상 컨트롤 및 피드백 myoelectric 제어 및 amputees' reinnervated 근육의 진동 자극 (누락 된 사지의 환상 운동 percepts 도출)를 사용 하 여 신경-기계 인터페이스를 통해 달성 된다. 컨트롤 및 피드백 데이터 수집 시스템 및 사용자 정의 소프트웨어를 실행 하는 컴퓨터를 통해 조정 있습니다. 가상 손 운동학 수평 모니터에 사용자에 게 표시 됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
그림 2A 는 피드백 조건의 각 기관의 명시적 측정값의 비교를 위해 제공 됩니다. 여기, 4 개의 기관 질문에 대 한 평균 점수 (및 4 개의 제어 질문) 각 참가자에 대 한 및 각 피드백 조건에 의해 구성 됩니다. 그림 2B을 이러한 개별 참가자 점수는 평균 하 고 평균 표준 편차를 나타내는 오차 막대와 각 피드백 상태에 대 한 플롯. 평균 등급이 1 보다 주어진 문으로 계약 나타내고 0 계약26의 중립성을 나타냅니다. 기관 질문에 대 한 높은 계약 평가 (≥ 1) 기관의 큰 경험을 나타냅니다. 부정 또는 중립 (≤ 0) 컨트롤 질문에 대 한 응답 이어야 하며 0과 1 사이의 점수를 결정적으로 이루어집니다. '기준', '너무 빨리', 그리고 '피드백' 조건 시연 최저 평균 간격 견적 반면 기관의 강한 감각 형성을 나타내는 '수동'와 '반대 운동' 조건 기관의 약한 감각.
그림 2: 각 피드백 조건 기관의 명시적 조치. 4 개의 기관 및 각 피드백 조건 하에서 각 참가자에 게 제공 하는 4 개의 컨트롤 질문에 대 한 (A) 평균 점수. 참가자 각 피드백 조건에서 (B)는 평균 점수. 오차 막대는 표준 편차를 나타냅니다. 두 플롯, 평균 보다 + 1 나타냅니다 계약 등급이 하 고, 기관 질문, 기관, 0 이면 중립의 형성에 대 한. 이 그림 Marasco 그 외 여러분 에서 수정 되었습니다. 8. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
비교에 대 한 의도적인 그림 3A 보여줍니다 각 피드백 상태에서 바인딩 시간 간격 각 참가자에 대 한 견적 평균 피드백 상태에 따라. 실제와 인식 시간 간격 간의 차이점 다음 3 참가자 전체 평균 했다 고 초기 피드백 상태를 기준으로 그림 3B 에 표시 됩니다. 오차 막대는 평균 표준 편차를 나타냅니다. 하단 시간 간격 (그림 3A) 추정 되며 큰 부정적인 차이 (그림 3B) 기관의 강한 암시적 의미의 표시. '너무 빨리' 조건 초기 조건에 따라 최저 평균 간격 견적, 반면 '반대 운동' 상태 증명 기관의 약한 감각 기관 형성, 강한 의미를 나타내는 설명 했다.
그림 3: 암시적 측정 기구 를 통해 시간 간격 각 피드백 조건 견적. (A) 평균 간격 지연 간격 가상 손 가까이의 완료에 대 한 견적 하 고 각에 걸쳐 무작위로 각 참가자에 대 한 플롯 청각 음색 실제 간격. 결과 각 피드백 상태에 대 한 플롯 되 고 낮은 예상 시간 기관의 강한 감각을 나타냅니다. 이러한 패널 Marasco 외 에서 수정 된 8. (B) 평균 차이 (참가자 및 지연 간격)에 걸쳐 실제 시간 지연 및 참가자의 예상 초기 피드백 상태를 기준으로 시간 간격. 결과 모두에 그려집니다. 여기, 더 음수 값 나타냅니다 강한 평균 감각 기관, 그리고 CI는 95% 신뢰 구간 (CI)를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
그림 4 는 명시적 및 암시적 기관 조치의 비교에 대 한 수 있습니다. 실제와 인식 시간 간격의 평균 차이 각 피드백 상태에 대 한 평균된 기관 설문 조사 점수에 관하여 초기 피드백 조건의 결과 기준으로 그려집니다. 이 프레 젠 테이 션 데이터, 기관의 명시적 경험에 있는 감소를 나타냅니다 x 축에 왼쪽에서 오른쪽으로 이동 하 고 기관의 암시적 의미에서 감소를 나타냅니다 y 축에 맨 아래에서 이동. 그림 2 와 그림 3, '너무 빨리' 조건 명시적으로 및 암시적으로 기관의 강한 형성을 설명 했다.
그림 4: 그림 2B와 그림 3B에 제시 하는 결과 결합 하 여 각 피드백 상태에 대 한 기관의 명시적 및 암시적 측정값 평균. 평균 명시적 기관 결과 x 축에 그려집니다 및 평균 간격 예상 y 축에 그려집니다. 오차 막대는 표준 편차를 나타냅니다. 왼쪽에서 이동에 오른쪽에 x 축 기관의 명시적 경험 감소 나타내고 기관의 암시적 의미에서 감소를 나타냅니다 y 축에 맨 아래에서 이동. 이 그림 Marasco 그 외 여러분 에서 수정 되었습니다. 8. 이 그림의 더 큰 버전을 보려면 여기를 클릭 하십시오.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
여기 방법론 프레임 워크는 sensate prostheses 통해 Nmi 동안 형성 하는 기관의 경험 하 여. 이러한 맥락에서 기관 관계가 특히 지 각을 형성 하는 배경 인지 프로세스를 실제 행동 교량 으로입니다. 통해 참가자의 족 NMI, 우리는 기관의 감각을 설정 하는 핵심 요소 수에 대 한 직접 액세스: 의도, 모터 출력 및 운동 감각. 고급 보 철 다리 제어에 중요성의이 작품에서 제공 하는 도구 활용 어떻게 이러한 요소, 컨트롤의 사용자의 감각을 촉진 수도 고의 인지 통합의 작업에 대 한 이해를 잠금 해제에 대 한이 직접 액세스 그들의 족입니다.
강조 기법은 유연한 너무 오랫동안 그들은 실시간 perceptually 관련 제어 및 근육 감각 피드백에 대 한 기준을 충족 어떤 NMI 연구와 임상 보 철 시스템 채택 될 수 있다. 많은 Nmi에 내재 된 장점은 직관적인 제어 postamputation 남아 있는 신경 경로 활용 하 여 달성에 대 한 가능성입니다. 일단 그대로 사지 운동, 함께 차례로 수 있는 해독 되며 적절 한 가상 또는 인공 사지 운동에 매핑된 잔여 생리 활동의 측정에 대 한 수 있습니다. 따라서 기록 된 신경 활동과 함께 디지털 인터페이스에 적절 하 게 매핑될 수 있는 신뢰할 수 있는 출력 신호를 생성할 수 있습니다 제공 대부분 NMI 기법 perceptually 관련 컨트롤에 대 한 요구 사항을 충족 해야 합니다 가상 손입니다. 실험적인 체제는 조사 kinesthetic 감각을 적극적으로 시작 하는 기능을 제공 하는 시스템에도 필요 합니다 실시간으로 표시 된 가상 손 운동학. 이것은 우리가 작업에 종사 하 고 그 작업13완료 하는 동안 적절 한 감각 피드백 반환 됩니다 감각 기관 움직임에 설립 중요 한 요구 사항입니다. 다시,이 조건을 충족 어떤 대부분 NMI kinesthetic 피드백 시스템 적절 한 것입니다.
여기에 제시 된 기술 평가 기관의 명시적 및 암시적 인지 지 각 측정의 이점이 있다. 각 기관17;의 완전 한 의미를 함께 형성 하는 별도 인지 메커니즘의 결과 수 있습니다 제안 하는 증거가 그러나, 거기 아니다 여전히이 관계의 완전 한 이해. 이 측정에서 결과 양적 고 쉽게 해석. 감소 시간 간격 견적에 기관의 강한 암시적 의미 형성 되었다 것이 좋습니다. 마찬가지로, 높은 설문 점수 기관 진술에 기관의 강한 명시적 경험을 나타냅니다. 그것은 이러한 양적 값으로 평가 하 고 조정 NMI 제어 및 감각 피드백을 제공할 수 있습니다 좋습니다. 예를 들어 이전 작업8 참가자 종종 작은 인식된 시간 간격을 보고 하 고 명시적으로 가상 손을 표시 했다 강한 인식된 기관 보고 그림 4, 여기 보고 되는 폐쇄 약간 빠르게 그들은 경험 보다 kinesthetic 감각. 이 명시적으로, 보고는 사용자는 손의 동작 제어의 강한 감각을 느꼈다 나타냅니다 그러나 또한 인지 프로세스 제어의이 의미를 더 강하게 설정 하는이 빠른 운동학 디스플레이와 연결 하는 것을 건의 한다. 따라서, 빠른 손 닫는 맞게 임상 족의 NMI 제어 구조를 조정 그들의 물리적 장치 제어의 사용자의 인식을 개선 하 고 자체 생성 된 그들의 장치 동작을 식별 하기 위해 사용자를 장려 도움이 될 수 있습니다.
제시 하는 기법 또한 어떻게 여러 감각 modalities 인공 사지에 소유권의 인식 영향의 더 완전 한 이해를 형성 하기 위하여 채택 될지도 모른다. 예를 들어 터치 감각 피드백 (또는 다른 감각 modalities) 평가 하는 기관의 감각을 potentiating에 그들의 가능한 역할을 여기에 제시 하는 패러다임에 통합 될 수 있습니다. 또한, 여기에 제시 된 기술 기관, 화신, 및 개별 감각 modalities 사이 상호 관계 더 포괄적으로 하는 소유권의 측정으로 쌍 수 있습니다. 제공 하는 방법 또한 NMI 제어 장치 넘어 광범위 한 적용을 할 수 있습니다. 비슷한 실험 작업 복잡 한 제어 시스템 (myoelectric 패턴 인식), 전통적인 myoelectric 무생물, 바디 전원 시스템 뿐만 아니라 NMI 감각 피드백 없이 시스템 구현 될 수 있습니다. 이것 어떻게 인지 프로세스 이해에 독특한 관점에 대 한 수 있습니다 덜 '자연' 컨트롤 및 피드백 패러다임에 대응 하 고 어떻게 기관과 인식 컨트롤의 역할을 수 있습니다 더 전통적인 연구의 작업 중에 대 한 통찰력을 제공 또는 임상 보 철 시스템입니다.
로봇 prostheses 성장 점점 정교 하 고, 그래서 너무 효과적인 제어 및 이러한 장치 인지 통합 필요 합니까. 센 세이 션은 중요 한 방 벽의 숫자를 해결 하는 통로 이며 운동 감각 및 정보 처리 underpinning 메커니즘을 평가할 수 있는 중요 한 부분. 여기에 제공 된 도구는 특성화 기관의 명시적 및 암시적 형성 하 여 사용자와 디바이스의 통합을 용이 하 게 도울 수 있다. 이러한 기술은 직관적인 모터 제어 및 Nmi를 제공할 수 있습니다 및 평가 및 튜닝, 궁극적으로 그들의 인공의 통제 되는 사용자의 인식을 개선 하기 위한 플랫폼을 제공할 수 있는 감각에 타고 난 접근의 혜택을 계량 도움 다리입니다.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
저자는 공개 없다.
Acknowledgments
저자는 매들린 컴 그림 세대에 그녀의 기여에 대 한 감사 하 고 싶습니다. 이 작품은 NIH, 사무실 이사, 일반 펀드의를 통해 미국의 납세자에 의해 투자 되었다 Transformative R01 연구 상 (부여 #1R01NS081710-01)와 방위 고급 연구 프로젝트 기관 (계약 번호 N66001-15-C-4015 후원의 생물학 기술 Office 프로그램 관리자 D. Weber).
Materials
| Name | Company | Catalog Number | Comments |
| LabVIEW 2015, Service Pack 1, Version 15.0.1f2 64-bit | National Instruments, Austin, TX, USA | Full or Pro Version | We wrote custom software in LabVIEW to coordinate virtual prosthesis control with kinesthetic feedback as well as to present experimental conditions and record data. |
| 8-Slot, USB CompactDAQ Chassis | National Instruments, Austin, TX, USA | cDAQ-9178 | |
| ±60 V, 800 kS/s, 12-Bit, 8-Channel C Series Voltage Input Module | National Instruments, Austin, TX, USA | NI-9221 | |
| 100 kS/s/ch Simultaneous, ±10 V, 4-Channel C Series Voltage Output Module | National Instruments, Austin, TX, USA | NI-9263 | |
| Custom Wearable Kinesthetic Tactor | HDT Global, Solon, OH, USA | N/A | This item was custom made. Other methods of delivering kinesthetic feedback are acceptable as long as the participant feels the sensation of the hand moving in real-time with the movements of the virtual hand. |
| MuJoCo Physics Engine, HAPTIX Version | Roboti LLC, Redmond, WA, USA | mjhaptix150 | Newer versions of MuJoCo should be acceptable as well. We used the MPL Gripper Model. |
| Myobock Electrodes, powered by Otto Bock EnergyPack in MyoBoy Battery Receptacle | Ottobock, Duderstadt, Germany | electrodes: 13E200=60 battery: 757B21 battery receptacle: 757Z191=2 |
Any setup that provides an amplified, filtered, and rectified EMG or neural control signal could be used. |
References
- Kuiken, T. A., Marasco, P. D., Lock, B. A., Harden, R. N., Dewald, J. P. A. Redirection of cutaneous sensation from the hand to the chest skin of human amputees with targeted reinnervation. Proceedings of the National Academy of Sciences. 104 (50), 20061-20066 (2007).
- Hebert, J. S., et al. Novel targeted sensory reinnervation technique to restore functional hand sensation after transhumeral amputation. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 22 (4), 765-773 (2014).
- Tan, D. W., et al. A neural interface provides long-term stable natural touch perception. Science Translational Medicine. 257 (6), (2014).
- Oddo, C. M., et al. Intraneural stimulation elicits discrimination of textural features by artificial fingertip in intact and amputee humans. eLife. 5 (MARCH2016), (2016).
- Raspopovic, S., et al. Bioengineering: Restoring natural sensory feedback in real-time bidirectional hand prostheses. Science Translational Medicine. 6 (222), (2014).
- Flesher, S. N., et al. Intracortical microstimulation of human somatosensory cortex. Science Translational Medicine. 8 (361), (2016).
- Tabot, G. A., et al. Restoring the sense of touch with a prosthetic hand through a brain interface. Proceedings of the National Academy of Sciences. 110 (45), 18279-18284 (2013).
- Marasco, P. D., et al. Illusory movement perception improves motor control for prosthetic hands. Science Translational Medicine. 10 (432), (2018).
- Horch, K., Meek, S., Taylor, T. G., Hutchinson, D. T. Object discrimination with an artificial hand using electrical stimulation of peripheral tactile and proprioceptive pathways with intrafascicular electrodes. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 19 (5), 483-489 (2011).
- Braun, N., et al. The senses of agency and ownership: A review. Frontiers in Psychology. 9 (APR), (2018).
- Van Den Bos, E., Jeannerod, M. Sense of body and sense of action both contribute to self-recognition. Cognition. 85 (2), 177-187 (2002).
- Botvinick, M., Cohen, J. Rubber hands "feel" touch that eyes see. Nature. 391 (6669), 756 (1998).
- Gallagher, S. Philosophical conceptions of the self: Implications for cognitive science. Trends in Cognitive Sciences. 4 (1), 14-21 (2000).
- Niedernhuber, M., Barone, D. G., Lenggenhager, B. Prostheses as extensions of the body: Progress and challenges. Neuroscience & Biobehavioral Reviews. 92, 1-6 (2018).
- Marasco, P. D., Kim, K., Colgate, J. E., Peshkin, M. A., Kuiken, T. A. Robotic touch shifts perception of embodiment to a prosthesis in targeted reinnervation amputees. Brain. 134 (3), 747-758 (2011).
- Rognini, G., Blanke, O. Cognetics: Robotic Interfaces for the Conscious Mind. Trends in Cognitive Sciences. 20 (3), 162-164 (2016).
- Dewey, J. A., Knoblich, G. Do implicit and explicit measures of the sense of agency measure the same thing. PLoS ONE. 9 (10), (2014).
- Edwards, A. L. Adaptive and Autonomous Switching: Shared Control of Powered Prosthetic Arms Using Reinforcement Learning. , University of Alberta. Master's thesis (2016).
- Desai, M., Stubbs, K., Steinfeld, A., Yanco, H. Creating trustworthy robots: Lessons and inspirations from automated systems. Adaptive and Emergent Behaviour and Complex Systems - Proceedings of the 23rd Convention of the Society for the Study of Artificial Intelligence and Simulation of Behaviour, AISB 2009. , 49-56 (2009).
- Lee, J. D., See, K. A. Trust in automation: designing for appropriate reliance. Human Factors. 46 (1), 50-80 (2004).
- Moore, J. W. What is the sense of agency and why does it matter? Frontiers in Psychology. 7 (AUG), 1-9 (2016).
- Obhi, S. S., Hall, P. Sense of agency in joint action: Influence of human and computer co-actors. Experimental Brain Research. 211 (3-4), 663-670 (2011).
- Sahaï, A., Pacherie, E., Grynszpan, O., Berberian, B. Co-representation of human-generated actions vs. machine-generated actions: Impact on our sense of we-Agency? 2017 26th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN). , Lisbon, Portugal. August 28 - September 1, 2017 (2017).
- Biddiss, E., Chau, T. Upper limb prosthesis use and abandonment: A survey of the last 25 years. Prosthetics and Orthotics International. 31 (3), 236-257 (2007).
- Atkins, D. J., Heard, D. C. Y., Donovan, W. H. Epidemiologic overview of individuals with upper-limb loss and their reported research priorities. Journal of Prosthetics and Orthotics. 8 (1), 2-11 (1996).
- Kalckert, A., Ehrsson, H. H. Moving a Rubber Hand that Feels Like Your Own: A Dissociation of Ownership and Agency. Frontiers in Human Neuroscience. 6 (March), 1-14 (2012).
- Caspar, E. A., Cleeremans, A., Haggard, P. The relationship between human agency and embodiment. Consciousness and Cognition. 33, 226-236 (2015).
- Haggard, P., Clark, S., Kalogeras, J. Voluntary action and conscious awareness. Nature Neuroscience. 5 (4), 382-385 (2002).
- Engbert, K., Wohlschläger, A., Haggard, P. Who is causing what? The sense of agency is relational and efferent-triggered. Cognition. 107 (2), 693-704 (2008).
- Moore, J. W., Wegner, D. M., Haggard, P. Modulating the sense of agency with external cues. Consciousness and Cognition. 18 (4), 1056-1064 (2009).
- Kumar, V., Todorov, E. MuJoCo HAPTIX: A virtual reality system for hand manipulation. 2015 IEEE-RAS 15th International Conference on Humanoid Robots (Humanoids). , Seoul, South Korea. November 3 - 5, 2015 (2015).
- Kuiken, T. A., et al. Targeted reinnervation for enhanced prosthetic arm function in a woman with a proximal amputation: a case study. Lancet. 369 (9559), 371-380 (2007).
