Summary
최근, 잠재 고객의 광대한 금액은 인간 - 로봇 상호 작용 시스템을 사용할왔다. 본 논문에서 우리는 신속하게 상호 작용 기능을 가능한 라이브러리를 만들 수 있습니다 오픈 소스 소프트웨어와 함께 새로운 로봇 장치의 통합을 설명합니다. 우리는 다음 neurorehabilitation 어플 리케이션을위한 임상 응용 프로그램을 설명합니다.
Abstract
연장 치료 연습을위한 인터랙티브 장치를 테스트 최근의 연구는 바이오 피드백의 그래픽 및 다른 형태와 결합하여 로봇에 대한 새로운 전망을 보여주었다. 이전 인간 로봇 상호 작용 시스템은 새로운 시스템이 사용할 수있게 때마다 불필요한 발달 오버헤드 시간을 선도하는 각 로봇에 대한 구현되어 다양한 소프트웨어 명령을 요구합니다. 예를 들어, haptic / 그래픽 가상 현실 환경 haptic 피드백을 제공하는 한 특정 로봇을위한 코딩되었을 때, 특정 로봇 프로그램을 recoding하지 않고 다른 로봇에 대한 거래 될 수 없을 것입니다. 그러나, 오픈 소스 커뮤니티에 최근 노력이 사용되는 로봇에 관계없이 거의 동일한 응답을 이끌어내는 수있는 래퍼 클래스 접근 방식을 제안했습니다. 그 결과 공유 코드를 사용하여 유사한 실험을 수행할 수있는 전세계 연구자를 이끌 수 있습니다. 또 하나의 로봇의 모듈형 따라서 "스위칭 아웃"은 개발 시간에 영향을 미치지 않습니다 것입니다. 본 논문에서는, 우리는 소프트웨어가 가장 일반적으로 모든 로봇에 의해 사용되는 명령을 통합하는 오픈 소스 H3DAPI, 하나의 로봇에 대한 래퍼 클래스의 성공적인 생성 및 구현을 설명합니다.
Protocol
소개
직관적이고 효율적인 대화형 환경을위한 인간 - 기계 상호 작용 (HMI)의 모든 성장 필요가있다. 재활 로봇, 자동차 산업, 금속 제조, 포장 기계, 제약, 식품, 음료, 및 유틸리티 : 수많은 산업과 같은 HMI에 더 많이 의존을 계속합니다. 이러한 산업에 고용 기술은 다음과 같습니다 표시 단말기, 개인용 컴퓨터, 그리고 HMI 소프트웨어를. 이러한 기술은 무제한으로 기능을 수행하기 위해 함께 결합 수 있습니다.
로봇은 이런 음악 강사 역할로서 사용자와 직접 상호 작용을 촉진하는 데 사용할 수 있습니다. 예를 들어, 와세다 대학에서 연구자가 재생하는 방법을 사람들에게 가르쳐하고 학생과 교사 1 사이의 상호 작용을 이해하기 위해 색소폰을 연주 로봇을 만들었습니다. 기타 로봇 연구자들은 인공 지능은 환경 2 지능적 상호 작용으로 진화 방법을 결정할 수 있습니다 위해서는 비전 기반의 비행 로봇을 만들었습니다. 이 문서의 특정 농도는 재활 로봇 내에 상주합니다.
연구와 산업의 영역 내에서 새로운 제품 및 사용자 요구 사항에 변화의 빠른 속도는 성장을 계속하고 있습니다. 이러한 요구는 확장성에 큰 도전을 부과. 따라서 코드 디자인은 적시에 이들 단체의 요구를 충족시키는 필수가되었습니다. 따라서 강한 건축 후보의 품질은 드라이버 지원을 포함 쉽게 호환 그래픽 - 로봇 시스템을 포함합니다. H3DAPI 아키텍처는 이러한 요구 사항을 충족하기 때문에 래퍼 클래스가 생성되었습니다. 또한, H3D 그러한 재활 로봇에 필요한 것과 같은 가상 현실 환경을 위해 설계되었습니다.
신경 재활 로봇은 재활 전문가를 지원하기위한 목적으로 로봇을 활용 찾고 있습니다. 이러한 로봇들이 제공하는 지원은 힘 - 필드의 형태로 제공됩니다. 외부 응용 역장 이러한 Shadmehr 및 Mussa - Ivaldi, 사용하는 힘 - 분야 모터 적응을 촉진하고, 1을 발견로 전달 모터 명령 연구원) 적응이)를 포함하여 움직임의 다른 클래스에서 발생하지만, 도달 움직임에 국한되지, 2 적응은 외부 필드 3의 동일한 영역을 방문하여 다양한 움직임에 걸쳐 generalizes. 성능 기반 프로 그레시브 로봇 이용한 치료에 biomechanical 엔지니어 연구는 반복 작업 특정 목표 - 감독이 로봇 이용한 치료는 뇌졸중 사 후 영향을 팔에 모터 손상을 감소시키는 효과가 나타나지만 정확한 치료 효과와 매개 변수 연구 분야로 계속 진행합니다.
감각의 의견은 학습과 적응에 영향을 미칩니다. 따라서 다음 논리적인 질문은 여부를 인공적으로 같은 의견의 크기를 증가하지 것이 더 빠른이나 학습 / 적응보다 완벽한 추진 것이 요청하는 것입니다. 일부 연구자들은 실수를 향상시키기 위해보다 감각 피드백 세력 또는 Visual 단서를 적용하면 적응 / 학습 5,6의 높은 수준을 증진하기위한 적절한 신경 자극을 제공할 수 것으로 나타났습니다. 이것은 "오류 확대"로 알려져 있습니다. 이러한 현상은 모터 제어 작업을 한 결과가 이상 이탈 사실 때문일 수 있습니다, 우리의 내부 모델을 자체 조정 오류의 정도에 따라. 따라서, 우리의 내부 모델과 외부 환경, 작업 감소의 실행에 오류가 접근한다.
많은 현재의 의료 정책 치료사와 함께 시간을 보낼 수있는 시간 환자의 크기를 제한하지만 연구는, 함수의 복원을위한 기능 관련 활동의 오랜 관행을 계속 지원합니다. 매력적인 문제는 기술이 새로운 응용 프로그램이 단순히 치료의 현재 상태의 높은 복용량을주는 것보다 더 갈 수 있는지 여부입니다. 인간 - 기계 상호 작용 연구는 모터 학습의 분야에서 새로운 잠재 고객을 밝혀 있고, 어떤 경우에 치료 과정에 가치를 추가 제공할 수 있습니다. 컴퓨터 디스플레이와 함께 전문 로봇 장치는 모터 relearning를 속도를 향상하거나 실행하려면 오류 피드백을 확대하실 수 있습니다. 본 논문은이 기술의 응용 중 하나의 예제로서 임상 개입에 개발된 시스템을 사용하는 방법론을 제시합니다.
1. 로봇에 대한 환대의 래퍼 클래스를 구축
- 자신의. CPP와 헤더 파일을 생성하여 동상 촉각 라이브러리 래퍼를 만듭니다. 예를 들어, 우리는 이름 HAPIWAM.cpp과 HAPIWAM.h를 사용합니다.
- 소스가있는 디렉토리로 플레이스 HAPIWAM.cpp : 하피 / SRC
- 헤더 파일 디렉터리에 플레이스 HAPIWAM.h : 하피 / 포함 / 동상
- HAPIWAM.h 상단 될 WAM 바렛의 경우, 로봇의 기본 헤더 파일 (들)과 같습니다 :
<em>는 통근자 "C"{
# <include/btwam.h> 포함
}
# <HAPI/HAPIHapticsDevice.h> 포함
참고 : 통근자 포함된 라이브러리가 'C'로 작성된 때문에 "C"는 컴파일러 mangling를 해결하기 위해 필요하며 H3DAPI가로 작성된 C + +.
- HAPIWAM.h에서 해당 클래스를 만들려면 다음과 같은 네 기능을 포함
불 initHapticsDevice (INT);
불 releaseHapticsDevice ();
공극 updateDeviceValues (DeviceValues & DV, HAPITime DT);
무효 sendOutput (HAPIHapticsDevice : DeviceOutput & D, HAPITime t);
- 수업은 HAPIhapticsdevice 클래스에서 상속 공개 있는지 확인하십시오.
- 여러분의 클래스에 대한 헤더 가드를 만듭니다.
- HAPIWAM 클래스에 따라 정적 DeviceOutput 및 정적 HapticsDeviceRegistration 속성을 만듭니다.
- 콜백에 대한 정적 멤버 함수를 만듭니다.
- HAPIWAM.cpp에서 생성자와 소멸자를 정의합니다.
- HAPIWAM.cpp에 장치를 등록합니다.
- HAPIWAM.cpp에 4 상속된 함수와 콜백을 정의합니다.
2. 하피 도서관 만들기
- 우리가 동상의 래퍼 클래스를 만들었다면, 우리는 동상을 라이브러리에 래퍼를 작성해야합니다. WAM은 H3DAPI는 원시 형태에 의존하지 않는 라이브러리에 의존, 따라서 이러한 라이브러리는 동상을 추가해야합니다. 하피 / 동상 / 건설로 이동하고, CMakeLists.txt를 편집할 수 있습니다. 'SET (OptionalLibs)'라고 선을 후 종속 라이브러리를 추가합니다.
- 명령 콘솔을 열고로 이동 : 하피 / 동상은 / 구축이 순서에 따라 다음의 3 명령을 입력 :
cmake.
sudo는 만들
sudo는 설치하다
3. H3D 래퍼 클래스
- 귀하의 HAPIWAM와 H3D 라이브러리에 대한 래퍼 클래스를 생성하려면, 먼저 소스 디렉토리에 WAMDevice.cpp를 만듭니다 H3DAPI/src을
- 헤더 파일 디렉터리에 플레이스 WAMDevice.h : H3DAPI/include/H3D
- WAMDevice.h 네가 원하는 건 뭐든지에 대체 이름을 가진 모든 H3DAPI 장치의 표준 헤더 파일을 포함해야합니다.
- WAMDevice.cpp 네가 원하는 건 뭐든지에 대체 이름을 가진 모든 H3DAPI 장치에 대한 표준 소스를 포함해야합니다.
- 래퍼 클래스가 생성되었습니다 이제, H3DAPI 라이브러리를 다시 빌드합니다. H3DAPI/build에만 디렉터리 아래의 단계 2.1 수행된 동일한 방법으로 CMakeLists.txt을 편집하여이 작업을 수행합니다.
- 디렉토리 H3DAPI/build 아래 H3DAPI 라이브러리를 다시 빌드
cmake.
sudo는 만들
sudo는 설치하다
4. 유한 상태 머신
- 모든 타겟에 도달 프로그램은 실험 프로토콜이나 연습 정권을 제어하는 유한 상태 머신의 생성이 필요합니다. 일반적인 상태 머신은 다음과 같습니다 재판 시작, 목표 연락처 및 시험의 끝을 시작합니다. 각 상태와 상태 사이의 전송 기준의 기능의 예제는 다음과 같습니다.
- 시련의 시작은 대상의 할당이 필요합니다. 대상 위치는 각 재판에 대해 무작위로 설정하거나 파일에서 설정할 수 있습니다. 재판의 시작은 한 사용자가 속도 임계값, 일반적으로 초당 0.06 미터 이상의 대상쪽으로 출시했다 끝납니다.
- 시작 상태는 재판의 시작 이후에 발생합니다. 사용자가 목표를 접촉하거나 일정 기간 동안 대상의 내부 숙박 일단이 상태도 끝납니다. 대상 다친다되면, 이것은 대상 문의 상태를 수 있습니다.
- 대상 문의 실행 상태 동안에 발생합니다. 피사체가 시간의 특정 기간 동안의 대상 내에 거주 후 대상 다친다되거나하는대로 끝날 수 있습니다. 이 시간이 경과되면, 시험 상태의 종료를 사용할 수 있습니다.
- 시험 상태의 종료는 데이터 파일을 표시하기 위해 데이터 수집 소프트웨어를 신호, 소프트웨어 개발자가 각 재판의 끝을 구분하기 위해 사용한 구문 분석하는대로 인치해야 최종 재판이 완료되었습니다 않는 한, 시험 상태의 최종의 마지막 재판 상태의 시작이 가능합니다.
5. 신청 스트로크 환자의 재활
- 로봇 인터페이스는 별도로 할 수없는 무언가를 활성화하기 위해 로봇을 사용하는 동안 치료사 전문 지식을 포함하도록 설계되었습니다. 몇 가지 잘 알려진 이유 (그림 1) relearning 프로세스를 향상 환자에 의해 인식 오류를 확대 오류 확대의 기술 활성화된 응용 프로그램 (아래에 자세히 설명).
- 입체 촉각 / 그래픽 시스템은 가상 현실은 로봇 및 광학 운영 머신 (VRROOM)했다. 이 시스템은 예측 스테레오, 로봇 시스템 그 기록 손목 위치와 세미 silvered 거울 오버레이 디스플레이에 헤드 추적 렌더링을 결합 이전에 6 발표 및 힘 벡터 (그림 2) 생성.
- 영화 품질의 DIgital 프로젝터 (크리스티 미라지 3000 DLP)은 110 ° 넓은 시야각의 결과, 5 피트 너비 1280x1024 픽셀 디스플레이를 스팬 이미지를 표시합니다. 적외선 방사체는 액정 디스플레이 (LCD) 셔터 안경 (Stereographics, 부동산)를 통해 별도의 왼쪽 및 오른쪽 눈 이미지를 동기화. 승천은 시각 표시가 적절한 머리 중심의 관점과 함께 렌더링했습니다 있도록 마그네틱 요소가 머리의 움직임을 추적 새의 떼.
- 연구에 대한 자격시, 각 참가자의 기능적 능력을 각 후 한 주 후속 및 전반적인 45 일 후속 평가하여 각 치료 패러다임의 시작과 마무리에서 맹인 평가자에 의해 평가되었다. 각각의 평가를 포함하여 VRROOM뿐만 아니라 임상 조치의 수행 운동 (ROM) 평가의 범위로 구성되어 : 상자와 블록 평가, 울프 모터 기능 시험 (WMFT) Fugl 메이어 (AMFM)의 암 모터 섹션 단순 기능 리치의 평가 (ASFR).
- 손목 부목과 exotendon 장갑은 중립적인 손목 및 손 정렬을 지원하기 위해 이용되었다. 로봇 핸들의 중심은 그 세력이 손목에 행동하지만 손에 움직임을 허용 있도록 radiocarpal 공동으로 사후 배치했던 팔뚝에 붙어 있 었지.
- 환자의 팔 무게는 스프링 구동 윌밍턴 로봇 외장 (WREX) 중력이 균형 orthosis를 사용하여 감소했다. 환자의 지시 목표는 그들 앞에 제시 커서가 치료사의 손 (상담의 teleoperation)에 추적 장치를 통해 이동 추적하는 것이었습니다.
- 환자는 환자의 상담 및 트리오에서 함께 일하는 로봇으로 약 40-60분에 대한 주당 3 일 연습. 제목과 치료사가 나란히 일자와 주제는 손목에 로봇에 연결되었습니다.
- 각 세션은 컴퓨터에있는 환자를 situating에 대한 약 10 분 뒤에 치료사 모션 연습 수동 범위 (PROM), 다섯 분 시작했다. 주제는 다음 5 분마다 각 블록 사이에 2 분 휴식 기간과를 지속 운동 훈련 여섯 블록을 완료했습니다.
- 훈련 기간 동안, 참가자들은 스테레오 디스플레이에 두 개의 커서를 보았습니다. 참가자가 다른 제어하면서 치료 치료 하나의 커서를 조작. 환자가 작업 공간을 통해 이동으로 상담자의 커서의 정확한 경로를 따르도록 지시했다.
- 오류 확대는 모두 시각과 로봇에 의해 생성된 세력에 의해 제공되었다. 참가자 치료사의 커서에서 이탈하면, 순간 에러 벡터 E는 상담자의 커서와 참가자의 손에 사이에 위치의 차이로 설립되었습니다. 오류가 시각적으로 오류 확대의 일환으로 1.5 E (M)의 요인에 의해 확대되었다. 또한, 100 E (N / m)의 오류 보강 힘을는 안전상의 이유로 4 N의 최대 포화로 프로그램되었던, 적용되었다.
- 다른 모든 치료 블록은 각 세션에 대해 동일한되었다 특정 표준 동작 구성되어. 다른 블록 치료사가 치료사의 전문성과 자신의 관찰에 따라 약점의 특정 지역에서 연수를 사용자 정의할 수있었습니다. 치료 프로토콜은 모든 참가자에 대한 구체적인 움직임의 행위를 포함, 앞으로를 포함하고 측면, 어깨 팔꿈치 커플링에 도달하고, 대각선 몸 전체에 도달.
- 연습하는 동안, 매일 평균 오류가 연습 중 하나를 결과로 측정되었다. 특별한주의는 각 세션에 대해 동일한되었습니다 표준 동작 블록에 주어졌다. 이들은 어떤 증분 개선이 환자의 치료 및 보호자 (그림 3)에 신고 수있는 일상적인 기준에 관측할 수 있었는지 확인하기 위해 이전 일 비교했다.
- 결과 주요 조치 일주 치료 종료 후, 매주 측정되었고, 게시 45일는 혜택의 보존을 결정합니다. 주요 결과는 Fugl 메이어 모터 능력 점수와 운동의 범위를 측정 우리의 맞춤형 암에 도달 테스트되었습니다.
6. 대표 결과 :
<AnyDevice> 노드가 H3DViewer 또는 H3DLoad에로드되면 프로토콜은 다음 제대로되면, WAM 장치가 인식하고 시작하여야한다. WAM 다른 로봇으로 대체했다면, 코드 자체는 변경할 필요가없는 것입니다.
그림 1. haptic / 그래픽 장치에 앉아있는 제목.
그림 2. 물리 치료사와 haptic / 그래픽 장치에 앉아있는 제목.
그림 3. 재활 O에 대한 구성F 스트로크 환자. A) 제목과 치료사가 함께 작업 앉아 및 대형 작업 공간 haptic / 운동을 실천하기 위해 그래픽 디스플레이를 사용합니다. 치료사는 주제에 대한 실수를 제공하고 환자의 요구에 맞게 조절 할 수 있습니다. 로봇이 멀리 대상에서 다리를 밀고하고 시각적인 피드백 시스템이 커서의 오류를 향상 세력을 제공합니다. 매일 매일 B) 전형적인 만성 뇌졸중 환자의 향상. 각 점은 틀에 박힌 기능적 운동 2 분 블록 측정한 평균 오류를 나타냅니다. 환자가 2 주간의 기간 및 전반적인 이익에 걸쳐 진행 상태를 보여주는 동안,이 사람은 항상 매일 향상되지 않았다.
Discussion
래퍼 클래스 구현이 방법은 H3DAPI을 사용하는 경우, 소스 코드를 변경하지 않고, 사용하는 다른 로봇을 허용합니다. 특히, H3D에서 haptic / 그래픽 환경을 작성하고 유령 로봇 자신의 실험을 테스트를 연구자가 동일하거나 유사한 WAM 바렛을 사용하여 실험을하고, 그 반대를 수행하기 위해 수있을 것입니다. 장치 독립적인 상호 의사 소통 이런 종류의 국제 재활 로봇 연구에 대한 의미를 운반합니다. 이러한 의미는 빠른 haptic / 그래픽 개발, 국제적인 연구 협력 및 간 연구 연구실 통신을 용이하게합니다.
재활 로봇은 모터 학습에 관련된 많은 매개 변수를 발견하기 위해 아직있다. haptic / 그래픽 개발하는 동안 시간이 소요되는 단계 중 하나는 컴파일 시간을 포함합니다. 각 프로그램에 대한 컴파일 시간과 혼합 수많은 재활 매개 변수를 통해 가능한 모든 그룹 permutations을 테스트하기 위해 개발 수명주기가 급격히 상승. 컴파일 요구 사항의 부재와 H3D는 수많은 가상 현실 장면의 빠른 개발을위한 수 있습니다. 이것은 다양한 훈련 시나리오의 효과를 조사하기 위해 야심찬 그 연구자에 대한 장점으로 제공됩니다.
이 '하드 코딩된'래퍼 클래스 통합 접근의 제한이 절차는 H3DAPI의 새 배포가있을 때마다 반복해야한다는 사실을 포함합니다. H3DAPI의 최신 배포판에 래퍼 클래스를 통합하는 것이 가능 수정 H3DAPI에서 별도로 래퍼 클래스를 만드는 것입니다. 그러면 *. 있도록 라이브러리 파일에 래퍼 클래스를 넣어 것입니다. 이것은 원래 H3DAPI 배포판에서 클래스를 분리합니다.
Disclosures
이 튜토리얼의 래퍼 클래스는 이안 샤프에 의해 저작권의 보호를 받고 있습니다.
Acknowledgments
난 브라이언 Zenowich, 다니엘 Evestedt 및 Winsean 린의 기술적 도움을 인정하고 싶습니다.
Materials
|
References
- Solis, J., Takeshi, N., Petersen, K., Takeuchi, M., Takanishi, A. Development of the anthropomorphic saxophonist robot WAS-1: Mechanical design of the simulated organs and implementation of air pressure. Advanced Robotics Journal. 24, 629-650 (2010).
- Evolving Won-Based Flying Robots. Zufferey, J. C., Floreano, D. Proceedings of the 2nd International Workshop on Biologically Motivated Computer Vision, 2002 November, Berlin, , Springer-Verlag. 592-600 (2002).
- Conditt, M. A., Gandolfo, F., Mussa-Ivaldi, F. A. The motor system does not learn the dynamics of the arm by rote memorization of past experience. Journal of Neurophysiology. 78, 554-554 (1997).
- Krebs, H. I., Palazzolo, J. J., Dipietro, L., Ferraro, M., Krol, J., Rannekleiv, K., Volpe, B. T., Hogan, N. Rehabilitation robotics: Performance-based progressive robot-assisted therapy. Autonomous Robots. 15, 7-20 (2003).
- Wei, K., Kording, K. Relevance of error: what drives motor adaptation. Journal of neurophysiology. 101, 655-65 (2009).
- Wei, Y., Bajaj, P., Scheidt, R., Patton, J. Visual error augmentation for enhancing motor learning and rehabilitative relearning. IEEE International Conference on Rehabilitation Robotics. , 505-510 (2005).
