Summary
이 프로토콜은 신경 운동 장애가 있는 사람들을 위한 적응형 뇌심부 자극(aDBS)을 최적화하는 연구를 지원하는 재택 다중 모드 데이터 수집 플랫폼의 프로토타입을 보여줍니다. 또한 파킨슨병을 앓고 있는 개인의 집에 1년 넘게 플랫폼을 배포한 주요 결과를 제시합니다.
Abstract
적응형 뇌심부자극술(aDBS)은 파킨슨병(PD)과 같은 신경 질환 치료를 개선할 수 있는 가능성을 보여줍니다. aDBS는 증상 관련 바이오마커를 사용하여 실시간으로 자극 파라미터를 조정하여 증상을 보다 정확하게 표적화합니다. 이러한 동적 조정을 활성화하려면 각 개별 환자에 대해 aDBS 알고리즘에 대한 매개변수를 결정해야 합니다. 이를 위해서는 임상 연구원의 시간 소모적인 수동 조정이 필요하므로 단일 환자에 대한 최적의 구성을 찾거나 여러 환자로 확장하기가 어렵습니다. 또한, 환자가 집에 있는 동안 원내에서 구성된 aDBS 알고리즘의 장기적인 효과는 여전히 미해결 과제로 남아 있습니다. 이 치료법을 대규모로 구현하려면 치료 결과를 원격으로 모니터링하면서 aDBS 알고리즘 매개변수를 자동으로 구성하는 방법론이 필요합니다. 이 백서에서는 현장에서 두 가지 문제를 모두 해결하는 데 도움이 되는 재택 데이터 수집 플랫폼 설계를 공유합니다. 이 플랫폼은 오픈 소스인 통합 하드웨어 및 소프트웨어 에코시스템으로 구성되어 있으며 신경, 관성 및 다중 카메라 비디오 데이터를 집에서 수집할 수 있습니다. 환자 식별 데이터의 개인 정보 보호를 보장하기 위해 플랫폼은 가상 사설망을 통해 데이터를 암호화하고 전송합니다. 이 방법에는 데이터 스트림의 시간을 정렬하고 비디오 녹화에서 포즈 추정치를 추출하는 것이 포함됩니다. 이 시스템의 사용을 시연하기 위해 이 플랫폼을 복막투석 환자의 집에 배포하고 1.5년 동안 자기 주도적 임상 작업과 자유로운 행동 기간 동안 데이터를 수집했습니다. 데이터는 다양한 치료 조건에서 운동 증상의 중증도를 평가하기 위해 하위 치료, 치료 및 초치료 자극 진폭에서 기록되었습니다. 이러한 시간 정렬 데이터는 플랫폼이 치료 평가를 위해 재택 다중 모드 데이터 수집을 동기화할 수 있음을 보여줍니다. 이 시스템 아키텍처는 자동화된 aDBS 연구를 지원하고, 새로운 데이터 세트를 수집하고, 신경 장애를 앓고 있는 사람들을 위한 병원 밖에서 DBS 치료의 장기적인 효과를 연구하는 데 사용될 수 있습니다.
Introduction
뇌심부자극술(DBS)은 뇌의 특정 부위에 직접 전류를 전달하여 파킨슨병(PD)과 같은 신경계 질환을 치료합니다. 전 세계적으로 약 850만 명의 PD 환자가 있는 것으로 추정되며, DBS는 약물 치료가 증상 관리에 충분하지 않을 때 중요한 치료법임이 입증되었습니다 1,2. 그러나, DBS의 효과는 고정된 진폭, 주파수 및펄스 폭3에서 일반적으로 전달되는 자극으로 인해 때때로 발생하는 부작용에 의해 제한될 수 있다. 이 개방 루프 구현은 증상 상태의 변동에 반응하지 않아 환자의 변화하는 요구에 적절하게 일치하지 않는 자극 설정이 발생합니다. DBS는 현재 임상의가 각 개별 환자에 대해 수동으로 수행하는 자극 매개변수를 조정하는 시간 소모적인 프로세스로 인해 더욱 방해를 받습니다.
적응형 DBS(aDBS)는 증상 관련 바이오마커가 검출될 때마다 실시간으로 자극 매개변수를 조정하여 DBS의 효과적인 다음 반복으로 입증된 폐쇄 루프 접근 방식입니다 3,4,5. 연구에 따르면 시상하핵(STN)의 베타 진동(10-30Hz)은 PD 6,7의 특징인 움직임이 느려지는 서동증 중에 일관되게 발생합니다. 마찬가지로, 피질의 높은 감마 진동(50-120Hz)은 PD8에서도 흔히 볼 수 있는 과도하고 비자발적인 운동인 운동이상증 기간 동안 발생하는 것으로 알려져 있습니다. 최근 연구에서는 장기간 원내 aDBS를 성공적으로 시행하고 있으나5, 환자가 집에 있는 동안 원내에서 구성된 aDBS 알고리즘의 장기적 효과는 확립되지 않았다.
원격 시스템은 일상 생활 중에 발생하는 증상을 억제하는 데 있어 이러한 동적 알고리즘의 시간에 따라 변하는 효과를 포착하는 데 필요합니다. aDBS의 동적 자극 접근법은 부작용을 줄이면서 보다 정밀한 치료를 가능하게 할 수 있지만3,9 aDBS는 여전히 임상의가 각 환자에 대한 자극 매개변수를 수동으로 식별해야 하는 높은 부담을 안고 있습니다. 기존 DBS 중에 프로그래밍할 수 있는 이미 많은 파라미터 세트 외에도 aDBS 알고리즘은 신중하게 조정해야 하는 많은 새로운 파라미터를 도입합니다. 이러한 자극 및 알고리즘 파라미터의 조합은 감당할 수 없을 정도로 많은 조합이 가능한 방대한 파라미터 공간을 생성하며, 이로 인해 aDBS가 많은 환자에게 확장되는 것을 금지한다10. 연구 환경에서도 aDBS 시스템을 구성하고 평가하는 데 필요한 추가 시간으로 인해 임상에서만 알고리즘을 적절하게 최적화하기 어렵고 매개변수의 원격 업데이트가 필요합니다. aDBS를 확장 가능한 치료법으로 만들려면 자극 및 알고리즘 파라미터 튜닝을 자동화해야 합니다. 또한, aDBS가 임상 밖에서 실행 가능한 장기 치료법으로 확립되기 위해 반복된 임상시험을 통해 치료 결과를 분석해야 합니다. 치료 효과의 원격 평가를 위한 데이터를 수집하고 aDBS 알고리즘 매개변수에 대한 업데이트를 원격으로 배포할 수 있는 플랫폼이 필요합니다.
이 프로토콜의 목표는 다중 모드 재택 데이터 수집 플랫폼에 재사용 가능한 설계를 제공하여 클리닉 외부에서 aDBS 효과를 개선하고 이 치료법을 더 많은 개인으로 확장할 수 있도록 하는 것입니다. 우리가 아는 한, 이것은 통제된 작업 및 자연주의적 행동 중에 aDBS 시스템을 평가하기 위해 가정용 비디오 카메라, 웨어러블 센서, 만성 신경 신호 기록 및 환자 중심 피드백을 사용하여 치료 결과를 원격으로 평가하는 최초의 데이터 수집 플랫폼 설계입니다.
플랫폼은 이전에 개발된 시스템5 위에 구축된 하드웨어 및 소프트웨어 구성 요소의 생태계입니다. 최소한의 하드웨어를 처음 설치한 후 원격 액세스를 통해 완전히 유지 관리할 수 있어 집에서 편안하게 사람으로부터 다중 모드 데이터를 수집할 수 있습니다. 핵심 구성 요소는 신경 활동을 감지하고 STN에 자극을 전달하고 흉부 임플란트의 가속을 기록하는 이식형 신경 자극 시스템(INS)11 입니다. 초기 배치에 사용된 임플란트의 경우 STN에 이식된 양측 리드와 운동 피질 위에 이식된 전기 피질 검사 전극에서 신경 활동이 기록됩니다. 비디오 녹화 시스템은 임상의가 증상의 심각도와 치료 효과를 모니터링하는 데 도움이 되며, 여기에는 환자의 개인 정보를 보호하기 위해 진행 중인 녹화를 쉽게 취소할 수 있는 그래픽 사용자 인터페이스(GUI)가 포함되어 있습니다. 동영상은 2차원(2D) 또는 3차원(3D)으로 위치의 운동학적 궤적을 추출하도록 처리되며, 스마트 워치는 양손목에 착용하여 각속도 및 가속도 정보를 캡처합니다. 중요한 것은 모든 데이터가 장기 클라우드 스토리지로 전송되기 전에 암호화되며 환자 식별 가능한 비디오가 있는 컴퓨터는 가상 사설망(VPN)을 통해서만 액세스할 수 있다는 것입니다. 이 시스템에는 모든 데이터 스트림의 사후 시간 정렬을 위한 두 가지 접근 방식이 포함되어 있으며, 데이터는 환자의 움직임 품질을 원격으로 모니터링하고 aDBS 알고리즘을 개선하기 위해 증상 관련 바이오마커를 식별하는 데 사용됩니다. 이 작품의 영상 부분은 수집된 영상에서 추출한 운동학적 궤적의 데이터 수집 과정과 애니메이션을 보여줍니다.
여러 가지 설계 고려 사항이 프로토콜 개발을 안내했습니다.
데이터 보안 및 환자 개인 정보 보호 보장: 식별 가능한 환자 데이터를 수집하려면 HIPAA(Health Insurance Portability and Accountability Act)를 준수하기 위해 전송 및 저장에 세심한 주의를 기울여야 합니다12,13 규정을 준수하고 집에서 환자의 사생활을 존중합니다. 이 프로젝트에서는 시스템 컴퓨터 간의 모든 민감한 트래픽의 개인 정보를 보호하기 위해 사용자 지정 VPN을 설정하여 이를 달성했습니다.
자극 파라미터 안전 경계: 의도하지 않은 영향을 미칠 수 있는 aDBS 알고리즘을 시도하는 동안 환자가 안전한지 확인하는 것이 중요합니다. 환자의 INS는 과도한 자극 또는 과소 자극으로 인한 안전하지 않은 효과를 허용하지 않는 자극 매개변수에 대한 안전한 경계를 갖도록 임상의에 의해 구성되어야 합니다. INS 시스템 사용 시11 이 연구에서 사용되는 이 기능은 임상의 프로그래머가 활성화합니다.
환자의 거부권 보장: 안전한 파라미터 한계 내에서도, 증상과 자극 반응의 일일 변동성으로 인해 환자는 테스트 중인 알고리즘이 마음에 들지 않고 정상적인 임상 개방 루프 DBS로 돌아가기를 원하는 불쾌한 상황이 발생할 수 있습니다. 선택한 INS 시스템에는 환자가 자극 그룹과 자극 진폭을 mA 단위로 수동으로 변경할 수 있는 PTM(Patient Telemetry Module)이 포함되어 있습니다. 데이터 수집 전에 INS의 원격 구성에 사용되는 INS 연결 연구 애플리케이션도 있습니다14또한 환자가 aDBS 임상시험을 중단하고 치료를 제어할 수 있습니다.
복잡하고 자연스러운 행동 포착: 비디오 데이터는 임상의가 치료 효과를 원격으로 모니터링하고 연구 분석에 사용하기 위해 자세 추정치에서 운동학적 궤적을 추출할 수 있도록 플랫폼에 통합되었습니다15. 웨어러블 센서는 덜 방해가 되지만 웨어러블 시스템만으로는 전신의 전체 동적 동작 범위를 캡처하기 어렵습니다. 비디오를 통해 환자의 전체 동작 범위와 시간 경과에 따른 증상을 동시에 기록할 수 있습니다.
환자를 위한 시스템 유용성: 재택 멀티모달 데이터를 수집하기 위해서는 환자의 집에 여러 개의 기기를 설치하여 활용해야 하기 때문에 환자가 탐색하는 데 부담이 될 수 있습니다. 환자 제어를 보장하면서 시스템을 쉽게 사용할 수 있도록 하려면 녹음을 시작하기 전에 환자에게 이식되거나 물리적으로 부착된 장치(이 경우 INS 시스템 및 스마트 워치 포함)만 수동으로 켜야 합니다. 환자와 분리된 장치(이 경우 비디오 카메라에서 녹화된 데이터 포함)의 경우 환자와의 상호 작용 없이 녹화가 자동으로 시작되고 종료됩니다. GUI 디자인 중에 버튼 수를 최소화하고 깊은 메뉴 트리를 피하여 상호 작용이 단순하도록 주의를 기울였습니다. 모든 장치가 설치된 후 연구 코디네이터는 환자에게 각 장치의 일부인 환자 대면 GUI를 통해 모든 장치에서 녹음을 종료하는 방법, 약물 이력 및 증상 보고서를 입력하는 방법 등 모든 장치와 상호 작용하는 방법을 보여주었습니다.
데이터 수집 투명성: 카메라가 켜졌을 때를 명확하게 표시하는 것은 사람들이 녹화 중임을 알 수 있도록 하고 사생활이 필요한 경우 녹화를 일시 중단할 수 있도록 하는 것이 중요합니다. 이를 위해 카메라 시스템 애플리케이션을 사용하여 환자 대면 GUI로 비디오 녹화를 제어합니다. GUI는 응용 프로그램이 시작될 때 자동으로 열리고 다음 예약된 녹화의 시간과 날짜를 나열합니다. 녹화가 진행 중일 때 녹화가 종료되도록 예약된 시간을 나타내는 메시지가 표시됩니다. GUI 중앙에 빨간색 표시등의 큰 이미지가 표시됩니다. 이 이미지는 녹화가 진행 중일 때 조명이 밝게 켜지고 녹화가 꺼져 있을 때 조명이 켜지지 않는 이미지로 변경되는 것을 보여줍니다.
이 프로토콜은 가정용 데이터 수집 플랫폼을 설계, 구축 및 배포하고, 수집된 데이터의 완전성과 견고성을 위해 품질을 검사하고, 향후 연구에 사용하기 위해 데이터를 후처리하는 방법을 자세히 설명합니다.
그림 1: 데이터 흐름. 각 양식에 대한 데이터는 단일 원격 스토리지 엔드포인트로 처리 및 집계되기 전에 환자의 거주지와 독립적으로 수집됩니다. 각 모달리티에 대한 데이터는 원격 스토리지 엔드포인트로 자동 전송됩니다. 그런 다음 팀원 중 한 명의 도움을 받아 데이터를 검색하고, 유효성을 확인하고, 여러 양식에 걸쳐 시간을 정렬하고, 보다 양식별 사전 처리를 수행할 수 있습니다. 그런 다음 컴파일된 데이터 세트는 지속적인 분석을 위해 모든 팀 구성원이 안전하게 액세스할 수 있는 원격 스토리지 엔드포인트에 업로드됩니다. 특히 원시 비디오와 같은 민감한 데이터에 대한 데이터 액세스 권한이 있는 모든 시스템은 모든 데이터가 안전하게 전송되고 저장된 데이터가 항상 암호화되도록 하는 VPN에 포함되어 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
환자는 University of California, San Francisco, 프로토콜 # G1800975의 aDBS에 대한 대규모 IRB 및 IDE 승인 연구를 통해 등록됩니다. 이 연구에 등록된 환자는 이 연구를 위해 특별히 정보에 입각한 동의를 추가로 제공했습니다.
1. 재택 시스템 구성 요소
- 중앙 서버 및 VPN
- VPN 서비스 전용 Linux 기반 운영 체제(OS)를 실행하는 개인용 컴퓨터(PC)를 구입합니다. 기계를 안전한 방에 보관하십시오. 디스크는 데이터 보안을 보장하기 위해 시스템을 암호화합니다.
- 하나 이상의 포트에서 공개적으로 액세스할 수 있도록 VPN 서버를 구성합니다.
참고: 이 경우 IT 부서와 협력하여 대학의 DNS 호스팅 옵션을 통해 서버에 외부 연결 고정 IP 주소와 사용자 지정 URL을 제공함으로써 이 작업을 수행했습니다. - 서버 설치의 경우 VPN을 제공하기 위해 선택한 PC에서 다음 단계를 한 번 완료하십시오.
- 방화벽 구성: PC 터미널에서 다음 명령을 실행하여 복잡하지 않은 방화벽을 설치하고 구성합니다.
sudo apt 설치 ufw
sudo ufw ssh 허용
sudo ufw 허용 <포트 번호>/udp
sudo ufw 활성화 - 서버 VPN 설치: PC에 오픈 소스 WireGuard VPN 프로토콜16 을 설치하고 설치 디렉토리로 이동합니다. PC 터미널에서 umask 007 을 실행하여 디렉터리 액세스 규칙을 업데이트합니다.
- 키 생성: PC 터미널에서
WG 젠키 | 티 프라이빗키 | wg pubkey > publickey
이렇게 하면 VPN 서버에 대한 공개/개인 키 쌍이 생성됩니다. 이 공개 키는 VPN에 연결된 모든 클라이언트 PC와 공유됩니다. - VPN 구성: PC 터미널에서 touch
.conf 를 실행하여 구성 파일을 생성하며, 여기서 파일 이름은 인터페이스 이름과 일치해야 합니다. 다음 서버 규칙을 이 파일에 붙여넣습니다.
[인터페이스]
PrivateKey =
주소 = ##.#.#.#/ ##
포스트업 = iptables -A 앞으로 -i interface_name -j 수락; iptables -t nat -A 포스트라우팅 -o network_interface_name -j 마스커레이드
포스트다운 = iptables -D 앞으로 -i interface_name -j 수락; iptables -t nat -D 포스트라우팅 -o network_interface_name -j 마스커레이드
ListenPort = #####
[피어]
PublicKey =
허용된 IPs = ##.#.#.#/ ## - VPN 활성화: 터미널에 wg-quick up
를 입력하여 VPN을 시작합니다. PC가 재부팅될 때마다 VPN 프로토콜이 자동으로 시작되도록 하려면 터미널에서 다음을 실행합니다.
systemctl 활성화 wg-quick@
- 방화벽 구성: PC 터미널에서 다음 명령을 실행하여 복잡하지 않은 방화벽을 설치하고 구성합니다.
- 클라이언트 설치의 경우 VPN에 액세스해야 하는 각 새 시스템에 대해 다음 단계를 완료합니다.
- 클라이언트 VPN 설치: WireGuard16 다운로드 페이지의 OS별 지침에 따라 VPN 프로토콜을 설치합니다.
- VPN에 클라이언트 추가: 설치 중에 생성된 구성 파일에서 공개 키를 가져옵니다. 이 키를 서버 구성 파일의 피어 섹션에 붙여넣습니다.
- VPN 활성화: WireGuard16 다운로드 페이지의 OS별 지침에 따라 VPN을 시작합니다.
- 클라우드 스토리지
- 클라우드 스토리지 사이트를 선택하면 기록된 모든 데이터 스트림을 한 곳에 장기간 저장할 수 있습니다. 여기서는 선택한 데이터 전송 프로토콜과 호환되는 Amazon 웹 서비스 기반 클라우드 스토리지 사이트를 사용했습니다.
- 이식형 신경조절 시스템
- IRB 및 IDE 가이드라인에 따라 환자가 자극 설정을 수동으로 변경할 수 있는 이식형 신경조절 시스템(INS)11 을 선택합니다.
- 태블릿 PC를 구입하고 오픈 소스 UCSF DBS 애플리케이션을 설치하여 INS 기록, 약물 및 증상 보고 또는 기타 환자 의견14. 태블릿으로 스트리밍되는 INS 데이터를 임시 HIPPA 준수 클라우드 스토리지 엔드포인트에 업로드하도록 구성하여 데이터를 익명화하고 장기 클라우드 스토리지로 오프로드하기 전에 임시 스토리지를 사용할 수 있습니다.
- 비디오 수집 시스템
- 클라우드 스토리지로 전송하기 전에 원하는 양의 비디오 파일을 수집하고 저장할 수 있는 PC를 구입하십시오. PC 마더보드에 TPM(신뢰할 수 있는 플랫폼 모듈) 칩이 포함되어 있는지 확인합니다.
참고: 이 경우 500GB SSD, 2TB HDD 및 6GB GPU가 장착된 PC가 선택되었습니다. 2TB 디스크는 긴 녹화 세션 후 또는 며칠 동안 인터넷 연결이 끊어진 경우 비디오를 버퍼링할 수 있도록 하는 동시에 단일 PC는 가정에서 하드웨어의 침입을 최소화합니다. - 원하는 OS를 설치하고 프롬프트에 따라 자동 디스크 암호화를 활성화하여 환자의 개인 정보를 보호하고 데이터 유출을 방지합니다. 이 경우 Ubuntu 배포판이 있는 Linux 기반 OS는 사용 편의성과 안정성을 위해 선택되었습니다.
- OS를 설치한 후 하드 디스크를 별도로 암호화합니다. 시스템 재부팅 시 자동 디스크 다시 마운트를 활성화해야 합니다.
- 시스템 재부팅 후 디스크 암호화 PC에 대한 액세스를 유지하도록 PC의 온보드 TPM 칩을 구성합니다17.
참고: Linux OS를 사용하는 경우 이 단계를 활성화하려면 TPM2 칩이 설치된 마더보드를 선택해야 합니다. Windows OS를 사용하는 경우 Bitlocker 프로그램에서 자동 디스크 암호화 및 잠금 해제를 처리할 수 있습니다. - 1.1.4의 설치 단계에 따라 PC를 VPN 클라이언트로 구성합니다. 섹션 1.1.3.5와 같이 PC가 재부팅될 때마다 VPN 프로토콜이 자동으로 시작되도록 하여 연구원 컴퓨터가 항상 PC에 원격으로 액세스할 수 있도록 합니다(권장).
- GitHub 컴퓨터 사용자 계정을 만들어 PC에 설치된 소프트웨어에 대한 업데이트를 쉽게 자동화할 수 있습니다. 이 계정은 원격 git 엔드포인트에서 끌어오기를 자동화하는 웹후크 역할을 하며 원격 머신에서 푸시된 업데이트를 식별하는 데 도움이 됩니다.
- 비디오 녹화를 예약 및 제어할 소프트웨어를 선택하고 PC에 설치합니다. 환자의 개인 정보 보호와 편안함을 극대화하기 위해 선택한 소프트웨어에는 녹화가 진행 중일 때 명확하게 표시하고 언제든지 녹화를 쉽게 종료할 수 있는 그래픽 사용자 인터페이스(GUI)가 포함되어야 합니다.
참고: 원하는 경우 환자용 GUI가 있는 작성자의 사용자 지정 비디오 녹화 응용 프로그램은 응용 프로그램을 다운로드하고 GitHub(https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp)의 지침에 따라 설치할 수 있습니다. - 비디오가 녹화되고 있을 때를 표시하고 사람들이 녹화를 쉽게 종료할 수 있도록 모니터를 선택합니다. 키보드나 마우스를 조작할 필요 없이 녹화를 종료할 수 있도록 터치스크린 기능이 있는 모니터를 선택하십시오.
- PC에 원격 데스크톱 응용 프로그램을 설치합니다. 이를 통해 GUI를 사용하여 애플리케이션을 실행할 수 있으므로 GUI가 환자 측과 원격 연구원 측 모두에서 계속 표시됩니다.
참고: 오픈 소스 NoMachine 원격 데스크톱 응용 프로그램은 Linux OS에서 가장 잘 작동했습니다. - 주어진 공간에서 포즈를 계산할 수 있을 만큼 충분히 높은 해상도의 USB 호환 웹캠을 선택하십시오.
참고: 이 경우 4fps의 4k 해상도 또는 60fps의 HD 해상도를 포함한 다양한 해상도 및 프레임 속도 조합을 제공하는 4k 호환 웹캠이 선택되었습니다. - 환자의 집에 웹캠을 장착하기 위한 견고한 하드웨어를 선택하십시오. 클립이 있는 구즈넥 마운트를 사용하여 가구에 고정하여 카메라가 흔들리지 않도록 합니다.
- 암호화 기능이 있는 데이터 전송 프로토콜을 선택하여 PC에 설치합니다. 클라우드 스토리지 사이트에 액세스하기 위한 구성을 만든 다음, 데이터 전송 전에 첫 번째 구성을 래핑하는 암호화 구성을 만듭니다.
참고: 이 경우 암호화 기능이 있는 오픈 소스 데이터 전송 및 파일 동기화 프로토콜이 설치되었습니다18. 데이터 전송 프로토콜 설명서에서는 클라우드 스토리지로의 데이터 전송을 구성하는 방법을 설명합니다. 프로토콜이 VPN 서버에 처음 설치되고 데이터를 오프사이트 클라우드 스토리지 사이트로 전송하는 암호화 구성이 만들어졌습니다.
- 클라우드 스토리지로 전송하기 전에 원하는 양의 비디오 파일을 수집하고 저장할 수 있는 PC를 구입하십시오. PC 마더보드에 TPM(신뢰할 수 있는 플랫폼 모듈) 칩이 포함되어 있는지 확인합니다.
- 웨어러블 센서 데이터 구성 요소
- 환자의 각 손목에 착용할 스마트 워치를 선택하여 움직임, 가속도 측정 및 심박수를 포함한 신호를 추적합니다.
알림: Apple watch series 3는 운동이상증 및 떨림 점수와 같은 PD 증상 점수를 생성하는 운동 장애 증상 모니터가 내장되어 있습니다. - 녹화를 시작 및 종료하고 데이터를 클라우드 스토리지로 전송할 수 있는 소프트웨어를 각 스마트 워치에 선택하여 설치합니다. 연구자와 임상의가 분석할 수 있도록 모든 데이터 스트림을 관련 온라인 포털에 업로드하는 애플리케이션을 선택합니다19.
- 환자의 각 손목에 착용할 스마트 워치를 선택하여 움직임, 가속도 측정 및 심박수를 포함한 신호를 추적합니다.
그림 2: 비디오 녹화 구성 요소. 비디오 데이터 수집을 지원하는 하드웨어 구성 요소는 단일 타워 PC, USB 연결 웹캠 및 환자용 GUI를 표시하는 소형 모니터를 포함하여 최소화됩니다. 모니터는 터치스크린을 지원하여 GUI에 표시되는 버튼을 눌러 진행 중이거나 예약된 녹화를 쉽게 종료할 수 있습니다. GUI의 중앙에는 비디오 카메라가 녹화 중일 때 밝은 빨간색으로 변하는 녹화 표시등의 이미지가 표시됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
2. 가정 내 구성
- 하드웨어 설치
- 가정의 방해를 최소화하는 웹캠을 장착할 적절한 공간을 결정하십시오. 환자와의 토론을 통해 공간을 결정하십시오. 여기서 홈 오피스 영역은 녹음 볼륨과 개인 정보 보호의 균형을 맞추기 위한 최적의 장소로 선택되었습니다.
- 마운트 web선택한 장착 하드웨어의 식별된 영역에 캠. 구즈넥 마운트를 근처의 무거운 가구에 고정하면 누군가가 근처에 걸어올 때마다 카메라가 흔들리는 것을 방지할 수 있습니다.
- USB 케이블을 PC에 연결할 수 있도록 마운트된 웹캠에 PC를 충분히 가까이 두십시오.
- 태블릿 PC, INS 구성 요소, 스마트 시계 및 스마트폰을 전원 콘센트 근처에 두어 모든 장치가 연결된 상태를 유지하고 언제든지 사용할 수 있도록 합니다.
- PC 터미널에서 route -n 을 실행하여 VPN이 켜져 있는지 확인합니다. 그렇지 않은 경우 섹션 1.1.3.5의 지침에 따라 VPN을 활성화하십시오.
- 비디오 녹화 응용 프로그램 시작
- 비디오 녹화 일정: 데이터를 수집하기 전에 환자와 적절한 녹화 일정에 대해 논의하십시오. 비디오 녹화 소프트웨어에서 이 일정을 구성합니다.
참고: 작성자의 사용자 지정 비디오 녹화 응용 프로그램을 사용하는 경우 일정 설정 지침은 GitHub(https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide)에서 찾을 수 있습니다. - 녹화 소프트웨어 업데이트: 1.4.6에 설치된 GitHub 컴퓨터 사용자 계정을 사용하여 선택한 비디오 녹화 소프트웨어의 최신 버전이 PC에 업로드되었는지 확인합니다.
- 비디오 녹화 시작: 설치된 원격 데스크톱 소프트웨어를 통해 PC에 로그인하고 비디오 녹화 소프트웨어를 시작합니다.
참고: 작성자의 사용자 지정 비디오 녹화 응용 프로그램을 사용하는 경우 GitHub(https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide)에서 응용 프로그램 시작 지침을 찾을 수 있습니다.
- 비디오 녹화 일정: 데이터를 수집하기 전에 환자와 적절한 녹화 일정에 대해 논의하십시오. 비디오 녹화 소프트웨어에서 이 일정을 구성합니다.
- 비디오 카메라 보정
- 자동 초점 비활성화: 렌즈 및 원근 왜곡과 같은 고유한 매개변수를 계산하려면 선택한 OS 및 웹캠에 따라 지침에 따라 자동 초점을 끕니다.
참고: Linux에서 웹캠은 카메라에 연결된 컴퓨터를 다시 시작할 때마다 기본적으로 자동 초점을 켜는 Linux용 비디오 API를 통해 액세스됩니다. 이 기능을 자동으로 비활성화하도록 스크립트를 구성하는 것은 3D 포즈 처리를 위해 카메라 보정 중에 획득한 초점을 유지하는 데 필요합니다. - 고유 보정: 포즈 추정 소프트웨어20의 3D 보정을 지원하기 위해 100mm 정사각형의 6 x 8 체커보드 패턴을 획득합니다. 연구원이 모든 카메라의 프레임 내에서 바둑판 각도를 조정하는 동안 각 개별 웹캠에서 비디오를 녹화합니다. 바둑판에 짝수의 행과 짝수없는 열이 있는지 확인하십시오(또는 그 반대의 경우도 마찬가지). 이렇게 하면 회전에 대한 모호성이 제거됩니다.
- 외부 보정: 세 개의 웹캠 모두에서 동시에 비디오를 녹화합니다. 비디오는 3D 포즈 추정을 위해 처리할 비디오와 동일한 해상도로 녹화되어야 합니다. 모든 비디오에서 정확한 시간 동기화를 보장하려면 녹화 시작과 끝에서 IR LED 표시등을 깜박입니다. 비디오 편집 소프트웨어를 사용하여 LED가 시작될 때 프레임을 표시하고 비디오를 동일한 길이로 트리밍하여 비디오를 수동으로 동기화합니다.
- 보정 매트릭스: 이전 두 단계에서 녹화된 비디오를 OpenPose21 을 통해 전달하여 내재적 및 외적 보정 매트릭스를 생성합니다.
참고 : OpenPose는 카메라 보정을 위해 OpenCV 라이브러리를 사용하며 OpenPose GitHub20,22의 문서를 통해 추가 지침을 찾을 수 있습니다.
- 자동 초점 비활성화: 렌즈 및 원근 왜곡과 같은 고유한 매개변수를 계산하려면 선택한 OS 및 웹캠에 따라 지침에 따라 자동 초점을 끕니다.
3. 데이터 수집
- 녹음을 시작하기 위한 환자 지침
- 장치 배터리 및 전원 확인: INS 장치는 피사체에 지속적인 자극을 제공하기 위해 항상 켜져 있습니다. 신경 데이터 기록을 시작하려면 환자에게 태블릿 PC를 켜고 왼쪽 및 오른쪽 INS 장치 모두에 대한 임상의 원격 측정 모듈(CTM)이 켜져 있고 완전히 충전되어 있는지 확인하도록 요청합니다.
- CTM 배치: 가슴 양쪽에 CTM을 배치합니다. 연결성을 극대화하고 패킷 손실을 줄이려면 녹화 중에 CTM을 흉부 임플란트 가까이에 배치하십시오. CTM을 배치할 수 있는 추가 위치는 재킷의 가슴 주머니 또는 특수 스카프를 사용하는 것입니다.
- 태블릿 연결 활성화: 태블릿이 부팅되면, 환자에게 DBS 애플리케이션을 열고 연결을 선택하도록 요청하면, CTM에 대한 블루투스 연결이 표시되고, 이어서 INS 장치(14)에 대한 블루투스 연결이 프롬프트된다.
- 카메라 활성화: 환자에게 비디오 카메라가 USB 케이블을 통해 PC에 연결되어 있고 카메라가 켜져 있는지 확인하도록 요청합니다.
참고: 작성자의 사용자 지정 비디오 녹화 응용 프로그램을 사용하는 경우 진행 중인 녹화는 환자용 GUI에 밝게 켜진 빨간색 표시등의 큰 이미지로 명확하게 표시됩니다. 녹음이 꺼져 있을 때 켜지지 않은 빨간색 표시등으로 바뀝니다. 선택한 웹캠에는 작은 흰색 표시등도 있습니다. - 스마트 워치 활성화: 환자에게 전원 버튼을 길게 눌러 스마트 워치와 스마트폰을 켜도록 요청합니다. 그런 다음 스마트 워치 애플리케이션을 열어 데이터 기록 및 PD 증상 추적을 시작하도록 요청하세요.
- 제스처 기반 데이터 정렬 및 기록 시나리오Gesture-based data-alignment and recording scenarios
- 데이터 수집을 시작하기 전에 데이터 기록 중에 환자가 수행할 원하는 작업을 작성합니다.
- 타임스탬프 정렬을 위한 다중 장치 시계 기반 동기화는 신뢰할 수 없으므로, 환자에게 모든 새로운 기록이 시작될 때 기록된 데이터의 타임스탬프를 동기화하는 데 사용할 수 있는 제스처를 수행하도록 요청합니다.
참고: 저자는 환자가 카메라를 볼 수 있는 곳에 손을 대고 이식된 INS 장치를 모두 두드리는 간단한 제스처를 고안했습니다. 이 탭핑은 스마트 워치와 INS 가속도계의 관성 기록에 독특한 패턴을 생성하며 비디오에서 쉽게 관찰할 수 있습니다.
- 기록 종료를 위한 환자 지침
- 자극 그룹을 환자가 선호하는 임상적으로 할당된 그룹으로 다시 전환합니다.
- DBS 애플리케이션의 환자 대면 GUI에서 증상 보고서를 입력합니다.
- DBS 애플리케이션을 닫으면 CTM의 연결이 끊어지고 INS 스트리밍이 종료됩니다.
- 스마트 시계 녹화 애플리케이션을 닫고 CTM, 스마트폰 및 스마트 시계 장치를 충전 포트로 되돌립니다.
- 데이터 오프로딩
- 암호화된 구성을 사용하여 데이터 전송 프로토콜을 통해 원시 비디오를 클라우드 스토리지로 전송합니다. 비디오 녹화 PC에서 cron 작업을 생성하여 데이터 전송 프로토콜(18)을 통해 녹화된 비디오를 클라우드 스토리지로 자동 전송합니다.
알림: 비디오의 해상도와 매일 녹화되는 시간에 따라 인터넷 속도는 모든 비디오를 24시간 이내에 클라우드 저장소로 전송할 수 있을 만큼 충분히 빨라야 합니다. 데이터 전송 속도가 너무 느리면 디스크 공간이 부족하여 다음 날에 예약된 추가 비디오 녹화가 실패할 수 있습니다. - INS 데이터를 1.3.2단계에서 구성된 HIPAA 보안 클라우드 엔드포인트에 저장합니다. HIPAA 보안 클라우드 엔드포인트에서 INS 데이터를 다운로드하고 데이터를 익명화합니다. 익명화된 데이터를 외부 클라우드 스토리지에 저장합니다.
참고: 오픈 소스 OpenMind 전처리 코드23 은 데이터를 익명화하고 json 파일에서 테이블 형식으로 변환하는 데 사용되었습니다. 환자의 태블릿은 원시 INS 데이터의 임시 저장을 위해 HIPAA 보안 클라우드 엔드포인트로 구성되었습니다. 그러나 장기 스토리지에 사용되는 것과 동일한 클라우드 스토리지 사이트가 HIPAA를 준수하고 오프로드 전에 데이터가 암호화되는 경우 이 단계에도 사용할 수 있습니다. - 원하는 경우 스마트 워치 데이터의 복사본을 외부 클라우드 저장소에 저장하여 모든 데이터 스트림에 한 위치에서 액세스할 수 있도록 합니다.
- 암호화된 구성을 사용하여 데이터 전송 프로토콜을 통해 원시 비디오를 클라우드 스토리지로 전송합니다. 비디오 녹화 PC에서 cron 작업을 생성하여 데이터 전송 프로토콜(18)을 통해 녹화된 비디오를 클라우드 스토리지로 자동 전송합니다.
4. 시스템 특성화
- 원시 데이터 시각화: 원하는 코딩 환경에서 모든 원시 데이터 스트림을 시각화하여 데이터가 손실이나 손상 없이 적절하게 기록 및 전송되었는지 확인합니다.
알림: 스마트 워치 녹화를 관리하기 위해 선택된 애플리케이션에는 스마트 워치 데이터 시각화에 도움이 되는 브라우저 앱이있습니다(24). - 비디오 프레임 및 타임스탬프 지연: 서로 다른 웹캠에서 생성된 타임스탬프 간의 지연을 검사합니다. 모든 웹캠의 프레임에 배치된 프로그래밍 가능한 LED 조명으로 비디오를 녹화하여 지연을 분석합니다.
참고: 분석 결과 사용자 지정 비디오 녹화 앱에서 가져온 비디오 세그먼트 기능(25 )이 타임스탬프 지연 증가의 원인인 것으로 나타났습니다. 세그먼트 기능 없이 비디오를 녹화하면 시간이 지나도 증가하지 않는 웹캠 프레임 및 타임스탬프 간 지연이 발생했습니다(보충 파일 1 및 보충 그림 1 참조).
5. 사후 데이터 전처리 및 정렬
- 포즈 데이터
- 녹화된 비디오에서 조인트 위치 추정치를 계산하는 소프트웨어를 설치합니다.
참고: OpenPose 라이브러리는 2D와 3D 모두에서 손과 얼굴 추적을 포함하기 때문에 선택되었습니다. - OpenPose 라이브러리는 여러 사람이 프레임 내에 있는 경우를 자동으로 처리하지 않으므로 사후 처리 스크립트를 사용하여 각 사람의 포즈 추정치가 한 프레임에서 다음 프레임으로 연속되도록 합니다. OpenPose는 포즈 추정 품질을 시각적으로 확인하기 위해 2D 또는 3D로 애니메이션을 쉽게 생성할 수 있는 코드를 제공합니다.
- 녹화된 비디오에서 조인트 위치 추정치를 계산하는 소프트웨어를 설치합니다.
- 제스처 기반 시간 맞춤
- 각 INS 장치(왼쪽 및 오른쪽)에 대해 작성자의 데이터 정렬 GUI(https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI)를 사용하여 아래에 설명된 단계를 수행합니다.
- 데이터 읽기: 원하는 데이터 세션을 위해 클라우드 스토리지에서 저장된 INS 및 스마트 워치 가속도계 데이터에 액세스합니다.
참고: 원하는 경우 시계열을 추가할 수 있습니다. 그림 3 은 오른쪽 가운데 손가락 끝의 포즈 위치를 녹색으로 보여줍니다. - GUI에서 데이터 스트림 시각화: 수동 시간 정렬 GUI를 사용하여 INS 가속도계, 스마트 워치 가속도계 및 포즈 데이터를 오버레이합니다.
- 정렬 아티팩트 확대: 시간 축을 확대하고 보기 창을 기록의 가슴 두드리기 섹션으로 이동합니다. INS와 스마트 워치 시계열 신호 모두에서 가슴 탭의 피크가 가능한 한 가깝게 겹치도록 정렬 시계열을 이동합니다.
참고: GUI는 임의의 시계열을 공통 실제 시간에 수동으로 정렬할 수 있도록 설계되었습니다. 그림 3 은 실제 시계열을 파란색으로 표시하고, 정렬 시계열은 주황색과 녹색으로 표시합니다. GUI 정렬에 대한 주요 가이드는 GitHub ReadMe(https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment)에 명시되어 있습니다. - 정렬 확인: GUI 창을 기록의 각 가슴 두드리기 작업으로 이동하고 정렬이 시계열 전체에서 일관되게 유지되는지 확인합니다. Switch Aligning(정렬 전환) 버튼을 누르고 나머지 데이터 스트림에서 정렬을 반복합니다.
- 경고 플래그: 데이터가 누락되었는지, 이동되었는지 또는 데이터 품질과 관련된 기타 일반 경고인지 여부를 나타내려면 각각 D, S 및 F 키를 사용하여 GUI에서 경고 플래그를 설정합니다.
- 데이터 읽기: 원하는 데이터 세션을 위해 클라우드 스토리지에서 저장된 INS 및 스마트 워치 가속도계 데이터에 액세스합니다.
- 각 INS 장치(왼쪽 및 오른쪽)에 대해 작성자의 데이터 정렬 GUI(https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI)를 사용하여 아래에 설명된 단계를 수행합니다.
- 제로 정규화 교차 상관(ZNCC) 시간 정렬
- 실제 시간에 가장 가까울 가능성이 가장 높은 신호를 식별합니다. 일반적으로 샘플 빈도가 가장 높거나 인터넷 새로 고침 시간이 가장 빠른 것입니다.
- 두 신호를 동일한 시간적 샘플링 주파수를 갖도록 리샘플링하고 두 신호에 개별적으로 z-점수를 매깁니다. 이렇게 하면 결과 ZNCC 점수가 -1과 1 사이로 정규화되어 두 신호 간의 유사성 수준을 추정할 수 있어 오류를 포착하는 데 유용합니다.
- 모든 시간 지연에서 두 번째 신호와 첫 번째 신호의 상호 상관을 계산합니다.
- 두 신호의 위상 정보가 중요하지 않은 경우 측정된 교차 상관 곡선의 절대값을 취합니다.
참고: 동작이 상당히 주기적이지 않으면 이 경우와 같이 위상 정보가 필요하지 않습니다. - ZNCC 곡선을 분석합니다. 피크 ZNCC 점수가 0.3보다 높은 clear 피크가 하나 있는 경우 이 피크의 시간은 두 신호 사이의 시간 지연에 해당합니다. 피크가 여러 개 있거나, 명확한 피크가 없거나, 모든 시간 지연에서 ZNCC 점수가 낮은 경우 두 신호를 수동으로 정렬해야 합니다.
그림 3: 제스처 기반 데이터 정렬. 그림의 위쪽 절반은 세 개의 데이터 스트림을 정렬한 후 수동 정렬 GUI를 보여줍니다. 파란색 선은 스마트워치 가속도계 데이터, 주황색 선은 INS의 가속도계 데이터, 녹색 선은 단일 웹캠에서 오른쪽 가운데 손가락 끝의 2D 포즈 위치입니다. 오른쪽 상단에는 스마트 워치와 INS의 실제 시간 사이의 오프셋과 발생하는 문제를 표시하는 다양한 경고 플래그가 표시됩니다. 이 예에서 INS는 스마트워치보다 20.8초 앞섰습니다. 왼쪽 하단 그래프는 데이터 정렬을 위해 환자가 수행한 5번의 흉부 탭을 보여주기 위해 확대됩니다. 5개의 피크는 각 데이터 스트림에서 적절한 정렬을 보장하기에 충분히 명확합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
프로토타입 플랫폼 설계 및 배포
프로토타입 플랫폼을 설계하여 환자 한 명의 집에 배포했습니다(그림 1). 가정에 하드웨어를 처음 설치한 후 플랫폼을 유지 관리할 수 있으며 원격 액세스를 통해 데이터를 완전히 수집할 수 있습니다. INS 장치, 스마트 워치 및 카메라에는 환자가 녹음을 시작하고 중지할 수 있는 환자 대면 애플리케이션이 있습니다. 비디오 수집 하드웨어는 승인된 일정이 구성된 후 자동 비디오 녹화를 활성화합니다. 환자는 비디오 녹화 응용 프로그램 GUI의 버튼을 누르기만 하면 진행 중인 녹화를 쉽게 취소할 수 있습니다(그림 2). 수집된 모든 데이터는 암호화되어 연구원이 처리하고 분석할 수 있도록 클라우드 스토리지 사이트로 전송되었습니다.
데이터 수집
첫 번째 배포 및 데이터 수집 주기에 대해 환자에게 자기 주도형 임상 작업을 수행하도록 요청했습니다. 과제는 통합 파킨슨병 평가 척도(UPDRS)26, 즉 안정시 떨림, 엄지에서 검지까지 손가락 두드리기, 손 열고 닫기, 손목 내전-봉합, 앉았다 일어서기 운동 및 걷기, 타이핑 과제에서 가져왔습니다. 모든 작업은 각 녹화일에 대해 세 번 반복되었습니다. 각 반복에 대해 PD의 잠재적인 자극 관련 증상을 드러내기 위해 다른 자극 진폭을 설정했습니다. 그림 4 는 시스템으로 수집된 일주일 동안의 데이터가 어떻게 보이는지에 대한 도식화된 예를 보여줍니다.
그림 4: 데이터 가용성. 시스템으로 수집된 일주일 분량의 데이터가 어떻게 생겼는지에 대한 도식화된 데모입니다. 상단 플롯은 여러 주간/야간 주기 동안의 자극 수준(파란색)을 보여줍니다. 이 환자의 자극 변화는 수면 일정과 약물 복용 시간(빨간색 세로선)에 따라 달라집니다. 하루 중 임의의 시간에 데이터 수집 시스템을 원격으로 활성화하여 컬러 상자로 표시된 여러 양식에 대한 데이터를 수집할 수 있습니다. 본문의 왼쪽으로 아래쪽으로 선택된 모든 병렬, 시간 정렬 데이터 스트림의 한 예가 아래쪽 그림에 나와 있습니다. 이 기록 중에 환자는 저진폭, 치료용 및 고진폭 자극 조건에서 일련의 임상 평가를 수행하도록 요청받았습니다. 여기에 표시된 모든 데이터는 수집된 실제 데이터와 일치하지만 시각화를 용이하게 하고 다양성을 보여주기 위해 별도의 실험에 걸쳐 압축되었습니다. 약어: LFP=국부장 전위, STN=시상하핵, 가속도계, 자이로=자이로스코프, 2D=2차원. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
수동 정렬
수동 정렬 GUI는 여러 데이터 스트림을 정렬하기 위한 사용하기 쉬운 플랫폼을 제공합니다. 그림 3에서 볼 수 있듯이 가슴 탭은 수동 정렬에 사용할 수 있는 모든 데이터 형식(INS, 스마트 워치, 비디오)에서 명확하게 식별 가능한 아티팩트를 제공합니다. GUI는 데이터를 정렬하는 유용한 수단이었지만 연구원이 사용하고자 하는 다른 정렬 도구와 교환할 수 있습니다. 경우에 따라 데이터 스트림에 약간의 드리프트가 있습니다. 이 문제에 대한 잠재적인 미래 해결책은 세션 데이터를 각각 고유한 흉부 탭 시퀀스가 있는 여러 시도로 나누는 것입니다. 그런 다음 각 시도를 개별적으로 정렬하여 드리프트의 영향을 최소화할 수 있습니다.
제로 정규화 교차 상관(ZNCC) 시간 정렬
ZNCC에 대한 방법은 경우에 따라 잘 작동하지만 몇 가지 중요한 취약점이 있습니다. 예를 들어, 일부 움직임의 경우, 두 가속도계 신호는 서로에 대해 위상 편이될 수 있습니다. 위상 정렬 및 위상 변이 운동이 모두 분석된 Epoch에 포함되는 경우 ZNCC는 여러 개의 피크를 갖거나 명확한 피크가 없을 수도 있습니다. ZNCC의 정규화를 통해 이러한 정렬을 자동으로 식별하고 필요에 따라 삭제할 수 있습니다. 이 방법은 두 신호 모두 비교적 잡음이 없고 두 트레이스에서 크고 동기화된 효과가 있는 Epoch에 윈도우가 있는 경우에 가장 잘 작동합니다. 환자에게 양손으로 가슴을 강하게 두드리도록 요청했을 때 가장 좋은 결과를 얻을 수 있었습니다. 그러나 실제로는 자동화된 방법을 사용하는 이점이 무시할 수 있을 정도로 충분한 경우에 자동 정렬에 대한 수동 검증이 필요했습니다.
데이터 품질
자동 전송 중 데이터 손실은 데이터 전송 프로토콜 프로세스가 원시 복사본을 백업하여 손실을 복구할 수 있도록 하기 때문에 무시할 수 있었습니다. Bluetooth 및 무선 주파수에 예기치 않은 연결 끊김이 있고 범위가 제한되는 경우가 있기 때문에 연결 문제로 인한 데이터 손실이 정기적으로 발생했습니다. 최대 2초의 짧은 간격은 시간당 약 몇 번 발생했으며 최대 2분의 긴 간격은 약 2시간마다 한 번 발생했습니다. 데이터 손실 외에도 신경 데이터에서 상당한 자극 아티팩트가 관찰되었으며, 그 심각도는 기록과 선택한 자극 그룹에 따라 다릅니다. 가장 큰 아티팩트는 자극 주파수 근처, 관심 범위 밖에서 발생합니다. 스마트 워치의 데이터에서 아티팩트가 관찰되지 않았습니다. 비디오는 일정한 프레임 속도로 녹화되었습니다. 그러나 비디오에서 중복 프레임이 확인되었습니다. 이로 인해 실제 프레임 속도는 웹캠 사양에 명시된 이론적 프레임 속도보다 몇 프레임 작습니다. 그러나 중복된 프레임보다 더 눈에 띄는 것은 녹화 날짜에 따라 다양한 간격으로 비디오에서 식별되는 정지 기간이었습니다. 약 10 프레임 이하의 동결 기간이 정기적으로 관찰되었습니다. 그러나 약 2초에서 30초 길이의 더 긴 섹션도 불규칙한 주기로 관찰되었습니다.
종적 데이터 수집
표 1은 플랫폼 프로토타입이 1.5년 동안 주기적으로 수집한 데이터를 보여줍니다. 그 기간 동안 신체 양쪽에 걸쳐 총 293시간의 INS 데이터, 두 시계에 대한 224시간의 스마트 워치 데이터, 3개의 웹캠에 걸쳐 2,037시간의 비디오 데이터 등 수백 시간의 데이터가 수집되었습니다. 이는 플랫폼이 장기간에 걸쳐 재택 데이터 수집을 지원하는 동시에 신경 데이터의 종단적 변화와 해당 자극 요구 사항을 관찰할 수 있는 드문 기회를 제공한다는 것을 보여줍니다.
| 데이터 유형 | 총 기간(hh:mm:ss) | 총 일수 | 스토리지 크기 |
| 신경 | 293:17:33 | 90 | 28.94 기가바이트 |
| 시계 | 224:06:05 | 89 | 35.67 기가바이트 |
| 비디오 | 2037:06:11 | 228 | 146,073.77 기가바이트 |
표 1: 수집된 데이터의 종단적 개요. 배포된 플랫폼은 1.5년 동안 여러 실험을 통해 데이터를 수집했습니다. 약 90일 동안 신경, 비디오 및 스마트 워치 데이터 스트림이 수집되었습니다.
2D 및 3D 포즈 추정
이제 여러 포즈 추정 소프트웨어 패키지를 사용할 수 있습니다. 자세 추정은 오픈 소스 소프트웨어 패키지21인 OpenPose를 사용하여 테스트되었습니다. 이것은 조직의 GitHub에서 제공하는 문서와 웹에서 찾을 수 있는 다른 많은 비공식 자습서에 따라 성공적으로 설치되었습니다. OpenPose의 처리 시간은 OpenPose 라이브러리 및 광범위한 종속성이 설치되는 방식, 사용된 GPU의 크기, 선택적 손 및 얼굴 키 포인트가 처리되는지 여부에 따라 크게 달라집니다. 2D 포즈는 비교적 구현하기 쉬웠지만 3D 포즈는 훨씬 더 어려웠고 예비 3D 결과는 2D 포즈와 동일한 일관되지 않은 품질을 산출했습니다. 저품질 3D 포즈 추정은 최적이 아닌 카메라 보정, 카메라 자동 초점이 잘못 켜진 기간 또는 OpenPose 소프트웨어 자체에 내재된 기간 동안 부정적인 영향을 받았을 수 있습니다. 그러나 여러 각도에서 동기화된 고품질 비디오는 사용 가능한 다양한 포즈 추정 소프트웨어 패키지에 대한 풍부한 입력을 제공할 수 있습니다. 테스트 설정은 환자의 집 밖에서 완료하고 사용 가능한 다양한 자세 추정 소프트웨어 패키지를 수동으로 벤치마킹하는 것이 좋습니다.
보충 그림 1: 비디오 프레임 지연 분석. 비디오 녹화 앱에서 생성된 타임스탬프의 지연이 시스템 특성화 중에 감지되었습니다. 지연의 원인을 조사하기 위해 무작위 간격으로 깜박이는 빨간색 LED 표시등을 기록하여 각 카메라에서 생성된 프레임 번호와 타임스탬프를 확인한 다음 카메라 간 타임스탬프 지연의 변화를 계산했습니다. (맨 위로) 3개의 카메라 각각에서 측정된 LED 강도(RGB 단위)는 3개의 카메라 간에 관찰된 시간 오프셋(빨간색 화살표로 표시)을 보여줍니다. (하단) 세 개의 플롯은 전체 녹화에서 일련의 LED 깜박임에 대한 프레임 수의 카메라 간 타임스탬프 지연을 보여줍니다. 각 녹화는 여러 세그먼트로 나뉘었고 프레임 지연은 시간이 지남에 따라 거의 일정했습니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 파일 1: 비디오 프레임 및 타임스탬프 분석 방법. 이 파일을 다운로드하려면 여기를 클릭하십시오.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
우리는 신경 조절 연구의 미래 연구를 지원하기 위해 다중 모드 데이터 수집 플랫폼의 가정용 프로토타입 설계를 공유합니다. 설계는 오픈 소스이며 모듈식이므로 모든 하드웨어를 교체할 수 있으며 전체 플랫폼이 무너지지 않고 모든 소프트웨어 구성 요소를 업데이트하거나 변경할 수 있습니다. 신경 데이터를 수집하고 비식별화하는 방법은 선택한 INS에 따라 다르지만, 나머지 방법과 행동 데이터 수집에 대한 전반적인 접근 방식은 이식 가능한 장치가 사용되는 것에 구애받지 않습니다. 우리는 PD를 앓고 있는 개인의 집에 플랫폼을 배포하고 실험 기간과 자연 관찰 기간 동안 데이터를 수집했습니다. 배포, 데이터 수집 및 사후 데이터 처리 과정에서 성공적인 연구 반복을 가능하게 하는 데 특히 중요한 몇 가지 측면이 발견되었습니다.
우리 팀의 귀중한 구성원은 환자의 집을 방문하여 하드웨어를 설치하고, VPN을 설정하고, 3D 포즈를 위한 카메라 보정을 수행하고, 환자에게 각 장치의 환자 대면 GUI를 사용하는 방법을 안내하는 연구 코디네이터였습니다. 중요한 것은 연구 코디네이터가 환자와 연구팀 간의 주요 연락 창구 역할을 했다는 것입니다. 환자는 이메일 채팅 기능을 사용하여 메시지를 빠르게 주고받는 것을 선호했습니다. 일관되고 접근 가능한 연락 창구를 갖는 것은 두 가지 면에서 특히 도움이 되었습니다.
환자가 예약된 녹음에 대한 변경을 요청하고 시스템 사용의 어려움을 전달할 수 있는 친숙한 커뮤니케이션 채널을 구축합니다. 이를 통해 연구 코디네이터는 환자가 기록 실험을 수행할 수 있는 편리한 시간을 식별할 수 있었습니다. 보고된 시스템 사용의 주요 어려움은 여러 장치의 배터리 수명을 추적해야 한다는 것이었습니다.
시스템 문제 해결이 환자에게 미치는 지장을 최소화할 수 있도록 합니다. 대부분의 문제 해결은 평균적으로 2주에 한 번씩 발생하는 네트워크 연결 문제에서 비롯되었습니다. 일반적으로 장치를 재부팅하면 이러한 문제가 해결되지만 시계는 여러 번 다시 시작해야 하는 경우가 많았으며 환자는 이것이 부담스럽다고 보고했습니다.
환자의 집에 있는 하드웨어에 대한 강력한 원격 액세스를 보장하는 것이 중요합니다. 이를 위해서는 안정적인 인터넷 연결이 중요합니다. 또한 시스템이 재부팅될 때마다 자동으로 잠금 해제되도록 디스크 암호화 시스템을 구성해야 합니다. 당연히 이더넷 케이블은 일관되게 가장 빠르고 안정적인 네트워크 연결을 제공했습니다. Linux를 OS로 선택했기 때문에 필요한 TPM 칩을 구성해야 할 필요성이 적었습니다. Windows OS를 사용하는 경우 Bitlocker 프로그램이 이를 자동으로 처리합니다. 마지막으로, VPN을 자동으로 활성화하고 시스템 재부팅 시 하드 디스크 드라이브를 다시 마운트하도록 배포된 PC를 구성하면 환자의 집을 반복적으로 다시 방문할 필요 없이 지속적인 원격 액세스가 보장됩니다. 플랫폼 설계에 VPN과 데이터 암호화 프로토콜을 통합하는 것은 데이터 보안 및 무결성에 중추적인 역할을 했습니다. VPN을 사용하면 환자의 개인 라우터에서 사용자 지정 포트 포워딩을 구성할 필요 없이 컴퓨터 네트워크를 연결할 수 있습니다. 오픈 소스 데이터 암호화 프로토콜 Rclone 프로그램은 기성 데이터 암호화 및 환자 장치에서 클라우드 스토리지로 데이터를 전송하는 쉽게 자동화할 수 있는 수단을 제공합니다18. 데이터 암호화 프로토콜은 데이터 전송 단계에서 원시 데이터의 백업 복사본을 만들어 손실을 복구할 수 있도록 합니다. 이러한 단계를 통해 환자의 개인 데이터가 손상되지 않고 안전하게 유지되도록 했습니다.
의미 있는 데이터 분석을 수행할 수 있으려면 여러 장치에서 수집된 데이터를 시간 정렬하는 것이 중요합니다. 각 장치의 시계는 제조업체가 제안하더라도 일반적인 인터넷 시간에 완벽하게 정렬되지 않을 수 있습니다. 또한 일부 장치는 예측할 수 없는 시간에 드리프트를 경험하여 다른 장치에 비해 오프셋을 변경할 수 있습니다. 이로 인해 완전 자동화된 실시간 적응형 알고리즘을 개발하는 데 어려움이 있으며, 향후 연구에서는 이 문제에 대한 솔루션을 신중하게 고려해야 합니다. 자동 정렬 방법은 정규화된 상호 상관을 사용하여 탐색되었습니다. 이것은 많은 경우에 합리적으로 잘 작동합니다. 그러나 시간 드리프트는 최소화되어야 하며 데이터에는 명확하게 식별 가능한 신호가 포함되어야 합니다. 큰 드리프트와 데이터에 너무 많은 노이즈 또는 패킷 손실이 발생하는 기간이 모두 발생했기 때문에 이 완전 자동화된 방법을 완전히 신뢰할 수 없습니다. 데이터를 수동으로 정렬해야 하는 부담을 최소화하기 위해 연구원이 비교적 쉽고 빠르게 데이터 스트림을 시각적으로 확인할 수 있는 간단한 GUI를 만들었습니다.
시스템에 비디오 데이터를 포함하면 임상의는 원격 관찰을 통해 증상의 심각도를 측정할 수 있으며 연구원은 이벤트 레이블을 얻을 수 있습니다. 또한 시간 경과에 따른 손가락 움직임의 속도와 부드러움을 측정하는 것과 같은 움직임 품질의 연속 지표로 비디오에서 포즈 추정치를 계산할 수 있습니다. 그러나 여러 카메라에서 고해상도 비디오를 수집하려면 광범위한 저장 공간이 필요합니다. 예를 들어, 3대의 카메라에서 MJPEG 형식의 8시간 분량의 4k 비디오를 수집하려면 약 0.5TB의 저장 공간이 필요합니다. 많은 양의 데이터를 기록하고 저장하는 것은 비용이 많이 들기 때문에 많은 환자에게 이 시스템을 배포하는 데 경제적 병목 현상이 발생합니다. 이러한 플랫폼을 많은 환자로 확장하기 위해 미래의 시스템 설계자는 장기 저장에 필요한 데이터의 양을 줄여야 합니다. 향후 시스템에서는 포즈 처리 후 동영상을 즉시 삭제할 수 있도록 실시간 포즈 처리를 포함하는 것을 고려해야 합니다. 실시간 포즈는 또한 이 작업의 범위를 벗어나는 폐쇄 루프 알고리즘의 소근육 운동 기술에 대한 피드백을 제공할 수 있습니다. 임상의의 검토 또는 이벤트 라벨링을 위해 일부 비디오 데이터를 보존해야 하는 경우, 클라우드 스토리지에 저장하기 전에 더 낮은 해상도로 다운샘플링할 수 있습니다.
마지막으로, 통합 시스템을 구축할 때 항상 발생하는 설계 결함과 구현 오류를 효율적으로 해결하기 위해서는 테스트 장비로 사용하기 위해 배포할 하드웨어의 복제본을 확보하는 것이 매우 중요합니다. 이는 비디오를 수집하고 포즈 데이터를 처리하기 위해 선택된 하드웨어와 소프트웨어를 테스트하는 경우에도 마찬가지였습니다. 2D 및 3D 공간 모두에서 비디오와 포즈 추정치를 획득하는 전체 프로세스는 예상보다 훨씬 더 어려웠습니다. 테스트 장비를 사용하면 배포 전에 다음과 같은 여러 가지 중요한 단계를 수행하고 문제를 해결할 수 있습니다.
주어진 방의 레이아웃 제약 조건 내에서 카메라를 적절하게 보정합니다.
고품질 포즈 추정을 지원하기 위해 적절한 비디오 해상도 및 프레임 속도를 식별합니다. 작은 방이나 사무실과 같은 환경의 경우 녹화된 비디오의 개인 크기가 충분히 커서 포즈를 쉽게 계산할 수 있을 만큼 충분히 크면서 4k 비디오보다 훨씬 적은 저장 공간을 필요로 하기 때문에 HD 비디오 녹화로 충분할 수 있습니다.
녹화된 비디오에서 프레임 정지 또는 순차적으로 작성된 비디오 파일 간의 시간 지연과 같은 버그를 발견합니다.
기기 재부팅 시 카메라 자동 초점을 재설정하는 것과 같은 예기치 않은 소프트웨어 기본값이 노출되어 카메라 보정의 이점이 가려집니다.
OpenPose를 중형 GPU에서 실행할 수 있도록 사전 설치해야 하는 소프트웨어 라이브러리의 호환 버전을 찾기 위한 시행착오.
이 작업의 특별한 한계는 단일 파일럿 연구에서 플랫폼을 한 개인의 가정에 배포하여 참가자 간 일반화가 발견되지 않도록 하는 것입니다. 그러나 설계 및 개발 프로세스 전반에 걸쳐 시스템은 원격 연구를 지원하기 위해 확장 가능하고 여러 배포를 지원하도록 설계되었으며, 이 파일럿 연구의 목적은 정교한 재택 모니터링 플랫폼의 기술적 타당성을 확립하는 것이었습니다. 논의된 몇 가지 중요한 결과를 기반으로 이 파일럿 설계를 수정하고 더 많은 가정에 플랫폼을 배포하면 재택 aDBS에 대한 향후 연구를 지원하기 위해 설계를 더욱 개선할 수 있습니다. 또한 개인이 미리 결정된 실험을 수행하지 않는 추가 시점 동안 데이터를 수집하면 분석 및 전반적인 치료 효과를 개선하기 위한 통찰력을 얻을 수 있습니다. aDBS는 용납할 수 없는 부작용을 일으킬 수 있는 기존의 DBS에 비해 PD를 포함한 신경 질환을 치료하는 데 바람직한 방법을 제공할 수 있습니다. 이 중요한 치료법을 많은 환자에게 제공하려면 파라미터 튜닝을 자동화하고 시간 경과에 따라 클리닉 외부에서 치료 효과를 분석해야 합니다. 이 플랫폼은 환자의 집에서 편안하게 실험 및 자연 활동 중에 가정 내 비디오 카메라, 스마트 워치, 신경 기록 및 환자 보고 데이터를 수집하는 새로운 접근 방식을 제공합니다. 이 시스템은 신경 질환 치료의 미래 발견을 지원하기 위해 새로운 다중 모드 데이터 세트를 만드는 데 더욱 기여할 것입니다15.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
저자는 공개할 이해 상충이 없습니다.
Acknowledgments
이 자료는 미국 국립과학재단(National Science Foundation) 대학원 연구 펠로우십 프로그램(DGE-2140004), 웨일 뉴로허브(Weill Neurohub) 및 미국 국립보건원(National Institute of Health, UH3NS100544)의 지원을 받은 연구를 기반으로 합니다. 이 자료에 표현된 모든 의견, 결과 및 결론 또는 권장 사항은 저자의 것이며 미국 국립과학재단(National Science Foundation), 웨일 뉴로허브(Weill Neurohub) 또는 미국 국립보건원(National Institute of Health)의 견해를 반드시 반영하는 것은 아닙니다. 플랫폼 설계 및 비디오 데이터 통합에 대한 전문가 자문을 제공해 주신 Tianjiao Zhang에게 감사드립니다. 특히 이 연구에 참여해 주시고 네트워크 보안 및 플랫폼 설계에 대한 피드백과 조언을 해주신 환자분들께 감사드립니다.
Materials
| Name | Company | Catalog Number | Comments |
| Analysis RCS Data Processing | OpenMind | https://github.com/openmind-consortium/Analysis-rcs-data, open-source | |
| Apple Watches | Apple, Inc | Use 2 watches for each patient, one on each wrist | |
| BRIO ULTRA HD PRO BUSINESS WEBCAM | Logitech | 960-001105 | Used 3 in our platform design |
| DaVinci Resolve video editing software | DaVinci Resolve | used to support camera calibration | |
| Dell XPS PC | Dell | 2T hard disk drive, 500GB SSD | |
| Dropbox | Dropbox | ||
| ffmpeg | N/A | open-source, install to run the Video Recording App | |
| Gooseneck mounts for webcams | N/A | ||
| GPU | Nvidia | A minimum of 8GB GPU memory is recommended to run OpenPose, 12GB is ideal | |
| Java 11 | Oracle | Install to run the Video Recording App | |
| Microsoft Surface tablet | Microsoft | ||
| NoMachine | NoMachine | Ideal when using a Linux OS, open-source | |
| OpenPose | N/A | open-source | |
| Rclone file transfer program | Rclone | Encrypts data and copies or moves data to offsite storage, open-source | |
| StrivePD app | RuneLabs | We installed the app on the Apple Watches to start recordings and upload data to an online portal. | |
| Summit RC+S neuromodulation system | Medtronic | For investigational use only | |
| touchscreen-compatible monitor | N/A | ||
| Video for Linux 2 API | The Linux Kernel | Install if using a Linux OS for video recording | |
| Wasabi | Wasabi | Longterm cloud data storage | |
| WireGuard VPN Protocol | WireGuard | open-source |
References
- World Health Organization. Parkinson disease. , https://www.who.int/news-room/fact-sheets/detail/parkinson-disease (2022).
- Herrington, T. M., Cheng, J. J., Eskandar, E. N.
- Little, S., et al. Adaptive deep brain stimulation for Parkinson's disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
- Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson's disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
- Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson's disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
- Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson's disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
- Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson's disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
- Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson's disease using motor cortex sensing. J. Neural Eng. 11, (2018).
- Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
- Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson's disease. Journal of Neural Engineering. 18 (4), 046046 (2021).
- Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid - State Circuits Conference - (ISSCC). , 460-462 (2018).
- Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/privacy/index.html (2008).
- Rights (OCR), O. for C. The Security Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/security/index.html (2009).
- Perrone, R., Gilron, R. SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , https://github.com/openmind-consortium/App-SCBS-PatientFacingApp (2021).
- Strandquist, G., et al. In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
- Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
- etzion. Ubuntu 20.04 and TPM2 encrypted system disk - Running Systems. , https://run.tournament.org.il/ubuntu-20-04-and-tpm2-encrypted-system-disk/ (2021).
- Craig-Wood, N. Rclone. , https://github.com/rclone/rclone (2023).
- Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401 (2021).
- Hidalgo, G. inés, et al. CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose (2023).
- Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
- Cao, Z. openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/advanced/calibration_module.md (2023).
- Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398 (2021).
- Ranti, C. Rune Labs Stream API. , https://docs.runelabs.io/ (2023).
- ffmpeg development community. FFmpeg Formats Documentation. , https://ffmpeg.org/ffmpeg-formats.html (2023).
- Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).
