컴퓨터 비전 분석을 위한 표준화된 음주 과제 운동학의 호환 영상 녹화를 위한 웹 기반 임상가 가이드

요약

음주 과제의 운동학적 측정은 상지 뇌졸중 재활에 권장되었으나, 기존의 운동학 연구는 비현실적이라고 여겨집니다. 현재 프로토콜은 컴퓨터 비전과 호환되어 권장되는 운동학적 지표를 추출할 수 있는 음주 과제 영상을 웹 기반 가이드로 제공합니다.

초록

상지 평가는 재활 주기에서 매우 중요합니다. 지난 20년간 음주 과제 활동에 대한 운동학적 평가는 뇌졸중과 근골격계 질환을 포함한 광범위한 질병에 영향을 받는 재활 인구의 임상 변화에 유효하고 반응하는 것으로 입증되었습니다. 음주 과제 운동학에 관한 이 기초 연구는 재활 연구에서 상지 운동학 도입에 대한 합의된 권고를 이끌어냈습니다. 그러나 연구 커뮤니티 내 수용과 임상 실무로의 전환을 위태롭게 하는 실질적인 우려가 제기되고 있습니다. 채택의 장벽으로는 기존의 모션 캡처 기법이 운동학을 획득하는 데 있어 기술적 복잡성과 운동학 뒤에 담긴 활동 프로토콜의 충실도가 있습니다. 전자와 관련해서는, 컴퓨터 비전이라는 AI 하위 분야에서의 돌파구가 운동학 분석의 기술적 부담을 크게 줄이고 있습니다. 후자와 관련해, 우리는 이제 임상의들이 시중에서 구입할 수 있는 스테레오 카메라, 개인용 컴퓨터, 그리고 외래 임상 환경에서 접근 가능한 기본 자료를 사용하여 고도로 표준화된 음주 과제 활동 프로토콜을 영상으로 촬영하도록 안내하는 웹 기반 애플리케이션(앱)을 소개합니다. 더 나아가, 이 비디오 캡처가 음주 과제의 운동학적 지표를 추출하는 맞춤형 컴퓨터 비전 파이프라인과 호환됨을 입증합니다. 지속적인 검증 및 사용성 연구를 통해, 이러한 도구가 상지 장애 재활 인구의 연구와 임상 치료를 진전시킬 것으로 기대되는 고도로 표준화된 상지 운동 지표에 대한 접근성을 크게 향상시킬 것으로 기대합니다.

서론

일상생활에서 대부분의 상지 업무는 양쪽 팔다리를 모두 사용합니다. 신경학적 손상 후 상지 기능 상실이 자주 발생하며, 뇌졸중 생존자의 약 80%가 상지 결손을 경험합니다¹. 이러한 결핍은 기능과 삶의 질을 저하시키는 것으로 알려져^{있습니다.} 재활은 기능 회복을 위한 주요 개입으로 남아^있으며, 재활은 정확한 평가에 기반한 주기로 설명되어^왔다. 상지의 운동학적 평가는 지난 20년간 점점 더 많은 관심을 받고 있습니다. 이러한 관심은 부분적으로 인간 평가자의 주관성과 미묘한 변화에 대한 낮은 해결 문제 등 인정된 단점이 인정된 현재 임상 평가의 한계 때문이다⁵.

운동학은 신체, 팔다리, 관절의 움직임 중 인간의 움직임을 연구하는 생체역학의 하위 분야입니다. 이전 연구 연구 중에서는 음주 과제에 대한 운동학 연구가^{연구 커뮤니티에서} 상당한 주목을 받았습니다. 운동 평가에서 음주 과제가 인기를 끈 이유는 움직임의 복잡성, 목표 지향적인 과제의 특수성, 그리고 순환 운동⁷. 신경전형적인 성인과 아동을 대상으로 한 여러 연구 외에도, 음주 과제는 8, ^{9, 10, 11} 등 다양한 신경학적 질환에서도 연구되었습니다. 뇌졸중 환자 집단에서 이 연구들은 유효하고 신뢰할 수 있으며 임상 변화에 반응하는 중요한 운동학적 지표를 확인했습니다 12,13,14. 그러나 운동학 평가는 복잡하고 비용이 많이 드는 시스템과 기술 지식 때문에 오랫동안 비현실적이라고 여겨져^{왔습니다.}

인공지능의 등장으로 운동학 평가에 대한 실질적인 장벽이 크게 줄어들고 있습니다. 예를 들어, 디지털 이미지에서 정보를 추출하는 AI의 하위 분야인 컴퓨터 비전은 이제 비교적 단순한 카메라와 컴퓨터를 이용해 마커 없는 모션 캡처 시스템을 구현하는 데 활용될 수 있습니다^{16, 17, 18}. 이러한 컴퓨터 비전 발전을 활용하기 위해, 이 방법 논문의의 목적은 임상의들이 다음 사항을 안내하기 위해 개발된 웹 기반 도구를 설명하는 것입니다: (i) 음주 과제에 대한 표준화된 활동 프로토콜을 구현하고 (ii) 운동학적 지표를 추출하기 위한 컴퓨터 비전 워크플로우와 호환되는 음주 과제 영상 녹화. 이러한 운동학적 지표들은 아직 표준 임상 진료의 일부가 아니지만, 현재 프로토콜의 목표는 생체역학 연구를 진료에 통합하고자 하는 임상가들의 참여를 촉진하는 것입니다. 예상되는 영향은 상지의 운동학 지표에 대한 임상적 접근성을 크게 향상시키는 것이며, 이는 현재 재활 치료 프로토콜에 정보를 제공하고 새로운 치료 프로토콜의 연구 및 개발을 지원할 것으로 기대됩니다.

프로토콜

대표 결과 섹션에 제시된 수치는 헬싱키 선언에 따라 수행된 두 가지 별도 사례 연구에 해당합니다. 데이터 수집 전에 모든 참가자로부터 사전 동의를 받았습니다. 이 개별 사례 연구는 단 두 명의 참가자만 참여했기 때문에, 지역 기관심사위원회(Institutional Review Board)가 정의한 임상 연구 정의를 충족하지 못했습니다; 따라서 할당된 IRB 프로토콜 번호는 제공되지 않습니다.

참고: 프로토콜과 관련 웹 기반 앱은 주로 세 단계로 나뉩니다: (i) 작업 공간 설정; (ii) 교정 활동; 그리고 (iii) 음주 과제 활동. 인포그래픽(그림 1)은 이러한 단계들을 시각적으로 보여주며, 사용자가 웹 기반 앱(https://mobile-motion-lab-public.web.app) 사용 중 예상할 수 있는 워크플로우를 포함합니다.

그림 1: 프로토콜을 요약한 인포그래픽. 웹 기반 앱의 스크린샷과 함께, 각 주요 단계별 일러스트가 제공되며, 작업 공간 설정(왼쪽 패널), 보정 워크플로우(중간 패널), 음주 작업 워크플로우(오른쪽 패널) 등이 포함되어 있습니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

1. 작업 공간 설정

참고: 이 단계는 후속 보정 활동과 음주 작업 활동을 위해 작업 공간을 올바르게 설정하는 방법을 설명합니다(그림 2). 적절한 설정은 컴퓨터 비전 워크플로우를 통한 신뢰할 수 있는 후처리와 운동학 측정 추출을 위한 비디오 캡처의 표준화와 품질을 보장하는 핵심입니다.

1. 의자, 테이블, 그리고 주제 위치
   1. 조절 가능한 높이 의자를 좌석 등받이가 있는 자리에 놓아, 피실험자가 손바닥을 테이블 위에 향하게 하고 손목 주름이 테이블 가장자리에 맞춰 앉을 수 있도록 하세요.
   2. 피실험자의 엉덩이와 무릎이 약 90° 굽힘을 하도록 좌석 높이를 조절하세요.
   3. 팔이 편안하게 옆에 놓이도록 테이블 높이를 조정하고, 똑바로 앉은 자세를 유지하며 팔꿈치를 90° 굽히도록 하세요.
2. 음주 과제 활동 식탁매트 배치
   1. 웹 앱(https://mobile-motion-lab-public.web.app/resources)의 리소스 메뉴에 있는 인쇄 가능한 파일(음주 작업 활동 배치)과 10인치 x 17인치 크기의 타블로이드 크기의 프린터 용지를 사용해 식탁매트를 만드세요.
   2. 식탁 매트의 앞쪽 가장자리를 피사체 바로 앞에 있는 테이블 가장자리와 맞추세요. 목표 사각형 박스가 피사체의 중앙선에 맞춰져 있는지 확인하세요.
   3. 식탁 매트를 접착 테이프로 테이블 표면에 단단히 붙이세요.
3. 컵 순위
   1. 식탁 매트 위의 정사각형 칸에 250mL 플라스틱 컵을 놓으세요. 이 방법은 컵을 테이블 가장자리에서 30cm 떨어진 곳에 위치시키고, 피사체 바로 앞에 위치시킵니다. 컵에 100mL의 식수를 채우세요.
4. 카메라 배치
   1. 스테레오 카메라(초점 거리 4mm)를 정면에서 촬영하기 위해 피사체와 컵을 정면에서 촬영하세요. 웹 접속이 가능한 개인 컴퓨터와 호환되는 스테레오 카메라(예: 클리닉 기반 워크스테이션에 USB 연결)가 필요합니다. 촬영된 이미지나 영상에 미치는 렌즈 왜곡 효과를 최소화하기 위해 초점 거리가 더 높은 스테레오 카메라를 권장합니다. 표준 카메라 삼각대를 사용할 수 있습니다.
      참고: 카메라가 교정되면(향후 단계에서 수행), 이 교정을 유지하는 것은 카메라 위치를 유지하는 데 달려 있습니다. 이 때문에 카메라에는 바닥에 설치된 삼각대나 데스크탑 위에 고정된 삼각대, 예를 들어 영구 조리대나 무거운 테이블 같은 단단한 표면에 단단한 기초가 선호됩니다.
   2. 카메라 위치를 조정하여 대상 볼륨, 즉 피실험자가 초기 위치에 완전히 포함된 가상의 큐브를 포착하고, 이후 활동 시도(예: 음주 과제)에서 피험자가 수행할 근위 및 원위 상지 활동(예: 손 움직임 포함)을 완전히 포착할 수 있도록 합니다.
      1. 스테레오 카메라의 이상적인 위치는 특정 장치의 고유한 매개변수(예: 이미지 센서 크기, 초점 거리, 시야각)에 따라 달라지지만, 우선 스테레오 카메라를 테이블 가장자리(즉, 피사체에 가장 가까운 테이블 가장자리)에서 약 150cm 떨어진 곳에 위치시키고, 카메라 높이는 테이블 표면에서 약 100cm 높이로 설정하세요.
      2. 이 시작 위치에서 필요에 따라 카메라 위치를 최적화하여 앞서 언급한 목표 볼륨을 포착할 수 있도록 조정합니다. 참고로, 카메라 보정 과정은 카메라의 외부 매개변수(예: 롤/요/피치)의 변동을 자동으로 고려합니다.
5. 조명 설치
   1. 가능하다면 방이 부드럽고 고르게 조명되도록 하세요. 보정 작업 중 체크보드 격자 패턴 탐지에 방해가 될 수 있으므로, 근처 창문에서 들어오는 강한 햇빛과 같은 강한 백라이트는 피해야 합니다.
   2. 카메라 뷰에 그림자를 도입하는 것은 피해야 합니다. 그림자는 보정 성공률과 컴퓨터 비전을 통한 인간 자세 추정의 성공률을 저하시킬 수 있습니다. 피사체에 드리운 그림자를 줄이기 위해 천장 조명이나 램프를 사용하세요. 눈부심이 문제라면 빛 확산기로 조명을 수정하는 것을 고려해 보세요.

2. 보정 활동

참고: 이 단계는 보정 작업을 성공적으로 완료하고 웹앱을 통해 적절한 저장 목적지에 이미지를 적절히 큐레이션하는 방법을 설명합니다. 교정은 피험자와의 비디오 데이터 수집 전에 하루에 한 번 수행할 수 있습니다. 하루 중 어떤 이유로든 카메라 위치가 변경되거나, 지나가는 사람이 카메라나 삼각대를 부딪혀 의도치 않게 변경되는 경우, 새로운 보정을 권장하며, 이후 모든 비디오 녹화 활동은 컴퓨터 비전 작업 과정에서 이 보정과 연계되어야 합니다.

1. 보정 준비
   1. 웹앱(https://mobile-motion-lab-public.web.app/resources)의 리소스 메뉴에서 인쇄 가능한 파일(보정 체커보드 인쇄물)을 사용하여 체커보드 격자 패턴을 보정 대상으로 만듭니다.
   2. 8.5인치 x 11인치 크기의 표준 레터 사이즈 용지로 흑백 체커보드 격자 패턴을 출력하세요. 광택 마감이 없는 종이와 프린터 옵션을 사용하세요.
   3. 체커보드 격자 패턴 출력물을 평평한 표면(예: 클립보드 뒷면)에 붙이고 테이프로 고정하세요. 테이프가 체커보드 패턴의 어떤 부분도 가리지 않게 하고, 부착된 종이 출력물의 변형이 최소화되도록 하세요. 그렇지 않으면 체커보드 격자 패턴의 가림이나 변형이 컴퓨터 비전 솔루션에 의한 성공적인 보정 가능성을 낮출 수 있습니다.
2. 보정 이미지 촬영
   1. 웹 앱 대시보드 메뉴(https://mobile-motion-lab-public.web.app/calibrationActivity)에 있는 보정 활동 모듈(보정 활동 가이드)을 열어보세요. 이 모듈은 교정 과정을 안내하도록 설계되었습니다.
      1. 보정은 다음 과정을 통해 수행하세요: (i) 보정 활동의 영상 시연 시청; (ii) 스테레오 카메라 식별 확인; 그리고 (iii) 녹화 전에 스테레오 카메라 라이브 피드를 미리 보는 것. 마지막으로, 체커보드 패턴을 작업 공간 내에서 이동시키는 녹화를 수행하여 이미지를 촬영합니다.
   2. 가이드를 진행하여 스테레오 카메라와 녹화 시작 아이콘의 미리보기를 확인할 수 있습니다.
   3. 녹화를 시작하기 전에 체커보드를 시작 위치에 위치시키세요. 앞서 설명한 대로 테이블에 앉은 개인을 기준으로, 체커보드의 시작 위치는 패턴을 대략 가슴 높이에 고정하고 테이블 표면에 수직으로 고정하는 것입니다(그림 3).
   4. 웹 앱에서 녹화 시작 아이콘을 클릭하여 녹화를 시작하세요. 시작되면 앱에서 3초간의 시각/음성 카운트다운이 제공되고, 이후 시각/음성 신호로 보정 활동을 언제 시작할지 알려줍니다.
      참고: 보정이 단독으로 이루어질 경우, 카운트다운은 사용자가 녹화를 시작하고 체크보드 패턴을 위치시키는 시간을 제공해 줍니다.
   5. 보정 활동을 시작하라는 신호가 나오면, 체크보드 패턴을 작업 공간(카메라 쪽)을 부드럽고 제어된 방식으로 앞으로 이동시킵니다. 작업 공간(피사체와 컵에 할당된 가상의 큐브)을 완전히 앞으로 이동한 후, 패턴을 부드럽고 제어된 방식으로 뒤로(카메라에서 멀어지는) 뒤로 이동시킵니다. 이 체크보드 패턴의 앞뒤 움직임을 이미지 캡처가 완료될 때까지 반복합니다. 이미지 캡처의 총 시간은 10초입니다.
      1. 체크보드 패턴을 너무 빨리 움직이지 마세요. 빠른 움직임은 카메라가 촬영한 이미지의 흐림을 유발할 수 있으며, 이러한 흐림은 컴퓨터 비전 워크플로우가 적절한 보정 매개변수를 추출하는 능력을 저하시킬 수 있습니다.
         참고: 웹 앱에는 교정 활동 모듈 중에 동영상 시연이 포함되어 있습니다. 또는 보정 패턴의 움직임은 웹 앱 자료 페이지에 있는 시작 영상에서도 확인할 수 있습니다.
3. 보정 기록 검토
   1. 녹화된 보정 데이터를 검토하세요. 보정 작업 녹화 직후 웹 앱에서 비디오 재생이 표시됩니다. 다음 항목들을 주의 깊게 살펴보며 이 영상 재생을 검토해 보세요.
      1. 이미지 품질: 영상 전체에 체커보드 패턴이 완전히 보이도록 하세요. 이미지 흐림은 최대한 피해야 하며, 상당한 흐림 증거가 있다면 체커보드 패턴의 느린 움직임으로 보정 녹화를 다시 시도해 보세요. 이미지 품질을 개선함으로써 이후 컴퓨터 비전 워크플로우에서 체커보드 패턴을 성공적으로 탐지할 가능성이 높아지며, 이는 깊이와 위치 측정을 추출하는 데 필수적인 참조점입니다.
      2. 시야 확보: 조명이 충분한지 확인하세요. 체크보드 패턴의 시야를 가리는 명백한 어두운 그림자나 흰색 눈부심은 피하세요. 이미지 캡처 중 카메라 시야를 가리는 장애물이 없는지 확인하세요(예: 전경을 지나가는 행인).
         참고: 이미지 품질과 가시성을 평가하기 위한 참고 자료로, 보정 비디오 예시는 보정 활동 모듈과 웹 앱의 자료 메뉴에 있는 시작 영상 내에서도 제공됩니다.
      3. 필요하다면 다시 시도하세요. 보정 활동의 성능과 보정 비디오 녹화 품질에 대해 우려가 있다면, 재시도 옵션을 선택하여 비디오 녹화를 재개하여 다시 시도하세요. 그렇지 않으면 보정 이미지를 제출하거나 저장하세요.
4. 보정 이미지 저장
   1. 보정 작업이 성공적으로 완료되고 녹화가 완료되면 '보정 이미지 저장 ' 아이콘을 선택하세요. 이 경우 보정 이미지의 파일 저장 위치를 선택할 수 있는 창 프롬프트가 열립니다. 기본적으로 파일 저장 목적지는 기본 파일 이름 규칙(예: calibration_[Date]_[Time]_[Camera Type])을 가진 데스크톱으로 설정되어 있습니다.
   2. 보정 이미지 저장이 확인되면, ' 저장 확인 '을 선택해 진행하세요. 저장 후 확인 메시지가 뜨고, 다음 음주 작업 활동 가이드 모듈로 넘어가거나 보정 작업 활동 가이드 모듈을 재시작할 수 있는 옵션이 나옵니다.

3. 음주 과제 활동

참고: 이 단계는 참가자들이 음주 과제 활동을 완료하도록 안내하는 방법, 음주 과제의 동영상 녹화 제작 방법, 그리고 웹 앱을 사용해 동영상을 저장 장소로 적절히 관리하는 방법을 설명합니다.

1. 음주 과제 준비
   1. 음주 과제 활동에 적합한 시작/종료 위치에 피험자를 배치하세요. 피실험자가 편안하게 앉을 수 있도록 좌석 높이를 조절해 엉덩이와 무릎을 90° 각도로 굽히세요. 필요에 따라 테이블 높이를 조절하세요. 피험자가 의자에 똑바로 앉아 팔을 옆으로 편안하게 하고, 팔꿈치를 90° 각도로 굽히고, 손바닥을 어깨 너비로 테이블 위에 편안히 올려놓고, 손목 주름이 테이블 가장자리와 일직선을 맞추고, 중앙선이 식탁 매트의 컵 위치와 일치하도록 하세요.
   2. 초기 기록을 위해 지정된 손(오른손 또는 왼손)을 사용하도록 지시하세요.
      참고: 음주 과제 활동에 대한 추가 시도는 웹 앱을 통해 가능합니다. 추가 시험 중에는 손의 측방향을 웹 앱에서 표시할 수 있으며, 데이터 큐레이션 시 해당 시험 파일 이름과 자동으로 연관됩니다.
   3. 피실험자에게 음주 과제 활동을 연습하도록 지시하세요. 참가자들은 음주 과제 활동에 대해 녹음 없이 한두 번 연습 시도를 할 수 있습니다. 피험자에게 작은 모금만 마시면 된다는 점을 상기시키고, 컵과 손을 각각 시작 위치로 돌려놓으세요.
      1. 음주 과제 활동에 대해 과도하게 과도하게 가르치지 마세요. 목적은 실제 세계에서 일어나는 행동을 포착하는 것입니다. 피험자가 추가 지침을 요청하면, 일상생활에서 실제 상황을 고려해 보라고 조언합니다.
2. 음주 과제 활동을 기록하세요
   1. 웹 앱 대시보드 메뉴(https://mobile-motion-lab-public.web.app/drinkingTaskActivity)에 있는 음주 작업 활동 모듈(음주 작업 활동 가이드)을 열어보세요.
      참고: 이 모듈은 음주 과제 활동을 수행하는 피험자의 영상 녹화를 안내하도록 설계되었습니다. 이 과정에는 다음과 같은 내용이 포함됩니다: (i) 음주 과제 활동의 예시 녹화 보기; (ii) 입체 카메라 식별 확인 및 대상 식별자 입력; (iv) 특정 재판에 사용할 손의 측방향(예: 오른쪽 또는 왼쪽)을 입력하는 것; 그리고 (v) 녹화 전에 스테레오 카메라 라이브 피드를 미리 보는 것.
   2. 녹화를 시작하기 전에 피사체를 카운트다운에 맞춰 맞추세요. 모바일 앱에서 3초간의 시각/음성 카운트다운이 제공되며, 이후 시각/음성 신호로 음주 활동 시작 시점을 알려줍니다.
   3. 웹 앱에서 녹화 시작 아이콘을 클릭하여 동영상 녹화를 시작하세요. 카운트다운/신호를 사용해 대상자에게 음주 과제 활동을 수행하도록 요청합니다(그림 3). 음주 과제 활동에 할당된 총 시간은 20초입니다.
      참고: 피실험자는 컵에서 작은 모금만 마시면 컵을 다시 테이블 매트 위의 윤곽선 부분으로 돌려놓고, 손을 다시 윤곽선 표시된 공간으로 돌려놓으면 됩니다.
3. 음주 과제 영상 녹화를 검토하세요. 녹화 직후에는 웹 앱에서 비디오 재생이 제공됩니다. 다음 항목들을 주의 깊게 살펴보며 이 영상 재생을 검토하세요.
   1. 프레임 내 피사체: 음주 작업 내내 피실험자의 얼굴, 몸통, 상체, 상지, 컵이 모든 영상 프레임에 완전히 담겨 있는지 확인하세요.
   2. 시각적 방해가 없음: 조명이 적절하며, 방해가 되는 그림자나 눈부심이 없도록 하세요. 영상의 전경이나 배경에 다른 사람을 실수로 포착하지 마세요. 그렇지 않으면 컴퓨터 비전 워크플로우가 관심 있는 주제를 성공적으로 식별할 가능성이 낮아질 수 있습니다.
   3. 과제 완료: 피험자가 컵을 집어 들고, 컵에서 한 모금 마시고, 컵을 원래 위치로 돌려놓고, 몸과 손을 시작 위치로 되돌리는 등 모든 과제를 완료하도록 하세요.
   4. 필요하다면 다시 시도하세요. 음주 작업 영상 촬영 품질에 대해 걱정이 있다면, 재시도 옵션을 선택해 다시 녹화를 시작해 다시 시도하세요.
      참고: 재시도 옵션은 이전 녹화 영상을 버립니다. 비디오를 버리고 싶지 않다면 재시도를 선택하지 않고 아래에 설명된 추가 시도를 진행하세요.
4. 음주 과제 활동의 추가 시험 기록
   1. 같은 주제에 대해 음주 과제의 추가 시도가 필요하다면, '또 다른 시도 반복하기' 옵션을 선택하세요.
      참고: 음주 과제 활동 가이드 모듈은 각 고유 주제별로 고유 인스턴스로 실행되도록 설계되었습니다(예: 각 고유 과목마다 모듈을 재시작해야 함).
   2. 앞서 언급한 지침을 따라 동일한 대상에 대한 추가 시험을 녹화하고 검토하세요.
      참고: 동일 피험자에 대한 반복 시험의 경우, 원래 입력된 피험자 식별자와 카메라 식별자가 모든 시험에 자동으로 연관됩니다. 그렇지 않으면 각 시도는 다음 단계만 필요합니다: (i) 피실험자가 사용할 손의 측측 위치를 입력, 예를 들어 오른쪽 또는 왼쪽; (ii) 녹화 전에 스테레오 카메라 라이브 피드 미리보기; (iii) 음주 작업 활동의 비디오 녹화를 시작한다; 그리고 (iv) 필요 시 녹화 검토/재시도.
5. 비디오 녹화 저장
   1. 원하는 모든 시도가 녹화된 후, 모든 시도를 완료 하여 원하는 목적지에 비디오 파일을 저장하는 작업을 진행하세요.
   2. '노트'로 표시된 필드에는 데이터의 향후 처리, 분석 및 해석과 관련된 모든 코멘트를 추가하세요. 패키지를 선택하고 노트를 추가 하여 진행하세요.
   3. 음주 작업 동영상 저장 아이콘을 선택하세요. 이 과정에서 파일 저장 위치를 선택할 수 있는 창 프롬프트가 열립니다. 기본적으로 파일 저장 위치는 데스크톱으로 설정되어 있습니다.
      참고: 파일 저장 목적지가 설정되면, 웹 앱은 웹 앱 가이드 완료 시 입력한 이전 사용자 입력을 기반으로 한 폴더/하위 폴더 구조로 비디오 데이터를 자동으로 큐레이션합니다. 이로 인해 표준화된 이름의 메인 폴더(예: subj[identifier]_drinktask_[Date]_[Time]_[Camera Type])와 표준화된 이름의 하위 폴더(예: [Laterality]_[Trial Number]_[Frame Rate])가 생성되며, 각 활동 시도의 해당 영상이 포함되어 있습니다.
   4. 동영상 파일 저장이 확인되면 저장 확인 을 선택해 진행하세요. 저장 후 확인 메시지가 뜨고, 음주 활동 가이드 모듈을 재시작할 수 있는 옵션도 나옵니다. 아래 결과 섹션에서 보여주듯이, 저장된 영상은 컴퓨터 비전 워크플로우와 결합하여 운동학을 추출할 수 있습니다.

결과

웹 기반 임상가 가이드의 주요 동기 중 하나는 임상의들이 컴퓨터 비전을 이용해 환자의 상지 생체역학을 평가하는 데 방해가 될 수 있는 기술적 장벽을 줄이는 것입니다. 웹 기반 임상가 가이드는 사용자에게 두 가지 주요 출력물을 제공할 것으로 기대됩니다: (i) 스테레오 카메라의 이중 이미지 센서를 기반으로 한 체커보드 보정 패턴의 동기화된 이미지 시리즈, (ii) 피험자가 수행한 모든 시도마다 표준화된 음주 과제 활동의 동기화된 비디오 두 쌍을 제공합니다 (그림 3). 웹 기반 가이드는 서면 절차, 영상/오디오 시연, 인터랙티브 가상 체험 등 다양한 형식으로 지침을 제공합니다. 행정 부담을 줄이기 위해 데이터 큐레이션이 자동화되었습니다. 이미지 및 비디오 데이터는 사용자가 지정한 선호하는 디지털 파일 폴더(예: 컴퓨터 데스크톱이나 기관의 클라우드 기반 네트워크에 위치)에 저장됩니다. 데이터는 자동으로 압축된 폴더에 정리되며, 중첩된 하위 폴더와 주제 식별자, 데이터 획득 날짜/시간, 손 측량, 카메라 유형/측량, 시험 번호에 기반한 표준화된 파일명이 포함됩니다.

그림 2: 이미지 및 비디오 녹화를 위한 외래 클리닉 환경. 음주 작업의 운동학은 호환 가능한 영상에서 컴퓨터 비전을 통해 추출할 수 있으며, 이는 스테레오 카메라, 컴퓨터, 그리고 클리닉에서 흔히 볼 수 있는 의자, 탁자, 인쇄 자료, 클립보드, 컵, 식수 등 물품을 묘사한 세팅을 통해 구현할 수 있습니다. 카메라 위치와 방향은 기기 모델에 따라 다르지만, (A) 대략적인 위치가 표시되며, (B) 음주 작업 중 피험자의 몸과 상지가 완전히 포함된 예상 작업 공간을 포착할 수 있도록 조정할 수 있습니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

그림 3: 웹 기반 임상가 가이드가 제작한 호환 가능한 이미지와 동영상. 웹 기반 임상가 가이드의 주요 결과물은 (A) 체커보드 보정 패턴의 동기화된 이미지 시리즈와 (B) 음주 과제 활동의 모든 단계에서 피험자의 수행 과정을 포착한 동기화된 비디오 두 개입니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

수집된 이미지와 영상 데이터를 바탕으로, 음주 중 상지의 생체역학을 컴퓨터 비전을 이용해 추출할 수 있습니다. 중요한 점은, 원시 데이터 수집과 컴퓨터 비전 적용이 분리될 수 있다는 것입니다. 이전 문헌에서는^{이러한 데이터에 적용}하기 위해 다양한 컴퓨터 비전 워크플로우가 기술되었으며^, 사용자는 자신만의 맞춤형 워크플로우를 적용할 수 있습니다. 예를 들어, 우리는 이전에 3차원 인간 자세를 추정하는 컴퓨터 비전 워크플로우(그림 4)를 개발하고 이후 세 가지 운동학 지표를 추출한 바 있습니다. 간단히 말해, 이 컴퓨터 비전 워크플로우는 다음과 같은 주요 단계를 포함합니다: (i) 픽셀을 실제 차원에 매핑하기 위한 내재 및 외재 카메라 특성을 추출하는 보정; (ii) 2차원 이미지에서 인체 해부학적 핵심 지점의 픽셀 위치를 주석으로 표시하는 인간 자세 감지; (iii) 이중 2차원 이미지로부터 3차원 정보를 계산하기 위한 리프팅 절차 적용; 그리고 (iv) 이동평균과 칼만 필터 등 궤적 평활화를 위한 필터 적용. 더 자세한 설명은 현재 논문의 범위를 벗어나 이전 연구¹⁶에서 확인할 수 있다. 이 워크플로우를 적용함으로써 추출된 운동학 지표는 움직임의 부드러움(예: 운동 단위 수, NMU), 보상(예: 몸통 변위, TD), 이동 시간(MT)을 정량화하며, 이는 뇌졸중 재활 연구에서 임상 변화에 유효하고 신뢰할 수 있으며 반응성이 입증되었습니다(^5,13,14). 기존 마커 기반 모션 캡처 시스템과 비교할 때, 이 컴퓨터 비전 워크플로우는 임상적으로 유의미한 변화 추정치(3-7 NMU, 20-50 mm TD, 2.5-5 s MT)에 비해 오차가 작습니다(NMU_오차 -0.12 단위,_{TD 오차} 3.4mm, MT 오_차 0.15초)¹⁶. 특정 운동학적 지표, 즉 NMU의 움직임 부드러움(그림 5)을 설명하기 위해, 음주 작업 중 손목 속도 프로필의 그래프는 뇌졸중 병력이 있는 개인(51세 여성, 오른손잡이 우세, 경미한 왼쪽 편마비 병력이 있음)을 대상으로 한 사례 연구에서 측정된 NMU(예: 각 움직임 단위를 빨간 별표로 표시)로 나타냅니다. 뇌졸중 발병 >6개월 전, 고혈압과 오른쪽 손목터널증후군 동반 질환).

그림 4: 인간 움직임 데이터를 추출하기 위한 컴퓨터 비전 응용. 음주 과제의 운동학을 달성하기 위해 다양한 컴퓨터 비전 워크플로우가 기술되어 왔습니다. (A) 초기 보정 단계는 픽셀을 실제 세계의 치수로 매핑하기 위해 2D 이미지가 필요하며, (B) 이는 사영 기하학을 이용해 3D 좌표로 변환할 수 있습니다. 이후 음주 과제 영상에 인간 자세 추정을 적용함으로써, (C) 2차원 해부학적 핵심점을 자동으로 감지할 수 있으며, 이를 (D) 다양한 측정 계산 및 시각화(예: 핵심점 궤적)를 위한 3D 핵심 점으로 변환할 수 있습니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

그림 5: 음주 작업 중 움직임의 부드러움을 나타내는 운동학적 지표. 음주 과제에서 얻은 3D 인간 운동 데이터를 바탕으로 뇌졸중 후 다양한 운동학 지표를 달성할 수 있습니다. 만성 뇌졸중 회복 단계에 있는 피험자를 기준으로, 움직임의 부드러움을 나타내는 운동학적 지표(예: 손목 속도 프로필의 빨간 별표 수로 표시된 운동 단위 수, NMU)를 컴퓨터 비전으로 영상에서 추출하여 (A) 왼쪽 상지와 (B) 오른쪽 상지 간 운동 기능의 객관적 차이를 밝혀낼 수 있습니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

토론

음주 과제의 운동학적 평가는 뇌졸중 재활 연구에 권장되었습니다^. 그러나 재활 연구에서 운동학 도입의 장벽으로 실질적인 문제들이 지적되어 왔으며, 이러한 우려에는 인간 생체역학 측정에 전통적으로 사용되는 모션 캡처 기술의 비용과 기술적 요구사항 등이 포함됩니다¹⁵. 이러한 우려는 결국 운동학 평가의 임상 도입과 임상 실무 적용을 방해합니다. 또는 컴퓨터 비전으로 운동학을 추출하는 보다 실용적인 방법은 단일 스테레오 카메라, 개인용 컴퓨터, 그리고 외래 클리닉에서 흔히 볼 수 있는 장비를 사용하는^{것입니다.} 우리는 임상의를 위해 설계된 프로토콜을 제시하는데, 웹 기반 가이드를 활용해 컴퓨터 비전 워크플로우와 호환되는 이미지와 영상을 기록하여 음주 과제의 운동학적 지표를 추출합니다. 장기 목표는 이전에 개발되어 뇌졸중 재^{활 연구에 권장}된 이 지표들에 대한 접근성을 높이는 것입니다. 5^{, 6, 12, 13, 14}.

비디오 동기화는 듀얼 카메라 방식의 컴퓨터 비전 접근법에서 중요합니다. 듀얼 카메라 세팅은 인간의 눈을 모방하여, 실제 세계의 장면을 약간 다른 각도에서 동시에 인지하여 깊이 인식을 가능하게 합니다. 컴퓨터 비전의 경우, 적절한 동기화는 두 개의 2차원 소스(예: 사진 내 인간 손목의 픽셀 위치)에서 결정된 3차원 정보(예: 데카르트 좌표계에서의 인간 손목 위치)의 정확성에 매우 중요합니다. 저희 경험상, 듀얼 카메라는 1ms¹⁶ 이내로 동기화되면 합리적인 결과를 낼 수 있습니다. 동기화를 저해할 수 있는 요인으로는 신뢰성 낮은 카메라 프레임 속도, 케이블 내 데이터 전송 속도 제한, 소프트웨어 비효율성, 제한된 하드웨어 사양(예: 낮은 RAM 또는 저급 프로세서) 등이 있습니다. 동기화 문제를 완화하기 위해 이 프로토콜은 시중에서 구입할 수 있는 스테레오 카메라를 사용하며, 물리적 크기가 작고 플러그 앤 플레이 장치(예: 표준 개인용 컴퓨터에 단일 USB 연결)로 설계되어 두 개의 내장 이미지 센서에서 동기화된 이미지를 자동으로 캡처합니다.

카메라 특성은 모든 컴퓨터 비전 응용에서 신중한 고려가 필요합니다. 이론적으로, 더 높은 해상도의 이미지와 높은 프레임 속도의 인간 움직임 기록은 해부학적 핵심 지점을 더 시공간적으로 정확하게 감지할 수 있는 더 많은 데이터를 제공합니다. 하지만 데이터의 양과 데이터를 처리할 수 있는 컴퓨팅 자원 사이에는 필연적으로 균형이 필요합니다. 설명된 프로토콜은 1280 x 720 픽셀 해상도로 60Hz 프레임 속도로 비디오를 녹화하는 스테레오 카메라를 기반으로 하며, 이는 이전 컴퓨터 비전을 음주 과제 운동학에 적용한 연구들과 비교할 만하다^16,18. 이 영상들을 촬영하는 데 있어, 상위 사양 소비자용 컴퓨터(예: 3.2GHz CPU, 128GB RAM)를 사용한 경우는 신뢰할 수 있는 성공을 거두었고, 노트북 컴퓨터(예: 2.6GHz CPU, 16GB RAM)에서는 성공률이 엇갈렸습니다. 하위 계층 컴퓨터를 적용할 때 일반적인 문제는 비디오 프레임이 누락되는 것으로, 이는 종종 의도한 20초 영상 녹화보다 짧은 출력 비디오로 나타납니다. 참고로, 데이터 컴퓨팅이 비디오 프레임 누락의 흔한 원인이지만, 데이터 전송도 중요합니다. 예를 들어 의료 환경에서는 컴퓨터 접속 포트(예: USB 드라이브)와 관련된 보안 설정이 데이터 전송 지연을 초래하여 신뢰할 수 있는 비디오 녹화에 방해가 될 수 있습니다.

시야 간섭은 보정과 인간 자세 추정 등 컴퓨터 비전 워크플로우의 핵심 단계를 도전하게 됩니다. 보정은 표준 크기의 체커보드 패턴을 가진 디지털 이미지에 의존하며, 이를 통해 컴퓨터 비전이 이미지 픽셀을 실제 세계의 물리적 치수에 매핑할 수 있습니다. 체커보드 패턴을 명확하게 시각화하면 이 매핑의 성공률이 높아집니다. 시각적 간섭은 다음과 같은 여러 이유로 발생할 수 있습니다: (i) 조명 문제(예: 근처 창문의 강한 눈부심이나 어두운 그림자); (ii) 체커보드의 지나치게 빠른 움직임(예: 카메라 노출 시간 연장으로 인한 이미지 흐림); 또는 (iii) 부적절한 카메라 내재 특성(예: 초점 거리 부정확 또는 심한 렌즈 왜곡). 인간 자세 추정은 인공지능을 활용해 단일 인물(단일 포즈 추정) 또는 여러 사람의 이미지(다중 포즈 추정)에서 해부학적 랜드마크를 자동으로 주석 달습니다. 따라서 인간의 명확한 시각화는 자세 추정의 성공률에 매우 중요합니다. 컴퓨터 비전 매개변수(예: AI 아키텍처, 예측 임계값)에 따라 일부 시각적 간섭은 허용될 수 있습니다. 하지만 인간 자세 추정에 적합한지 판단하기 위해 주의해야 할 일반적인 함정은 다음과 같습니다: (i) 단일 자세 추정 시 시야에 들어오는 행인; (ii) 카메라 시야 밖에 간헐적으로 보이는 신체 구간; 그리고 (iii) 겹치는 신체 부위로 인한 자기 폐쇄.

컴퓨터 비전 워크플로우 자체와 데이터 수집을 분리하는 것은 장점과 단점을 모두 제공합니다. 주요 단점은 임상의와 환자가 의사 결정을 내리기 위해 임상적으로 관련 있는 정보가 지연된다는 점입니다. 잠재적 장점은 임상의와 환자 간의 상호작용에 대한 간섭이 줄어든다는 점입니다. 예를 들어, 환자 예약 전에 교정이 이루어진다고 가정할 때, 이전 문헌에 설명된 음주 작업 10회 반복을 비디오 녹화하는 것은 이상적으로 4분 미만의 비디오 녹화 시간과 프로토콜에 익숙하지 않은 환자를 안내하는 데 필요한 시간만 필요합니다. 더 나아가, 이러한 분리는 정보에 대한 책임을 분담함으로써 임상의의 수용을 높일 수 있습니다. 이러한 업무 분리 안에서 임상가는 비디오 평가가 언제 왜 이루어지는지에 대해 주도권을 갖고, 데이터 과학자/엔지니어는 정확하고 신뢰할 수 있는 임상 지표(예: 음주 작업 운동학)를 담당하는 컴퓨터 비전 워크플로우를 다듬는 책임을 집니다. 실제로 이는 임상의들이 일상적으로 지시하는 혈액 기반 검사(예: 완전한 대사 패널)와 영상 기반 검사(예: MRI 검사)의 현실과 비교할 수 있습니다. 마지막으로, 이러한 분리는 AI 분야가 계속 발전함에 있어 유리할 수 있습니다. 오늘 획득한 영상 데이터는 내일의 더 발전된 컴퓨터 비전 솔루션에 의해 반복 분석될 수 있으며, 이를 통해 더 빠른 속도, 정확성, 신뢰성으로 더 많은 운동학 지표를 추출할 수 있습니다.

우리의 목표는 외래 진료 환경의 임상가와 예상되는 가정 내 재활 환경(예: 원격재활)을 포함하는 재활 커뮤니티 내에서 상지 운동학 접근성을 더욱 증진시키는 것입니다. 이 프로토콜과 웹 기반 앱은 지금까지 매우 집중된 활동(즉, 음주 과제)과 비교적 집중된 이해관계자 집단(즉, 임상가 사용자 및 음주 작업을 쉽게 수행할 수 있는 피험자)을 고려한 초기 개발 단계로 봐야 합니다. 향후 버전은 더 다양한 사용자 그룹, 다양한 활동, 그리고 활동 조절이 필요한 심각한 결손 개인을 수용하기 위해 필요해질 것입니다. 또한, 향후 개발에는 전자 의료 기록 통합, 환자 프라이버시 및 기밀성 유지 등 광범위한 도입 전에 중요한 체크포인트가 포함될 것입니다. 이러한 향후 모델들은 또한 새로운 기술을 도입하고 현재 사용 가능한 기술을 다정하게 다듬을 가능성이 큽니다. 예를 들어, 현재 프로토콜은 쌍안 시야(예: 스테레오 카메라)를 기반으로 한 컴퓨터 비전 워크플로우를 가정합니다. 논리적인 다음 발전은 단안시력(예: 더 기본적인 카메라)을 탑재한 프로토콜로, 이는 쌍안 데이터셋을 기반으로 학습된 AI를 활용해 실현 가능할 수 있습니다. 주목할 점은, 현재 프로토콜은 최신 컴퓨터 비전 솔루션과 호환되는 이미지 및 비디오 데이터를 제공한다는 점입니다. 이 솔루션들은 이미^{최신 솔루션에} 의해 성능이 추월되고 있습니다. 여기서 설명한 웹 기반 프로토콜은 임상 의사들이 컴퓨터 비전의 기초를 실무에 도입할 수 있게 해줄 수 있으며, AI 기술이 의료 산업에 전반적으로 확산됨에 따라 컴퓨터 비전은 크게 발전할 가능성이 큽니다.

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
카메라 마운팅 암, 2섹션 단일 관절식 카메라 플랫폼	만프로토	196B-2	스테레오 카메라용 마운트
카메라 삼각대, 1/4인치 및 3/8인치 표준 장착 나사 호환	아이푸티지	CB3 기지	삼각대 장착 카메라 장착
클립보드, 표준 글자 크기	해당 없음	해당 없음	보정 패턴을 고정하기 위한 표면
컵, 8온스 플라스틱	해당 없음	해당 없음	음용용 물통
높이 조절 가능한 의자, 잠금 캐스터 휠	베르문트 라르센 A/S	벨라 독립	과목 의자
높이 조절 가능한 테이블, 잠금 캐스터 휠	미드마크 코퍼레이션	6215 직사각형 워크스테이션	음주 작업 테이블 설치
보정 체커보드 출력물	해당 없음	해당 없음	칼리브레이톤 비디오 패턴
음주 과제 활동 식탁매트 출력물,	해당 없음	해당 없음	음료 작업 설치 안내용 식탁매트
스테레오 카메라, 4mm 초점거리, 편광 필터 없음, 5m USB 3.0 케이블	스테레오랩	제드 2i	비디오 녹화용 스테레오 카메라
테이프	해당 없음	해당 없음	출력용 접착제