뇌성마비 아동 및 정상 발달 아동의 분절 간 조정 분석 향상을 위한 다중 모달 모션 캡처 도구 상자

Summary

본 연구는 모션 캡처 기술을 결합하여 운동 신호를 분석하고 각도-각도 플롯을 통해 전신의 조정 패턴을 정량화하는 도구 상자를 소개합니다. 전통적인 마커 기반 시스템의 도전을 극복하기 위해 설계된 이 도구 상자는 연구, 임상, 현장 환경 전반에 걸쳐 유연성을 지원하며, 운동 장애 아동을 위한 개별화된 치료 및 기능적 평가를 발전시킵니다.

Abstract

3차원 마커 기반 모션 캡처 시스템은 인간 움직임의 운동학적 패턴을 평가하는 데 있어 골드 스탠다드로, 마디와 관절 위치를 정밀하게 정량화할 수 있습니다. 그러나 전통적인 마커 기반 시스템은 특히 뇌성마비 아동과 같은 신경학적 장애와 감각 처리 이상이 있는 아동에게 여러 도전 과제를 안겨줍니다. 이러한 도전 과제는 운동학적 표지자의 사용을 방해하고 움직임 패턴에 대한 상세한 분석을 제한합니다. 딥러닝 기반의 인간 자세 추정을 활용한 마커리스 모션 캡처 시스템의 최근 발전은 전통적인 광학 시스템과 이후 데이터 처리 접근법에 대한 비용 효율적인 대안을 탐색할 수 있게 해주었습니다. 연구용 운동학 장비, 운동학 클러스터, 관성 측정 장치, 3차원(3D) 마커 없는 시스템, 2차원(2D) 마커 없는 시스템과 상업용 카메라(MediaPipe 경유) 등 여러 모션 캡처 기술을 결합한 통합 툴박스가 개발되었습니다. 이번 연구에서는 인간 피험자들의 생체역학 연구에서 주요 진행 중인 문제인 3D 마커 기반 모션 캡처와 2D 마커 없는 모션 캡처의 결과를 제시하며, 고관절-무릎 각도-각도 플롯을 통해 조정 패턴을 설명합니다. 사이클로그램 접근법이 선택된 이유는 신체 분절 간 결합 운동을 통한 조정을 분석할 수 있는 견고한 측정 및 해석 가능한 틀을 제공하기 때문입니다. 정상적으로 발달하는 두 명의 아동과 두 명의 뇌성마비 아동이 기능적 움직임 패턴인 앉아 서 있는 과제를 수행했습니다. 이번 연구 결과는 운동학 분석에 다중 모드 시스템을 통합하는 것이 가능함을 입증하여 연구 및 임상 환경에 유연성을 제공하였습니다. 더불어, 이 연구에서 제시된 새로운 오픈소스 접근법은 감각 처리 문제를 겪는 많은 환자 집단이 제기하는 도전을 해결하여, 진보되고 개별화된 치료 계획을 가능하게 합니다.

Introduction

3차원 운동학적 모션 캡처 평가는 예상 및 비정상적인 움직임 패턴을 정량화하는 데 신뢰할 수 있는 정보를 제공해 왔습니다. 이러한 정보는 재활 계획¹을 설계하고 임상 장비에 대한 환자 참여를 위한 안전 접근법을 수립할 때 매우 중요합니다(예: ^2,3). 신경학적 장애를 가진 아동을 고려할 때, 이러한 운동학적 평가는 보행⁴, 앉기에서 서 있는 과제⁵, 상지 도달⁶과 같은 뚜렷한 기능적 과제에서 조정 패턴 변화를 다루어 향상된 치료를 제공할 수 있습니다.

3차원(3D) 운동학 평가가 정확한 모션^{캡처 분석의} 골드 스탠다드로 여겨지지만, 피부에 운동학적 마커를 배치하는 것은 마디 및 관절 움직임의 정확한 정량화를 보장하기 위한 필수 사항입니다. 이 마커 기반 평가는 평가자가 특정 해부학적 특징에 대한 지식과 평가 대상자의 피부에 부착된 테이프의 내성 및 수용 여부를 요구합니다. 전자는 학습할 수 있지만, 후자는 여러 환자 집단에서 문제가 됩니다. 예를 들어, 뇌손상이나 뇌성마비가 있는 아동은 감각 정보 처리 장애를 보일 수 있습니다 ^8,9,10. 이 장애는 과민반응으로 나타날 수 있어, 임상의와 연구자가 운동학적 표지를 어린이 피부에 적용하지 못하게 하여, 운동 능력 변화의 정량화와 효율적인 개별화된 치료 계획을 방해할 수 있습니다.

환자 피부에 마커를 부착하는 문제 외에도, 운동학 연구에 사용되는 대부분의 측정 시스템은 비용이 저렴하지 않고, 실험실 공간에만 한정되어 있으며, 고도로 자격을 갖춘 인력만 사용할 수 있어 일상적인 임상 사용에는 실용적이지 않습니다. 하지만 현재 모션 캡처 기술의 발전은 운동 데이터를 기록하는 다양한 접근법을 지원합니다. 예를 들어, 딥러닝 기법을 이용한 자동 인간 자세 추정은 컴퓨터 비전 연구자들 사이에서 주목받고 있습니다. 이러한 마커 없는 모션 캡처 기법은 마커 기반 모션 분석과 관련된 기술적·실용적 도전에 대한 유망한 해결책을 제공할 수 있습니다¹¹. 이 방법은 마커 추적에 의존하는 대신, 훈련된 신경망을 사용해 전체 랜드마크¹²의 위치를 추정합니다. 이러한 발전은 인간 자세 인식 기술의 전반적인 효율성과 적응력을 향상시킵니다.

신체 부위 간의 운동학적 관계가 움직임 패턴의 변동성을 뒷받침하는 근본적인 제어 메커니즘을 드러낼 수 있다는 것은 잘 확립되어 있습니다. 세그먼트 간 조정을 측정하는 여러 방법이^{있지만, 각도}-각도 플롯(사이클로그램)은 정해진 시간 범위 내에서 세그먼트/조인트 간 결합 운동을 본질적으로 해석 가능한 정량화할 수 있게 합니다^14,15. 많은 뇌성마비 아동들이 선택적 운동 조절 장애로 인해 전신 운동 패턴을 수행하는 데 어려움을 겪기 때문에^, 우리는 단순하지만 복잡한 조절 패턴을 가진¹⁷, 앉아서 서 있는 움직임을 조사하기로 선택했다. 이 연구의 목표는 모션 캡처 기술을 결합한 오픈 소스 툴박스가 장애 아동의 조정 패턴 운동학적 평가를 가능하게 하는 것이었습니다.

본 연구에서는 엉덩이-무릎 사이클로그램을 활용해 몸통/골반과 허벅지/정강 구간의 협응을 입증할 것이며, 고관절과 무릎 관절을 앉기-서 생체역학과 관련된 대표적인 분절 간 결합으로 활용할 것입니다. 고관절-무릎 협응은 앉아서 서 일하는 작업 중 무게중심의 수직 진행을 이끄는 주요 관절 결합을 포착하기 때문에 선택되었으며, 이는 장애 아동에게 기능적으로 중요한 움직임이기 때문이다. 이 운동은 관절 시너지^{에 영향을 미치는} 선택적 운동 조절 장애로 인해 보상적 하체 전략에 의존하는 경우가 많다. 연구용 3D 운동학 장비부터 상업용 카메라에 이르기까지 다양한 기술을 하나의 처리 도구함에 통합함으로써 연구 환경부터 현장 및 임상 환경까지 유연성을 제공합니다. 또한 이 도구 상자는 마커 없는 모션 캡처 신호 처리 기능을 통해 장애 아동의 감각 처리 이상으로 인해 마커 배치가 불가능할 때 상세한 운동학 평가를 가능하게 합니다.

Protocol

이 연구는 통계적 추론보다는 네 명의 아동의 대표 결과를 사용하여 프로토콜의 실현 가능성을 입증하는 사례 시리즈로 수행되었습니다. 이 연구에 참여한 두 명의 정상 발달 아동(4세 남성, 100cm, 14.5kg; 10세 남성, 144cm, 40.8kg)과 뇌성마비 아동 두 명(대운동기능 분류체계 III, 4세 여성, 93cm, 13.8kg; 4세 남성, 102cm, 16.7kg)이 참여하였습니다. 부모/법적 보호자 및 자녀는 기관심의위원회(IRB) 승인 연구 프로토콜(IRB-FY2024-33)에 따라 참여 전에 사전 동의를 제공했습니다.

참고: 이 프로토콜은 3D 마커 기반 및 2D 마커 없는 모션 캡처 시스템 모두에 대한 절차를 설명하지만, 본 연구의 초점은 이 연구의 핵심 임상적·실무적 적용을 대표하는 2D 마커리스 접근법의 구현에 있습니다. 현재 프로토콜의 핵심 구현은 3D 운동학 데이터 수집을 위한 마커 기반 모션 캡처 시스템(최소 8대의 카메라)과, 2D 마커 없는 촬영을 위해 시상면에 수직으로 배치한 단일 RGB 카메라(최소 해상도 1920 × 1080 픽셀, 50 Hz)를 필요로 합니다. 이 방법은 적절한 조명(> 500럭스)과 최소한의 배경 잡음이 있는 통제된 임상 또는 실험실 환경에 적합합니다. 비이상적인 환경에서 견고성을 높이기 위해 vailá 툴박스는 전처리 도구(예: 드로우박스 마스킹, 비디오 크롭/크기 조정)를 통합하여 사용자가 참가자를 배경 방해로부터 격리하거나 최적이 아닌 카메라 프레이밍을 조정할 수 있게 합니다. 주요 한계는 단일 카메라, 마커 없는 접근법이 심도 정보나 카메라 시야 밖의 움직임을 포착할 수 없기 때문에 정확도가 떨어진다는 점입니다. 사용자는 참가자가 미리 정의된 캡처 볼륨 내에 머무르고 작업 실행 중 시상면을 정렬하여 마커 없는 추적 성능을 최적화해야 합니다.

1. 사전 검사

1. 적외선 모션 캡처 카메라 시스템과 비디오 카메라를 켜고 예열하세요. 적외선 모션 캡처 시스템은 보정 및 데이터 수집 전 열 안정화 단계에 도달하기 위해 약 30-60분간의 예열이 필요합니다. 100Hz(적외선 카메라, 마커 기반 시스템)와 50Hz(비디오 카메라, 마커 기반 시스템)에서 샘플링 속도를 검증하세요.
2. 캡처 볼륨에서 반사되는 물체를 투명하게 하거나 덮어주세요.

2. 카메라 배치

1. 마커 기반 시스템 (3D 카메라 시스템)
   1. 위치 카메라는 이동 구역 중심에서 약 1.5-2.5m 높이에 설치되어 있습니다. 카메라가 캡처 볼륨 주변에 고르게 배치되어 마커 가시성을 최적화하고 앉아 서 있는 작업 중 가림을 최소화하세요. 삼각측량 정확도를 높이고 시야 간섭을 줄이기 위해 카메라 위치의 교차 고도 배치.
   2. 목표 볼륨 내 각 지점(아이가 과제를 수행하는 곳)은 최적의 3D 데이터 캡처를 위한 표준 권장 사항을 따라, 항상 최소 두 대의 카메라에 보여야 합니다. 소아 참가자의 인체측정학과 평가 대상 과제를 바탕으로 포획량을 정의합니다.
      참고: 작업 공간은 바닥에서 약 0.80m 높이에 위치해 있었습니다.
   3. 마커 기반 시스템의 소프트웨어 도구를 사용해 세 가지 주요 광학 설정(줌, 조리개, 초점)을 정교하게 조정하여 낮은 보정 잔차와 높은 마커 추적 일관성을 시험 전반에 걸쳐 확보하세요.
2. 마커리스 시스템 (2D 카메라)
   1. 비디오 카메라를 참가자로부터 3.0m 거리(가능하면 더 가깝게, 앉은 자세부터 서 있는 것까지 피험자의 전체 몸이 보일 수 있는 곳)에 위치시키고, 참가자가 서 있을 때 골반 높이 중심에 위치시키면서도 시상면에 직교를 이룹니다.
   2. 광학 축을 수평(롤 없음)하고 이미지 중앙선을 고관절 중심 영역과 맞추세요.
   3. 모든 녹화에 대해 고정된 영상 파라미터로 카메라를 설정하세요.
      1. 획득 영역을 1920 × 1200 px의 관심 영역으로 설정하여 유효 해상도를 정의합니다. 20mm 초점 렌즈를 사용하고, 실험 내내 조리개(환경과 참가자 사이의 충분한 대비)를 일정하게 유지하세요.
      2. 프레임 속도를 50Hz로 설정하고 셔터 시간을 5ms로 고정하세요. 다음 하드웨어 설정을 적용하고 데이터 수집 중에는 변경하지 마세요: 게인 9.998, 감마 0.4, 블랙 레벨 0, 채도 1.
      3. 이미지 외관의 시간 이동을 방지하기 위해 모든 자동 노출 및 화이트 밸런스 조정을 비활성화하세요.
         참고: 초점을 조정하려면, 참가자가 수행할 장소에 Calibri 글씨로 짧은 문구, 굵은 스타일, 48 사이즈로 표지판을 사용할 수 있습니다. 카메라 시야 내에서 글자는 선명해야 하며, 보이는 흐림이 없어야 합니다.
   4. 왜곡이 눈에 띄는 렌즈를 사용할 때는 Charuco/Checkerboard^18,19를 준비해 보정/왜곡 제거를 위해 사용하세요(순수하게 시상형 고정 작업은 선택 사항).
      참고: 마커 기반 및 무마커 비디오 카메라 시스템 모두 그림 1에 나와 있습니다.

그림 1: 이 연구에 사용된 두 카메라 시스템의 클로즈업. 3D 운동학 시스템의 적외선 카메라(왼쪽)가 사용되었으며, 12대의 카메라가 마커 기반 접근법을 구성했고, 오른쪽 비디오 카메라는 마커 없는 접근법에 사용되었습니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

3. 동기화

참고: 이 단계는 여러 시스템을 동시에 사용할 때만 필요합니다. 단일 운동학(2D 또는 3D) 시스템만 사용할 때는 시스템 간 동기화가 필요하지 않습니다.

1. LockLab(또는 이에 상응하는 제어/동기화 장치)을 연결하여 각 시험 시작 시 두 시스템에 트랜지스터-트랜지스터 논리(TTL) 트리거를 전송합니다.
2. 하드웨어 트리거가 없으면 가시광 방출 다이오드(LED) 플래시(바람직한 방법)나 두 시스템에서 녹음한 청각 박수 소리를 사용하여 나중에 정렬할 수 있습니다.

4. 볼륨 보정 캡처 (마커 기반 시스템)

1. 카메라의 시야각(적외선 및 비디오 카메라 모두)을 시각적으로 점검하여 각 시야에서 불필요한 물체를 제거하세요. 마커 기반 시스템의 소프트웨어에서는 카메라 시야에서 제거할 수 없는 반사 물체(예: 다른 카메라)를 마스킹합니다.
2. 작업이 진행될 곳에서 지단 보정을 수행하세요. 전체 포획 공간을 가리키기 위해 완드를 움직여 보세요. 공간 정확도가 1 mm(평균 잔차)≤ 때만 보정을 허용하세요.
   참고: 이 과정에서 최소 세 대의 카메라가 동시에 보정 완드를 보고 있는지 확인하세요. 실험 과제에서 예상되는 움직임에 근사한 속도로 포획 부피를 통과해 완드를 움직여라: 고속 작업의 경우, 완드를 빠르게 움직여; 느린 동작을 할 때는 지팡이를 더 천천히 쓸어보세요. 보정 패스가 끝나면, 완드를 충분히 포착하지 못한 카메라가 있는지 소프트웨어 표시기를 확인하고, 보정을 마무리하기 전에 해당 카메라 시야 내에서 추가적인 목표 완드 움직임을 수행하세요. 완드 보정 후 잔류 오차는 완드 패스가 부드럽고 촬영 볼륨이 균일하게 조명되며 모든 카메라가 가림이 없는 시야를 가질 때 보통 0.3mm에서 0.8mm 사이로 떨어집니다.
3. 지정된 테스트 공간 내 지정된 원점 위치에 교정 완드를 올려 부피 원점을 설정합니다. 제조사의 지침에 따라 플로어 평면을 정의하세요.

5. 마커 배치 (마커 기반 시스템)

1. 훈련된 검사관이 사용하는 플러그인 보행 20,21,22 모델(그림 2)에 따라 후퇴 반사 마커를 배치합니다.
2. 정적 시험(3D 마커 기반 시스템에 필수)을 수집하기 전에 짧은 테스트 동작 중 양측 엉덩이, 무릎, 몸통 마커의 가시성을 확인하세요.

그림 2: 본 연구에 맞게 적용된 플러그인 보행 모델. 표준 마커 세트는 하지, 골반, 몸통, 머리 마디를 정의하는 데 적용되었습니다. 상체 마커는 하체와 몸통의 운동학에만 집중하기 위해 제거되었다. 이 적응은 팔 움직임을 분석에서 제외하면서도 원래의 플러그인 보행 전신 모델의 완전성을 유지합니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

6. 학과장과 환경

1. 팔 없는 의자를 사용해 엉덩이와 무릎 각도가 ~90° 되도록 좌석 높이를 조절하고, 발은 바닥에 평평하게 붙이세요. 각 참가자의 좌석 높이(cm)를 기록하세요.
2. 조명 제공 시 균일합니다; 시상면에서 백라이트와 가림은 피하세요. 균일하고 대비가 높은 배경을 유지하세요.

7. 참여자 지도 및 안전

1. 녹화 파일에 식별 가능한 정보가 포함되어 있지 않은지 확인하세요(각 참가자에 대한 식별 불가능한 영숫자 코드만 포함).
2. 앉아 서 있는 실험의 경우, 참가자들이 올바른 지침과 절차를 숙지하도록 하세요.
   1. 일반인(TD) 참가자들에게 손을 허리에 올리도록 지시하세요.
   2. 뇌성마비(GMFCS III) 아동의 경우, 안전을 저해하지 않으면서 수작업으로 지지를 제공해 주시기 바랍니다.
      참고: 소아 환자는 안전과 작업 완료를 위해 수동 지원이 필요할 수 있으나, 신체 부위나 마커의 폐색이 데이터 품질에 영향을 줄 수 있으므로 주의가 필요합니다.
   3. 움직임을 말로 유도하면서("위로"), 앉아 서 있는 시험 중에 스스로 선택한 편안한 속도를 허용하세요.

8. 시험 취득

1. 동적 실험을 촬영하기 전에, 참가자가 중립 자세로 발을 어깨 너비로 벌리고 팔을 90° 외전(abductation) 각도로 하는 정적 보정 시험을 촬영하세요.
   1. 모든 마커가 최소 두 대의 카메라에 보이도록 하세요; 마커 기반 시스템의 획득 소프트웨어에서 모든 카메라에서 ≥ 95%의 마커가 감지되는지 확인하세요. 2-3 기록. 한 3D 원근 프레임에는 모든 마커가 있어야 합니다.
   2. 마커 기반 시스템의 소프트웨어에서 플러그인 보행 정적 모델을 적용하여 관절 중심과 세그먼트 좌표계를 정의합니다. 3D 골격 시각화를 점검하고 해부학적으로 그럴듯한 관절 중심 위치를 확인하여 적절한 모델 적합성을 확인하세요.
      참고: 이 정적 시험은 이후 3D 동적 시험 처리에 필요한 생체역학 모델 매개변수를 제공합니다. 이 단계에서는 참가자의 인체 측정 지표(예: 체중, 키, 다리 길이 등)를 마커 기반 시스템의 소프트웨어에 입력해야 합니다. 정적 시험 중 소아 환자에게 수동 지원이 필요할 때는 데이터 품질을 저해할 수 있는 마커 폐색을 방지하기 위해 주의해야 합니다.
2. 참가자당 3회의 앉서²³ 회 시험을 기록하세요. 시험 사이의 휴식 시간은 참가자마다 필요할 수 있으며, 이는 신체적으로 도전적인 작업이 아니기 때문입니다.
3. 그룹(예: TD, CP), 참가자 영문자 ID, 시험 번호를 포함한 표준화된 파일 이름 규칙을 사용하세요.
4. 마커 기반 시스템의 소프트웨어에서는 보정된 카메라 시스템을 사용해 마커 궤적을 재구성합니다.
   1. 각 마커는 플러그인 보행 마커 세트 명명법에 따라 라벨을 붙이세요. 짧은 가클루즈에는 자동 갭 채우기(최대 갭 크기: 10프레임)를 사용하세요.
   2. 3D 시점으로 골격을 육안으로 검사하여 라벨링 정확도를 확인하세요. 모든 마커가 올바르게 라벨링되고 궤적이 연속적이면, 시험을 .c3d 파일로 내보내 vailá 툴박스에서 분석합니다.
5. 광학 데이터를 .c3d로 저장하고, 비디오 프레임이나 스트림을 손실 없는 또는 고비트레이트 압축 파일로 저장할 수 있습니다.

9. 데이터 처리

참고: vailá toolbox(v0.10.21)²⁴ 는 크로스 플랫폼(Windows, macOS, Linux)을 지원하며, Python 3.12 이상이 필요합니다. 마커리스 분석 모듈(예: MediaPipe²⁵)은 표준 CPU에서 효율적으로 실행되도록 최적화되어 특수 하드웨어 없이도 임상 환경에서 접근성을 보장합니다. CUDA 지원 GPU는 선택 사항이며, 사용자가 더 빠른 처리를 위해 대체 고속 엔진(예: YOLO-Pose)을 선택할 때만 사용됩니다. 상세한 실행 명령어, 단계별 가이드, 전체 문서를 원하시면 도구 상자의 온라인 자료와 통합 도움말 파일(https://github.com/vaila-multimodaltoolbox/vaila/tree/main/docs/modules/markerless-analysis 에서 확인할 수 있습니다).

1. 마커 기반 접근법: 마커 기반 시스템의 소프트웨어에서는 정적 및 동적 시행을 처리합니다. 다이내믹 플러그인 보행 모델을 라벨이 붙은 마커 궤적에 적용하여 관절 각도 시계열을 계산합니다(7.4 단계 참조).
   1. 처리된 임상시험 데이터를 .c3d 파일로 내보내세요. 계산된 관절 각도 시계열(예: 엉덩이, 무릎, 발목 각도)이 내보내기에 포함되는지 확인하세요.
   2. 처리된 .c3d 파일을 vaila.load_c3d() 함수를 사용해 vailá 툴박스에 가져오세요. 툴박스는 파일에서 미리 계산된 조인트 각도 시계열 데이터를 자동으로 추출합니다.
   3. 4^차 제로 지연 버터워스 저역 통과 필터(6Hz 컷오프)를 통합 필터링 함수(아래 9.2.4단계에 설명됨)를 결합 각도 데이터에 적용하여 마커 없는 데이터와의 일관성 처리를 보장합니다.
   4. 이후 분석(예: 사이클로그램 생성, 조정 지표 계산)은 vailá 내에서 수행됩니다.
2. 마커리스 접근법: vailá 내에서 MediaPipe 포즈 추정 모듈 (v0.10.21)을 로드합니다. 다음 매개변수를 설정하세요: static_image_mode = 거짓, model_complexity = 1-2(GPU/CPU 자원이 더 높은 정확도를 허용할 때 레벨 2를 사용), smooth_landmarks = 참, min_detection_confidence = 0.6, min_tracking_confidence = 0.6.
   참고: OpenPose와 같은 대체 포즈 추정 프레임워크도 여기서 사용할 수 있습니다.
   1. 각 비디오 프레임을 처리하여 MediaPipe 33 랜드마크를 추출합니다(그림 3). 임계값 이하의 검출 신뢰도를 가진 프레임은 폐기하거나 누락된 데이터에 대해 보간을 적용합니다.
      참고: MediaPipe는 얼굴, 몸통, 사지 핵심 지점을 포함한 33개의 신체 랜드마크를 감지합니다(그림 3). 현재 프로토콜에서는 앉아서 서 있는 분석과 관련된 몸통 및 하체 랜드마크만 사용되었습니다: 어깨 [랜드마크 11(왼쪽 어깨) 및 12 랜드마크(오른쪽 어깨)], 엉덩이 [랜드마크 23(왼쪽 엉덩이) 및 24 랜드마크(오른쪽 엉덩이)], 무릎 [랜드마크 25(왼쪽 무릎)와 26 랜드마크(오른쪽 무릎)], 그리고 발목 [랜드마크 27(왼쪽 발목)과 28 랜드마크]. 이 랜드마크들은 RGB 비디오에서 자동으로 감지되며, 플러그인 보행 모델에서 사용되는 역반사 마커 위치가 아닌 시각적 특징을 통해 추정됩니다.
   2. 모든 주요 지점(어깨, 엉덩이, 무릎, 발목)이 0.7 ≥ 확신으로 감지되는지 확인하세요.
   3. (선택 사항) 렌즈 왜곡이 중요하다면, MediaPipe를 실행하기 전에 카메라 매트릭스 및 왜곡 계수(카메라 매트릭스 및 왜곡 계수)를 사용해 프레임을 왜곡 해제합니다.
   4. YOLO-Pose: 동행적으로, vailá에 통합된 YOLO-Pose 모듈을 불러와.
      1. 인간 골격 탐지용 기본 가중치(COCO 형식과 일치하는 키포인트 세트)로 모델을 구성하세요. 각 프레임은 YOLO 백본을 사용해 골격 키포인트를 감지하도록 처리되며, 모션 블러, 오클루전, 복잡한 배경 등에서도 견고한 성능을 유지하도록 최적화되어 있습니다.
      2. 시간 평활화 필터를 적용하여 프레임 간 지터를 줄이고 감지된 키포인트를 MediaPipe에 사용되는 좌표계와 일치시킵니다.
      3. 시간 평활화 필터의 경우, 6Hz 컷오프 주파수(앉아 서 있는 동작은 5Hz 미만에서 주도적인 주파수 성분을 가지며)인 저역 통과 4차 버터워스 필터를 모든 관절 각도 시계열 데이터(마커 기반과 무마커 모두)에 적용하여 고주파 잡음을 제거하고 움직임 신호를 보존합니다.
      4. 이 필터는 Python의 scipy.signal.butter() 와 scipy.signal.filtfilt() 함수를 사용하여 0위상 순-뒤 필터링을 사용하여 시간적 이동을 방지합니다.
   5. vailá에서의 데이터 처리: 두 파이프라인(MediaPipe 및 YOLO-Pose)에서 표준화된 .csv 또는 .json 형식으로 랜드마크 궤적을 내보내세요. 프레임 번호, 타임스탬프, 탐지 신뢰도와 함께 메타데이터와 키포인트 좌표를 저장합니다. 이로 인해 방법 간 비교 가능성과 분석의 재현성을 보장합니다.
3. 좌표 정의 및 관절 각도: 굴곡에 대해 양수인 시상면의 엉덩이 굴곡 및 무릎 굽힘 각도를 정의하세요.
   1. 마커 없는 데이터의 경우, MediaPipe 랜드마크(예: 고관절: 골반 대리점; 무릎: 대퇴골-경골; 몸통: 어깨-엉덩이 분절)에서 관절 중심/분절을 도출하고, 일관된 관절 좌표계를 사용해 시상각을 계산합니다.
      참고: 자상면-접합 각도는 2차원 랜드마크 좌표에서 기하학적으로 계산됩니다. vailá 도구 상자는 두 세그먼트 벡터(벡터 a와 벡터 b) 사이의 각도(θ)를 점곱의 아르코사인을 사용하여 계산합니다: θ = arccos((a · b) / (|a| |b|)). 고관절 굴곡은 '몸통' 벡터(미디어파이프 랜드마크 11/12 [어깨]와 23/24 [엉덩이]를 연결하는 벡터)와 '허벅지' 벡터(23/24 [엉덩이]와 25/26 [무릎]를 연결하는 벡터) 사이의 각도로 정의됩니다. 무릎 굴곡은 '허벅지' 벡터(23/24 [엉덩이]와 25/26 [무릎]를 연결하는 벡터)와 '정강(shank)' 벡터(25/26 [무릎]와 27/28 [발목]를 연결하는 벡터) 사이의 각도로 정의됩니다.
   2. 두 접근법 모두에 동일한 부호 규칙과 필터링(필요 시)을 적용하여 비교를 용이하게 합니다.
4. 시간 동기화: LockLab 트리거 타임스탬프를 사용하여 두 접근법의 데이터를 정렬; 그렇지 않으면 첫 번째 가시광 플래시/클랩 프레임을 데이터 스트림에 정렬하세요.
   1. 필요하다면 비교 전에 공통 시간 기준으로 재샘플링합니다.
5. 움직임 주기를 정의하세요:
   1. 전진 몸통 기울기(양의 몸통 각속도 임계값)에서 안정된 직립 기지(몸통 각속도 ~0, 무릎 완전 신전)까지의 앉기부터 서 있는 주기를 정의하고, 뇌성마비 아동의 경우 안정적인 직립 자세와 경추 표지기 최고 위치(표지 기반 시스템)를 정의합니다.
   2. 뇌성마비 아동이 보통 발달하는 아동과 달리 완전한 신전(즉, 몸통이 골반과 정렬되고, 고관절이 0° 굴곡하며, 무릎이 완전히 펴진 상태)을 달성하지 못할 수 있는 경우, 주기 종료를 정적 서기 시험과 일치하는 가장 직립된 자세로 정의하고, 다음 시험 전에 안정된 자세를 위해 육안으로 확인해야 합니다.
   3. 대표 플롯에 대해 시간 정규화하지 마세요; 시험별 실제 작업 시간을 보고하세요. (필요하다면 시간 정규화 분석도 보조 자료로 제공할 수 있습니다.)
6. 사이클로그램 계산 및 지표: 각 시도마다 엉덩이(x축)와 무릎(y축) 각도를 그래프로 표시하여 엉덩이-무릎 사이클로그램을 생성합니다.
   1. 시각적 비교를 위한 중첩 시험 및 접근법(마커 기반 vs. 무표지)
   2. 선택적 요약 지표를 계산하세요: 엉덩이/무릎 가동 범위, 루프 면적, 루프 방향(주축 각도), 경로 길이.
   3. 처리된 시계열과 지표를 통계 분석에 .csv 내보내세요.

그림 3: MediaPipe의 33개 랜드마크. 이번 연구에서는 앉아 서 있는 과제와 관련된 랜드마크, 즉 11과 12(어깨), 23과 24(엉덩이), 25와 26(무릎), 27과 28(발목)만을 사용했습니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

Results

오픈소스 파이썬 기반 툴박스는 소아 참가자의 앉아 서 자세 과제 중 마커 기반 및 무마커 시스템 모두에서 고관절-무릎 협응 패턴을 성공적으로 정량화했습니다. 시각적 사이클로그램과 함께 정량적 비교를 제공하기 위해, 대표 임상시험들의 주요 요약 지표(고관절 및 무릎 가동 범위)가 표 1에 제시되어 있습니다. 일반적으로 발달하는 아동의 대표적인 각도-각도 그래프(그림 4A,B)는 마커 없는 시스템에서 얻은 조정 프로필을 보여, 표준 3D 마커 기반 모션 캡처에서 얻은 것과 매우 유사합니다. 이 일관성은 제안된 방법이 규범적인 전신 조정 전략을 고충실도로 포착할 수 있음을 확인하며, 제어 조건에서 확립된 운동학적 결과를 재현할 수 있는 도구 상자의 능력을 검증합니다.

뇌성마비 아동의 대표 결과는 그림 4C,

Discussion

이 연구의 목표는 소아 인구에서 전신 협응을 분석하기 위해 마커 기반과 무마커 모션 캡처 시스템을 통합할 수 있는 오픈 소스 다중 모드 툴박스의 실현 가능성과 적용을 입증하는 것이었습니다. 대표적인 응용에서는 이 프로토콜이 일반적으로 발달하는 아동에서 마커 기반 시스템과 마커 없는 시스템 간 유사성을 가진 고관절-무릎 사이클로그램을 성공적으로 생성했으며, 뇌성마비 아동의 움직임이 시상면을 벗어나 확장될 때(예: 몸통 횡회전) 유사한 점과 불일치를 강조했습니다. 운동 행동은 연령대(예: 5세와 10세)와 일반적으로 발달하는 아동과 뇌성마비 아동 간에 차이가 있기 때문에 두 개의 소아 사례 시리즈에서 의도적으로 이 도구를 테스트했습니다. 프로토콜 내에서 중요한 단계 중 하나는 참조 시스템과 기록 기하학의 선택입니다. 3차원 마커 기반 광학 모션 캡처는 대안적 접근법을 평가하는 기준으로 남아 있습니다^26,27

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
FLIR 블랙플라이 카메라	FLIR 시스템	모델: BFS-U3-200S6C-C	2D 마커리스 모션 캡처에 사용됨 (50 Hz, 1980년대 이후; 1200 px)
하이크비전 PoE 카메라	하이크비전	해당 없음	2D 마커리스 캡처를 위한 대체 비디오 녹화
락랩 하드웨어 트리거	비콘	락랩	시간 동기화에 사용됨
로지텍 C920 카메라	로지텍	HD 프로 웹캠 C920	마커 없이 촬영할 수 있는 대체 소비자용 카메라
미디어파이프	구글 리서치	v0.10.21	실시간 2D 자세 추정에 사용됩니다. 온라인에서 https://ai.google.dev/edge/mediapipe/solutions/guide 이용 가능
OpenPose 소프트웨어	카네기 멜론 대학교 / OpenPose 커뮤니티	버전 1.7.0	실시간 2D 자세 추정에 사용됨
플러그인 보행 풀 바디 모델	비콘	표준 모델	해부학적 마커 배치의 생체역학적 모델로 사용
베로 적외선 카메라	비콘	베로 시리즈	3D 마커 기반 모션 캡처(100Hz) 사용