November 7th, 2025
이 프로토콜은 동물이 빽빽하게 모여 있는 혼잡한 조건에서도 자유롭게 움직이고 마커가 없는 여러 동물의 비디오에서 고정밀 포즈 추적을 가능하게 하는 방법인 vmTracking을 도입합니다. 이 접근 방식은 동물이 자유롭게 움직일 수 있는 반자연 환경에서 발생하는 사회적 상호 작용을 분석하기 위한 신뢰할 수 있는 데이터를 제공합니다.
우리는 자유롭게 움직이는 쥐의 사회적 상호작용을 정확한 다동물 추적 방법을 개발하는 것을 목표로 합니다. 다동물 환경에서 신뢰할 수 있는 개별 식별과 정확한 자세 추적을 달성하는 것은 여전히 어렵습니다. 시작하려면, 마커 없는 비디오 추적을 위해 프로젝트 관리(Manage Project)를 선택하여 새로운 다동물 프로젝트를 생성하세요.
설정에서 개인과 신체 부위 필드를 수정하세요. 분석 요구사항에 따라 YAML 파일을 작성합니다. 라벨링과 훈련을 위해 영상에서 프레임을 추출하려면 '프레임 추출'을 선택하세요.
다음으로, 추출된 각 프레임에 라벨을 붙이세요. 프레임 간 ID를 일관되게 유지하지 않고도 각 보이는 개체에게 적절한 신체 부위를 할당하세요. 추출한 프레임에서 훈련 데이터셋을 생성하려면 'Training Dataset 만들기'를 선택하세요.
설정에서 네트워크를 DLCRNet_ms5로 설정하세요. 네트워크 훈련을 시작하려면 'Train'을 선택하세요. 이 훈련 세션에서 최대 반복 횟수를 200,000회로 설정하세요.
다른 모든 훈련 매개변수는 기본 값으로 유지할 수 있습니다. 학습된 네트워크를 평가하려면 '평가(Evaluate)'를 선택하세요. 선택한 동영상에 대해 포즈 추정을 실행하려면, 프로젝트 폴더 내 동영상 폴더에서 'HDF5 좌표 데이터 생성 및 기타 출력 파일 분석 영상'을 선택하세요.
추적 결과를 수동으로 검증하려면 '동영상 만들기'를 선택하여 라벨이 붙은 추적 동영상을 생성하세요. DLC GUI에서 개별 ID를 포함할 수 있도록 동물 ID 색상으로 동영상 생성 옵션을 활성화하세요. 그 후 생성된 라벨이 붙은 영상을 확인하여 신원 전환이나 누락된 예측이 있는지 확인하세요.
중대한 오류가 있으면 재교육을 준비하세요. 이상치 프레임을 재학습, 추출, 주석 처리하는 것. 추출 또는 정제된 이상치를 선택하세요.
주석이 완료되면 Merge Dataset를 클릭하여 자동으로 학습 데이터셋 생성으로 진행됩니다. 그리고 다시 훈련 과정을 반복하세요. 다중 동물 DLC 결과를 수정하려면 커스텀 GUI를 열고 가상 마커에 필요한 핵심 포인트만 유지하세요.
선택된 핵심 포인트만 포함된 HDF5 파일을 수정하려면 Refine Tracklets를 선택하세요. 핵심 포인트를 조정해서 영상 전반에 걸쳐 모두가 일관된 ID를 유지하도록 하세요. 파일을 저장하면 동영상 폴더의 HDF5 파일이 자동으로 업데이트됩니다.
다음으로, 수정된 데이터에서 '동영상 만들기'를 선택하여 라벨이 붙은 새 동영상을 생성하세요. DeepLabCut 2.2에서는 이미 라벨이 붙은 동영상이 동영상 폴더에 존재하면 새 동영상이 생성되지 않습니다. 진행하기 전에 기존 파일을 삭제, 이름 변경, 이동하세요.
라벨이 붙은 가상 마커 영상을 하위 DeepLabCut 처리 중 오류를 방지하기 위해 짧은 파일명으로 이름을 변경하세요. 가상 마커 영상을 추적하기 위해 프로젝트 관리(Manage Project)를 선택하여 새 saDLC 프로젝트를 생성하세요. 설정 안에 있습니다.
yaml 파일, bodyparts 필드에 개인과 신체 부위의 모든 조합을 나열하세요. 이름이 바뀐 가상 마커 비디오에서 프레임을 추출하려면 '프레임 추출'을 선택하세요. 이제 가상 마커를 사용해 추출한 각 프레임을 라벨 데이터에 라벨링하여 일관된 개별 ID를 할당하고, ID와 신체 부위가 프레임 전반에서 일치하는지 확인하세요.
신체 부위가 부분적으로 가려져 있지만 개인의 신원이 알려져 있다면, 그 위치를 추정하고 그에 맞게 라벨을 붙입니다. 추출한 프레임에서 'Create Training Dataset'을 선택하여 훈련 데이터셋을 생성합니다. 이 훈련 세션에서 네트워크를 효율 순 B0로 설정하세요.
Train을 선택하여 네트워크 교육을 시작하세요. 이 세션에서 최대 반복 횟수 매개변수를 200,000으로 설정하면 다른 모든 설정은 기본 값으로 유지됩니다. 학습된 네트워크를 평가한 후, 앞서 보여준 것처럼 수동 검증을 수행합니다.
혼잡한 장면에서는 VM 추적이 maDLC보다 훨씬 높은 매칭 비율을 달성했습니다. VM 추적 시 거짓 음성 건수는 maDLC보다 유의하게 낮았습니다. 하지만 VM 추적과 maDLC 사이에서 오탐과 ID 스위치 수에 차이가 없었습니다.
비혼잡한 씬에서는 VM 추적이 maDLC보다 훨씬 높은 매칭 비율을 달성했습니다. VM 추적 시 거짓 음성 건수는 maDLC보다 유의하게 낮았습니다. VM 추적과 maDLC 간에 오탐과 ID 전환 횟수에 차이가 없었습니다.
혼잡한 장면에서는 약 400프레임의 주석 달린 프레임 후 maDLC의 매치율이 약 85%로 정체되었고 추가 개선은 없었다. 반면 VM 추적은 약 1,000 프레임에서 약 95%까지 꾸준히 증가하는 모습을 보였습니다. maDLC에서는 주석이 달린 프레임 수를 늘려도 거짓 음성 수가 줄어들지 않았습니다.
정확히 할당된 가상 마커 비율이 높은 장면은 매칭 비율이 더 높은 경향이 있었습니다. 하지만 3편과 11편 같은 일부 장면에서는 많은 잘못된 배정이나 마커 누락에도 불구하고 높은 일치율을 보였습니다. 우리 프로토콜은 다중 동물 자세 추적에서 신뢰할 수 있는 신원 유지 부족을 해결합니다.
가상 마커와 기존 도구를 결합하여 포즈 트래킹 정확도를 향상시킵니다. 향후 연구는 이 데이터를 활용해 집단 역학이 쥐의 사회적 행동에 어떻게 영향을 미치는지 다룰 것입니다.
이 프로토콜은 다양한 자유롭게 움직이는 마커가 없는 동물의 비디오에서 높은 정확도의 포즈 추적을 가능하게 하는 방법인 vmTracking을 소개합니다. 이 방법은 동물이 밀집된 상태에서 자유롭게 움직일 수 있는 반자연 환경에서 발생하는 사회적 상호작용을 분석하는 데 필요한 신뢰할 수 있는 데이터를 제공합니다.
Accurate multi-animal pose estimation is critical for translational neuroscience and behavioral pharmacology, especially when evaluating drug effects on social interactions in freely moving rodent models. vmTracking addresses a key bottleneck by maintaining individual animal identity during occlusion and crowding, enabling robust quantitative behavioral endpoints. This capability strengthens predictive confidence and supports risk-adjusted decisions in early discovery and preclinical pipelines.
vmTracking integrates into the behavioral analysis continuum from early discovery through preclinical research, providing a reusable capability for high-accuracy pose tracking in complex social paradigms.