설치류 사회 행동 연구에서 다중 동물 자세 추정의 정확도를 향상시키기 위해 vmTracking을 활용

Summary

이 프로토콜은 동물이 빽빽하게 모여 있는 혼잡한 조건에서도 자유롭게 움직이고 마커가 없는 여러 동물의 비디오에서 고정밀 포즈 추적을 가능하게 하는 방법인 vmTracking을 도입합니다. 이 접근 방식은 동물이 자유롭게 움직일 수 있는 반자연 환경에서 발생하는 사회적 상호 작용을 분석하기 위한 신뢰할 수 있는 데이터를 제공합니다.

Abstract

설치류를 이용한 사회적 행동 연구에서는 자유롭게 움직이는 조건에서 보다 자연스러운 상호작용 행동을 평가해야 한다는 요구가 커지고 있습니다. 이를 위해서는 여러 동물의 정확한 포즈 추적이 필수적입니다. 그러나 현재의 마커가 없는 다중 동물 포즈 추적 도구는 폐색 및 혼잡 조건에서 추적 정확도가 떨어지는 경향이 있다는 심각한 과제에 직면해 있습니다. 이 문제는 동물들이 시각적으로 서로 구별할 수 없을 때 특히 두드러집니다. 이 문제를 극복하기 위해 가상 마커를 사용하여 프레임 전반에 걸쳐 개별 정체성을 유지함으로써 이러한 까다로운 조건에서 다중 동물 포즈 추적의 정확도를 향상시키는 방법인 가상 마커 추적(vmTracking)을 개발했습니다. vmTracking은 표준 추적 워크플로에 개별 ID 레이블을 추가하는 추가 처리 단계를 통합하여 기존의 마커가 없는 다중 동물 비디오 데이터에 적용할 수도 있습니다. 여기에서는 가상 마커를 할당하는 방법과 결과 레이블이 지정된 비디오에서 동물을 추적하는 프로토콜을 모두 설명합니다. vmTracking을 통해 구현된 고정밀 다중 동물 추적은 반자연 조건에서 사회적 상호 작용에 대한 후속 정량적 분석을 위한 신뢰할 수 있는 기반을 제공합니다.

Introduction

설치류의 사회적 행동에 대한 연구는 보다 자연주의적인 사회적 맥락에서의 상호 작용에 대한 연구를 점점 더 강조하고 있습니다¹. 3챔버 테스트와 같은 전통적인 접근 방식은 사교성과^{사회적 선호도를} 평가하는 데 널리 사용되어 왔지만2, 이러한 패러다임은 사회적 상호 작용의 단순화된 측면만 포착합니다³. 이러한 요구를 해결하기 위해 다중 동물 DeepLabCut(maDLC)⁴ 및 SLEAP(Social LEAP Estimates Animal Pose)⁵ 는 자유롭게 움직이는 조건에서 여러 동물의 마커 없는 포즈 추적에 없어서는 안 될 도구가 되었으며, 마커 없는 다중 동물 포즈 추적을 위한 고급 딥 러닝 기반 기술을 제공합니다. 그러나 동물이 가까이 있는 혼잡한 환경에서는 이러한 도구가 예측 실패 및 ID(ID) 전환과 같은 추적 오류가 발생하기 쉽습니다. 이러한 조건에서 신뢰할 수 있는 데이터를 얻으려면 광범위한 수동 수정이 필요한 경우가 많습니다.

자유롭게 움직이는 여러 동물의 정확한 포즈 추적은 보다 복잡한 사회적 역학을 조사할 수 있는 문을 열어줍니다. 예를 들어, 상세한 추적 데이터를 통해 리더-추종자 관계, 이동 중 접근-회피 행동 및 기존 행동 분석으로는 안정적으로 평가할 수 없는 기타 미묘한 상호 작용 패턴을 평가할 수 있습니다. 이러한 발전은 비교적 단순한 행동 설명 측정을 넘어 다중 동물 추적의 유용성을 확장하여 보다 복잡한 사회적 상호 작용을 분석할 수 있게 해줍니다.

추적 정확도를 향상시키는 한 가지 접근 방식은 개별 동물을 명확하게 구별하는 것입니다. 예를 들어, Bordes⁶ 은 단일 동물 DeepLabCut(saDLC)⁷을 사용하여 흰색 CD1 마우스와 검은색 C57BL/6N 마우스를 동시에 추적하는 것을 시연했습니다. 이 발견은 동물을 시각적으로 구별할 수 있을 때 정확한 개별 추적이 가능하다는 것을 시사합니다. 그러나 식별을 위해 물리적 마커를 사용하면 자연스러운 행동이 바뀔 수 있습니다. 무선 주파수 식별 태그⁸ 이식과 같은 최소 침습적 방법조차도 행동에 대한 잠재적 영향에 대한 우려를 불러일으킵니다.

여기에서는 비침습적 개체 식별을 위해 가상 마커(vmTracking)⁹ 를 사용하는 다중 동물 포즈 추적 방법을 제시합니다. 사회적 맥락을 고려하여 사회적 행동을 정확하게 평가하려면 매우 정밀한 다중 동물 포즈 추적 데이터가 필요합니다. vmTracking은 DLC와 같은 기존 도구를 사용하여 고품질 추적 데이터를 얻기 위한 새로운 소프트웨어나 알고리즘이 아닌 신뢰할 수 있는 프로토콜을 제공하여 이러한 요구를 충족하기 위해 개발되었습니다. 따라서 이러한 데이터를 기반으로 한 사회적 행동 분석은 이 프로토콜의 범위를 벗어납니다. vmTracking에는 마커가 없는 비디오에 가상 마커를 추가하고 결과 가상 마커 비디오를 추적하는 두 가지 주요 단계가 포함됩니다. 이 방법을 사용하면 동일한 계통의 시각적으로 구별할 수 없는 동물이 3마리 이상 있는 조건에서도 물리적 마커 없이 고정밀 포즈 추적이 가능합니다. 반자연주의적 조건에서 신뢰할 수 있는 추적을 허용함으로써 vmTracking은 행동 과학, 심리학 및 신경과학 전반에 걸쳐 잠재적인 응용 분야와 함께 복잡한 사회적 상호 작용에 대한 연구를 발전시키기 위한 효과적인 도구를 제공합니다.

Protocol

모든 실험 절차는 도시샤 대학 동물 관리 및 사용 위원회의 승인을 받았습니다(승인 번호 A23068). C57BL/6J 마우스( 재료 표 참조)를 24-26°C의 통제된 조건, 12시간의 빛/암흑 주기, 음식과 물에 대한 임의의 접근과 함께 케이지당 2-3마리의 그룹으로 수용했습니다. 모든 행동 기록은 빛 단계에서 수집되었습니다. vmTracking 프로세스의 전체 워크플로와 예제의 스냅샷이 그림 1에 나와 있습니다.

참고: vmTracking은 새로운 소프트웨어나 알고리즘이 아니라 기존 DLC 기능을 사용하여 다중 동물 추적 정확도를 최대화하는 프로토콜입니다. 따라서 다음 단계의 상당 부분은 재현성을 보장하기 위해 DLC 내의 특정 그래픽 사용자 인터페이스(GUI) 작업을 설명합니다.

1. 마커리스 다동물 영상 데이터 준비

참고: 실험 매개변수는 특정 연구에 따라 조정될 수 있습니다.

1. 흰색 바닥과 투명한 벽(직경 31cm× 높이 17cm, 재료 표 참조)이 있는 원형 열린 들판에 C57BL/6J 마우스 3개를 놓고 자유롭게 움직일 수 있도록 합니다.
2. 하향식 카메라 보기를 사용하여 460 × 460픽셀의 해상도와 30fps의 프레임 속도로 약 60분 동안 동물을 녹화합니다( 재료 표 참조).

2. 가상 마커 비디오 생성

1. DLC 버전 2.2.3에서 maDLC를 사용하여 표준 마커 없는 포즈 추적을 수행합니다(그림 2, 재료 표 참조).
   참고: 아래 단계에서는 DLC GUI 탭 메뉴 이름 및 매개변수 설정이 DLC의 작업을 명확히하기 위해 굵게 표시됩니다. 달리 지정하지 않는 한 모든 절차는 기본 설정을 사용하여 수행됩니다. DLC 사용에 대한 자세한 지침은 공식 문서¹⁰을 참조하십시오.
   1. 마커 없는 비디오 추적을 위해 프로젝트 관리 (보충 그림 1)에서 다중 동물 프로젝트를 만듭니다. 분석 요구 사항에 따라 config.yaml 파일의 개인 및 신체 부위 필드를 수정합니다. 이 프로토콜에서는 individual1 to individual3 및 bodypart1 to bodypart6이 사용됩니다. 다른 모든 설정은 선택 사항입니다.
      참고: numframes2pick (추출된 프레임 수) 및 dotsize (마커 크기) 매개변수는 비디오 조건과 실험자의 작업량에 따라 조정될 수 있습니다. 다른 설정은 가능한 모든 조건에서 체계적으로 테스트되지 않았습니다. 그러나 기본 구성으로 성공적인 추적이 확인되었습니다.
   2. 후속 레이블 지정 및 훈련을 위해 프레임 추출 (보충 그림 1)의 비디오에서 프레임을 추출합니다. 다른 모든 매개변수를 기본값으로 설정합니다.
   3. 라벨 데이터(보충 그림 1)에서 추출된 각 프레임에 레이블을 지정하여 프레임 간에 일관된 ID를 유지하지 않고 보이는 각 개인에게 적절한 신체 부위를 할당합니다.
   4. Create Training Dataset(보충 그림 1)에서 추출된 프레임에서 학습 데이터 세트를 만듭니다. 이 프로토콜에서 네트워크를 dlcrnet_ms5로 설정합니다. 다른 모든 매개변수를 기본값으로 설정합니다.
   5. Train에서 네트워크 훈련을 시작합니다(보충 그림 1). 이 프로토콜에서 최대 반복 파라미터는 학습을 위해 200,000으로 설정됩니다. 다른 모든 매개변수를 기본값으로 설정합니다.
   6. 평가 에서 훈련된 네트워크를 평가합니다(보충 그림 1). 다른 모든 매개변수를 기본값으로 설정합니다.
   7. Analyze videos(보충 그림 1)에서 선택한 비디오에 대해 포즈 추정을 실행하여 프로젝트 폴더 내의 videos 폴더에 .h5 좌표 데이터 및 기타 출력 파일을 생성합니다. 다른 모든 매개변수를 기본값으로 설정합니다.
      참고: 훈련 데이터 세트가 충분하지 않으면 분석에서 .h5 좌표 파일을 생성하지 못할 수 있습니다. 이 경우 2.1.2단계부터 다시 시작합니다.
   8. 실험자에 의한 수동 검증.
      1. 비디오 만들기에서 레이블이 지정된 추적 비디오를 만듭니다(보충 그림 1). DLC GUI에서 동물 ID 색상으로 비디오 생성 옵션을 선택하고 레이블이 지정된 추적 비디오를 생성합니다(그림 2A, maDLC). 다른 모든 매개변수를 기본값으로 설정합니다.
      2. 레이블이 지정된 비디오(그림 2A, maDLC)를 검사하여 ID 스위치 및 누락된 예측을 확인합니다. 눈에 띄는 오류가 관찰되면 재교육을 수행합니다(2.1.8.3단계 참조). 재교육을 수행하지 않으면 2.2단계로 진행합니다.
         참고: 재교육은 필수는 아니지만 정확도가 향상되고 이후 단계에서 작업량이 줄어듭니다.
      3. 재학습의 경우 이상치 추출/구체화에서 이상치 프레임을 추출하고 주석을 추가합니다(보충 그림 1). 주석이 완료되면 데이터 세트 병합 버튼을 클릭하여 자동으로 학습 데이터 세트 생성으로 진행한 다음 2.1.4단계부터 반복합니다.
2. maDLC 결과를 수정하여 가상 마커 비디오를 생성합니다(그림 3).
   1. 사용자 정의 GUI¹¹(그림 3B)을 사용하여 가상 마커에 대해 선택한 키포인트만 유지하고 나머지는 모두 .h5 파일에서 NaN으로 바꿉니다. 이러한 키포인트 감소는 후속 수정 단계의 작업량을 줄입니다(그림 3C,E). 이 프로토콜에서는 신체 부위 2와 4가 사용됩니다.
      참고: 몸체-축 벡터를 효율적으로 정의하는 두 개의 키포인트를 선택하는 것이 좋습니다. 가상 마커로 의도된 키포인트만 사용하여 초기 maDLC 추적을 수행하면 2.1.4단계에서 .h5 파일을 생성하지 못할 수 있습니다. 따라서 더 큰 키 포인트 세트로 초기 추적을 수행하는 것이 좋습니다.
   2. 트랙렛 구체화(보충 그림 1)를 사용하여 선택한 키포인트만 포함된 이전 단계의 .h5 파일을 수정합니다. 각 개인이 비디오 전체에서 일관된 ID를 유지하도록 키포인트를 수정합니다(그림 3E,F). 파일을 저장하십시오. 비디오 폴더의 .h5 파일이 자동으로 업데이트됩니다.
   3. 비디오 만들기에서 수정된 데이터에서 ID 색상 레이블이 있는 레이블이 지정된 비디오를 만듭니다(보충 그림 1, 그림 3A, 가상 마커). DLC 2.2에서는 videos 폴더에 있는 기존 레이블이 지정된 비디오로 인해 새 비디오가 생성되지 않습니다. 계속하기 전에 파일을 제거하거나 이름을 바꾸거나 이동합니다. 여기에서 이 데이터 세트에서 동물을 가리지 않고 식별할 수 있는 가장 작은 크기를 사용하여 구성 파일에서 마커 크기를 2로 설정합니다.
   4. 생성된 비디오의 이름을 짧은 파일 이름으로 변경하여 saDLC를 사용하여 다음 단계에서 다시 추적할 때 DLC 처리 중 오류를 방지합니다.

3. saDLC를 사용하여 가상 마커 비디오의 포즈 추적 수행(그림 4)

참고: 달리 지정하지 않는 한 모든 절차는 기본 DLC GUI 설정을 사용하여 수행됩니다.

1. 가상 마커 비디오 추적을 위해 프로젝트 관리 (보충 그림 2)에서 새 saDLC 프로젝트를 만듭니다. 이 프로토콜에서는 config.yaml 파일의 bodyparts 필드에 개인과 신체 부위의 모든 조합을 나열합니다(예: individual1-bodypart1, individual2-bodypart1, ..., individual3-bodypart6). 다른 모든 설정은 선택 사항입니다.
   참고: 2.1.1단계에서와 같이 numframes2pick 및 dotsize 매개변수는 비디오 조건 및 실험자의 작업량에 따라 조정될 수 있습니다. 기본 구성으로 성공적인 추적이 확인되었습니다.
2. 프레임 추출의 가상 마커 비디오에서 프레임을 추출합니다(보충 그림 2). 다른 모든 매개변수를 기본값으로 설정합니다.
3. 레이블 데이터(보충 그림 2)에서 추출된 각 프레임에 레이블을 지정하고, 가상 마커를 사용하여 개별 ID를 할당하여 ID와 신체 부위가 프레임 전체에서 일치하도록 합니다(그림 3B-D). 개인의 ID를 알고 신체 부위가 부분적으로 숨겨져 있는 경우 위치를 추정하고 그에 따라 라벨을 부착합니다. 개별 ID를 고유하게 결정할 수 없는 경우(예: 프레임에 ≥2명의 개인에 대한 가상 마커가 누락됨) 해당 신체 부위에 레이블을 지정하지 마십시오.
4. Create Training Dataset에서 추출된 프레임에서 학습 데이터 세트를 만듭니다(보충 그림 2). 이 프로토콜에서 네트워크를 efficientnet-b0으로 설정합니다. 다른 모든 매개변수를 기본값으로 설정합니다.
5. Train에서 네트워크 훈련을 시작합니다(보충 그림 2). 이 프로토콜에서 훈련을 위해 최대 반복 파라미터를 200,000으로 설정합니다. 다른 모든 매개변수를 기본값으로 설정합니다.
6. 평가 에서 훈련된 네트워크를 평가합니다(보충 그림 2). 다른 모든 매개변수를 기본값으로 설정합니다.
7. 비디오 분석(보충 그림 2)에서 선택한 비디오에 대해 포즈 추정을 실행하여 비디오 폴더에 .h5 좌표 데이터 및 기타 출력 파일을 생성합니다. 다른 모든 매개변수를 기본값으로 설정합니다.
8. 실험자에 의한 수동 검증.
   1. 비디오 만들기에서 레이블이 지정된 추적 비디오를 만듭니다(보충 그림 2). 다른 모든 매개변수를 기본값으로 설정합니다.
   2. 레이블이 지정된 비디오(그림 4A, vmTracking)를 검사하여 추적 불일치를 확인합니다. 실험자가 결과에 만족할 때까지 다시 훈련합니다. 재교육이 필요하지 않은 경우 절차가 완료됩니다.
      참고: 만족스러운 추적 결과를 확인한 후 가상 마커가 없는 프레젠테이션 품질의 비디오를 만들 수 있으며(그림 5), 비디오 만들기(보충 그림 2)에서 가상 마커 비디오 대신 원본 마커 없는 비디오에 추적 결과를 출력할 수 있습니다. 비디오 폴더의 가상 마커 비디오를 마커가 없는 비디오로 바꾸고 분석의 앞부분에서 사용된 가상 마커 비디오 파일 이름과 일치하도록 이름을 바꿉니다. DLC 2.2의 경우 새 비디오를 만들기 전에 폴더에 레이블이 지정된 비디오가 없는지 확인합니다(그림 5B,C).
   3. 재학습의 경우 이상치 추출/구체화에서 이상치 프레임을 추출하고 주석을 추가합니다(보충 그림 2). 주석이 완료되면 데이터 세트 병합 버튼을 클릭하여 자동으로 학습 데이터 세트 생성으로 진행한 다음 3.1.4단계부터 반복합니다.

Results

추적 정확도는 수동으로 생성된 실측(GT)과 비교하여 평가되었습니다. 20개의 5초 또는 10초 장면을 추출하여 경로를 건너는 쥐와 같은 중첩을 포함하는 혼잡한(CR) 장면(12개 장면, 총 1,950프레임) 또는 겹치지 않는 비혼잡한(nCR) 장면(8개 장면, 총 1,350프레임)으로 분류했습니다. GT 위치의 10픽셀 이내의 추적 예측은 일치(Match)로 계산되었습니다. 예측≥10픽셀 떨어진 곳에서는 가양성(FP)으로 계산되었습니다. 누락된 예측은 거짓 부정(FN)으로 계산되었습니다. 또한 예측된 ID가 바로 이전 프레임의 ID와 다른 경우 ID 스위치로 계산되었습니다.

maDLC(그림 6)와 비교하여 vmTracking은 CR 및 nCR 장면 모두에서 일치율이 크게 향상되었습니다(그림 6A, CR: p < 0.001; 그림 6E, nCR: p < 0.01). 두 장면 유형 모두에서 FN이 발생하지 않았으며 vmTracking을 통해 FN 수가 크게 감소했습니다(그림 6B, CR: p < 0.001; 그림 6F, nCR: p < 0.05). FP(그림 6C 및 6G) 및 ID 스위치(그림 6D,H) 수는 두 장면 유형 모두에서 변화가 없음을 보여주었습니다. vmTracking과 기존 maDLC를 사용하여 얻은 추적 결과를 나란히 비교하여 혼잡한 조건에서 vmTracking의 향상된 정확도와 안정성을 강조합니다(보충 비디오 1).

또한 maDLC 및 vmTracking의 CR 장면에 대한 주석 프레임 수와 Match 및 FN 간의 관계를 조사했습니다(그림 6I). maDLC에서 매치는 약 400개의 주석 프레임으로 약 85%로 정체되었으며, 숫자가 증가함에 따라 더 이상 개선되는 것은 거의 없었습니다. 훈련을 위한 주석 프레임을 늘려도 FN은 줄어들지 않았습니다. 반면 vmTracking은 주석 프레임이 많을수록 일치가 꾸준히 증가하여 약 1,000프레임에서 약 95%에 도달했습니다.

가상 마커는 할당 패턴에 따라 6개의 범주로 분류되었으며, 각 범주의 비율을 가상 마커 정확도의 지표로 사용하여 추적 일치와의 관계를 조사했습니다(그림 6J). 올바르게 할당된 가상 마커의 비율이 높은 장면은 더 높은 일치를 표시하는 경향이 있습니다. 그러나 잘못된 할당이 많거나 누락된 마커가 많아 올바른 마커의 비율이 낮은 일부 장면은 여전히 높은 일치를 보였습니다(예: CR 장면 3 및 11).

그림 1: vmTracking 워크플로 개요. (A) vmTracking 워크플로의 개략도. 먼저 마커리스 비디오(I)에서 maDLC를 수행합니다. 결과 maDLC 추적 데이터를 기반으로 각 개인이 비디오 전체에서 일관된 ID를 유지하도록 출력을 수정하고 선택한 키포인트 하위 집합(II)만 표시하는 레이블이 지정된 비디오를 만듭니다. 이 비디오의 레이블을 가상 마커로 사용하여 saDLC(III)로 가상 마커 비디오를 추적합니다. (B) vmTracking의 두 가지 예가 프로세스의 각 단계에서 스냅샷으로 표시됩니다. 맨 왼쪽 이미지는 전체 보기를 보여주고 오른쪽 이미지는 노란색 상자로 둘러싸인 영역의 확대 보기입니다. 이미지의 오른쪽 하단 모서리에 있는 주황색 막대는 "마커리스(개요)" 이미지의 경우 5cm, 다른 모든 이미지의 경우 1cm의 축척을 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 2: maDLC를 사용한 마커리스 다중 동물 추적 워크플로우. 이 그림은 프로토콜 단계 2.1과 관련이 있습니다. (A) 패널은 그림 1B에서 채택되었으며 그림 1A에 표시된 프로세스 I(마커리스 다중 동물 추적)을 보여줍니다. 명확성을 위해 각 동물은 점선으로 윤곽선이 그려져 있습니다. 각 이미지의 오른쪽 하단 모서리에 있는 주황색 막대는 1cm 축척 막대를 나타냅니다. (B-D) maDLC 실행 중 레이블 지정에 사용되는 프레임의 스냅샷입니다. 각 이미지의 오른쪽 하단 모서리에 있는 주황색 막대는 5cm 축척 막대를 나타냅니다. (B) 라벨을 적용하기 전의 예시 프레임입니다. (C) 라벨링 후 B와 동일한 프레임. (D) 다른 레이블이 지정된 프레임의 예. 프레임 C와 D 사이의 개체의 신원은 알 수 없지만 레이블을 지정할 때 개인 신원을 고려할 필요가 없습니다. 스냅샷에서 볼 수 있듯이 각 동물의 자세에 올바르게 라벨을 붙이는 것으로 충분합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 3: maDLC 결과를 기반으로 가상 마커 비디오를 생성하는 워크플로. 이 그림은 프로토콜 단계 2.2와 관련이 있습니다. (A) 패널은 그림 1B에서 채택되었으며 그림 1A에 표시된 프로세스 II(가상 마커 생성)를 보여줍니다. 명확성을 위해 각 동물은 점선으로 윤곽선이 그려져 있습니다. 흰색 화살표는 가상 마커로 사용되는 키포인트(각 ID의 2번째 및 4번째 키포인트)를 나타냅니다. 이 예에서 가상 마커는 회색조로 출력되며, 보라색, 녹색 및 빨간색 maDLC 레이블은 각각 검정색, 회색 및 흰색으로 표시됩니다. 예 1에서 maDLC 결과는 보정 없이 가상 마커로 직접 출력되었습니다. 예 2에서는 연속 프레임의 ID 전환으로 인해 출력 전에 보라색 및 빨간색 ID가 교체되고 수정되었습니다. 수정해야 할 maDLC 결과의 녹색 점이 간과되어 수정 없이 출력되었습니다. 각 이미지의 오른쪽 하단 모서리에 있는 주황색 막대는 1cm 축척 막대를 나타냅니다. (B) h5 좌표 데이터 파일을 편집하여 특정 키포인트만 유지하고 다른 모든 키를 NaN¹¹로 대체하기 위한 Python 기반 GUI. (바) 프로그램 실행 시 초기 메뉴 창. h5 파일 선택 버튼을 통해 편집할 파일을 선택합니다. (비) h5 파일을 선택한 후 창입니다. NaN(개별 이름-본문 부품 이름으로 표시됨)으로 대체할 키포인트를 확인하고 NaN 교체를 위한 시작-종료 시간(프레임 속도 포함) 또는 프레임 번호를 지정합니다. 데이터 처리를 클릭하면 편집된 파일이 동일한 폴더에 저장되고 원본의 백업이 생성됩니다. (C) ID 전환이 발생한 장면의 연속 프레임. (D) B의 모든 추적 지점을 수정하는 예. (E) 2번째와 4번째 키포인트만 유지된 B의 결과를 보여주는 스냅샷입니다. (F) E에서 결과를 수정하는 예. 모든 키 포인트(C → D)를 수정하는 것과 비교하여 수정을 두 지점(C → E → F)으로 제한하면 필요한 편집 횟수가 줄어듭니다. 각 이미지 C-F의 오른쪽 하단 모서리에 있는 주황색 막대는 5cm 축척 막대를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 4: 가상 마커 비디오를 추적하기 위한 워크플로. 이 그림은 프로토콜 3단계와 관련이 있습니다. (A) 패널은 그림 1B에서 채택되었으며 그림 1A에 표시된 프로세스 III(가상 마커 비디오 추적)을 보여줍니다. 각 개인은 추적 대상의 명확성을 위해 점선 윤곽선으로 둘러싸여 있습니다. 이 예에서는 검은색, 회색 및 흰색 가상 마커가 있는 개인이 각각 보라색, 녹색 및 빨간색 레이블로 추적됩니다. 예제 1에서는 회색 가상 마커가 없지만 vmTracking은 올바른 ID 추적을 유지합니다. 예 2에서 회색 마커는 두 개인에게 나타나지만 추적은 올바른 상태로 유지됩니다. 각 이미지의 오른쪽 하단 모서리에 있는 주황색 막대는 1cm 축척 막대를 나타냅니다. (B-D) vmTracking 중에 레이블 지정에 사용되는 프레임의 스냅샷입니다. 이 단계에서는 개별 및 신체 부위 정보를 모두 포함하도록 정의된 각 키포인트와 함께 saDLC가 사용됩니다. 레이블 지정은 개인의 신체 부위를 나타냅니다. 각 이미지의 오른쪽 하단 모서리에 있는 주황색 막대는 5cm 축척 막대를 나타냅니다. (B) 라벨을 붙이기 전 프레임의 스냅샷. (C) 라벨링 후 B에 있는 프레임의 스냅샷. (D) 라벨링 후 C와 다른 프레임의 스냅샷. 서로 다른 프레임(예: C 및 D)에서도 라벨링은 일관된 라벨 색상으로 표시된 대로 가상 마커를 단서로 사용하여 개별 정체성을 유지합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 5: 추적 결과를 마커 없는 비디오와 병합하여 가상 마커 없이 추적 비디오를 생성하는 워크플로. 이는 3.8.2단계의 NOTE와 관련된 선택적 단계입니다. (A) 추적 결과가 가상 마커 비디오에 적용되면 결과 추적 비디오는 가상 마커(vmTracking^vm+)를 유지합니다. 노란색 화살표는 출력에 표시되는 가상 마커를 나타냅니다. 대신 마커가 없는 원본 비디오에 추적 결과를 적용하면 프레젠테이션 또는 기타 목적에 적합한 가상 마커(vmTracking^vm-)가 없는 추적 비디오가 생성됩니다. 각 이미지의 오른쪽 하단 모서리에 있는 주황색 막대는 1cm 축척 막대를 나타냅니다. (나,씨) 마커가 없는 비디오에 vmTracking 결과를 적용할 때 프로젝트 디렉터리의 "videos" 폴더에서 파일 관리. 주황색 상자는 폴더 내용을 개략적으로 보여줍니다. (B) 추적 결과를 가상 마커 비디오에 출력하여 vmTracking 추적 비디오를 생성한 후 "비디오" 폴더(개략적으로 '4. 가상 마커 비디오의 레이블'). (C) 마커 없는 비디오에 vmTracking 결과를 출력하기 위한 "videos" 폴더를 준비합니다. '1. 가상 마커 비디오' 및 '4. 패널 B의 가상 마커 비디오 파일에 레이블을 지정하여 폴더에서 제외합니다. 문제는 파일 자체가 아니라 원래 파일 이름이 처리를 방해한다는 것입니다. 그런 다음 '5. Markerless video'를 폴더에 추가하고 원래 가상 마커 비디오 파일 이름(예: VMvideo.MP4)과 일치하도록 이름을 바꿉니다. 이 상태에서 동영상 만들기 를 다시 실행하면 마커가 없는 동영상('6. 마커 없는 비디오의 레이블'). 이 수치는 Azechi & Takahashi, 2025, PLOS Biology (CC BY 4.0)⁷에서 수정되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 6: vmTracking을 사용한 추적 정확도 평가. (아-H) 일치 비율에 대한 maDLC와 vmTracking의 비교입니다. 12개의 혼잡한(CR) 장면에서 (A), 거짓 부정(B), 거짓 긍정(C) 및 ID 스위치(D), 8개의 혼잡하지 않은(nCR) 장면에서 일치(E), 거짓 부정(F), 거짓 긍정(G) 및 ID 스위치(H). 플롯은 각 장면의 측정값을 나타내고 막대는 이를 통해 계산된 평균값을 나타냅니다. 통계적 비교는 Wilcoxon 부호 순위 테스트를 사용하여 수행되었습니다. (I) CR의 주석이 달린 프레임 수와 일치 및 거짓 부정의 비율 간의 관계. 오른쪽의 녹색 상자는 왼쪽 패널의 녹색 점선으로 둘러싸인 영역의 확대 보기를 보여줍니다. 그림은 평균값을 나타냅니다. (J) CR 및 nCR 장면에서 가상 마커 정확도와 추적 일치 사이의 관계. 가상 마커 정확도는 각 마커 쌍에 대해 6가지 유형으로 분류되었습니다: 두 지점 모두 올바른 개인에게 올바르게 할당됨, 하나는 정확하고 하나는 누락됨, 하나는 정확하고 하나는 잘못되었고, 하나는 잘못되었고 하나는 누락되었습니다. 각 장면에 대해 이러한 범주의 비율은 누적 막대로 표시되며 각 막대 위에 해당 장면에 대한 해당 추적 일치가 표시됩니다. 장면은 CR 및 nCR 장면에 대해 별도로 왼쪽에서 오른쪽으로 일치를 추적하는 오름차순으로 정렬됩니다. CR 장면: n = 12; nCR 장면: n = 8. p < 0.001, **p < 0.01, *p < 0.05. 이 수치는 Azechi and Takahashi (2025)⁹에서 수정되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

보충 그림 1: 각 작업 탭의 위치를 보여주는 다중 동물 DeepLabCut의 기본 창의 스냅샷. 스냅샷은 vmTracking 절차의 각 단계에서 사용되는 탭을 화살표로 보여줍니다. 이미지는 DeepLabCut GUI(버전 2.2.3)에서 캡처되었습니다. 이 그림을 다운로드하려면 여기를 클릭하십시오.

보충 그림 2: 각 작업 탭의 위치를 보여주는 단일 동물 DeepLabCut의 기본 창 스냅샷. 스냅샷은 vmTracking 절차의 각 단계에서 사용되는 탭을 화살표로 보여줍니다. 이미지는 DeepLabCut GUI(버전 2.2.3)에서 캡처되었습니다. 이 그림을 다운로드하려면 여기를 클릭하십시오.

보충 비디오 1: 세 마리의 마우스 추적에서 다동물 DeepLabCut과 vmTracking의 비교. 이 비교 비디오는 세 마리의 마우스를 추적하는 동안 다중 동물 DeepLabCut(maDLC; 왼쪽) 및 vmTracking(오른쪽)의 성능을 보여줍니다. vmTracking 비디오는 가상 마커 없이 추적 결과를 표시하기 위해 3.8.2단계의 참고에 설명된 절차에 따라 가상 마커 비디오를 원래 마커가 없는 비디오로 대체하여 생성되었습니다. 각 추적 방법에 대해 개별 ID는 비교를 용이하게 하기 위해 동일한 색상 계열의 색상 레이블을 사용하여 표시됩니다. 비디오 전체에서 vmTracking은 maDLC에 비해 다른 개인에 속하는 신체 부위가 감지되는 사례를 더 적게 보여줍니다. 특히, 약 15-17초에 maDLC는 녹색 라벨과 빨간색 라벨이 붙은 개인을 잘못 식별하여 할당된 신원을 전환합니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

Discussion

설치류¹에서 자연주의적 형태의 사회적 상호 작용을 연구하려는 요구가 증가하고 있지만, 특히 밀접한 상호 작용이나 폐색 중에 자유롭게 움직이는 여러 동물에 대한 신뢰할 수 있는 신원 및 포즈 정보를 얻는 것은 여전히 기술적인 과제로 남아 있습니다. vmTracking은 이러한 제한을 극복하여 이러한 조건에서 정확한 추적을 가능하게 합니다. vmTracking은 기존의 다중 동물 추적기^4,5가 종종 실패하는 혼잡한 환경⁹을 포함하여 다양한 실험 조건에서 높은 추적 정확도를 안정적으로 달성합니다. 이러한 견고성은 다중 동물 추적을 기반으로 하는 가상 마커 생성과 saDLC 추적의 조합에서 비롯되어 정확한 신원 및 포즈 추정이 가능합니다. 중요한 것은 이 방법이 가상 마커 정확도가 최적이 아닌 경우에도 높은 성능을 유지했다는 것입니다. 가상 마커의 어느 정도의 불완전성에 대한 이러한 내성은 vmTracking이 자유롭게 움직이는 여러 개인을 안정적으로 추적하는 데 실용적임을 보장하여 반자연적 조건에서 설치류의 사회적 상호 작용에 대한 연구를 발전시킵니다.

vmTracking의 중요한 단계는 가상 마커 생성 중에 다중 동물 추적 결과를 수정하는 것입니다. 이 과정에서 ID 스위치나 잘못된 레이블을 간과하면 saDLC가 후속 추적 전반에 걸쳐 이러한 오인을 유지할 수 있습니다. 나중에 이러한 실수가 발견되면 영향을 받는 세그먼트를 수정하고, 가상 마커 비디오를 다시 생성하고, saDLC 추적을 다시 실행하여 수정할 수 있습니다. 경우에 따라 가상 마커가 올바르게 배치될 수 있지만 혼잡한 상호 작용 중에 서로 다른 동물의 마커가 가까이 다가올 때 saDLC는 여전히 개인을 잘못 식별할 수 있습니다. 이러한 오류는 생성 단계에서 영향을 받는 가상 마커를 재배치하여 마커 간 거리를 최대화함으로써 완화할 수 있으므로 후속 추적 단계에서 혼동 가능성을 줄일 수 있습니다.

우리 프로토콜은 두 단계 모두에 DLC ^4,7을 사용하지만 SLEAP ^5,12로도 구현할 수 있습니다. 경험에 따르면 단일 동물 모드의 SLEAP는 일반적으로 saDLC보다 안정성이 떨어지며 성능은 비디오⁹에 더 많이 의존합니다. 그러나 가상 마커 생성 단계의 경우 SLEAP 또는 idtracker.ai¹³이 똑같이 효과적일 수 있으며 최적의 선택은 비디오에 따라 다를 수 있습니다. 따라서 초기 maDLC 추적에서 시각적 검사에서 빈번한 ID 전환 또는 심각한 키포인트 손실이 나타나는 경우 예를 들어 SLEAP 또는 idtracker.ai 로 가상 마커를 생성한 다음 saDLC로 결과 비디오를 추적하는 등 혼합 접근 방식이 가능합니다.

vmTracking에는 두 가지 추적 단계가 포함되기 때문에 일부 사람들은 이를 번거롭게 여기고 처음부터 물리적 마커를 단순히 부착하지 않아 가상 마커를 만들 필요가 없는 이유에 대해 의문을 제기할 수 있습니다. 그러나 가상 마커는 기존 마커 없는 비디오에 사후에 적용할 수 있어 동물에게 장치를 부착하는 것과 관련된 행동 효과나 윤리적 문제를 피할 수 있다는 분명한 이점을 제공합니다. 어디에나 배치할 수 있고 떨어지지 않으며 자세나 긴밀한 상호 작용의 영향을 받지 않으므로 특정 비디오에 맞게 위치 지정 및 조정할 수 있습니다. 이러한 유연성 덕분에 보다 안정적인 개인 식별이 가능해지며 결과적으로 물리적 마커에 비해 추적 정확도가 향상됩니다. 그 결과, 가상 마커를 사용하는 vmTracking은 물리적 마커를 적용할 수 없는 아카이브 비디오 데이터의 재분석뿐만 아니라 자유롭게 움직이는 사회적 상호 작용에 대한 연구에서 높은 정확도의 추적을 가능하게 합니다. 이를 통해 얻은 고정밀 추적 데이터는 행동 과학, 심리학 및 신경 과학을 포함하여 행동 실험에 의존하는 분야에서 광범위하게 유용합니다.

vmTracking에는 몇 가지 제한 사항이 있습니다. 첫째, 개인 식별은 마커 색상의 차이에 의존하기 때문에 추적 가능한 개인의 수는 구별 가능한 색상의 유한한 범위에 의해 제한됩니다. 현재까지 우리는 10마리의 물고기 그룹을 성공적으로 추적했습니다⁹; 그러나 이 수를 늘리려면 예를 들어 마커 모양을 변경하거나 골격 구조를 추가 식별자로 사용하는 방법을 탐색하는 등 다양한 가상 마커를 확장해야 하지만 이러한 접근 방식에는 추가 검증이 필요합니다. 둘째, vmTracking에는 마커가 없는 각 비디오에 가상 마커를 추가하는 추가 단계가 반드시 포함되며, 이는 긴 녹화 또는 많은 개인이 있는 데이터 세트의 경우 노동 집약적일 수 있습니다. 또한, 이 방법은 원칙적으로 다양한 종과 기록 조건에 적용할 수 있지만, 실험 매개변수를 최적화할 수 없는 경우 고정밀 추적을 달성하는 실용성이 떨어질 수 있습니다. 예를 들어, 조명, 카메라 해상도 또는 녹화 각도를 제어하기 어려운 현장과 같은 조건에서 야생 또는 자유롭게 움직이는 동물을 녹화하는 경우 가상 마커 할당 중에 필요한 수동 수정이 증가하는 경향이 있어 잠재적으로 고품질 추적 데이터를 쉽게 얻을 수 없습니다. 앞으로 가상 마커 할당 프로세스를 간소화하고 자동화하면 방법의 적용 가능성과 유용성이 더욱 향상될 것입니다.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
아크릴 파이프 (투명, 두께 5 mm, 내경 31 cm)	스가와라코게이 주식회사	https://www.sugawarakougei.jp/	Hazaiya(온라인 아크릴 소재 소매점)에서 구매했습니다.
아크릴 판 (흰색, 두께 3mm, 직경 31cm)	스가와라코게이 주식회사	https://www.sugawarakougei.jp/	Hazaiya(온라인 아크릴 소재 소매점)에서 구매했습니다.
C57BL/6J 마우스	시미즈 실험실 용품, Co.LTD.	해당 없음
카메라	배슬러	acA3088-57uc
딥랩컷 2.2.3	로잔 스위스 연방공과대학 마티스 연구소	https://www.mackenziemathislab.org/deeplabcut
파일론 카메라 소프트웨어 스위트(파일론 뷰어)	배슬러	해당 없음