마우스 통증 연구에서 시간 동기화 행동 및 뇌 역학을 위한 자동화된 곁눈질 방법

Summary

이 프로토콜은 신경 생리학적 측정에 대한 시간 잠금과 호환되는 방식으로 시간이 지남에 따라 설치류의 자동화된 눈 사시를 추적하는 방법을 제공합니다. 이 프로토콜은 편두통과 같은 통증 장애의 메커니즘을 연구하는 연구자들에게 유용할 것으로 기대됩니다.

Abstract

자발적인 통증은 인간의 편견을 방지하는 방식으로 실시간으로 추적하고 정량화하는 것이 어려웠습니다. 이것은 편두통과 같은 장애와 같은 머리 통증 지표에 특히 해당됩니다. 눈 사시는 시간이 지남에 따라 측정할 수 있는 연속 변수 지표로 부상했으며 이러한 분석에서 통증 상태를 예측하는 데 효과적입니다. 이 논문은 DeepLabCut(DLC)을 사용하여 머리를 자유롭게 회전하는 억제된 마우스에서 눈 사시(눈꺼풀 사이의 유클리드 거리)를 자동화하고 정량화하기 위한 프로토콜을 제공합니다. 이 프로토콜을 사용하면 눈 사시의 편향되지 않은 정량화를 신경 생리학과 같은 기계론적 측정과 쌍을 이루고 직접 비교할 수 있습니다. 우리는 눈을 가늘게 뜨고 않는 기간을 구별하여 정의된 대로 성공을 달성하는 데 필요한 AI 교육 매개변수에 대한 평가를 제공합니다. 우리는 CGRP 유발 편두통과 같은 표현형에서 초 미만의 해상도로 사시를 안정적으로 추적하고 구별할 수 있는 능력을 보여줍니다.

Introduction

편두통은 전 세계적으로 가장 흔한 뇌 질환 중 하나로, 10억 명 이상의 사람들에게 영향을 미칩니다¹. 편두통의 전임상 마우스 모델은 인간 연구보다 쉽게 통제할 수 있어 편두통 관련 행동에 대한 인과적 연구를 가능하게 하기 때문에 편두통의 메커니즘을 연구하는 유익한 방법으로 부상했다². 이러한 모델은 칼시토닌 유전자 관련 펩타이드(CGRP)와 같은 편두통 유발 화합물에 대해 강력하고 반복 가능한 표현형 반응을 보여주었습니다. 설치류 모델에서 편두통 관련 행동에 대한 강력한 측정의 필요성이 지속되고 있으며, 특히 이미징 및 전기 생리학적 접근과 같은 기계론적 지표와 결합될 수 있는 측정의 필요성이 있습니다.

편두통과 유사한 뇌 상태는 빛 혐오, 발 이질증, 유해한 자극에 대한 안면 통각 과민증, 얼굴 찡그린 얼굴 등의 존재로 표현형적으로 특징지어진다³. 이러한 행동은 빛에 소요된 총 시간(빛 혐오)과 발 또는 얼굴 터치 민감도 임계값(발 이질통 및 안면 통각과민증)으로 측정되며 장시간(몇 분 이상)에 걸친 단일 판독값으로 제한됩니다. CGRP와 같은 편두통 유발 화합물을 투여하여 동물에서 편두통과 유사한 행동을 유도할 수 있습니다³ 편두통이 있는 인간 환자가 경험하는 증상을 모방합니다(즉, 얼굴 타당성 입증). 이러한 화합물은 또한 인간에게 투여될 때 편두통 증상을 일으키며, 이는 이러한 모델의 구조적 타당성을 입증한다⁴. 행동 표현형이 약리학적으로 약화된 연구는 편두통 치료와 관련된 발견으로 이어졌으며 이러한 모델에 대한 추가 입증(즉, 예측 타당성 입증)을 제공합니다(즉, 예측 타당성 입증)^5,6.

예를 들어, 단클론 항-CGRP 항체(ALD405)는 CGRP^{로 처리한} 마우스6에서 빛 혐오 행동⁵과 얼굴 찡그린 얼굴을 감소시키는 것으로 나타났으며, 다른 연구에서는 CGRP 길항제 약물이 동물에서 아산화질소로 인한 편두통과 유사한 행동을 감소시킨다는 것을 입증했다 ^7,8. 최근 임상시험에서 CGRP ^9,10을 차단하여 편두통을 치료하는 데 성공한 것으로 나타났으며, 이로 인해 CGRP 또는 그 수용체를 표적으로 하는 여러 FDA 승인 약물이 개발되었습니다. 편두통 관련 표현형에 대한 전임상 평가는 임상 결과의 돌파구로 이어졌으며, 따라서 인간에게 직접 테스트하기 어려운 편두통의 더 복잡한 측면을 이해하는 데 필수적입니다.

수많은 장점에도 불구하고 이러한 편두통의 설치류 행동 판독을 사용하는 실험은 종종 시점 샘플링 능력이 제한되고 주관적이며 인간의 실험 오류가 발생하기 쉽습니다. 많은 행동 분석은 더 미세한 시간적 해상도에서 활동을 포착하는 능력에 제한이 있으며, 종종 뇌 활동 수준과 같이 초 미만의 시간 척도에서 발생하는 보다 역동적인 요소를 포착하기 어렵게 만듭니다. 신경 생리학적 메커니즘을 연구하기 위해 시간이 지남에 따라 더 자발적이고 자연스럽게 발생하는 행동 요소를 의미 있는 시간적 해상도로 정량화하는 것이 어렵다는 것이 입증되었습니다. 더 빠른 시간 척도에서 편두통과 유사한 활동을 식별하는 방법을 만들면 편두통과 유사한 뇌 상태를 외부적으로 검증할 수 있습니다. 이는 차례로 뇌 활동과 동기화되어 편두통의 보다 강력한 뇌 활동 프로필을 생성할 수 있습니다.

이러한 편두통 관련 표현형 중 하나인 얼굴 찡그린 얼굴은 동물의 통증 측정으로 다양한 상황에서 활용되며, 즉각적으로 측정하고 시간이 지남에 따라 추적할 수 있다¹¹. 얼굴의 찡그린 얼굴은 인간(특히 말을 하지 않는 인간)과 다른 포유류 종이 통증을 경험할 때 얼굴 표정의 자연스러운 변화를 보인다는 생각에 근거하여 자발적인 통증의 지표로 자주 사용된다¹¹. 지난 10년 동안 쥐의 통증 표시로 얼굴 찡그린 얼굴을 측정한 연구는 MGS(Mouse Grimace Scale)와 같은 척도를 사용하여 설치류의 통증 특성을 표준화했다¹². MGS의 표정 변수에는 안와 조임 (곁눈질), 코 팽창, 뺨 팽창, 귀 위치 및 수염 변화가 포함됩니다. MGS는 동물의 통증을 신뢰성 있게 특성화하는 것으로 나타났지만¹³, 이는 매우 주관적이며 실험자에 따라 다를 수 있는 정확한 점수 산정에 의존한다. 또한 MGS는 비연속적인 척도를 사용하고 시간이 지남에 따라 자연적으로 발생하는 동작을 추적하는 데 필요한 시간적 해상도가 부족하다는 점에서 제한적입니다.

이를 방지하는 한 가지 방법은 일관된 얼굴 특징을 객관적으로 정량화하는 것입니다. 사시는 가장 일관되게 추적할 수 있는 얼굴 특징이다⁶. 곁눈질은 모든 MGS 변수(곁눈질, 코 돌출부, 뺨 돌출부, 귀 위치 및 수염 변화)^를 고려할 때 데이터의 총 변동성의 대부분을 차지합니다6. 곁눈질은 MGS를 사용하여 얻은 전체 점수에 가장 많이 기여하고 CGRP ^6,14에 대한 반응을 안정적으로 추적하기 때문에 편두통 마우스 모델에서 자발적 통증을 추적하는 가장 신뢰할 수 있는 방법입니다. 이것은 곁눈질을 CGRP에 의해 유도되는 정량화 가능한 비항상성 행동으로 만듭니다. 몇몇 실험실에서는 편두통과 관련된 잠재적인 자발적 통증을 나타내기 위해 곁눈질을 포함한 얼굴 표정 기능을 사용했습니다 ^6,15.

편두통의 기계론적 연구와 결합될 수 있는 방식으로 자동화된 곁눈질을 수행하는 것과 관련하여 몇 가지 과제가 남아 있습니다. 예를 들어, 세션 간에 동일한 방식으로 보정해야 하는 고정된 위치에 의존하지 않고는 곁눈질을 안정적으로 추적하기가 어려웠습니다. 또 다른 과제는 MGS와 같은 개별 스케일 대신 연속 스케일에서 이러한 유형의 분석을 수행할 수 있는 능력입니다. 이러한 문제를 완화하기 위해 DeepLabCut(DLC) 형태의 머신 러닝을 데이터 분석 파이프라인에 통합하는 것을 목표로 했습니다. DLC는 Mathis와 동료들에 의해 개발된 포즈 추정 머신러닝 모델로, 다양한 행동에 적용되고 있다¹⁶. 그들의 포즈 추정 소프트웨어를 사용하여 거의 인간에 가까운 정확도로 쥐 눈의 점을 정확하게 예측할 수 있는 모델을 훈련시킬 수 있었습니다. 이렇게 하면 반복적인 수동 채점 문제가 해결되는 동시에 시간적 해상도가 크게 증가합니다. 또한, 이러한 모델을 생성함으로써 우리는 더 큰 실험 그룹에 대해 곁눈질을 점수화하고 편두통과 유사한 뇌 활동을 추정할 수 있는 반복 가능한 수단을 만들었습니다. 여기에서는 신경 생리학과 같은 다른 기계론적 측정에 시간을 고정할 수 있는 방식으로 사시 행동을 추적하기 위한 이 방법의 개발 및 검증을 제시합니다. 가장 중요한 목표는 설치류 모델에서 시간 고정 곁눈질 동작을 필요로 하는 기계론적 연구를 촉진하는 것입니다.

Protocol

참고: 이 실험에 사용된 모든 동물은 아이오와 대학의 IACUC(Institutional Animal Care and Use Committee)에서 승인한 프로토콜에 따라 처리되었습니다.

1. 데이터 수집을 위한 장비 준비

1. 필요한 모든 장비의 가용성 확인: DLC를 실행하기 위한 권장 하드웨어에 최소 8GB의 메모리가 있는지 확인합니다. 하드웨어 및 소프트웨어와 관련된 정보는 Table of Materials 를 참조하십시오.
   참고: 데이터는 모든 형식으로 수집할 수 있지만 분석하기 전에 DLC에서 읽을 수 있는 형식으로 변환해야 합니다. 가장 일반적인 형식은 AVI 및 MP4입니다.
2. 동물의 한쪽 눈을 감지할 수 있도록 하나 이상의 카메라를 구성합니다. 양쪽 눈이 모두 보이면 추적에 간섭을 일으킬 수 있으므로 추가 필터링을 수행하십시오. 여기에 제공된 데이터에 대한 이러한 필터링의 예는 섹션 10을 참조하십시오.
3. Deeplabcut.github.io/DeepLabCut/docs/installation 에 있는 패키지를 사용하여 DLC를 설치합니다.
4. 카메라 설정에서 마우스에 대한 측면 각도(~90°)로 단일 카메라를 포함합니다. 이 예를 따르려면 10Hz에서 샘플링하여 마우스를 제한하지만 신체에 대한 전체 머리 움직임 범위에 자유롭게 접근할 수 있습니다. 카메라에서 동물까지 2인치에서 4인치 사이를 유지하십시오.

2. DLC 설정

1. DLC를 설치한 후 작업할 환경을 만듭니다. 이렇게 하려면 다음 명령과 함께 change 디렉토리를 사용하여 DLC 소프트웨어가 다운로드된 폴더로 이동합니다.
   CD folder_name
   참고: 여기에 DEEPLABCUT.yaml 파일이 있습니다.
2. 첫 번째 명령을 실행하여 환경을 만들고 두 번째 명령을 입력하여 사용하도록 설정합니다.
   conda 환경 생성 -f DEEPLABCUT.yaml
   conda 활성화 Deeplabcut
   참고: DLC를 사용하기 전에 환경이 활성화되어 있는지 확인하십시오.
   환경을 활성화한 후 다음 명령을 사용하여 GUI(그래픽 사용자 인터페이스)를 열고 모델 생성을 시작합니다.
   파이썬 -m deeplabcut

3. 모델 만들기

1. GUI가 열리면 하단의 Create New Project 를 클릭하여 모델 생성을 시작합니다.
2. 나중에 식별할 수 있도록 프로젝트 이름을 의미 있고 고유한 것으로 지정하고 이름을 experimenter로 입력합니다. 위치 섹션을 확인하여 프로젝트가 저장될 위치를 확인합니다.
3. 폴더 찾아보기를 선택하고 모델을 학습시킬 비디오를 찾습니다. 비디오를 원래 디렉토리에서 이동하지 않으려는 경우 프로젝트 폴더에 비디오 복사를 선택합니다.
4. 만들기를 선택하여 컴퓨터에서 새 프로젝트를 생성합니다.
   참고: 비디오는 관찰할 행동의 전체 범위(예: 곁눈질, 비곁눈 및 그 사이의 모든 행동)를 다루어야 합니다. 모델은 학습 데이터에서와 유사한 동작만 인식할 수 있으며, 동작의 일부 구성 요소가 누락된 경우 모델이 이를 인식하는 데 문제가 있을 수 있습니다.

4. 설정 구성

참고: 여기에서 추적할 지점, 각 교육 비디오에서 추출할 프레임 수, 기본 레이블 지정 점 크기 및 모델 학습 방법과 관련된 변수와 같은 세부 정보를 정의할 수 있습니다.

1. 모델을 생성한 후 config.yaml 편집을 선택하여 구성 설정을 편집합니다. 편집 을 선택하여 구성 설정 파일을 열고 모델과 관련된 키 설정을 지정합니다.
2. 추적할 눈의 모든 부분을 포함하도록 신체 부위 를 수정한 다음 numframes2pick 을 교육 비디오당 필요한 프레임 수로 수정하여 총 400개의 프레임을 얻습니다. 마지막으로, 레이블을 지정할 때 기본 크기가 눈 가장자리 주위에 정확하게 배치될 수 있을 만큼 충분히 작도록 dotsize 를 6 으로 변경합니다.

5. 교육 프레임 추출

1. 컨피그레이션에 따라 GUI 상단의 Extract Frames 탭으로 이동하여 페이지 오른쪽 하단에서 Extract Frames 를 선택합니다.
2. GUI 하단의 로딩 표시줄을 사용하여 진행 상황을 모니터링합니다.

6. 교육 프레임에 레이블 지정

1. GUI에서 Label Frames 탭으로 이동하여 Label Frames를 선택합니다. 선택한 각 교육 비디오에 대한 폴더를 표시하는 새 창을 찾습니다. 첫 번째 폴더를 선택하면 새 라벨링 GUI가 열립니다.
2. 선택한 비디오의 모든 프레임에 대해 구성 중에 정의된 포인트에 레이블을 지정합니다. 모든 프레임에 레이블을 지정한 후 저장하고 다음 비디오에 대해 이 과정을 반복합니다.
3. 곁눈의 적절한 라벨링을 위해 가능한 한 눈의 가장 큰 봉우리(중앙)에 가까운 두 점을 사용하고 각 점의 위/아래 위치를 표시하십시오. 이 두 길이의 평균으로 곁눈질을 근사화합니다.
   참고: 레이블을 지정할 때 DLC는 진행 상황을 자동으로 저장하지 않습니다. 레이블이 지정된 데이터의 손실을 방지하기 위해 주기적으로 저장하는 것이 좋습니다.

7. 교육 데이터 세트 만들기

1. 수동으로 레이블을 지정한 후 Train network 탭으로 이동하여 Train network 를 선택하여 소프트웨어에 모델 학습을 시작하라는 메시지를 표시합니다.
2. 명령 창에서 진행 상황을 모니터링합니다.

8. 네트워크 평가

1. 네트워크 교육이 완료되면 네트워크 평가 탭으로 이동하여 네트워크 평가를 선택합니다. 파란색 로딩 원이 사라지고 자체 평가가 완료되고 모델을 사용할 준비가 되었음을 나타낼 때까지 잠시 기다립니다.

9. 데이터 분석/레이블이 지정된 비디오 생성

1. 비디오를 분석하려면 비디오 분석 탭으로 이동합니다. 더 많은 비디오 추가 를 선택하고 분석할 비디오를 선택합니다.
2. 데이터의 csv 출력이 충분한 경우 결과를 csv로 저장 을 선택합니다.
3. 비디오를 모두 획득하면 하단의 비디오 분석을 선택하여 비디오 분석을 시작합니다.
   참고: 9.5단계에서 레이블이 지정된 비디오를 생성하기 전에 이 단계를 완료해야 합니다.
4. 비디오를 분석한 후 비디오 만들기 탭으로 이동하여 분석된 비디오를 선택합니다.
5. 비디오 만들기를 선택하면 소프트웨어가 해당 .csv에 표시된 데이터를 나타내는 레이블이 지정된 비디오를 생성하기 시작합니다.

10. 최종 데이터 처리

1. https://research-git.uiowa.edu/rainbo-hultman/facial-grimace-dlc 에 있는 매크로를 적용하여 원시 데이터를 이 분석에 사용되는 형식(즉, 유클리드 거리)으로 변환합니다.
2. Step1 및 Step 2로 레이블이 지정된 매크로를 가져와서 csv에 적용하여 최적화되지 않은 모든 데이터 포인트를 필터링하고 데이터를 눈의 위쪽과 아래쪽에 있는 가장 중심 포인트에 대한 평균 유클리드 거리로 변환합니다.
3. Step3이라는 매크로를 실행하여 75픽셀로 설정된 스크립트의 임계값에 따라 각 점을 0 눈 뜨기 안 함 및 1 곁눈질로 표시합니다.
   참고: 이러한 매크로의 매개변수는 실험 설정에 따라 조정이 필요할 수 있습니다(토론 참조). 눈을 가늘게 뜨는 임계값과 눈의 최대값에 대한 자동 필터는 동물의 크기와 카메라와의 거리에 따라 변경될 수 있는 매개변수입니다. 데이터를 얼마나 선택적으로 필터링해야 하는지에 따라 최적이 아닌 점을 제거하는 데 사용되는 값을 조정할 수도 있습니다.

Results

여기에서는 DeepLabCut을 사용하여 높은 시간 해상도에서 사시를 안정적으로 감지하는 방법을 제공합니다. 훈련 매개변수를 최적화하고 이 방법의 강점과 약점에 대한 평가를 제공합니다(그림 1).

모델을 훈련시킨 후 유클리드 거리 측정의 좌표점 역할을 하는 눈꺼풀의 위쪽과 아래쪽 지점을 올바르게 추정할 수 있음을 확인했습니다(그림 2). 유클리드 거리는 눈의 두 위쪽 점과 아래쪽 점 사이의 거리의 평균 길이로 정의됩니다. 우리 모델은 눈을 가늘게 뜨지 않는 경우(그림 2A)와 눈을 가늘게 뜨는 경우(그림 2B)를 감지할 수 있었습니다. 파란색 점은 각 프레임의 유클리드 거리를 결정하는 데 사용되는 점을 나타냅니다. 녹색, 노란색, 주황색 및 보라색 점은 모델이 유클리드 거리를 올바르게 추정하고 머리가 최적이 아닌 위치에 있을 때(즉, 머리 움직임 및 세션 간 위치 변경 고려) 가능성 값을 줄이는 데 사용되었습니다. 그런 다음 여러 가지 다른 방법을 사용하여 모델의 정확도를 검증했습니다.

모델에 사용된 이상적인 프레임 수를 검증하기 위해 다양한 샘플 프레임 크기를 가진 4개의 모델을 훈련하고 테스트했습니다(그림 3). 먼저 테스트와 훈련 데이터 간의 RMSE(평균 제곱근 오차) 값을 비교하여 모델이 훈련되지 않은 테스트 데이터를 얼마나 정확하게 예측할 수 있는지 검증했습니다. 이 비교는 수동으로 레이블이 지정된 포인트와 모델 레이블이 지정된 포인트 간의 변동성이 300프레임 후에 평준화되었음을 보여주었습니다. 이 추세는 보고된 가능성 평균과 상관관계가 있으며, 300개의 레이블이 지정된 프레임 후에 평준화된 것으로 나타났습니다. 이렇게 보고된 우도 값을 사용하여 0.92보다 작은 점을 필터링했습니다. 이러한 가능성 값은 학습 데이터를 기반으로 지정된 지점이 올바르게 레이블이 지정되었다는 모델의 신뢰도를 나타냅니다. 우리는 모델이 서로에 대해 얼마나 잘 수행되었는지 조사하기 위해 유클리드 거리 메트릭에 기여하는 점에 대해 이러한 값을 평균화했습니다. 300 프레임과 400 프레임 사이에는 큰 차이가 없었지만, 평균적으로 0.95 우도 값보다 높았기 때문에 400 프레임을 사용했는데, 이는 수동 필터링의 임계값에 가깝고 포즈 추정을 위해 유사한 모델에서 사용된 임계값과 일치합니다¹⁶.

모델의 정확성을 검증하는 또 다른 방법은 수동으로 주석이 달린 프레임과 DLC 레이블이 지정된 프레임을 비교하는 혼동 행렬을 사용하는 것이었습니다. 두 명의 시각 장애인이 8개의 비디오에서 동일한 눈의 300개 프레임에 수동으로 주석을 달았습니다. 우리는 이러한 데이터를 사용하여 참 및 거짓 긍정과 부정을 평가하기 위한 혼동 매트릭스를 구성했으며(그림 4), 수동으로 채점된 데이터가 실측 자료로 사용되었습니다. DLC의 경우 유클리드 거리가 75픽셀 미만으로 기록될 때(즉, 동물이 눈을 가늘게 뜨는 경우) 양수 곁눈질 값이 기록되었고, 75픽셀보다 큰 값(즉, 동물이 눈을 가늘게 뜨지 않는 경우)에 대해 음수 값이 기록되었습니다. 96.96%의 긍정적인 예측 값을 찾았으며, 이는 수동으로 주석이 달린 곁눈질에 비해 모델이 눈을 가늘게 뜨는 시간을 정확하게 예측하는 시간의 백분율입니다. 99.66%의 음수 예측 값을 찾았는데, 이는 모델이 수동으로 주석을 단 곁눈질에 비해 눈을 가늘게 뜨지 않는 시간을 정확하게 예측하는 시간의 백분율입니다. 이는 올바르게 레이블이 지정된 음수 및 양수 값의 비율을 보여줍니다. 또한 98.1%의 참 긍정 비율과 99.46%의 참 부정 비율을 발견했는데, 이는 각각 모든 양수 및 음수 값에 대한 모델의 정확한 예측을 나타냅니다. Matthews 상관 계수(MCC)는 93.8%로, 관측 값과 예측 값 간의 상관 계수를 나타냅니다.

모델이 사시를 안정적으로 추적한다는 확신이 들자, 이 DLC 방법을 전임상 편두통 데이터셋¹⁴을 사용하여 이전에 발표된 사시 추적 방법과 비교했다. 이 다른 방법을 "area squint model (ASM)"이라고 부르는데, 이는 열린 눈 영역을 연속 변수 측정^{squint 14}로 사용하여 개발되었기 때문입니다. 이 영역 곁눈질 모델은 사용자 지정 MATLAB 스크립트와 결합된 훈련된 얼굴 인식 소프트웨어를 활용하여 눈의 평균 픽셀 면적을 분석하면서 추적 오류율이 >15%¹⁴인 프레임을 제외합니다. 한 가지 주요 제한 사항은 "ASM"이 오픈 소스가 아니므로 널리 액세스할 수 없다는 것입니다. DLC를 사용하면 소프트웨어 및 하드웨어를 많이 구매할 필요 없이 최적화 및 적응성을 높일 수 있습니다.

10마리의 암컷과 10마리의 수컷 CD1 마우스로 구성된 데이터 세트를 사용했다. 실험적으로, 모든 동물은 녹음이 시작되기 전 총 3일 동안 30분 동안 부드러운 구속 상태에서 적응시켰다. 각 동물은 기준선의 5분 동안 기록된 다음 치료 기록을 위해 5분 동안 기록되었습니다. 치료 세션 동안, 동물은 편두통과 유사한 상태를 유도하기 위해 복강내로 PBS(비히클) 또는 0.1mg/kg CGRP(처리)로 치료되었습니다. 얼굴 조명을 비추는 적외선이 장착된 카메라를 사용하여 조명이 밝은 방에서 데이터를 수집하여 정확한 랜드마크 감지를 보장했습니다. 적외선 카메라에는 초점 거리가 254mm이고 조리개가 적절하게 조정된 Kowa LM35JC 2/3" 35mm F1.6 수동 조리개 C-마운트 렌즈가 포함되어 있습니다. 데이터를 수집한 후 ASM과 DLC를 활용하여 데이터를 분석했습니다. 얼굴 찡그린 얼굴을 정량화하기 위해 현장에서 전통적으로 수동 채점이 사용되어 왔으며, 눈을 가늘게 뜨는 것이 얼굴 찡그린 얼굴¹⁴의 구성 요소 중 하나였기 때문에, 우리는 또한 우리의 데이터를 수동으로 채점된 데이터와 비교했다.

CGRP의 말초 주입이 마우스에서 사시 반응을 유도한다는 이전 연구 결과를 바탕으로 차량과 CGRP 치료 간에 사시 반응에서 유의한 차이를 관찰할 것으로 예상했습니다 ^6,14. ASM, 수동 및 DLC 방법을 비교한 결과, 이 모델은 수동 및 ASM 방법과 마찬가지로 사시형 표현형을 강력하게 감지하는 것으로 나타났습니다(그림 5). ASM 모델은 CGRP로 인한 통증과 사시를 평가하는 데 사용되었다는 점에 유의하는 것이 중요합니다. 이 연구에서 Rea 등은 CGRP에 따른 사시 반응과 뒷발의 포르말린 주입 후 사시 반응을 비교하여 "더 전통적인" 통증 유도 분석법으로¹⁴. 또한, CGRP는 von Frey ^3,17의 사용을 통해 마우스의 터치 과민증을 유발하는 것으로 잘 문서화되어 있습니다. 현장과 일치하게, 우리는 처리 세션 중 평균 사시를 각 동물에 대한 5분 전처리 기준선으로 정규화하고 PBS(n = 10) 대 CGRP 처리(n = 11) 동물을 비교했습니다. PBS 대 CGRP 처리군의 통계적 분석은 다음과 같다. CGRP 처리된 동물은 면적 곁눈질 추적 방법(p = 0.012, 그림 5A)을 사용하여 평균 픽셀 면적이 감소했으며 수동으로 점수를 매겼을 때(p = 0.0007, 그림 5B) DLC 모델(p = 0.007, 그림 5C)을 사용했을 때 유클리드 거리가 감소한 것으로 나타났습니다. 단일 대표 동물에서 시간이 지남에 따라 각 방법을 비교했을 때 동일한 패턴이 관찰되었습니다(그림 5). 이 동물은 CGRP 처리에 대한 반응으로 매우 명확한 곁눈질 표현형을 보였지만 PBS에는 나타나지 않았습니다. 모든 모델이 이러한 차이를 감지할 수 있었지만 데이터는 DLC 모델에 가장 명확하게 표현되었습니다(그림 5). 정밀하고 정확한 메트릭은 평균화가 완전한 행동 판독값(예: 뇌 활동)을 나타내지 않는 더 미세한 해상도에서 데이터를 분석해야 하는 경우에 특히 중요합니다. 생쥐에서 눈을 가늘게 뜨는 것을 감지하는 DLC 방법을 사용하면 밀리초 시간 척도로 데이터를 수집하고 밀리초 시간 척도에서 발생하는 뇌 활동 측정(예: 국소 자기장 전위)에 시간을 고정할 수 있습니다. 그런 다음 이 기술을 활용하여 편두통 및 기타 복잡한 뇌 장애의 맥락에서 자발적인 통증을 나타내는 뇌 상태에 대한 보다 강력한 프로필을 구축할 수 있습니다.

그림 1: DLC를 사용하여 훈련된 네트워크를 생성하는 절차 개요. 기계 학습을 사용하여 동물의 눈 특징을 추적한 다음 분석하는 프로세스의 일반 개략도입니다. 약어: DLC = DeepLabCut. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 2: 대표적인 CD1 마우스의 자동 곁눈질 추적의 예. (A) 마우스가 눈을 가늘게 뜨지 않을 때 치료 기간 동안 눈 윤곽에 눈을 가늘게 뜨기(컬러 점)를 추적하는 DLC를 보여주는 프레임의 예. (B) DLC 모델을 사용하여 치료 날짜에 사시를 자동으로 감지하는 것을 보여주는 프레임의 예. 유클리드 거리는 눈의 위쪽과 아래쪽에 있는 파란색 점인 B와 C 사이의 평균 거리를 사용하여 측정했습니다. 눈의 위쪽과 아래쪽에 있는 파란색 점 집합은 유클리드 거리를 추적할 때 사용됩니다. 다른 점(녹색, 노란색, 주황색, 보라색)은 모델이 유클리드 거리 점을 추정하고 데이터 수집 후 최적이 아닌 머리 위치를 필터링하는 데 사용되는 프레이밍 랜드마크입니다. 약어: DLC = DeepLabCut. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 3: 모델을 훈련하는 데 사용되는 프레임 수에 대한 근거. (A) 제곱 평균 제곱 오차 분석은 테스트 및 학습 데이터 세트에 대한 예측 값과 관측 값 사이의 평균 거리를 나타냅니다. 학습 데이터 세트는 모델을 학습할 때 샘플링된 프레임을 나타내고, 테스트 데이터 세트는 모델이 유사하지만 다른 이미지를 얼마나 잘 식별할 수 있는지 검증하는 데 사용되는 비학습 프레임을 나타냅니다. 5개의 훈련 및 테스트 데이터 세트를 사용했으며, RMSE 값이 테스트 그룹의 경우 약 300프레임 평준화되는 것을 발견했습니다. (B) 주어진 점이 올바르게 레이블이 지정될 가능성(평균 + SEM). 그 결과, 원시 데이터 세트의 평균 가능성이 0.95 이상이고 RMSE 점수가 훈련 데이터의 점수에 가장 가깝기 때문에 수동으로 레이블이 지정된 400개의 프레임이 이상적임을 보여주었습니다. 이는 모델이 훈련된 지점을 밀접하게 근사화하는 동시에 높은 가능성으로 대부분의 프레임에 대해 보고할 수 있음을 의미했습니다. 약어: RMSE = 제곱 평균 제곱 오차. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 4: DLC 사각 측정에 대한 혼동 행렬. 8개의 비디오(CGRP 5개, PBS 3개)에서 300초를 샘플링하고 이러한 점수를 곁눈질에 대한 수동으로 레이블이 지정된 이진 예 또는 아니오 점수와 비교했습니다. 예측 값은 DLC로 식별된 값으로, 실제 값은 사람이 수동으로 채점한 값으로 정량화했습니다. 그런 다음 이를 수동으로 점수가 매겨진 데이터와 비교하여 수동으로 점수가 매겨진 이진수 '예 또는 아니오'와 비교하여 곁눈질이 얼마나 자주 올바르게 식별되었는지 확인했습니다. 약어: DLC = DeepLabCut; CGRP = 칼시토닌 유전자 관련 펩타이드; PBS = 인산염 완충 식염수; TP = 참 긍정; FP = 거짓 긍정; FN = 거짓 음성; TN = 참 음성; PPV = 양의 예측 값; NPV = 음의 예측 값; TPR = 진양성률; TNR = 실제 음수율; MCC = Matthew의 상관 계수. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 5: 사시 검출을 위한 세 가지 모델에 걸친 사시 표현형. 상단 두 행에는 곁눈질을 감지하기 위한 세 가지 다른 모델에 걸쳐 각 조건(PBS 또는 CGRP)이 있는 동일한 대표 동물이 포함되어 있습니다. 맨 아래 줄은 모든 동물의 평균을 반영합니다. (A) 이전에 발표되고 검증된 area squint model¹⁴를 사용하여 모든 데이터를 처리한 후 CGRP 처리된 마우스와 PBS 처리된 마우스에서 평균 픽셀 영역(평균 전체 픽셀 영역/기준선)이 감소했습니다(t(18) = 2.805, p = 0.012). (B) 수동으로 채점된 데이터에서도 유사한 응답이 있었습니다(t(18) = 4.064, p = 0.0007). (C) CGRP 처리된 마우스는 PBS 처리된 마우스보다 눈꺼풀에서 눈꺼풀까지의 평균 거리(처리 유클리드 거리/전처리 유클리드 거리, 기준선)가 감소한 것으로 나타났다(DLC를 사용하여 모든 데이터를 처리할 때 t(18) = 3.040, p = 0.007). N = 20 (여성 10 명, 남성 10 명). 오차 막대는 SEM± 평균을 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

Discussion

이 프로토콜은 이전 접근 방식과 동일한(또는 더 나은) 시간 해상도를 유지하면서 거의 인간의 정확도로 곁눈질을 구별할 수 있는 기계 학습 기반 도구를 사용하기 위한 쉽게 액세스할 수 있는 심층적인 방법을 제공합니다. 주로 자동화된 곁눈질에 대한 평가를 더 많은 청중이 더 쉽게 사용할 수 있도록 합니다. 자동 곁눈질을 평가하는 새로운 방법은 이전 모델에 비해 몇 가지 개선 사항이 있습니다. 첫째, 실제로 곁눈질의 정량화에 기여하는 더 적은 수의 포인트를 활용하여 ASM보다 더 강력한 메트릭을 제공합니다. 이렇게 하면 곁눈질을 나타내는 값을 생성할 때 분석이 더 적은 점에 의존하게 되어 거짓 긍정 및 부정의 가능성이 줄어듭니다. 즉, DLC 모델은 눈 주위의 각 점을 필요하지만 시점을 포함하기에는 충분하지 않습니다. 이를 통해 ASM과 동일한 수의 점을 사용하여 최적화되지 않은 데이터를 필터링할 수 있으며, 너무 많은 구성 점에 의존함으로써 발생하는 더 큰 변동성에 의존할 필요가 없습니다. 또한 훈련된 개인의 정확성에 전적으로 의존하지 않는 모델을 설계하여 잠재적인 인적 오류를 줄였습니다.

데이터를 처리할 때, 우리의 방법은 마우스 눈의 최대 크기를 감안할 때 가능한 것보다 큰 최적이 아닌 점과 이상치 점을 정확하게 필터링한다는 것을 발견했습니다(프로토콜 섹션 10). 눈을 둘러싼 10개 지점 각각이 개별적으로 0.92보다 큰 가능성 값을 갖는지 확인하고 해당 값보다 작은 값을 필터링하는 매크로를 활용했습니다. 앞으로는 처리된 데이터를 더 선택적이거나 덜 선택적으로 만들도록 조정할 수 있습니다. 매크로는 또한 200픽셀보다 큰 유클리드 거리 값을 필터링했는데, 이는 눈의 상단과 하단 사이의 가능한 최대 거리가 150픽셀이라는 것을 발견했기 때문입니다. 이는 실험 설정에 따라 변경해야 할 수 있습니다. 카메라가 눈에서 같은 거리에 있지 않으면 최대값이 훨씬 더 높거나 적을 수 있습니다. 이러한 매크로의 강점은 눈을 둘러싼 모든 구성 점에 대해 더 높은 가능성을 보고하는 모델에 의존하는 방식으로 눈의 상단과 하단 사이의 측정값을 추출할 수 있다는 것입니다.

DLC와 ASM은 모두 기준선과 처리 조건 간에 일관된 배율 조정을 허용하기 위해 카메라로부터 미리 결정된 거리의 고정된 위치에 마우스를 의존한다는 점에서 제한적입니다. 따라서 동물 자체로부터의 움직임, 장치 내에서의 잘못된 위치 또는 실험 절차의 변경은 눈의 전체 영역을 감지하는 모델의 능력을 손상시킬 수 있습니다. 우리 모델은 유클리드 거리, 즉 눈 길이의 위아래 거리를 활용하여 이러한 한계를 다소 개선했으며, 이를 통해 카메라 각도의 차이, 동물로부터의 움직임 및 추가 재보정 없이 다른 세션에 걸친 실험적 변형에도 불구하고 향상된 추적을 허용합니다. 그러나 머리 움직임을 고려하기 위한 정규화의 개선이 움직이는 동물의 곁눈질을 훨씬 더 잘 추적할 수 있다는 것을 인정합니다.

우리 방법의 또 다른 한계는 유클리드 거리가 0에 가까워지는 지점, 즉 눈이 닫히는 지점을 필터링했다는 것입니다. 이러한 중요한 사시 민감 유발 요인을 필터링했음에도 불구하고 CGRP에 의한 사시 뜨개 반응을 이전 방법보다 더 강력하게 감지할 수 있었습니다(p = 0.007). 이 곁눈질 요소를 제거하는 것은 뇌 활동과 같은 추가 관심 지점과 비교하려고 할 때 특히 제한됩니다. 우리는 이러한 점을 제거하면서 중요성을 찾는 것이 이 방법의 견고함을 보여준다고 생각하지만, 이러한 곁눈질 요소를 제거하는 것이 이상적이지 않다는 것을 인정합니다. 이 방법을 활용한 향후 연구에서는 0에 가까워질 때 곁눈질을 인식하도록 모델을 더 잘 훈련시키기 위해 더 많은 수의 이상치 프레임을 포함해야 합니다. 전반적으로, 자동화된 곁눈질을 안정적으로 추적하는 방법의 개발은 자연적으로 발생하는 행동의 중요한 특징을 뇌 상태와 연관시키는 것을 목표로 하는 연구를 가능하게 할 수 있으며, 편두통의 맥락에서와 같은 뇌 활동 프로파일에 대한 강력한 조사를 가능하게 할 수 있습니다.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA 툴킷 11.8
cuDNN SDK 8.6.0
Windows 11, 13세대가 설치된 Intel 컴퓨터
무료 로밍 마우스를 위한 LabFaceX 2D 눈꺼풀 추적기 애드온 모듈:	FaceX LLC	NA	동물의 눈을 기록할 수 있는 모든 카메라로 충분하지만 이것이 우리의 시선 추적 하드웨어입니다.
버전 450.80.02 이상의
NVIDIA RTX A5500, 24GB DDR6	NVIDIA	[490-BHXV]	DLC 버전(현재 8GB)에 지정된 최소 요구 사항을 충족하는 모든 GPU로 충분합니다. NVIDIA GeForce RTX 3080 Ti GPU
Python 3.9-3.11
TensorFlow 버전 2.10