신경행동학적 임베딩에서 자연 행동 해독

Summary

이 프로토콜은 자연주의적 맥락에서 뇌 코딩을 이해하기 위한 고급 전산 신경행동학적 방법을 기반으로 하는 통합 프레임워크를 제공합니다.

Abstract

동물은 풍부하고 역동적인 뇌 활동을 통해 자연 환경과 소통합니다. 신경 집단 역학이 자연주의적 행동을 어떻게 인코딩하는지 이해하는 것은 시스템 신경과학의 근본적인 과제로 남아 있습니다. 딥러닝 기반 행동 분석과 소형 형광 이미징의 최근 발전은 뇌가 자연스러운 행동을 인코딩하는 방식을 조사하는 새로운 길을 열었습니다. 여기에서 이 연구는 SBeA(Social Behavior Atlas), mTPM(Miniature Two-Photon Microscopy) 및 CEBRA(Auxiliary variables)를 사용한 고차원 기록의 일관된 Embeddings를 결합하여 뇌 역학에서 복잡한 행동을 해독하는 통합 실험 및 계산 프레임워크를 제시합니다. 이 연구는 자유롭게 움직이는 마우스 간의 자연주의적 사회적 상호 작용을 모델 시스템으로 사용하여 동시 신경 영상과 함께 고해상도 행동 주석을 가능하게 합니다. 이 프레임워크에는 정확한 행동 자세 추정, 동기화된 이중 마우스 추적, 신경 임베딩 정렬 및 신경 주요 구성 요소에서 직접 행동 특징 디코딩이 포함됩니다. 이 연구는 이 접근 방식이 3의 디코딩 정밀도를 달성한다는 것을 보여줍니다. 자세의 경우 ± 1.5픽셀, 동물 전체의 모티프 디코딩을 위한 89 ± 6%의 정확도로 견고성과 일반화 가능성을 강조합니다. 이 방법은 뇌 활동이 구조화된 행동 상태를 어떻게 반영하는지 탐구하기 위한 강력한 도구를 제공하며 자연주의적 신경 코딩 원리에 대한 향후 연구를 위한 토대를 마련합니다.

Introduction

이 프레임워크는 자연주의적 실험 환경에서 자유롭게 움직이는 동물의 행동 및 신경 영상 데이터를 캡처하고 해독하도록 설계되었습니다. 이는 딥 러닝 기반 포즈 추정 및 행동 분류 방법인 SBeA¹, 소형 형광 이미징 기술 mTPM², 대조 학습 기반 신경행동학적 임베딩 알고리즘인 CEBRA³의 세 가지 주요 구성 요소로 구성됩니다. 최근 연구에서는 자유롭게 움직이는 동물의 신경행동학적 과정의 복잡성을 강조했으며, 이는 머리 고정 실험 패러다임에서 관찰된 것을 능가합니다 ^4,5. 그러나 기술적 한계와 가변성으로 인해 자연 행동에 대한 광범위한 조사에 이러한 접근 방식이 널리 적용되는 데 방해가 되었습니다. 이 프로토콜은 광범위한 연구 실험실을 위해 자연주의적 맥락에서 수집된 행동 및 신경 데이터의 접근성을 보장하는 안정적이고 통합된 프레임워크를 제공합니다.

동물이 자연 환경에서 자유롭게 움직인다는 점을 감안할 때, 이 프레임워크는 자세를 정확하게 추적하기 위해 딥 러닝 기반 자세 추정을 통합합니다 ^6,7. 기존의 이미지 처리 기반 추적 방법은 딥 러닝 기반 접근 방식에 비해 사지 및 발 역학과 같은 미세한 규모의 움직임을 캡처하는 데 충분하지 않습니다⁸. 자유롭게 움직이는 동물이 나타내는 다양하고 복잡한 행동은 사전 정의된 행동 범주가 종종 자연 행동 표현형의 전체 범위를 포괄하지 못하기 때문에 감독 행동 분류 방법⁹에 도전을 제기합니다¹⁰. 결과적으로 비지도 학습 기반 분류 방법은 자연주의적 환경에서 행동을 분석하는 데 더 적합합니다¹. 그들은 본질적인 구조적 유사성에 따라 연속 행동을 이산 서브 초 모티프로 포괄적으로 분해할 수 있으며, 데이터 기반 클러스터를 통해 일관된 정의가 제공됩니다.

자유롭게 움직이는 동물의 뇌 영상화는 단일 뉴런 활동의 광범위한 가변성을 포착해야 합니다 ^4,5. 자유롭게 움직이는 동물의 전기생리학적 기록은 주로 역치 이하 활동을 가진 뉴런을 감지하는 능력이 제한되어 있습니다¹¹. 또한 단일 광자 현미경은 낮은 해상도와 대비로 인해 이미징 세션 전반에 걸쳐 일관된 뉴런 정체성을 유지하기가 어렵습니다¹². mTPM은 단일 광자 현미경에 비해 우수한 해상도와 대비를 제공하므로 자연 행동의 신경 코딩을 조사하는 데 보다 효과적인 도구입니다 2,13,14,15.

행동과 신경 데이터 사이에 강력한 매핑을 설정하려면 공유 정보 구조를 밝힐 수 있는 방법이 필요합니다¹⁶. 주성분 분석(PCA)¹⁷, t-분산 확률론적 이웃 임베딩(t-SNE)¹⁸ 및 균일 매니폴드 근사 및 투영(UMAP)¹⁹과 같은 기존의 차원 축소 기술은 공통 특징 공간 내에 행동 및 신경 데이터를 효과적으로 포함할 수 없습니다. 대조적으로, CEBRA와 같은 딥 러닝 기반 임베딩 접근 방식은 지도 및 자체 지도 프레임워크 모두에서 여러 데이터 양식을 통합하여 고품질 잠재 표현을 생성할 수 있습니다³. 최근 몇 년 동안 다양한 대체 방법이 등장했지만20,21,22, 이 제안된 프레임워크는 상업적으로 이용 가능하거나 포괄적인 튜토리얼로 지원되는 잘 확립된 방법을 통합하여 실제 적용을 우선시합니다.

최근 연구 ^4,5와 비교하여 이 프레임워크는 세 가지 주요 발전을 제공합니다. 첫째, 행동 분류에서 인간의 편견을 제거합니다. 이전 연구는 특히 주석자가 피로를 경험함에 따라 노동 집약적이고 불일치가 발생하기 쉬운 수동 행동 라벨링에 의존했습니다 23,24,25. 대조적으로, 이 프레임워크는 정의를 할당하기 전에 행동 모티프를 객관적으로 분해하고 클러스터링하여 행동 패턴의 자연스러운 구조를 보존하는 비지도 행동 분류를 사용합니다^26,27. 둘째, mTPM을 사용하면 단일 뉴런 수준에서 보다 복잡한 뉴런 역학을 포착할 수 있습니다. 이 방법론적 이점은 임계값 이하 코딩과 관련된 것을 포함하여 다양한 신경 집단의 복잡한 자연 행동을 해독하는 데 이 프레임워크의 적용 가능성을 확장합니다²⁸. 셋째, 이 프레임워크는 UMAP을 사용하여 각 양식을 개별적으로 포함하거나 지원 벡터 기계를 사용하여 신경 활동과 행동 사이에 엄격한 매핑을 부과하는 대신 행동 및 신경 데이터를 통합 표현 공간으로 통합합니다 ^4,5. 이러한 공동 임베딩 접근 방식은 행동과 뇌 활동 사이의 관계를 보다 포괄적이고 생물학적으로 의미 있게 표현합니다.

이 프레임워크는 자연주의적 실험 조건에서 자유롭게 움직이는 동물의 행동 및 신경 데이터를 기록하고 해독하는 연구 프로젝트에 매우 적합합니다. 현재 구현은 마우스 연구에 최적화되어 있지만 이를 다른 동물 모델에 적용하려면 추가 개발이 필요할 수 있습니다. 이 프레임워크에 사용되는 하드웨어 구성 요소는 상업적으로 이용 가능하기 때문에 한편으로는 전체 비용이 상대적으로 높을 수 있습니다. 반면, 이러한 상업적 가용성은 물류 문제를 해결하는 데 소요되는 시간을 크게 줄이고 효율적인 방식으로 안정적이고 신뢰할 수 있는 결과를 얻을 수 있도록 보장합니다.

이 프로토콜은 소동물 이미징 및 행동 추적을 위해 장비를 갖춘 신경과학 실험실에서 재현 가능하고 액세스할 수 있도록 설계되었습니다. 전체 시스템은 상용 mTPM 장치를 다중 각도 동작 획득 설정과 통합합니다. 일반적인 신경 기록은 512 × 512 픽셀 해상도로 4.84Hz에서 획득되며 행동 데이터는 초당 30프레임으로 캡처됩니다. 데이터 동기화는 전처리 중 TTL 펄스 정렬을 통해 이루어집니다. 훈련 및 디코딩은 GPU(예: NVIDIA RTX 3090 또는 동급)가 있는 표준 워크스테이션에서 수행할 수 있으며 전체 파이프라인에는 실험당 약 100GB의 스토리지가 필요합니다. 현재 구현은 자유롭게 움직이는 마우스에 최적화되어 있지만 워크플로의 모듈식 설계를 통해 동물의 크기와 이동성에 따라 추적 보정 및 이미징 매개변수를 조정하여 다른 종에 적응할 수 있습니다. 이러한 실용적인 세부 사항은 다양한 실험 설정에 걸쳐 프로토콜의 적응성과 재현성을 지원합니다.

Protocol

중국 과학원 심천 첨단 기술 연구소의 동물 관리 및 사용 위원회는 모든 사육 및 실험 절차를 승인했습니다.

1. 플랫폼 구축

참고: 플랫폼은 mTPM 장치와 3D 동작 장치의 두 가지 기본 구성 요소로 구성됩니다(그림 1A). mTPM 장치는 mTPM 이미징과 행동 데이터의 실시간 동기화를 용이하게 하여 자유롭게 움직이는 동물로부터 효율적이고 안정적이며 지속적으로 고품질 데이터를 수집할 수 있습니다. 3D 동작 장치에는 동물 행동의 전체 장면을 캡처하는 4개의 카메라와 3D 동물 포즈를 재구성하기 위한 자동 보정 모듈이 장착되어 있습니다. 두 장치 모두 해당 버전에 동기화 모듈을 통합해야 합니다.

1. 장치 연결
   1. 3D 동작 장치의 외부 쉘을 제거합니다. 4개의 카메라와 자동 보정 모듈을 포함한 3D 동작 장치의 나머지 부분을 mTPM 장치의 동작 기록 챔버 내부에 배치합니다.
   2. 3D 동작 장치의 동기화 모듈에 있는 USB(Universal Serial Bus) 케이블을 3D 동작 장치의 워크스테이션에 연결합니다.
   3. 하나의 SMA(SubMiniature version A) 케이블을 통해 mTPM 장치의 동기화 모듈을 mTPM 장치의 컨트롤러에 연결합니다.
   4. 하나의 SMA-Bayonet Neill-Concelman(BNC) 변환 케이블을 통해 3D 동작 장치 동기화 모듈의 TTL(Transistor-Transistor Logic) 출력 포트를 mTPM 장치 동기화 모듈의 TTL 입력 포트에 연결합니다.
2. mTPM 프레임의 타임스탬프 기록
   1. mTPM 디바이스의 모든 전원 공급 장치를 켭니다.
   2. mTPM 녹화 소프트웨어 및 mTPM 동기화 소프트웨어를 시작합니다.
   3. mTPM 프레임의 저장 경로와 동기화 타임스탬프를 설정합니다.
      참고: 경로 이름을 지정하는 데 영어가 아닌 문자와 특수 문자를 사용하지 마십시오.
   4. mTPM 녹화 소프트웨어의 녹화 프레임 수를 설정합니다. 권장 프레임 수는 6000개이며, 이는 동기화 디버그 단계를 완료하기에 충분합니다.
   5. mTPM 동기화 소프트웨어의 모든 채널을 선택합니다.
   6. mTPM 녹화 소프트웨어를 통해 mTPM 녹화를 시작합니다. 녹음을 시작하기 전에 mTPM이 빛이 과도하게 타지 않도록 보호하기 위해 실내 조명을 끄십시오. mTPM 동기화 소프트웨어는 사용자가 녹화를 시작하면 자동으로 실행됩니다.
   7. mTPM 프레임 타임스탬프가 mTPM 동기화 소프트웨어에 의해 캡처되는지 확인합니다.
      알림: mTPM 프레임 타임스탬프는 mTPM 동기화 소프트웨어에 표시된 날카로운 TTL 펄스입니다. 각 이미징 프레임은 기본적으로 4.84Hz인 날카로운 TTL 펄스를 트리거합니다. 소프트웨어 패널에 펄스가 표시되지 않으면 2가지 정상적인 문제가 있는 것입니다. 첫 번째는 mTPM 디바이스의 컨트롤러 드라이버가 타임스탬프 캡처를 지원하지 않는다는 것입니다. 타임스탬프 캡처를 지원하도록 드라이버 버전을 개선하면 첫 번째 문제를 해결할 수 있습니다. 두 번째는 SMA 케이블의 잘못된 연결입니다. SMA 커넥터가 단단히 조여졌는지 확인하십시오. 타임스탬프를 확인하기 전에 1.1.2로 돌아가서 단계별로 시도하십시오.
   8. 녹음이 중지될 때까지 기다리십시오. mTPM 프레임의 .tif 파일, .tdms 파일 1개, 타임스탬프의 .tdms_index 파일 1개가 저장되어 있는지 확인합니다.
3. 3D 동작 장치의 4대 카메라의 타임스탬프 기록
   1. 사용자 지정된 카메라 동기화 스크립트에서 비디오 및 동작 타임스탬프의 저장 경로를 설정합니다.
      알림: 사용자 지정 카메라 동기화 코드는 https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py 에 있습니다.
   2. mTPM 동기화 소프트웨어를 시작합니다. mTPM 동기화 타임스탬프의 저장 경로를 설정합니다.
   3. mTPM 동기화 소프트웨어의 녹화를 시작합니다. 사용자 지정 카메라 동기화 스크립트를 실행합니다.
   4. 동작 타임스탬프가 mTPM 동기화 소프트웨어에 의해 캡처되는지 확인합니다.
      참고: mTPM 동기화 소프트웨어에 표시된 동작 타임스탬프는 날카로운 TTL 펄스입니다. 동작 비디오 프레임 녹화의 30프레임마다 하나의 동작 타임스탬프가 mTPM 동기화 소프트웨어로 전송됩니다. 동작 타임스탬프는 3D 동작 장치의 워크스테이션에도 저장됩니다.
   5. 동작 비디오의 .avi 파일 4개, 3D 동작 장치의 동작 타임스탬프 .txt 파일 1개, mTPM 워크스테이션의 동작 타임스탬프의 .tdms 파일 1개와 .tdms_index 파일 1개가 저장되어 있는지 확인합니다.
4. 3D 동작 장치의 카메라 보정
   1. 4대의 카메라의 촬영 각도를 조정합니다. 4대의 카메라는 열린 들판의 전체 바닥을 포괄적으로 덮는 동시에 열린 들판의 가장 먼 경계에서 최소 20cm 이상 시야를 확장하여 쥐가 일어나는 사례가 완전히 포착되도록 해야 합니다.
   2. 보정 모듈을 촬영 영역의 중앙에 놓습니다. 카메라 캘리브레이션 소프트웨어를 실행합니다. 카메라 보정 소프트웨어를 실행하기 전에 모든 조명을 끄십시오.
      알림: 4대의 카메라가 보정 화면에 표시되는 움직이는 체크보드의 프레임을 캡처합니다. 카메라 보정은 Zhang의 보정 방법²⁹를 기반으로 합니다.
   3. 카메라 캘리브레이션 소프트웨어를 실행하면 동물 3D 포즈 재구성을 위한 카메라 프로젝션 매트릭스가 포함된 하나의 .mat 파일이 저장됩니다. 시스템 동기화 단계의 동작 데이터 인덱싱은 보정 .mat 파일에 의존하므로 전체 시스템의 동기화 단계 전에 카메라 보정 단계가 완료되었는지 확인하십시오.
5. 전체 시스템의 동기화
   참고: 이 단계 전에 mTPM 프레임과 3D 동작 장치의 타임스탬프를 mTPM 동기화 소프트웨어에서 별도로 수신할 수 있는지 확인하십시오.
   1. mTPM 장치 및 3D 동작 장치의 모든 전원 공급 장치를 켭니다.
   2. mTPM 녹화 소프트웨어, mTPM 동기화 소프트웨어 및 사용자 지정 카메라 동기화 스크립트를 시작합니다.
   3. 1.3.1단계를 참조하여 경로와 매개변수를 설정합니다. mTPM 녹화 소프트웨어를 통해 mTPM 녹화를 시작합니다.
   4. 사용자 지정 카메라 동기화 스크립트를 실행합니다. mTPM 동기화 소프트웨어가 3D 동작 디바이스에서 타임스탬프를 수신할 수 있도록 mTPM 프레임 기록 시작이 동작 기록 스크립트를 실행하기 전에 이루어져야 합니다. mTPM 동기화 소프트웨어가 손실 없이 동작 타임스탬프를 캡처할 수 있도록 mTPM 프레임 기록 종료 시간을 동작 기록 시간보다 길게 설정합니다.
      알림: mTPM 프레임의 기록 시간은 동작 기록의 5분보다 길다는 권장 사항입니다. 예를 들어 사용자가 15분 동작을 기록하려는 경우 mTPM 프레임 수를 4.84 x (15+5) x 60 = 5808 프레임으로 설정해야 합니다.
   5. 녹음이 중지될 때까지 기다리십시오. 녹화 후 mTPM 프레임 .tif 파일 1개, mTPM 동기화 .tdms 파일 2개, .tdms_index 파일 2개, 동작 비디오 .avi 파일 4개, 동작 타임스탬프 .txt 파일 1개가 있습니다.
   6. 사용자 지정된 동기화 코드를 실행하여 mTPM 프레임과 동작 비디오를 정렬합니다. 사용자 지정된 동기화 코드는 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m 에 있습니다.
      1. 이 스크립트를 실행하기 전에 다음과 같이 파일을 수동으로 구성합니다.
         ----\Root path # 모든 데이터를 저장할 경로
         --------\behavior_all # 행동 데이터를 저장하는 경로
         ------------\A-B-C-D-E-caliParas.mat # 카메라 보정 파일
         ------------\A-B-C-D-E-camera-1.avi # 카메라 1의 동작 비디오
         ------------\A-B-C-D-E-camera-2.avi # 카메라 2의 동작 비디오
         ------------\A-B-C-D-E-camera-3.avi # 카메라 3의 행동 영상
         ------------\A-B-C-D-E-camera-4.avi # 카메라 4의 동작 비디오
         ------------\A-B-C-D-E-event.txt # 3D 동작 장치의 동작 타임스탬프
         ----\tpm_suite2p # mTPM 데이터를 저장할 경로
         --------\sep # mTPM 프레임 및 타임스탬프를 저장할 경로
         ------------\A-B-C-D-E-event # 타임스탬프 정렬을 수행할 경로
         ----------------\beh.tdms # 동작 채널 .tdms 파일
         ----------------\beh.tdms_index #The 동작 채널 .tdms_index 파일
         ----------------\tpm.tdms # mTPM 채널 .tdms 파일
         ----------------\tpm.tdms_index # mTPM 채널 .tdms_index 파일
         ------------\A-B-C-D-E-tpm # mTPM 프레임을 저장할 경로
         ----------------\F.tif # 각 녹화의 mTPM 프레임
         --------\process # 신경 추적을 추출하는 경로
         ------------\C # 각 마우스의 경로
         ----------------\F.tif # 각 마우스의 mTPM 프레임
         A에서 G는 이름 필드의 정의이며, 여기서
         A는 실험 그룹, 예를 들어 자유,
         B는 비디오 시퀀스를 의미합니다(예: seg1,
         C는 동물의 정체성을 의미하며, 예를 들어, 1tpmss,
         D는 상호 작용 파트너를 의미하며, 예를 들어, 1wt,
         E는 실험 날짜를 의미합니다(예: 20220226 및
         F는 mTPM 녹화 프레임 청크(청크당 5000프레임)를 의미합니다(예: 소셜 1).
         참고: 3D 행동 추적 시스템의 프레임 속도는 30Hz이고 mTPM의 프레임 속도는 4.84Hz입니다. 달성 가능한 최대 동기화 정밀도는 가장 낮은 프레임 속도(4.84Hz)에 의해 제한되므로 동기화의 시간 해상도는 약 206ms입니다. 동작 타임스탬프는 참조 역할을 하며 각 mTPM 프레임은 가장 가까운 동작 시점에 정렬됩니다. 동작 타임라인과 관련하여 연속적인 mTPM 프레임 사이의 간격은 단계적 접근 방식을 사용하여 보간됩니다.

2. 신경행동학적 데이터 기록

참고: 신경행동학적 데이터 기록 프로세스는 네 가지 주요 단계로 구성됩니다(그림 1B).

1. mTPM 장착
   참고: mTPM 장착에 대한 세부 정보는 mTPM의 자습서에 포함되어 있으므로 여기서는 주요 단계만 소개합니다.
   1. 두개골 창을 준비합니다.
      참고: 두개창의 준비에는 주로 바이러스 주입, 커버 유리 이식 및 금속판 고정이 포함됩니다. 다양한 연구에서 영상 부위가 다르기 때문에 두개창 준비의 세부 사항도 다릅니다. 이 경우 두개창 준비는 아웃소싱 서비스를 통해 수행됩니다. 예시 데이터의 이미징 뇌 영역은 일차 체감각 피질(S1)입니다.
   2. 마우스 구속기를 mTPM 마이크로 매니퓰레이터에 고정합니다. 금속판을 통해 마우스 헤드를 구속기에 고정합니다.
   3. mTPM을 통해 형광을 찾습니다. mTPM 이미징을 켜기 전에 모든 조명을 끄십시오. 다음 단계를 수행하기 전에 mTPM을 홀더에 고정합니다.
      1. 두개골 창 상단에 카보머 아이 젤 한 방울을 추가합니다. 두개골 창이 mTPM 대물렌즈 아래에 정렬될 때 모션 플랫폼을 통해 마우스를 움직입니다.
      2. 마이크로 매니퓰레이터를 수직으로 움직여 이미징 평면을 찾습니다. 마이크로 매니퓰레이터를 평면 내에서 이동하여 이미징 평면을 중앙에 배치합니다.
   4. 상부 베이스를 mTPM에 고정합니다. 하단 베이스를 상단 베이스와 두개골 창에 붙입니다.
      1. 구조적 안정성을 확보하려면 두 베이스와 마우스 헤드에 부착된 금속판 브래킷 사이의 틈을 메우고 고성능 아크릴 구조용 접착제로 접착합니다. 핀셋으로 베이스를 부드럽게 조사하여 접착의 안정성을 평가하기 전에 접착제를 30분 동안 경화시킵니다. 필요한 경우 안전한 고정이 이루어질 때까지 추가 접착제를 도포합니다.
         알림: 베이스와 mTPM 자체 사이에 직접적인 접착을 방지하는 것이 중요합니다. 상부 및 하부 베이스는 작은 알루미늄 프레임입니다. 상부 베이스는 mTPM 하우징의 하부 윤곽에 꼭 맞도록 맞춤 제작됩니다. 여러 높이 옵션이 있는 하부 베이스는 상부 베이스와 두개골 창 사이의 간격을 연결하는 데 사용됩니다. 모든 하부 베이스는 기계적 호환성을 보장하기 위해 상부 베이스와 동일한 평면 치수를 가지며, 다양한 두개골에서 상단 베이스까지의 거리에 맞게 높이만 다릅니다.
   5. 베이스 챔버 내부에 카보머 아이 젤 한 방울을 추가합니다. mTPM을 통해 신경 형광을 확인합니다. 신경 형광이 명확하게 보이지 않으면 두개골 드릴을 사용하여 접착제를 제거하고 베이스를 분리한 후 형광 선명도가 달성될 때까지 위의 절차를 반복합니다.
   6. mTPM의 섬유와 두개골 창 사이에 테이프로 알루미늄 호일을 고정합니다.
      알림: 이 단계는 녹음 프로세스 전반에 걸쳐 적절한 차광을 유지하기 위한 것입니다. 알루미늄 호일과 접착 테이프의 사용을 최소화하여 전체 무게를 줄였습니다.
   7. 실내 조명을 켜고 mTPM 프레임의 선명도를 테스트합니다.
2. 열린 필드에 마우스 넣기
   알림: 이 단계에는 광섬유와 mTPM에 대한 적절한 무게 균형을 보장하면서 마우스를 열린 필드에 배치하는 작업이 포함됩니다.
   1. 최소 10개의 헬륨 풍선을 부풀리고 면 끈으로 따로 묶습니다. 마우스 고정 장치에서 금속판을 분리합니다.
   2. 한 손으로 마우스의 꼬리를 잡습니다. 다른 손을 사용하여 mTPM 광섬유를 지지합니다.
   3. 마우스를 열린 필드에 부드럽게 배치합니다. 면꼬기를 사용하여 헬륨 풍선을 섬유에 매달아 놓습니다. 마우스가 자유롭게 움직일 수 있을 때까지 풍선의 수를 조정하고 제약 없이 열린 들판을 탐색합니다.
      참고: 최적의 풍선 수는 마우스가 상향 부력에 의해 앞다리가 들어 올리지 않고 접지된 상태로 유지될 때 결정되며, 동물이 자연스러운 머리 자세를 유지하고 자발적으로 똑바로 설 수 있도록 mTPM의 무게를 충분히 균형 있게 유지합니다. 면 꼬기는 마우스의 제한 없는 움직임을 위한 충분한 섬유 길이를 보장하기 위해 열린 들판 위의 높이에 묶어야 합니다. 면 꼬기는 광섬유의 높이에 묶여 있으며, 광섬유는 개방 필드 챔버의 상단 가장자리와 대략 정렬되었습니다. 주어진 예에서 이 단계가 완료되면 처리되지 않은 마우스가 열린 필드에 도입되어 자유로운 사회적 상호 작용이 가능합니다.
   4. 외부 방해를 최소화하기 위해 mTPM 인클로저의 도어를 닫으십시오.
3. mTPM 녹화를 켭니다.
   1. mTPM 녹화 소프트웨어 및 mTPM 동기화 소프트웨어를 시작합니다. 플랫폼 설정 단계를 참조하는 경로와 매개변수를 설정합니다.
   2. mTPM 녹화 소프트웨어를 통해 mTPM 녹화를 시작합니다. 동기화 소프트웨어 내에서 각 2광자 프레임에 해당하는 시간 마커가 있는지 확인합니다.
   3. 2광자 이미지의 대비가 영향을 받지 않는지 평가하고 마우스의 움직임이 기록된 프레임의 안정성을 손상시키지 않는지 확인합니다. 문제가 감지되면 2광자 이미징이 정확하게 정렬된 시간 마커가 있는 선명한 프레임을 생성할 때까지 동기화 절차와 mTPM 장착 프로세스를 반복합니다.
4. 동작 녹음 켜기
   1. 사용자 지정 카메라 동기화 스크립트를 시작합니다.
      알림: 사용자 지정 카메라 동기화 코드는 https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py 에 있습니다.
   2. 플랫폼 설정 단계를 참조하는 경로와 매개변수를 설정합니다.
   3. 사용자 지정된 카메라 동기화 스크립트를 통해 동작 기록을 시작합니다. mTPM 동기화 소프트웨어 내에서 각 30개의 동작 프레임에 해당하는 시간 마커가 있는지 확인합니다.
   4. 카메라의 4개 비디오 스트림이 제대로 동기화되었는지 확인하고 3D 동작 추적 시스템의 비디오 캡처 매개변수를 확인합니다.
      참고: 위의 설정에서 카메라는 640 × 480 픽셀의 프레임 해상도, 초당 30프레임의 프레임 속도, RGB 프레임 및 자동 노출을 사용합니다. 자동 노출을 통해 카메라는 주변 조명 조건에 따라 밝기를 동적으로 조정할 수 있습니다. 노출 시간은 달성 가능한 프레임 속도에 직접적인 영향을 미치기 때문에, 특히 더 긴 노출이 필요한 저조도 조건에서는 프레임 속도가 감소할 수 있습니다. 30Hz에서 안정적인 프레임 획득을 보장하려면 배경 조명을 제어하여 노출 시간을 최소화하는 것이 중요합니다. 카메라 게인 및 비닝 설정은 녹화 내내 기본값으로 유지됩니다.
   5. 미리 정의된 기간에 도달하면 행동 기록이 자동으로 중지됩니다. 동작 기록을 완료한 후 mTPM 기록 및 동기화를 수동으로 끕니다. 이러한 단계를 따르면 동시 신경 및 행동 데이터 수집의 단일 시도가 완료됩니다.

3. 신경행동학적 데이터 전처리

참고: 이전의 모든 단계가 성공적으로 완료되면 세 가지 범주의 데이터 파일을 얻어야 합니다: 2광자 이미징 프레임(.tif), 카메라 보정 파일(.mat)과 함께 4개의 행동 비디오 녹화(.avi) 및 후속 데이터 전처리를 위한 2개의 동기화 타임스탬프 파일(.tdms). 이러한 데이터는 수동으로 이름을 바꾸고 1.5.7단계를 참조하는 폴더에 넣어야 합니다.

1. mTPM 데이터 전처리
   1. suite2p³⁰을 통해 mTPM 프레임에서 신경 신호 궤적을 추출합니다. 재현성을 보장하기 위해 suite2p의 매개변수를 기본값으로 유지하십시오. mTPM 획득 설정과 일치하도록 프레임 속도만 조정하십시오.
      참고: 후속 단계에는 신호 처리 및 품질 관리가 포함되므로 이 단계에서 suite2p 매개변수를 광범위하게 미세 조정할 필요가 없습니다. 데이터 세트 간에 일관성을 유지하는 것이 더 중요합니다.
   2. 사용자 지정 코드를 실행하여 mTPM 프레임과 동작 비디오 간의 타임스탬프를 정렬합니다.
      참고: 이 스크립트는 동작 이벤트 타임스탬프를 해당 mTPM 획득 시간과 일치시킵니다. 각 기록에 대한 인덱스 매핑을 생성하고 저장하여 행동 및 신경 데이터를 동기화하여 분석할 수 있습니다. 이 사용자 지정 코드는 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m 에 있습니다.
   3. 사용자 지정 코드를 실행하여 suite2p 출력에서 데이터 형식을 변환합니다.
      참고: 이 스크립트는 관련 프레임 인덱스를 식별하고 매핑하여 개별 동물에 대한 mTPM 데이터를 추출하고 재구성합니다. 해당 신경 활동 추적을 선택하고 표준화된 데이터 형식으로 재구성하여 분할된 녹음의 다운스트림 분석을 간소화할 수 있습니다. 이 사용자 지정 코드는 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step2_separate_tpm_data.m 에 있습니다.
   4. 사용자 지정 코드를 실행하여 신경망 신호를 리샘플링하여 동작 프레임에 맞춥니다.
      참고: 이 스크립트는 mTPM 데이터의 임시 리샘플링을 수행하여 신경 활동 추적을 동작 타임스탬프와 정렬합니다. 이전에 분할된 신경 데이터 및 동기화 인덱스를 로드하고, 그에 따라 리샘플링된 트레이스를 추출하고, 추가 신호 처리를 위해 출력을 표준화된 형식으로 저장합니다. 시간적 리샘플링 방법은 단계적 보간입니다. 이 사용자 지정 코드는 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step3_resample_tpm_data.m 에 있습니다.
   5. 사용자 지정 코드를 실행하여 신경망 궤적을 구체화합니다.
      1. 단계적 보간은 링잉 아티팩트와 고주파 노이즈를 유발할 수 있으므로 이러한 아티팩트를 완화하기 위해 2Hz 통과 대역 주파수와 2.2Hz 저지대역 주파수를 가진 등리플 저역 통과 필터를 설계하십시오. 필터의 순서는 61입니다.
      2. 그런 다음 Weijian Zong의 노이즈 제거 방법을 사용하여 재샘플링된 mTPM 칼슘 흔적을 정제합니다¹³. 백분위수 및 지역 분산 기준을 사용하여 지역 기준선을 추정하고 ΔF/F 신호를 계산합니다. ΔF/F는 기준선에 대한 형광 강도의 상대적 변화를 나타내는 무차원 측정으로, 일반적으로 칼슘 이미징에서 신경 활동을 정량화하는 데 사용됩니다. 분자(ΔF)와 분모(F)는 모두 임의의 형광 단위이므로 결과 ΔF/F 값은 물리적 단위가 없으며 비율 또는 백분율로 표시됩니다. 신호가 매우 평평하거나 포화된 셀은 신호 범위 임계값을 기준으로 제외됩니다. 결과 고품질 신경 활동 추적은 다운스트림 분석을 위해 저장됩니다( 그림 2A, 그림 3A 및 그림 4A).
         알림: 사용자 지정 코드는 https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step4_filter_tpm_data.m 에서 사용할 수 있습니다.
2. 동작 데이터 전처리
   1. ADPT(Anti-Drifted Pose Tracker)를 사용하여 비디오 녹화에서 행동 포즈를 추출합니다.⁷.
      참고: ADPT는 DeepLabCut⁶ 및 SLEAP²²와 같은 컨볼루션 신경망 기반 방법에서 관찰되는 빈번한 포인트 드리프트 문제를 해결합니다. ADPT는 섬유 이동으로 인한 포인트 드리프트를 효과적으로 줄이기 때문에 자유롭게 움직이는 동물의 mTPM 이미징과 같은 신경 기록 장치와 관련된 시나리오에 특히 적합합니다. ADPT의 저장소는 https://github.com/tangguoling/ADPT 에 있습니다.
      1. 실험 설정에 두 마리의 마우스가 포함되고 mTPM이 그 중 하나의 식별자 역할을 한다는 점을 감안할 때 두 개의 독립적인 단일 마우스 ADPT 모델을 훈련하여 각 마우스의 자세를 개별적으로 추정합니다.
      2. 각 모델에 대해 코, 왼쪽 귀, 오른쪽 귀, 목, 좌우 앞다리, 왼쪽 및 오른쪽 뒷다리, 왼쪽 및 오른쪽 앞발, 왼쪽 및 오른쪽 뒷발, 등, 꼬리 베이스, 중간 꼬리 및 꼬리 끝을 포함하여 약 600프레임에 대해 16개의 키 포인트 ^1,10,15,31에 수동으로 주석을 추가합니다.
      3. 기본 매개변수를 사용하여 ADPT 모델을 학습합니다. 훈련 및 예측 매개변수의 세부 정보는 https://github.com/tangguoling/ADPT/blob/main/code/config.yaml 및 https://github.com/tangguoling/ADPT/blob/main/code/config_predict.yaml 에 있습니다.
   2. 3D 동물 포즈 재구성. 훈련이 완료되면 두 모델을 독립적으로 적용하여 서로 다른 카메라로 캡처한 각 비디오에서 각 마우스의 포즈를 예측합니다. 추가 처리를 위해 결과 데이터를 단일 테이블 파일로 병합합니다.
   3. 카메라 캘리브레이션 파일⁽³²)과 함께 삼각 측량을 사용하여 행동 궤적의 3D 재구성을 수행한다. 재구성 후, 후속 분석을 위해 대상 마우스(mTPM을 운반하는 마우스, 그림 2B, 그림 3B, 그림 4B)와 대상 마우스(상호 작용하는 동종, 그림 2C, 그림 3C, 그림 4C)의 이동 궤적을 얻습니다.
   4. 사회적 상호 작용 연구에서 개인 간 거리는 사회적 역학의 중요한 지표 역할을 합니다³³. 해당 신체 지점 사이의 쌍별 유클리드 거리를 사용하여 두 마우스 사이의 상대적 신체 거리를 계산하여 추가 사회적 행동 분석을 위한 정량적 측정을 제공합니다( 그림 2D, 그림 3D, 그림 4D).
   5. 행동 모티프를 분해하고 분류합니다.
      참고: 이전 단계를 통해 세분화된 포즈 궤적을 얻을 수 있지만 아직 동물이 무엇을 하고 있는지 알려주지는 않습니다. 행동은 동물이 특정 기간 동안 움직이는 방식을 의미하며, 행동을 할당하려면 각 기간에 의미 있고 인간이 해석할 수 있는 레이블을 부여해야 합니다. 일반적인 방법은 사람의 주석을 사용하는 것입니다.
      1. 행동 기록은 너무 길어서 전체적으로 수동으로 레이블을 지정하는 경우가 많으므로 기계 학습 방법을 사용합니다.
         참고: 지도 학습은 사전 정의된 레이블 지정 규칙을 준수합니다: 인간 주석자는 선택한 행동 세그먼트에 레이블을 할당한 다음 기계 학습 또는 AI 모델을 훈련하여 전체 데이터 세트에서 레이블을 예측하는 데 사용됩니다. 이 접근 방식은 행동 분류의 효율성을 향상시키지만 인간이 해석할 수 있는 제한된 레이블 집합에 의해 제약을 받으며, 이는 복잡하고 자연주의적인 행동을 다룰 때 특히 중요한 제한 사항입니다. 자연주의적 행동의 풍부한 가변성을 포착하기 위해 지도되지 않은 행동 분류 방법이 개발되었습니다. 이러한 접근 방식은 시간이 지남에 따라 행동 모티프 간의 본질적인 유사성을 식별하고 이를 저차원 특징 공간 내에 클러스터링하여 보다 효율적이고 편견 없는 인간 해석을 가능하게 합니다. 본질적으로 지도 분류는 행동 인식을 안내하기 위해 사전 정의된 인간 레이블에 의존하는 반면, 비지도 분류는 사전 레이블 지정 없이 잠재적인 행동 구조를 발견하여 복잡한 자연주의적 역학을 포착하는 데 더 큰 유연성을 제공합니다.
      2. 자연주의적 행동의 틀 내에서 행동 분할을 위해 설계된 비지도 클러스터링 방법인 BeA(Behavior Atlas)¹⁰ 및 Social Behavior Atlas(SBeA)¹ ( 그림 2E, 그림 3E, 그림 4E)를 사용하여 두 마우스의 행동 모티프를 식별합니다. 이러한 방법은 동물의 행동을 본질적인 동적 및 계층적 구조⁽³⁴)에 기초하여 두 번째 이하의 모티프로 분해 및 클러스터링한 후 정의된 행동 범주와 연관시킵니다.
   6. BeA를 사용하여 개별 마우스의 행동 모티프를 추출합니다.
      1. 노이즈를 줄이려면 500ms 시간 창의 중앙값 필터를 적용합니다. 등 및 꼬리 베이스 키 포인트를 사용하여 신체 정렬을 수행하여 비운동 움직임의 분해를 촉진하고, 오른쪽 앞다리, 왼쪽 앞다리, 오른쪽 뒷다리 및 왼쪽 뒷다리 키 포인트는 신체 크기 정상화를 위해 활용됩니다.
      2. 행동 분해를 위해 코(x, y, z), 왼쪽 귀(x, y, z), 오른쪽 귀(x, y, z), 목(x, y, z), 왼쪽 앞다리(x, y, z), 오른쪽 앞다리(x, y, z), 왼쪽 뒷다리(x, y, z), 오른쪽 뒷다리(x, y, z), 왼쪽 앞발(x, y, z) z), 오른쪽 앞발(x, y, z), 왼쪽 뒷발(x, y, z), 오른쪽 뒷발(x, y, z), 등(z) 및 꼬리 밑부분(x, z).
      3. 시간 감소 지수를 5로 설정하고 클러스터링 해상도를 3으로 설정합니다. 대역폭 시그마가 30인 가우스 커널을 사용하여 초기화를 위해 스펙트럼 클러스터링을 사용합니다. 최소 및 최대 분할 길이를 각각 500ms 및 2000ms로 설정합니다.
      4. 동작 모티프 임베딩의 경우 30개의 최근접 이웃과 최소 거리 0.05로 UMAP을 적용합니다. 분류의 안정성을 향상시키기 위해 Ward의 연결과 유클리드 쌍별 거리를 사용하여 계층적 클러스터링을 통해 모티프를 클러스터링합니다. BeA의 저장소는
      5. SBeA를 사용하여 사회적 행동 모티프를 식별합니다. SBeA의 초기화 매개변수를 BeA에서 사용되는 매개변수와 일치하도록 설정하고, 중앙값 필터 창 크기를 1000ms로 설정하고, 최소 분할 길이를 2000ms로 늘리고, 사회적 행동 분해를 위해 최대 분할 길이를 5000ms로 확장합니다.
      6. 모티프 임베딩의 경우 대역폭 시그마가 2인 가우스 커널을 적용합니다. 사회적 행동 클러스터의 최종 수는 16개(하한)에서 280개(상한)까지 다양합니다. 제시된 예에서는 16개의 가장 큰 클러스터만 데모 목적으로 활용됩니다. SBeA의 저장소는 https://github.com/YNCris/SBeA_release/blob/main/README_SBeA_mapper.md 에 있습니다.

4. 신경행동학적 데이터 매핑

1. 매핑 데이터 세트를 준비합니다. 앞서 언급한 준비에 이어 신경 활동, 피험자 자세, 물체 자세, 신체 거리, 피험자 행동 모티프, 객체 행동 모티프 및 사회적 행동 모티프를 포함한 7개의 데이터 세트를 신경행동학적 매핑에 사용할 수 있습니다. 다음과 같이 이러한 파일을 수동으로 구성합니다.
   Data path # 모든 데이터를 저장할 경로
   ----\A-B-C-D-E-neu.mat # 신경 활동
   ----\A-B-C-D-E-pose-tpm.mat # 피사체 포즈
   ----\A-B-C-D-E-pose-free.mat # 오브젝트 포즈
   ----\A-B-C-D-E-rel_dist.mat # 신체 거리
   ----\A-B-C-D-E-mov-tpm.mat # 주제 행동 모티프
   ----\A-B-C-D-E-mov-free.mat # 객체 동작 모티프
   ----\A-B-C-D-E-sbea.mat # 사회적 행동 모티프
   필드 A, B, C, D, E의 정의는 1.5.7과 동일합니다. 재현을 위한 데모 데이터는 https://doi.org/10.6084/m9.figshare.29606795.v1 입니다.
2. CEBRA를 사용하여 매핑의 임베딩을 만듭니다.
   참고: CEBRA가 임베딩을 구성하기 위해 가설 중심 접근 방식과 발견 기반 접근 방식을 모두 통합한다는 점을 감안할 때 다양한 보조 변수와 관련된 신경 표현을 발견하는 데 매우 적합합니다(그림 5A).
   1. 다양한 양식에 걸쳐 임베딩을 체계적으로 비교하려면 CEBRA 모델의 매개변수를 표준화하십시오. 모델 아키텍처는 배치 크기가 1024, 학습률이 0.0001, 온도 매개변수가 1인 10개의 오프셋을 사용합니다.
   2. 출력 차원을 3으로 설정하고 최대 15,000회 반복에 대한 훈련을 수행합니다. 코사인 거리를 유사성 메트릭으로 사용하고 조건부 변수는 시간 오프셋이 10인 시간 델타로 정의됩니다. 뉴런 활동 데이터를 입력으로 사용하고 보조 변수를 레이블로 사용하여 공동 임베딩을 생성합니다.
3. 뉴런 활동의 자체 임베딩을 위해 동일한 CEBRA 매개변수를 적용하되 뉴런 활동 데이터만 입력으로 사용합니다.

Results

자연 행동에 대한 연구는 시험 기반 실험에 비해 더 복잡합니다. 첫째, 자연 조건에서는 신경 활동과 행동 모두 고정된 기준선이 없습니다. 이러한 활동은 반복적이며, 이는 이전 상태의 영향을 받는다는 것을 의미하므로 신경 활동 비교를 위해 특정 행동의 시작을 정렬하는 것은 이전 신경행동학적 상태의 영향을 풀지 못합니다. 둘째, 자연 행동의 신경 인코딩은 주로 인구 수준에서 발생합니다 ^4,5. 단일 뉴런에서 관찰되는 가변성은 노이즈로 간주될 만큼 충분히 큽니다. 이를 검증하기 위해 신경 활동과 자연스러운 행동 자세 사이의 상관 분석을 수행했습니다(그림 2F, 그림 3F, 그림 4F). 결과 상관 계수 행렬은 포즈 트레이스와 뉴런 특이적 일치를 나타내지 않았습니다. 구체적으로, 신경 신호와 피험자 자세, 물체 자세 또는 체간 거리 사이의 상관 계수는 모두 -0.3에서 +0.3 사이의 범위 내에 속했으며, 일반적으로 약한 상관 관계로 간주됩니다¹⁵ (그림 2G, 그림 3G, 그림 4G). 이러한 발견은 자연주의적 조건에서 포즈 관련 정보가 뉴런 특이적 방식으로 인코딩되지 않음을 나타냅니다.

이러한 요인을 감안할 때 이 프레임워크는 신경 집단 수준에서 신경행동학적 데이터를 캡처하고 매핑하는 객관적인 접근 방식을 제공합니다. mTPM 이미징은 개별 뉴런의 가변성을 최대한 보존합니다. 또한 ADPT에 의한 딥러닝 기반 자세 추정과 BeA 및 SBeA와 같은 비지도 행동 분해 방법을 사용하면 풍부한 보조 변수가 생성되어 CEBRA가 신경 집단 내의 가변성을 효과적으로 해석할 수 있습니다.

이러한 예는 공동 CEBRA 임베딩이 피험자 포즈, 객체 포즈, 신체 거리, 피험자 행동 모티프, 객체 행동 모티프 및 사회적 행동 모티프를 포함한 모든 보조 변수에 존재함을 보여줍니다(그림 5A). 세션 또는 피험자 전반에 걸쳐 행동 모티프와 신경 임베딩의 일관성을 검증하기 위해 Procrustes 분석(³⁵ )을 3개의 마우스 쌍에 걸쳐 사용합니다(그림 5B). CEBRA 임베딩이 단위 구에 분포되어 있다는 점을 감안할 때 Procrustes 분석의 회전 매개변수만 활성화되었습니다. 자연 행동 CEBRA 임베딩에는 명확한 기준선이 없기 때문에 이 부분에서는 먼저 매립에 대해 라벨 유도 정렬 샘플링을 수행하여 Procrustes 분석을 적용하기 전에 일관된 앵커 포인트를 보장했습니다. 시각적으로 이러한 CEBRA 임베딩은 신체 거리와 사회적 모티프가 가장 높은 정렬을 보여주는 어느 정도의 본질적인 일관성을 나타냅니다. Procrustes 정렬 전후의 RMSE의 정량화에 적합합니다(그림 5C). 그런 다음 포즈(그림 5D)와 모티프(그림 5E)에 대한 임베딩 디코딩 정확도를 비교합니다. 표현은 다르지만 각각은 높은 정확도로 디코딩할 수 있습니다. 신체 거리의 디코딩 RMSE는 피사체 및 물체 포즈보다 훨씬 높지만 ADPT⁷의 추적 정확도 이상은 아닙니다.

이러한 가설 기반 임베딩의 기원을 탐구하기 위해 CEBRA를 통해 신경 활동의 자체 조직화된 임베딩이 생성되었습니다(그림 5A, 오른쪽 열). 신경 임베딩의 모양은 다른 관절 임베딩보다 더 복잡하며 다양한 관절 임베딩의 패턴을 통합합니다. 또한, Procrustes 변환을 사용하여 신경 매립과 관절 매립 사이의 유사성을 비교한 다음 코사인 유사성을 비교했습니다(그림 5F). 코사인 유사성은 해당 시점에 걸쳐 정렬된 임베딩 간에 분당 파생됩니다.

S1-피험자 포즈 관절 임베딩은 자기 조직화된 체감각 입력을 인코딩하는 데 있어 S1의 잘 확립된 역할을 기반으로 유사성 비교를 위한 기준선으로 선택되었습니다³⁶. 이 임베딩은 객체 관련 모티프와 같은 다른 변수가 동일한 신경 공간 내에서 어떻게 표현되는지 평가하기 위한 생물학적으로 의미 있는 기준점 역할을 합니다. 이러한 비교를 통해 우리는 자기 관련 체감각 기준선과 관련하여 다양한 행동 차원에 대한 인코딩의 상대적 강도를 평가할 수 있습니다.

신경 매립의 코사인 유사성을 S1-피험자 포즈 관절 매립을 기준선으로 비교했을 때, 본 연구는 객체 모티프에 대한 관절 매립이 현저히 낮다는 것을 발견했습니다. 이것은 이 예에서 자유로운 사회적 상호 작용의 15분 기간 동안 대상 마우스의 S1 신경 활동이 주로 행동과 진행 중인 사회적 상호 작용을 모두 인코딩한다는 것을 시사합니다. 이 분석은 실증적인 사례로 작용하지만, 예를 들어 신경 인코딩의 동적 변화를 밝히기 위해 서로 다른 시간적 시대에 걸쳐 임베딩 구조를 비교함으로써 동일한 방법론적 프레임워크를 보다 세분화된 조사에 쉽게 적용할 수 있습니다.

그림 1: 신경행동학적 데이터 수집 절차. (A) 장치의 통합. (B) 데이터 기록 작업. (C) 기록 후 신경 신호 추출, 2D 포즈 추정 및 3D 신체 궤적 재구성. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 2: 추가 분석을 위해 마우스 1의 전처리된 데이터. (A) 신경 활동. (B) 피사체 포즈. (C) 물체 포즈. (D) 신체 거리. (E) 행동 모티프. 위에서 아래로 주체, 대상, 사회적 행동 모티프가 있습니다. (F) 신경 활동과 포즈 사이의 상관 계수 행렬. 왼쪽: 신경 활동과 피사체 포즈 사이의 상관 계수. 중심: 신경 활동과 물체 포즈 사이의 상관 계수입니다. 오른쪽: 신경 활동과 신체 거리 사이의 상관 계수. 상관 계수는 각 뉴런 트레이스와 각 포즈 차원 사이에 있습니다. (G) F의 상관계수 분포. 뉴런 지수는 신경 활동과 피험자 포즈 사이의 상관 계수에 따라 정렬됩니다. 약어: N & S = 신경 활동 및 피험자 자세, N & O = 신경 활동 및 물체 자세, N & B = 신경 활동 및 신체 거리, CC = 상관 계수. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 3: 추가 분석을 위해 마우스 2의 전처리된 데이터. (A) 신경 활동. (B) 피사체 포즈. (C) 물체 포즈. (D) 신체 거리. (E) 행동 모티프. 위에서 아래로 주체, 대상, 사회적 행동 모티프가 있습니다. (F) 신경 활동과 포즈 사이의 상관 계수 행렬. 왼쪽: 신경 활동과 피사체 포즈 사이의 상관 계수. 중심: 신경 활동과 물체 포즈 사이의 상관 계수입니다. 오른쪽: 신경 활동과 신체 거리 사이의 상관 계수. 상관 계수는 각 뉴런 트레이스와 각 포즈 차원 사이에 있습니다. (G) F의 상관계수 분포. 뉴런 지수는 신경 활동과 피험자 포즈 사이의 상관 계수에 따라 정렬됩니다. 약어: N & S = 신경 활동 및 피험자 자세, N & O = 신경 활동 및 물체 자세, N & B = 신경 활동 및 신체 거리, CC = 상관 계수. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 4: 추가 분석을 위해 마우스 3의 전처리된 데이터. (A) 신경 활동. (B) 피사체 포즈. (C) 물체 포즈. (D) 신체 거리. (E) 행동 모티프. 위에서 아래로 주체, 대상, 사회적 행동 모티프가 있습니다. (F) 신경 활동과 포즈 사이의 상관 계수 행렬. 왼쪽: 신경 활동과 피사체 포즈 사이의 상관 계수. 중심: 신경 활동과 물체 포즈 사이의 상관 계수입니다. 오른쪽: 신경 활동과 신체 거리 사이의 상관 계수. 상관 계수는 각 뉴런 트레이스와 각 포즈 차원 사이에 있습니다. (G) F의 상관계수 분포. 뉴런 지수는 신경 활동과 피험자 포즈 사이의 상관 계수에 따라 정렬됩니다. 약어: N & S = 신경 활동 및 피험자 자세, N & O = 신경 활동 및 물체 자세, N & B = 신경 활동 및 신체 거리, CC = 상관 계수. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 5: 신경행동학적 데이터의 CEBRA 임베딩 분석. (A) CEBRA 임베딩. 왼쪽에서 오른쪽으로 S1 신경 활동과 대상체 자세의 공동 매립, S1 신경 활동과 객체 포즈의 공동 매립, S1 신경 활동과 두 동물 사이의 신체 거리의 공동 매립, S1 신경 활동과 피험자 행동 모티프의 공동 매립, S1 신경 활동과 객체 행동 모티프의 공동 매립, S1 신경 활동과 사회적 행동 모티프의 공동 임베딩, S1의 신경 임베딩. (B) Procrustes 분석은 위의 임베딩을 정렬합니다. 회색 원은 참조 임베딩 역할을 하는 마우스 쌍 1을 나타냅니다. 녹색 더하기 기호는 마우스 쌍 2를 나타내고 주황색 십자가는 마우스 쌍 3을 나타내며 둘 다 마우스 쌍 1에 정렬됩니다. (C) Procrustes 정렬 전(왼쪽) 및 후(오른쪽)의 제곱 평균 제곱근 오차(RMSE)(Paired t-test, n=3, 평균 ± SEM). (D) CEBRA 임베딩에서 포즈 재구성의 RMSE(일원 분산 분석에 이어 Tukey의 다중 비교 테스트, n=3, 평균 ± SEM). (E) CEBRA 임베딩에서 모티프 재구성의 정확도(일원 분산 분석 후 Tukey의 다중 비교 테스트, n=3, 평균 ± SEM). (F) S1의 관절 매립과 신경 매입 사이의 코사인 유사성(일원 분산 분석에 이어 Dunnett의 다중 비교 테스트, n=45, 평균 ± SEM). *p < 0.05, **p < 0.01, ***p < 0.001. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

아니요.	관찰된 문제	가능한 원인	가능한 해결책
1	동작 타임스탬프 없음	(1) SMA 또는 BNC 케이블 결함	(1) SMA 및 BNC 케이블 교체
		(2) USB-to-TTL 드라이버 누락	(2) Prolific PL2303 USB 드라이버 설치
		(3) 잘못된 COM 포트 선택	(3) 장치 관리자에서 COM 포트 번호를 확인하고 mTPM 소프트웨어 및 동작 카메라 스크립트 모두에서 업데이트합니다.
2	mTPM 장착 중 눈에 보이는 형광 없음	(1) 바이러스 발현 부족	(1) 다른 마우스 사용
		(2) 잘못된 시야	(2) 시야를 재조정한다
		(3) 레이저 출력 부족	(3) 레이저 출력을 점차적으로 증가시킵니다.
		(4) 건조 카보머 젤	(4) 신선한 카보머 젤을 다시 바릅니다.
3	mTPM 이미징은 완전히 흰색 화면을 보여줍니다.	(1) 빛 누출	(1) 적절한 차폐를 위해 알루미늄 호일을 다시 감싸십시오.
		(2) 레이저 출력 부족	(2) 점차적으로 레이저 출력을 높입니다.
		(3) mTPM 헤드에서 분리된 광섬유	(3) 광섬유를 mTPM에 다시 삽입하고 고정 나사를 조입니다.
4	동작 비디오에서 드롭된 프레임	(1) 낮은 주변 조명	(1) 배경 조명을 높입니다.
		(2) 잘못된 USB 포트	(2) USB 3.0 포트 이상 사용
		(3) 컴퓨터 성능 부족	(3) Intel i7-9700K 이상, 듀얼 채널 RAM 및 SSD 스토리지가 있는 기기를 사용하십시오.
5	mTPM 장착 마우스에서 이동 없음	(1) 같은 마우스를 반복적으로 사용하는 경우	(1) 3일 이내에는 마우스의 재사용을 피하십시오.
		(2) 알루미늄 호일의 과도한 사용	(2) 차광에 필요한 최소한의 호일 사용
		(3) 헬륨 풍선의 수 또는 부피가 부족함	(3) mTPM 섬유를 지지하는 동시에 마우스의 자연스러운 자세와 움직임을 허용하기 위해 풍선의 수와 팽창을 조정합니다.
6	부정확한 2D 포즈 추정	(1) 수동으로 레이블이 지정된 프레임 수가 부족합니다.	(1) 최소 200프레임 증분 주석 달기
		(2) 훈련되지 않은 ADPT 모델	(2) ADPT의 config.yaml 파일에서 훈련 에포크 증가
7	비정상적인 3D 포즈 재구성	(1) 부적절한 카메라 보정	(1) 보정 대비 및 기울기 각도 향상
		(2) 부정확한 2D 포즈 입력	(2) 체크보드 프레임 캡처 수 증가
			(3) 2D 포즈 문제를 먼저 해결합니다(문제 6 참조).
8	신경 데이터와 행동 데이터 간의 불일치	(1) 잘못된 소프트웨어 초기화 순서	(1) 항상 동작 카메라 전에 mTPM 녹화를 시작합니다.
		(2) 드롭된 동작 프레임	(2) 프레임 드롭 문제 해결(문제 4 참조)
			(3) 사용 가능한 디스크 공간이 충분한지 확인
9	BeA/SBeA 처리 중 메모리 오버플로	(1) 과도한 녹화 시간	(1) 녹음을 더 짧은 세그먼트(5-60분)로 분할한 다음 BeA/SBeA를 실행합니다.
		(2) 제한된 시스템 RAM	(2) BeA에서 시간적 감소 계수(예: 5에서 10으로) 증가
			(3) RAM을 최소 64GB로 업그레이드
10	CEBRA가 GPU에서 실행되지 않음	(1) CUDA와 GPU 드라이버의 불일치	(1) 튜토리얼을 직접 따라 CUDA 11.3을 설치하지 마십시오.
		(2) 호환되지 않는 PyTorch 버전	(2) GPU 모델 및 드라이버 버전 확인(nvidia-smi)
			(3) 그에 따라 올바른 CUDA 및 PyTorch 버전을 설치한 다음 pip를 통해 CEBRA를 설치합니다.

표 1: 문제 해결 목록. 다음은 이전에 발생한 10가지 사소한 문제와 가능한 해결 방법 목록입니다.

Discussion

이 신경행동학적 기록 및 디코딩 프레임워크는 상업적으로 이용 가능한 장치를 기반으로 구축되어 대부분의 문제 해결 문제를 각 회사에서 해결할 수 있습니다. 그럼에도 불구하고 이 연구는 참조를 용이하게 하고 문제 해결을 간소화하기 위해 자주 발생하는 문제 목록을 제공합니다(표 1). 이러한 접근성은 프레임워크를 신규 사용자에게 더욱 사용자 친화적으로 만듭니다. 또한 프레임워크는 표준 TTL 신호에 의존하는 신경 기록과 행동 기록 간의 동기화를 통해 매우 유연합니다. 결과적으로 필요한 경우 다른 생리학적 기록 장치를 프레임워크에 통합하는 것이 간단합니다. 후속 분석 절차도 완전히 맞춤화된 신경 및 행동 기록 시스템을 지원하기에 충분히 일반적입니다.

상용화된 장치를 기반으로 하는 이 프레임워크와 관련된 비용은 상대적으로 높기 때문에(~500,000 USD) 실험실에 추가적인 재정적 부담을 안겨줍니다. MINI2P¹³ 및 Anipose³⁷ 과 같은 최신 오픈 소스 도구는 재료 비용을 줄이는 데 도움이 될 수 있지만 이러한 경험은 디버깅과 관련된 인적 자원 비용을 고려할 때 전체 비용이 비슷하게 유지될 것임을 시사합니다. 이 프레임워크의 또 다른 한계는 CEBRA 임베딩의 해석 가능성에 있습니다. 인공 신경망을 기반으로 하는 방법으로서 본질적으로 해석하기 어렵습니다. 이 예제는 임베딩을 설명하는 간단한 접근 방식을 제공하지만 다양한 프로젝트에 대해 사례별로 추가 방법을 개발해야 합니다. CEBRA 임베딩의 추가 해석을 위한 한 가지 잠재적 해결책은 동적 시스템의 적용입니다³⁸. 또한 자연스러운 행동은 두 마리의 쥐가 멀리 떨어져 있거나 근처에 있을 때의 상호 작용과 같은 뚜렷한 단계로 분류될 수 있습니다. 다양한 과학적 질문에는 맞춤형 데이터 분석 워크플로의 개발이 필요할 수 있습니다.

현재 mTPM + 3D 카메라 시스템은 오픈 필드 경기장에 배포되지만 그 적용은 이러한 특정 동작 맥락에만 국한되지 않습니다. 주요 제약 조건은 동물의 이동성 범위를 제한하는 이미징 시스템의 물리적 테더링과 추적 가능한 볼륨을 제한하는 3D 카메라의 시야에서 발생합니다. 이러한 요소들은 보다 복잡하고 자연주의적인 행동 패러다임을 가능하게 하기 위해 무선 이미징 모듈⁽³⁹) 또는 트랩-카메라 어레이⁽⁴⁰)를 통합함으로써 향후 반복에서 해결될 수 있다. 특히, mTPM 시스템과 3D 카메라 설정 모두 연속 24시간 데이터 수집이 가능하며^(10,41) 전체 파이프라인이 장시간 행동 및 신경 기록 연구에 매우 적합합니다.

이 연구는 자발적인 행동의 신경 인코딩을 조사하기 위해 완전한 데이터 기반 접근 방식을 채택하므로 클러스터링된 행동 모티프에 사전 정의된 의미론적 레이블을 할당하는 것을 의도적으로 자제합니다. 이 결정은 신경 행동 매핑 프레임워크의 일반화 가능성을 보존하여 실험자가 부과한 행동 범주와 독립적으로 작동할 수 있도록 하려는 목표에 뿌리를 두고 있습니다. 행동 모티프의 생물학적 해석 가능성 및 지도 분류에 관심이 있는 독자는 이전 작업(^1,10)과 동일한 기본 행동 아틀라스 프레임워크를 사용하여 비지도 모티프 클러스터링을 수동으로 레이블이 지정된 행동과 체계적으로 비교한 최근 연구⁽⁴²)를 참조할 수 있습니다. 이러한 연구는 또한 공개 저장소를 통해 사용할 수 있는 3D 포즈 시퀀스, 궤적, 모티프 수준 임베딩을 포함한 광범위한 시각화를 제공합니다. 이러한 리소스는 함께 행동의 의미론적 구조에 대한 보완적인 통찰력을 제공하는 동시에 여기에 채택된 유연하고 일반화 가능한 신경 디코딩 접근 방식을 지원합니다.

이 데이터 처리 파이프라인은 모듈성과 유연성을 염두에 두고 설계되어 다양한 실험 설정과 사용자 선호도에 적응할 수 있습니다. 3D 포즈 추정, 비지도 행동 모티프 클러스터링, 신경 신호 전처리, 공동 신경행동학적 임베딩에 이르기까지 파이프라인의 각 주요 구성 요소는 명확하게 정의된 입력 및 출력 인터페이스를 갖춘 독립적인 모듈로 구현됩니다. 이 아키텍처를 통해 사용자는 전체 워크플로우를 방해하지 않고 각 단계에서 대체 도구 또는 알고리즘(예를 들어, 상다른 포즈 추정 프레임워크^(6,22), 동작 클러스터링 알고리즘(^43,44 또는 신경 디코더^45,46)을 대체할 수 있다. 이러한 구성 요소는 상호 운용 가능하도록 설계되었지만 이 연구는 대체 방법의 가능한 모든 조합을 철저하게 테스트하지 않았으며 사용자는 특정 응용 프로그램의 호환성을 보장하기 위해 추가 조정을 수행해야 할 수도 있습니다. 이러한 모듈성은 재현성과 확장성을 모두 촉진하고 프레임워크를 여기에서 시연된 것 이상의 종, 기록 양식 또는 행동 패러다임에 맞게 조정할 수 있도록 합니다. 더 광범위한 커뮤니티 사용을 지원하기 위해 이 연구는 개략적인 개요와 요약표를 제공합니다(그림 1, 재료 표).

이 파이프라인에서 SBeA 및 CEBRA에 사용되는 매개변수 설정은 기본값과 이 실험적 맥락에 특정한 경험적 조정의 조합을 기반으로 하며, 자연스러운 사회적 상호 작용 하에서 마우스를 자유롭게 움직입니다. 이러한 매개변수는 추가 조정 없이 이 연구에 제시된 모든 결과를 재현하도록 검증되었습니다. 사용자는 다양한 녹음 설정이나 동작 작업을 수용하기 위해 특정 매개변수를 미세 조정하기를 원할 수 있지만 이 파이프라인을 복제하는 데 이러한 수정이 필요하지는 않습니다. 다른 컨텍스트에서 작업하는 사용자의 경우 매개변수 범위 및 작업별 지침이 제공되는 SBeA 및 CEBRA에 대한 원본 문서 및 문헌을 참조하는 것이 좋습니다. 이 구현은 필요에 따라 직접 적용하거나 조정할 수 있는 강력한 참조 구성 역할을 합니다.

이 프레임워크의 주요 발전은 자유롭게 움직이는 동물에 적용하는 데 있습니다. 머리가 고정된 동물을 대상으로 수행된 이전 연구는 이 프레임워크 내에서 자유롭게 움직이는 조건에 적응할 수 있습니다. 예를 들어, Go/No-Go 작업⁽⁴⁷ ) 및 Two-Alternative Forced Choice⁽²⁸ )와 같은 작업은 자연스러운 행동 패러다임을 기반으로 이 프레임워크에 수정되고 통합될 수 있습니다. 이 접근 방식은 머리 제한으로 인한 인공물을 제거하여 작업과 자연 행동 상태 간의 관계를 연구할 수 있게 합니다. 이 프레임워크는 동물에게 의사 결정에 있어 더 큰 자율성을 제공합니다. 또한 mTPM 척수 기록 방법⁽⁴⁹)을 결합하여 자연주의적 맥락에서 척수 연구를 지원합니다. 또한 머리 고정 설정에서는 실현 가능하지 않은 현상인 자유 그룹 행동에 대한 연구를 용이하게 합니다. 데이터 분석 워크플로를 사용하면 임베딩을 사용하여 신경 집단 뒤에 숨은 뇌 기능의 복잡성을 밝혀내는 등 여러 변수에 걸쳐 신경 집단 활동을 해석할 수 있습니다.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
3D 행동 기록 시스템	베이원 사이언티픽	BA-3D-마우스	통합 동기화 모듈
풍선	알리익스프레스	홈페이지: https://tinyurl.com/3uex669s	헬륨으로 채워졌을 때 날아갈 수 있을 만큼 가벼운 풍선. 풍선은 직경 약 45cm의 구형 호일 풍선이며 자체 밀봉 밸브가 특징입니다. URL은 풍선의 예를 제공합니다.
카보머 아이 젤	비디식	카보머 980 기반 윤활 눈 젤	10g
코튼 꼬기	알리익스프레스	URL: https://tinyurl.com/ywu7u754	두껍고 가벼우며 직경 1-2mm입니다. URL은 면 끈의 예를 제공합니다.
두개골 드릴	RWD	78001	0.8, 1.4 및 2.1 mm 드릴
구성 가능한 맞춤형 카메라 모듈	인텔	리얼센스 D435	/
고성능 아크릴 구조용 접착제	후이톈	1320	490ml
이미징용 마우스	트랜센드 비보스코프	URL: https://en.tv-scope.com/	C57BL/6J 배경(10주)을 가진 수컷 마우스는 12&thinsp 아래 케이지당 1마리의 마우스에 사육되었습니다. h 22&ndash에서 명암 주기; 25  &&도 40%&ndash의 C; 습도 70%이며 물과 음식에 자유롭게 접근할 수 있었습니다. AAV9-CaMKII-GCaMP6s 바이러스를 일차 체감각 피질(AP, &-minus; 0.60 밀리미터; ML, &빼기; 2.40 밀리미터; DV, 2.00mm). 본 연구에서 마우스는 전문 동물 준비 서비스의 일환으로 TRANSCEND VIVOSCOPE에 의해 준비되었습니다. 이 서비스에는 바이러스 주입, 두개골 창 이식 및 소형 2광자 현미경 시스템에 맞게 특별히 맞춤화된 베이스플레이트 설치가 포함됩니다.
상호 작용을 위한 마우스	베이원 락	홈페이지: https://lac.bayonesci.com/	C57BL/6J 배경(10주)을 가진 수컷 마우스를 12&thinsp 아래 케이지당 5마리의 마우스에 수용했습니다. h 22&ndash에서 명암 주기; 25  &&도 40&ndash가 있는 C; 습도가 70%이고 물과 음식에 임의로 접근할 수 있었습니다. 모든 사육 및 실험 절차는 중국 과학원 심천 첨단 기술 연구소의 동물 관리 및 사용 위원회의 승인을 받았습니다.
mTPM 신경 기록 시스템	트랜센드 비보스코프	초신성-600	SUPERNOVA-600은 외부 자극 장치를 제외한 모든 필수 광학 및 기록 구성 요소를 포함하여 자유롭게 움직이는 설치류를 위한 완전히 통합된 소형 2광자 이미징 시스템입니다. 통합 동기화 모듈이 포함되어야 합니다.