이 프로토콜은 파이썬의 자세 추정을 사용하여 쌍을 이룬 초파리의 주요 신체 지점을 추적하며, 특히 사회적 상호작용에서 미묘한 사회적 행동과 열맵 및 운동 궤적을 자동으로 정량화할 수 있게 합니다.
Method Article
* These authors contributed equally
이 프로토콜은 파이썬의 자세 추정을 사용하여 쌍을 이룬 초파리의 주요 신체 지점을 추적하며, 특히 사회적 상호작용에서 미묘한 사회적 행동과 열맵 및 운동 궤적을 자동으로 정량화할 수 있게 합니다.
전통적인 중심체 기반 추적 방법의 한계를 극복하는 오픈 소스 분석 도구를 개발하기 위해, 우리는 자유롭게 행동하는 초파리 쌍의 사회적 상호작용을 정확히 분석하는 프로토콜을 제시합니다. 구체적으로, 이 프로토콜은 고해상도 네트워크(HRNet) 프레임워크에서 영감을 받아 머리, 흉부, 복부, 좌우 날개 끝 등 다섯 개의 해부학적 핵심 지점을 동시에 추적하여 사회적 행동의 정량적 분석을 위한 고해상도 좌표 데이터를 생성하는 것을 목표로 합니다. 이 프로토콜은 파이썬과 우리가 설계한 그래픽 사용자 인터페이스(GUI)를 기반으로 한 완전한 워크플로우를 제공하며, 데이터셋 구축, 모델 학습, 자동 좌표 추출, 공간 점유 히트맵, 이동 운동 궤적, 파리의 사회적 상호작용 비율을 생성하는 통합 모듈도 포함합니다. 이 프레임워크를 검증하기 위해 널리 사용되는 두 가지 균주인 w1118과 Canton-S(CS)를 사용하여 테스트했습니다. 우리의 결과는 핵심점 탐지의 안정성을 입증했으며, 공간 활용도와 기관차 구조에서 유전자형별 차이를 드러냈습니다. 이 방법론은 초파리의 정량적 행동학과 사회적 상호작용의 자동 분석을 위한 확장 가능한 기반을 제공하며, 수동 주석 작업을 줄이고 재현성을 향상시킵니다.
Drosophila melanogaster는 강력한 유전적 도구와 잘 매핑된 신경 회로를 가진 널리 사용되는 모델 생물로, 행동의 기전적 해부를 가능하게 합니다. 구애와 공격성 등 다양한 사회적 행동을 가지고 있으며, 강한 학습 능력 은 2,3,4,5,6,7,8입니다. 각 신경은 작지만 매우 잘 조직된 신경계에 의해 제어되는 뚜렷한 운동 요소로 구성되어 있습니다. 중요하게도, 신체 자세의 정확한 측정은 행동 선택의 신경학적 기초를 이해하는 데 필수적이다. 많은 행동들이 맥락적 및 내적 상태 정보를 암호화하는 세밀한 자세 모티프를 포함하고 있기 때문이다 9,10.
개별 차이를 포착하기 위해 단일 플라이 해상도가 필요함에도 불구하고, 초파리의 많은 고처리량 행동 분석은 여전히 그룹 수준 지수에 의존합니다11. 고처리량 행동 분석에는 사회적 선호에 대한 T-미로 테스트(12,13), 비행 간 거리를 정량화하는 사회적 간격 분석, 감각 자극 하의 집적/회피 패러다임 등이 포함되며,14는 집단 추세를 효율적으로 포착할 수 있다. 하지만 본질적으로 개인의 평균화를 수반하여 행동 시퀀스와 사회적 교환의 시간 구조의 이질성을 가립니다. 수년간 파리별 식별 시도는 운동학 임계값을 이용한 규칙 기반 사건 감지, 중심 추적을 이용한 배경 빼기, 수동 비디오 주석15, 16, 17, 18 등 기능적으로 제한된 방법에 의존해 왔습니다. 그 결과, 돌진, 두드리기, 날개 위협과 같은 별개의 행동은 종종 무시되거나 잘못 표시되어 상당한 수작업 교정이 필요합니다. 이러한 제약은 신경 활동과 개별 행동 간의 정밀한 시간적 정렬을 요구하는 메커니즘 연구를 제한했다.
최근 컴퓨터 비전과 머신러닝 기반 포즈 추정의 발전 덕분에 혁신적인 해결책이 이제 등장했습니다. DeepLabCut19 와 SLEAP20 과 같은 오픈소스 프레임워크는 마커 없이 신체 부위 감지, 개별 행동의 확장 가능한 분류, 그리고 밀접한 상호작용 중에도 개인 정체성을 보존할 수 있게 합니다. 이러한 특징들은 이전의 집단 기반 및 규칙 기반 접근법의 단점을 극복하고 복잡한 사회적 행동을 반복 가능한 정량화할 수 있게 합니다.
초파리의 개별 상호작용은 사회적 상호작용의 진행을 나타내는 독특한 운동 특징으로 특징지어집니다. 예를 들어 공격성에는 돌진, 날개 위협, 그래플링과 같은 전형적인 행동이 포함되며, 이들은 모두 갈등 단계가 심화되는 것을 나타냅니다 21,22. 구애 역시 방향, 노래 생성과 함께 일측 날개 확장, 두드리기, 교미 시도로 정의되며, 이들이 결합되어 교미 상호작용의 시간적 순서를 형성합니다23. 이러한 모티프를 포착하는 것은 신체 자세와 관절 움직임을 정확히 인식하는 데 달려 있습니다24,25. 실제로 샘플링은 미묘한 운동 패턴을 정확히 감지하고 신경 활동과 정렬할 수 있도록 장시간 기록 기간 동안 높은 공간적·시간적 해상도를 요구한다25,26.
여기서는 머리, 흉부, 복부, 좌우 날개 팁27을 자동으로 식별할 수 있는 오픈소스 시각 기반 프레임워크를 제시합니다. 이 시스템은 데이터셋 생성, 모델 학습, 좌표 추출을 위한 완전한 워크플로우를 포함하며, 맞춤형 행동 분류에 적합한 고해상도 시계열 데이터를 출력합니다. 수동 주석 처리 과정을 자동화하고 분석 워크플로우를 표준화함으로써, 우리의 방법은 사회적 상호작용 행동에 대한 세밀한 정량적 분석을 가능하게 하여 효율성과 재현성을 높이고 분석에 필요한 시간과 노동을 크게 줄입니다.
시스템의 신뢰성을 검증하기 위해, 우리는 흔히 사용되는 두 가지 실험실 균주인 w1118과 Canton-S(CS)에 적용하여, 프레임 간 안정적인 핵심점 검출과 함께 머리 거리와 방향 각도에 따른 공간 점유, 궤적 특징, 사회적 상호작용 지표에서 유전자형별 차이를 관찰했습니다. 연구자들은 필요한 시공간 해상도(≥30 fps, ≤0.5 mm/픽셀)와 비디오 녹화 조건(조명 및 명암비)을 바탕으로 이 프로토콜의 적합성을 평가할 수 있습니다. 픽셀 크기는 카메라 설정에서 직접 결정할 수 있습니다. 측정된 몸 길이를 가진 초파리를 영상 시야 안에 넣어 보정할 수 있습니다. 이 프로토콜은 다음과 같은 상황에 특히 적합합니다: 두 마리의 자유롭게 상호작용하는 초파리 를 동시에 추적하고 각자의 정체성을 구별해야 하는 경우; 중심 위치뿐만 아니라 머리 각도와 거리 같은 미세한 자세에 집중하기; 수동 주석이 불가능한 경우 녹화 시간이 10분 이상; 이후 분석에서 행동 사건과 신경 활동(예: 칼슘 영상 또는 전기생리학) 사이의 밀리초 수준의 시간적 정렬이 요구됩니다.
1. 플라이 준비
2. 경기장 건설

그림 1: 행동 영역 및 영상 설정의 도식. (A) 맞춤형 관측실 건설은 도표에 묘사되어 있습니다. 챔버는 세 가지 주요 층으로 구성되어 있습니다: 3mm 투명 아크릴 베이스 플레이트; 3mm 폴리에틸렌 판과 4개의 35mm 직경 원형 컷아웃이 개별 챔버 웰 역할을 하며; 그리고 분리 가능한 덮개 역할을 하는 두 번째 아크릴 판이 있습니다. (B) 90° 어댑터 클램프를 사용해 카메라를 40cm 광틱 폴에 수직으로 설치합니다. 탑다운 이미징을 위해 카메라는 다층 관측 영역 바로 위에 위치하며, 광학 축은 챔버 표면에 수직입니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.
3. 영상 설정
4. 녹음 절차
5. 사회활동 패널 정의
6. 데이터셋 준비
7. 모델 훈련
8. 탐지 프로그램 실행
9. 행동 정량화
그림 1 은 초파리에서 자연스러운 사회적 상호작용을 기록하는 데 사용되는 경기장 기하학, 조명 구성, 카메라 배치를 보여줍니다. 이 장치는 포즈 추정 및 좌표 추출에 적합한 균일한 조명과 안정적인 영상 조건을 보장합니다.
자동 자세 추정이 모든 녹화된 영상에 적용되어 각 파리의 미리 정의된 해부학적 핵심 지점에 대한 2차원 좌표를 추출했습니다. 모델은 근거리 상호작용 중에도 프레임 전반에 걸쳐 머리, 흉부, 복부, 날개 관절을 일관되게 식별했습니다. 그림 2 는 중첩된 핵심 포인트가 있는 대표적인 프레임을 보여주며, 녹화 전반에 걸쳐 정확한 다중 플라이 추적과 안정적인 핵심 지점 탐지를 보여줍니다. 이 단계의 신뢰성은 추출된 좌표 시계열이 후속 정량적 분석의 견고한 토대가 될 수 있음을 보장합니다. 그림 3 은 분석 워크플로우를 보여줍니다.
추출한 좌표와 각 좌표의 프레임 비율을 사용해 공간 점유 히트맵을 생성하여 경기장 내 파리 위치의 누적 분포를 시각화했습니다. 이 히트맵은 시간에 따른 파리 위치의 확률 밀도를 요약하고 선호 점유 지역을 강조합니다. 그림 4와 그림 5는 w1118과 Canton-S(CS) 플라이의 대표적인 히트맵을 보여줍니다. 두 유전자형에서 중심 구역과 주변 구역 간의 공간적 사용 패턴 차이가 쉽게 관찰되며, 이는 경기장 탐험과 구역 선호의 뚜렷한 경향을 반영합니다.
점유 패턴 외에도, 좌표 시계열에서 운동 궤적을 재구성하여 미세한 이동 역학을 포착하였습니다. 궤적은 각 연속 프레임의 파리의 2차원 좌표를 평활화 없이 연결하여 생성되었습니다. 그림 4 와 그림 5 에 표시된 궤적은 w1118 및 CS 파리의 개별 이동 경로를 보여주며, 이동 범위, 경로 복잡성, 고점유 구역 간 전이 등 유전자형별 차이를 보여줍니다. 핵심 지점 탐지 결과, 열맵, 궤적 재구성은 결합된 자세 추정과 좌표 기반 분석 파이프라인이 자유롭게 상호작용하는 초파리 의 행동 구조를 유전자형 간에 효과적으로 포착하고 구분함을 보여줍니다.
또한 다섯 개의 해부학적 핵심점의 2차원 좌표를 기반으로 각 프레임에서 사회적 상호작용을 정의했습니다. 두 가지 기준이 동시에 충족되었을 때, 즉 0.5 mm 이상에서 20 mm 미만의 거리와 30°28, 29, 30, 31 이상의 방향 차이가 있을 때 한 쌍이 사회적 참여를 인정받았습니다. 따라서 각 쌍(유전자형당 6쌍)에서 사회적 상호작용에 소요된 시간 비율을 측정했습니다. 우리 방법은 그림 6에서 보듯이 파리의 사회적 행동을 신뢰성 있게 측정할 수 있습니다. W1118과 CS 파리의 평균 사회적 비율은 6개의 독립 복제 실험에서 각각 0.270± 0.001, 0.252± 0.005로, 서로 다른 실험군 간 강한 재현성을 시사한다. 또한 두 야생형 파리 균주 간 사회적 비율에 유의미한 차이가 없다는 결과와도 일치합니다.

그림 2: 대표적인 핵심점 검출 결과. 자동 자세 추정은 프레임 간 각 플라이의 모든 미리 정의된 해부학적 핵심 지점을 식별했습니다. 겹쳐진 표지는 자연스러운 사회적 상호작용 중 정확한 다중 파리 추적을 보여줍니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

그림 3: 분석 워크플로우. 주요 워크플로우는 전처리, 데이터 준비, 모델 학습, 검증으로 구성되며, 궁극적으로 초파리의 2차원 좌표를 산출한 후 GUI 기반 분석이 이어집니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

그림 4: w1118 파리의 대표적인 활동 열지도 및 이동 경로. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하세요.
히트맵은 경기장 내 누적 공간 점유 시간을 10분 이상 보여주며, 각 w1118 플라이의 선호 활동 구역을 보여줍니다. 겹쳐진 궤적은 좌표 시계열에서 재구성된 개별 이동 경로를 보여줍니다.

그림 5: Canton-S(CS) 플라이의 대표적인 활동 열맵과 이동 경로. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하세요.
히트맵은 10분간 자유 상호작용 중 각 CS 파리의 공간적 점유 분포를 보여줍니다. 재구성된 궤적은 이동 범위와 경로 구조를 강조하여 w1118 행동 패턴과의 비교를 가능하게 합니다.

그림 6: 야생형 파리의 사회적 비율. 10분 후 사회적 행동 정량화. 작은 공간에서 각 유전자형의 6쌍을 대상으로 사회적 접촉 비율을 결정합니다. W1118과 CS파리의 사회적 비율 값은 각각 0.270 ± 0.001, 0.252 ± 0.005였습니다. 데이터는 표준편당수(SD)± 평균으로 제시되었으며, 통계적 비교는 쌍이 없는 양측 학생 t-검정을 사용해 수행되었습니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.
보충 파일 1. 프로토콜 실행에 필요한 모든 코딩 파일.이 파일을 다운로드하려면 여기를 클릭해 주세요.
보조 파일 2. 독립형 GUI 애플리케이션이 파일을 다운로드하려면 여기를 클릭하세요.
보조 파일 3. Python 요구사항이 파일을 다운로드하려면 여기를 클릭하세요.
우리 연구는 기계 학습 기반 자세 추정이 초파리에서 세밀한 사회적 상호작용을 측정하는 확장 가능하고 신뢰할 수 있는 방법을 제공함을 보여줍니다. 이 방법은 중심체 기반 접근법15, 16, 17, 18의 한계를 극복하며, 다섯 개의 해부학적 핵심 지점을 자유롭게 상호작용하는 쌍으로 추적함으로써 신체 축에서 제공하는 각도 정보와 머리 점에서 추론된 헤드 대 헤드 거리를 획득할 수 있게 합니다. 저희 기법은 각 영상 프레임에서 파리의 중심좌표를 추적하여 이동 경로를 파악하고, 5점 랜드마크를 사용해 머리 방향을 추정함으로써 공간적 점유 패턴과 움직임 경로를 재구성할 수 있습니다. w1118과 Canton-S 균주 모두에서 관찰된 안정적인 핵심 지점 검출은 파이프라인이 이동 역학의 자연적 변이에 견고함을 나타내며, 하위 행동 분류의 재현 가능한 기초를 제공합니다. 이러한 능력은 사회적 행동에서 내부 상태와 맥락 정보를 암호화하는 세밀한 운동 요소를 해부하는 데 필수적입니다 8,9.
일관된 결과를 보장하기 위해 여러 방법론적 요인이 필수적임이 밝혀졌습니다. 조명 시스템의 열과 조명 강도는 행동 표현에 유의미한 영향을 미쳤으며, 이는 환경 요인이 파리의 사회적 및 운동 활동에 영향을 미친다는 이전 연구 결과와 일치한다32,33. 실험에서 경험적으로 조정된 초점 거리, 대비, 감마선 등 영상 파라미터도 포즈 추정 정확도에 영향을 미쳤으며, 이는 고속 행동 기록이 빠른 움직임을 포착하기 위해 세밀한 광학 보정이 필요하다는 이전 발견과 일치한다34,35. 행동 변이성은 취급 절차에도 영향을 받았는데, CO₂ 마취는 사회적 상호작용과 이동 방식에 정량적 변화를 가져왔으며, 이는 마취로 인한 행동 변화를 보여주는 이전 논문들과 일치한다 36,37,38. 이 단계는 마취가 부족할 때 파리가 방에 넣은 후 의식을 되찾고 도망칠 수 있기 때문에 특히 중요합니다; 반대로 적절한 마취가 있을 경우, 적응이 부족하면 나중에 움직이려는 동기가 떨어져 이후 분석에 심각한 영향을 미치기 때문에 파리도 충분한 회복 시간을 줘야 합니다.
파이프라인의 강도에도 불구하고 여러 한계가 남아 있습니다. 포즈 추정 정확도는 주석 품질에 민감하여, 작은 라벨링 오류도 재구성된 궤적에서 왜곡으로 전파될 수 있습니다. 이 문제는 이전에 다른 포즈 추정 프레임워크(20,34)에서 관찰된 바 있다. 조명, 배경 텍스처, 파리 변형 등으로 인한 도메인 이동은 모델 성능을 저하시킬 수 있으며, 이로 인해 주기적인 재학습이나 데이터셋 확장이 필요합니다. 또한, 핵심 점의 5% 이상의 프레임이 탐지되지 않는 실험은 제외하거나 반복적 모델 정제에 포함되어야 합니다. 프로그램 의존성 차이로 인해 일관성 없는 출력이 발생할 수 있으므로 계산 재현성을 위해 엄격한 버전 관리(보충 파일 3에 명시됨)도 필요합니다.
향후 개선에는 자동 보정 절차, 실험 조건 전반에 걸친 모델 일반화 강화를 위한 도메인 적응 전략, 수동 주석 작성 필요성 감소를 위한 자기 지도 학습 통합 등이 포함될 수 있습니다. 영상 매개변수, 주변 요인, 모델 훈련 설정의 보고를 표준화함으로써 실험실 간 재현성을 더욱 향상시킬 것입니다. 이 요소들을 종합해 보면, 기계 학습 기반 행동 정량화의 장단점을 강조하며, 초파리 사회행동 연구에서 자세 추정 접근법을 더욱 개선할 수 있는 로드맵을 제공합니다.
저자들은 금전적 이해 충돌이 없음을 선언합니다.
광저우 의과대학 대학원의 장경위안 박사님께 영상 장비를 제공하고 유지해 주신 분께 감사드립니다.
자금 지원: 광저우 주요 의학 분야 프로젝트 (2025-2027)
```html
| Name | Company | Catalog Number | Comments |
|---|---|---|---|
| 아가르 | BioFroxx | 8211GR500 | |
| 카메라(MV-CU013-A0UC) | Hikvision | MV-CU013-A0UC | |
| 이산화탄소 | Messer | 124-38-9 | |
| 무수 D(+)-글루코스 | BioFroxx | 1179GR500 | |
| 드로소필라 좁은 바이알(팔콘 튜브) | Biolgix | 51-0500 | |
| 에탄올 | Chron Chemicals | 64-17-5 | |
| LED 패널 | / | / | 맞춤형 |
| 메틸파라벤 | Sigma | 99-76-3 | |
| 폴리에틸렌 플레이트 | / | / | 맞춤형 |
| 파이썬 | / | 버전 3.6 | |
| 수크로오스 | DaMao | 57-50-1 | |
| 투명 아크릴 플레이트 | / | / | 맞춤형 |
| 효모 | Angel | 100004237033 |
Request permission to reuse the text or figures of this JoVE article
Request Permission