ショウジョウバエにおける追跡および自動行動定量のプロトコル

Summary

このプロトコルは、Pythonによるポーズ推定を用いてペアのショ ウジョウバエの主要な体点を追跡し、特に社会的相互作用における微妙な社会的行動の自動定量化や、ヒートマップや運動軌道の生成を促進します。

Abstract

従来の重心ベースの追跡手法の限界を克服するオープンソースの分析ツールを開発するため、自由に行動する ショウジョウバエ のペアにおける社会的相互作用を正確に分析するプロトコルを提案します。具体的には、このプロトコルは高解像度ネットワーク(HRNet)フレームワークに触発されており、頭部、胸部、腹部、左右翼端の5つの解剖学的要点を同時に追跡し、社会的行動の定量的分析のための高解像度座標データを生成することを目指しています。このプロトコルは、Pythonと私たちが設計したグラフィカルユーザーインターフェース(GUI)に基づく完全なワークフローを提供し、データセット構築、モデルトレーニング、自動座標抽出に加え、空間占有ヒートマップ、運動軌道、ハエの社会的相互作用比率を生成する統合モジュールも含まれます。このフレームワークを検証するために、広く使われている2つの株、w1118とCanton-S(CS)を用いてテストされました。我々の結果はキーポイント検出の安定性を示し、遺伝子型特異的な空間利用や機関車構造の違いを明らかにしました。この手法はショ ウジョウバエにおける定量的エソロジーおよび社会的相互作用の自動解析のスケーラブルな基盤を提供しつつ、手作業による注釈作業を削減し再現性を向上させます。

Introduction

ショウジョウバエ・メラノガスターは、強力な遺伝的手法とよくマッピングされた神経回路を持つ広く使われているモデル生物であり、行動の機械的解剖を可能にします^。求愛や攻撃性を含む幅広い社会的行動を持ち、強い学習能力は2,3,4,5,6,7,8です。それぞれは、コンパクトながら非常に組織化された神経系によって制御された異なる運動要素で構成されています。重要なのは、身体姿勢の正確な測定が行動選択の神経学的基盤を理解する上で不可欠である点です。なぜなら、多くの行動には文脈的および内的状態情報を符号化する細かな姿勢モチーフが含まれているからです(^9,10)。

個体差を捉えるために単一単一のフライ解像度が必要であるにもかかわらず、ショウジョウバエの多くの高スループット行動アッセイは依然としてグループレベルの指標に依存しています¹¹。ハイスループット行動アッセイには、社会的嗜好のT迷路テスト^12,13、フライ間の距離を定量化するソーシャル間隔アッセイ、感覚刺激下の集約/回避パラダイム¹⁴があり、集団傾向を効率的に捉えることができます。しかし、それらは本質的に個人間の平均化を伴い、行動の連続や社会的交流の時間的構造における異質性を曖昧にします。長年にわたり、ハエごとの識別に向けた試みは、運動学的閾値を用いたルールベースの事象検出、重心追跡による背景減算、手動のビデオ注釈^{15、16、17、18}など、機能的に制約のある方法に依存してきました。その結果、突進、タップ、翼の脅威といった明確な行動は無視されたり誤ってラベル付けされたりし、大幅な手動の修正が必要になります。このような制約は、神経活動と個々の行動の正確な時間的整合を必要とする機構的研究を制限しています。

コンピュータビジョンや機械学習に基づくポーズ推定の最近の進展により、画期的な解決策が現在利用可能になりました。DeepLabCut¹⁹ やSLEAP²⁰ のようなオープンソースフレームワークは、マーカーなしの身体部位検出、離散的な行動のスケーラブルな分類、そして密接な接触中でも個人のアイデンティティを保持することを可能にします。これらの特徴は、従来のグループベースやルール駆動型アプローチの欠点を克服し、複雑な社会的行動の繰り返し可能な定量化を可能にします。

ショウジョウバエの個々の相互作用は、社会的相互作用の進行を示す独特の運動特徴によって特徴づけられます。例えば攻撃性には、突進、翼の脅し、組み付きといった典型的な行動が含まれ、これらはすべて増加する対立段階を表します(^21,22)。求愛も同様に、向き、片側の翼の伸展と鳴き声、タップ、交尾の試みによって定義され、これらが交尾の時間的な順序を形成します²³。これらのモチーフを捉えるには、身体の姿勢や関節の動きを正確に認識することにかかっています(^24,25)。実際には、サンプリングでは微細な運動パターンを正確に検出し神経活動と整合させるために、長時間にわたる高い空間的・時間的解像度が必要です(^25,26)。

ここでは、頭部、胸部、腹部、左右翼の先端²⁷の5つの解剖学的要点を自動的に特定するためのオープンソースの視覚ベースのフレームワークを紹介します。このシステムは、データセット構築、モデル訓練、座標抽出のための完全なワークフローを含み、カスタマイズ可能な行動分類に適した高解像度の時系列データを出力します。手動注釈処理の自動化と分析ワークフローの標準化により、私たちの手法は社会的相互作用行動の細規模な定量分析を可能にし、効率と再現性を高めつつ、分析にかかる時間と労力を大幅に削減します。

システムの信頼性を検証するために、一般的に使用されている2つの実験株、w1118とCanton-S(CS)に適用し、フレーム間で安定したキーポイント検出や、頭部距離や向き角に基づく空間占有、軌道特徴、社会的相互作用指標の遺伝子型特異的な差異を観察しました。研究者は、必要な時空間解像度(≥30fps、≤0.5 mm/ピクセル)および映像記録条件(照明とコントラスト)に基づいて、このプロトコルの適合性を評価できます。ピクセルサイズはカメラの設定から直接決定できます。体長が測定されたショウジョウバエを撮影視野内に置いて校正することができます。このプロトコルは特に以下のシナリオに適しています:自由に相互作用する2匹の ショウジョウバエ を同時に追跡し、それぞれの個別の識別が必要な場合;中心点の位置だけでなく、細かい姿勢(例:頭部の角度や距離)に注目すること。手動注釈が不可能な場合に10分を超える録音時間;その後の解析において、行動イベントと神経活動(例:カルシウムイメージングや電気生理学)との間にミリ秒単位の時間的整合性が必要となります。

Protocol

1. フライの準備

1. 実験前に、生後3〜4日頃のハエを短時間のCO₂麻酔下で採取し、性別を判定します。
   注意:麻酔の持続時間やCO₂流量は、各検査室で使用される二酸化炭素シリンダーの仕様や圧力によって異なる場合があります。ハエは麻酔中は継続的に監視し、CO₂曝露は完全に麻酔され動きが完全に停止するまで維持すべきです。
2. 各ハエを標準的なコーンミール・アガー・グルコース・酵母培地入りの50 mLファルコンチューブに入れます。
3. 使用までは25°Cで12時間の明暗サイクルで維持してください。

2. アリーナ建設

1. 3mmの透明アクリル板を2枚、3mmのポリエチレン板を1枚準備します。
2. ポリエチレン板の中央に直径35mmの円形チャンバーを4つ切ります。
3. クリップを使って1枚のアクリル板をポリエチレン板に接着し、チャンバーのベースを形成します。2枚目のアクリルプレートは取り外し可能なカバーとして残してください。

図1:行動領域およびイメージングセットアップの回路図。(A) カスタム観測室の建設は図に示されています。チャンバーは3つの主要な層で構成されています:3mmの透明なアクリルベースプレート;3mmのポリエチレン板で、直径35mmの円形切り欠きが4つ、それぞれ独立したチャンバーウェルとして機能します。そして取り外し可能なカバーとして機能する第二のアクリルプレートがあります。(B) 90°アダプタークランプを用いて、カメラを40cmの光学ポールに垂直に取り付けます。トップダウンイメージングでは、カメラは多層観察アリーナの真上に設置され、光学軸はチャンバー表面に垂直に位置します。 この図の拡大版はこちらをクリックしてご覧ください。

3. イメージングセットアップ

1. 20cmの光学ポールを2本、40cmポールを1本組み立て、90°アダプタークランプを付けます。
2. カメラ(1280×1024ピクセル)を40cmの柱に垂直に取り付け、アリーナの表面に対して垂直に揃え、フレームレートを150fpsに設定します。
3. アリーナを25cm×25cm調光可能なデイライトホワイトLEDパネルにディフュージョンシートを敷きます。
4. アリーナの表面で照明を約1500ルクスに調整してください。
   注意:バイナリプレビューで翼のエッジが見えるようにしてください。熱によるアーティファクトを防ぐために>2000ルクスは避けてください。ハエは光源からの熱応力によって自然な移動や分布を変える可能性があります。

4. 記録手順

1. アリーナの各角の下に3cmのフォームパッドを敷いて安定させてください。
2. CO₂麻酔下でのハエペアをチャンバーに移す;上部のアクリルプレートでシールします。
3. ハエが40分間慣れるのを待ってから記録してください。
4. MIAS.exe²⁷を使ってビデオ取得を開始します。Qボタンを押して開始、Cボタンで停止します。
   注:これにより、標準化された条件下で自由に相互作用するハエペアの連続的なビデオ記録が生まれます。

5. 社会活動パネルの定義

1. 前処理スクリプトを実行してください:Python SoAL_PreProcess.py [video_file_path]
   注:すべてのコーディングスクリプトは 補足ファイル1に記載されています。
2. チャンバー面積を注釈し、1(チャンバー数)Genotype_age日×1の形でメタデータを割り当てます。(例:CS_3 ×1)
3. 検出閾値スライダーを調整し、翼がバイナリ画像でほとんど見えなくなるまで調整し、最適な背景減算と翼の可視性を確保します。

6. データセット準備

1. 以下を実行して新しいデータセットフォルダを作成します:
   Python Tools/SoAL_DatasetGen.py DATASETNAME 10(フレームサンプリング間隔)
   注:フレームサンプリング間隔パラメータ(「10」)は、以前に公開されたプロトコル²⁷から適用されました。値が低いほどサンプリング密度と計算負荷が増加し、高い値は計算負荷を減らし、利用可能なハードウェア性能や実験要件に応じて調整可能です。
2. 「tools/SoAL_DatasetUtils.py」でビデオパスとデータセットパスを設定してください。
3. 発射マニュアルのラベリングインターフェース:
   >python tools/SoAL_LabelUI.py DATASETNAME
   1. フレームナビゲーション:スペースキーまたはZキーを押して、それぞれ次のフレームまたは前のフレームに移動します。あるいは、タイムラインスライダーを使ってナビゲーションすることもできます。
   2. キーポイント表示:各画像のハエの正しい位置(特定の順序で:頭部、胸部、腹部、左翼、右翼)をクリックして5つのキーポイントを示します。
   3. キーポイント選択:数字キーを押してキーポイント(白い円で示される)を選択します。次のクリックで選択したキーポイントに新しい番号が再割り当てされます。
   4. 保存:注釈結果を保存するにはウィンドウを閉じるかDキーを押してください。
      注:完全なトレーニングセットアーカイブは、画像ディレクトリとannotation.jsonファイルの2つのコンポーネントで構成されています。

7. モデルトレーニング

1. データセットをトレーニングセットと検証セットに分割します。
   Python Tools/SoAL_DatasetGen.py DATASETNAME divide
   「dataset/」に2つの新しいフォルダが作成されます。
2. hrnet/fly_w32.yamlでトレーニングパラメータを設定する:
   回転率:15°
   スケールファクター:0.35
   明るさ係数:0.25
   バッチサイズ:24
   時代:200年
3. トレーニングプログラムを実施しましょう:
   Python HRnet/tools/train.py --cfg HRnet/fly_w32.yaml
   平均精度(AP)が横ばいになったらトレーニングセットを終了し、最良のモデル(AP>90%)を保持しましょう。
4. 以下を用いてモデルを検証します:
   Python HRnet/Tools/test.py --cfg HRnet/fly_w32.yaml
   成果:複数回のフライキーポイント検出のための堅牢なHRNetベースのモデル。

8. 検出プログラムを実行する

1. 新しい動画ファイルをビデオディレクトリにコピーします。
2. ステップ5で示したメタデータに注釈を付けます。
3. 実行検出プログラム:Python SoAL_KptDetect.pyすべて
4. 検出結果の検査:
   Python Tools/SoAL_ViewKptUI.py excel_file_path (.cvs/xslx)
   結果:フレームごとに5つの解剖学的ランドマークの二次元座標が得られる。

9. 行動的定量化

1. 解析用のスタンドアロンGUIアプリケーション(補足ファイル2)を起動し、座標ファイルをインターフェースにインポートします。
2. 空間占有ヒートマップ(アリーナ位置の確率密度)を生成します。
3. 座標時系列から運動軌道を再構築する。
4. 頭部距離、方向、導出された社会状態などの社会的相互作用データを作成します。
   成果:遺伝子型特異的な空間利用と運動動態の標準化された可視化。

Results

図1 はショ ウジョウバエの自然な社会的相互作用を記録するために用いられるアリーナの形状、照明構成、カメラ配置を示しています。このセットアップにより、姿勢推定や座標抽出に適した均一な照明と安定した撮影条件が確保されます。

自動姿勢推定がすべての録画動画に適用され、各ハエのあらかじめ定義された解剖学的キーポイントの二次元座標を抽出しました。モデルは近距離での接触でも、フレーム全体で頭部、胸部、腹部、翼の関節を一貫して特定しました。 図2 は、重ねられたキーポイントを用いた代表的なフレームを示しており、録画全体を通じて正確なマルチフライトラッキングと安定したキーポイント検出を示しています。このステップの信頼性により、抽出された座標時系列が下流の定量解析の強固な基盤となり得ます。 図3 は分析ワークフローを示しています。

抽出した座標と各座標のフレーム比率を用いて、アリーナ内のフライ位置の累積分布を可視化するための空間占有ヒートマップを作成しました。これらのヒートマップは、時間経過によるハエの位置確率密度を要約し、優先占有地域を強調します。図4と図5は、w1118およびCanton-S(CS)フライの代表的なヒートマップを示しています。両遺伝子型の中心部と周辺部の空間利用パターンの違いは容易に観察でき、アリーナ探査やゾーンの好みにおける明確な傾向を反映しています。

占有パターンに加え、座標時系列から運動軌道を再構築し、微細な運動動態を捉えました。軌道は、各フレームのハエの二次元座標を平滑化せずに接続することで生成されました。 図4 および 図5 に示された軌跡は、w1118およびCSバエの個々の移動経路を示し、移動範囲、経路の複雑さ、高占有ゾーン間の遷移における遺伝子型特異的な違いを明らかにしています。キーポイント検出結果、ヒートマップ、軌跡再構築を合わせて、ポーズ推定と座標ベース解析のパイプラインが、自由に相互作用する ショウジョウバエ の行動構造を遺伝子型間で効果的に捉え、区別できることを示しています。

また、5つの解剖学的キーポイントの二次元座標に基づいて各フレームの社会的相互作用を定義しました。ペアは、対頭距離が0.5mm以上かつ20mm未満、そして方向差が30°^28、29、30、³¹を超える場合、同時に社会的関与とみなされました。したがって、各ペア(1遺伝子型あたり6ペア)で社会的交流に費やす時間の割合を測定しました。私たちの方法は図6に示されるように、ハエの社会的行動を確実に測定できます。W1118およびCSバエの平均社会比は、6つの独立した再現実験を通じてそれぞれ0.270±0.001、0.252±0.005であり、異なる実験群間での強い再現性を示唆しています。また、両野生型バエ系統間で社会的な比率に有意な差がないことも結果と一致しています。

図2:代表的なキーポイント検出結果。 自動姿勢推定により、フレームごとに各フライのあらかじめ定義された解剖学的キーポイントがすべて特定されました。重ねたマーカーは、自然な社会的相互作用における正確な複数回のハエ追跡を示しています。 この図の拡大版はこちらをクリックしてご覧ください。

図3:解析のワークフロー。 主なワークフローは前処理、データ準備、モデルトレーニング、検証で構成され、最終的にショ ウジョウバエの二次元座標を得て、その後GUIベースの解析を行います。 この図の拡大版はこちらをクリックしてご覧ください。

図4:代表的な活動ヒートマップとw1118の飛行運動軌跡。この図の拡大版はこちらをクリックしてご覧ください。

ヒートマップは、アリーナ内の累積空間占有率を10分以上示しており、各w1118フライの好ましい活動ゾーンを示しています。重ねられた軌道は、座標時系列から再構築された個々の移動経路を示しています。

図5:カントン-S(CS)フライの代表的な活動ヒートマップおよびロコモーション軌跡。この図の拡大版はこちらをクリックしてご覧ください。

ヒートマップは、自由な相互作用中の各CSハエの空間占有分布を10分間表示します。再構築された軌跡は移動範囲と経路構造を強調し、w1118の行動パターンとの比較を可能にします。

図6:野生型ハエの社会性比。 チャンバー内で10分後の社会的行動の定量化。各遺伝子型の6組のペアを小さなアリーナで行い、社会的接触の割合を算出します。W1118バエとCSバエの社会比値はそれぞれ0.270±0.001、0.252±0.005でした。データは平均標準差±提示されます。統計比較は、ペアなしの両側学生t検定を用いて行われました。 この図の拡大版はこちらをクリックしてご覧ください。

補足ファイル1。プロトコルを実行するために必要なすべてのコーディングファイル。このファイルをダウンロードするには、こちらをクリックしてください。

補足ファイル2。スタンドアロンGUIアプリケーションこのファイルをダウンロードするにはこちらをクリックしてください。

補足ファイル3。Pythonの要件はこちらをクリックしてこのファイルをダウンロードしてください。

Discussion

本研究は、機械学習に基づくポーズ推定がショウジョウバエにおける細かい社会的相互作用を測定するスケーラブルで信頼性の高い方法を提供することを示しています。重心ベースのアプローチ^{15、16、17、18}の限界を克服し、5つの解剖学的キーポイントを自由に相互作用させて追跡することで、体の軸から得られる角度情報や頭部ポイントから推定される頭部間距離を取得できます。 我々の技術は、各映像フレーム内のハエの重心座標を追跡して移動経路を把握し、5点ランドマークを使って頭部の向きを推定することで、空間的な占有パターンや動きの軌跡を再構築できます。w1118株とCanton-S株の両方で観察された安定したキーポイント検出は、このパイプラインが運動動態の自然な変動に対して堅牢であり、下流の行動分類の再現可能な基盤を提供していることを示しています。これらの能力は、社会的行動における内部状態や文脈情報を符号化する細かい運動要素を解析するために不可欠です ^8,9。

一貫した結果を保証するためには、いくつかの方法論的要素が不可欠であることが判明しました。照明システムの熱と照明強度は行動表現に有意に影響を与え、環境要因がハエの社会的および運動活動に影響を与えるという以前の発見と一致しています(^32,33)。実験で経験的に調整された焦点距離、コントラスト、ガンマ線などのイメージングパラメータも姿勢推定の精度に影響を与え、高速行動記録には急速な動きを捉えるために慎重な光学的キャリブレーションが必要であるという以前の発見と一致^{しています。}行動の変動性は取り扱い手技の影響も受けており、CO₂麻酔は社会的相互作用と運動に定量的な変化をもたらし、麻酔による行動変化を示す以前の論文と一致しています(36,37,38)。このステップは特に重要で、麻酔が不十分な場合、ハエがチャンバーに入れられた後に意識を取り戻して逃げ出すことがあります。逆に、十分な麻酔があれば、ハエは回復する十分な時間を与えなければなりません。適応が不十分だと後で動く動機が減り、その後の分析に大きな影響を与えます。

パイプラインの強さにもかかわらず、いくつかの制約が残っています。ポーズ推定の精度は注釈の品質に敏感であり、小さなラベル付けの誤りでも再構築軌道の歪みに影響する可能性があります。この問題は他のポーズ推定フレームワーク^20,34でも以前に観察されています。照明、背景テクスチャ、ハエのひずみの変化によるドメインシフトはモデルのパフォーマンスを低下させる可能性があり、定期的な再学習やデータセットの拡張が必要となります。さらに、5%以上の重要点フレームが検出されない実験は除外するか、反復モデルの改良に組み込むべきです。厳格なバージョン管理(補足ファイル3に記載されている通り)も計算再現性のために必要であり、プログラム依存関係の違いから一貫性のない出力が生じることがあります。

将来の改善には、自動キャリブレーション手順、実験条件をまたぐモデルの一般化を強化するドメイン適応戦略、手動注釈の必要性を減らす自己教師あり学習の統合などが含まれる可能性があります。画像パラメータ、環境要因、モデルトレーニング設定の報告を標準化することで、ラボ間の再現性がさらに向上します。これらの要素を総合的に見て、機械学習に基づく行動定量化の利点と欠点を浮き彫りにし、ショ ウジョウバエ の社会行動研究における姿勢推定手法のさらなる改善に向けたロードマップを提供します。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
アガー	BioFroxx	8211GR500
カメラ(MV-CU013-A0UC)	Hikvision	MV-CU013-A0UC
二酸化炭素	Messer	124-38-9
無水D(+)-グルコース	BioFroxx	1179GR500
ドロソフィラナローバイアル（ファルコンチューブ）	Biolgix	51-0500
エタノール	Chron Chemicals	64-17-5
LEDパネル	/	/	カスタムメイド
メチルパラベン	Sigma	99-76-3
ポリエチレンプレート	/	/	カスタムメイド
Python	/	バージョン3.6
ショ糖	DaMao	57-50-1
透明アクリルプレート	/	/	カスタムメイド
酵母	Angel	100004237033