Method Article

神経行動学的埋め込みからの自然行動の解読

DOI:

10.3791/68668

October 3rd, 2025

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

このプロトコルは、自然主義的な文脈で脳のコーディングを理解するための高度な計算神経行動学的手法に基づく統合フレームワークを提供します。

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

動物は豊かでダイナミックな脳活動を通じて自然環境と関わります。神経集団のダイナミクスが自然主義的な行動をどのようにコード化するかを理解することは、システム神経科学における基本的な課題のままです。ディープラーニングベースの行動分析とミニチュア蛍光イメージングの最近の進歩により、脳が自然な行動をどのようにコード化するかを調査するための新しい道が開かれました。ここで、この研究は、社会行動アトラス(SBeA)、ミニチュア二光子顕微鏡(mTPM)、および補助変数(CEBRA)を使用した高次元記録の一貫した埋め込みを組み合わせて、脳のダイナミクスから複雑な行動を解読する統合された実験および計算フレームワークを提示します。本研究では、自由に動くマウス間の自然主義的な社会的相互作用をモデルシステムとして使用し、同時神経イメージングと並行して高解像度の行動アノテーションを可能にします。このフレームワークには、正確な行動姿勢推定、同期されたデュアルマウス追跡、神経埋め込みアライメント、および神経主成分からの直接の行動特徴のデコードが含まれます。この研究は、このアプローチが3のデコード精度を達成することを示しています。姿勢± 1.5 ピクセル、動物全体のモチーフ デコードに 89 ± 6% の精度を実現し、その堅牢性と一般化可能性を強調しています。この方法は、脳の活動が構造化された行動状態をどのように反映するかを調査するための強力なツールを提供し、自然主義的な神経コーディング原理の将来の研究の基礎を築きます。

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

このフレームワークは、自然主義的な実験環境で自由に動く動物から行動および神経画像データをキャプチャして解読するように設計されています。これは、深層学習ベースの姿勢推定および行動分類方法である SBeA1、小型蛍光イメージング技術 mTPM2、および対照学習ベースの神経行動学的埋め込みアルゴリズムである CEBRA3 の 3 つの主要なコンポーネントで構成されています。最近の研究では、自由に動く動物における神経行動学的プロセスの複雑さが強調されており、これは頭固定実験パラダイムで観察されたものを上回っています4,5。しかし、技術的な制限とばらつきにより、自然の行動のより広範な調査へのこれらのアプローチの広範な適用が妨げられています。このプロトコルは、幅広い研究室の自然主義的な文脈で収集された行動および神経データへのアクセスを保証する、安定した統合フレームワークを提供します。

動物が自然環境を自由に動くことを考えると、このフレームワークには、姿勢の正確な追跡を実現するために、深層学習ベースの姿勢推定が組み込まれています6,7。従来の画像処理ベースの追跡方法は、深層学習ベースのアプローチと比較して、手足や足のダイナミクスなどの微細な動きをキャプチャするには不十分です8。自由に動く動物が示す多様で複雑な行動は、事前定義された行動カテゴリーが自然な行動表現型10の全範囲を網羅できないことが多いため、教師付き行動分類方法9に課題を提起します。その結果、教師なし学習ベースの分類方法は、自然主義的な設定での行動の分析に適しています1。それらは、本質的な構造的類似性に従って連続的な行動を離散的なサブセカンドモチーフに包括的に分解することができ、データ駆動型クラスターを通じて一貫した定義が与えられます。

自由に動く動物の脳イメージングには、単一ニューロン活動の広範な変動性を捉える必要があります4,5。自由に動く動物における電気生理学的記録は、主に閾値以下の活動を持つニューロンを検出する能力に限界があります11。さらに、単一光子顕微鏡は解像度とコントラストが低いため、イメージングセッション全体で一貫したニューロンの同一性を維持することが困難になります12。mTPMは、単一光子顕微鏡と比較して優れた解像度とコントラストを提供し、自然な行動の神経コーディングを調査するためのより効果的なツールになります2,13,14,15

行動と神経データの間の堅牢なマッピングを確立するには、それらの共有情報構造を明らかにできる方法が必要です16。主成分分析(PCA)17、t分布確率的近傍埋め込み(t-SNE)18、一様多様体近似投影(UMAP)19などの従来の次元削減技術では、共通の特徴空間内に行動データやニューラルデータを効果的に埋め込むことはできません。対照的に、CEBRAなどの深層学習ベースの埋め込みアプローチは、教師ありフレームワークと自己教師ありフレームワークの両方で複数のデータモダリティを統合し、高品質の潜在表現を生成します3。近年、さまざまな代替方法が登場していますが20,21,22、この提案されたフレームワークは、市販されているか、包括的なチュートリアルによってサポートされている確立された方法を組み込むことにより、実用的な応用を優先します。

最近の研究 4,5 と比較して、このフレームワークは 3 つの重要な進歩をもたらします。まず、行動分類における人間の偏見を排除します。これまでの研究は、特にアノテーターが疲労を経験するため、労働集約的で一貫性がなくなりやすい手動行動ラベリングに依存していました 23,24,25。対照的に、このフレームワークは教師なし行動分類を採用しており、定義を割り当てる前に行動モチーフを客観的に分解およびクラスタリングすることにより、行動パターンの自然な構造を維持します26,27。第二に、mTPMを使用すると、単一ニューロンレベルでより複雑なニューロンダイナミクスをキャプチャできます。この方法論的利点により、このフレームワークの適用範囲が、閾値以下のコーディングに関与するものを含む、多様な神経集団からの複雑な自然行動の解読に拡張されます28。第三に、このフレームワークは、UMAPを使用して各モダリティを個別に埋め込んだり、サポートベクターマシンを使用して神経活動と行動の間に固有のダイナミクスを無視して厳密なマッピングを課したりするのではなく、行動データと神経データを統一された表現空間に統合します4,5。この共同埋め込みアプローチにより、行動と脳活動の関係をより包括的で生物学的に意味のある表現することが保証されます。

このフレームワークは、自然主義的な実験条件で自由に動く動物からの行動および神経データの記録と解読を含む研究プロジェクトに適しています。現在の実装はマウス研究用に最適化されていますが、他の動物モデルに適応させるには追加の開発が必要になる場合があります。このフレームワークで使用されるハードウェア コンポーネントは市販されているため、一方では全体的なコストが比較的高くなる可能性があります。一方、この商用利用可能性により、物流上の問題のトラブルシューティングに費やす時間が大幅に短縮され、安定した信頼性の高い結果を効率的に取得できるようになります。

このプロトコルは、再現性があり、小動物のイメージングと行動追跡のための設備を備えた神経科学研究所がアクセスできるように設計されています。この完全なシステムは、市販のmTPMデバイスとマルチアングルの動作取得セットアップを統合しています。一般的な神経記録は、512 × 512 ピクセルの解像度で 4.84 Hz で取得され、行動データは毎秒 30 フレームでキャプチャされます。データ同期は、前処理中のTTLパルスアライメントによって実現されます。トレーニングとデコードは、GPU を搭載した標準ワークステーション (NVIDIA RTX 3090 など) で実行でき、パイプライン全体には実験ごとに約 100 GB のストレージが必要です。現在の実装は自由に動くマウス向けに最適化されていますが、ワークフローのモジュール設計により、動物のサイズと可動性に基づいて追跡キャリブレーションとイメージングパラメータを調整することで、他の種に適応できます。これらの実用的な詳細は、さまざまな実験設定にわたるプロトコルの適応性と再現性をサポートします。

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

中国科学院深セン先端技術研究所の動物管理および使用委員会は、すべての飼育および実験手順を承認しました。

1. プラットフォームの構築

注:プラットフォームは、mTPMデバイスと3D動作デバイスの2つの主要コンポーネントで構成されています(図1A)。mTPMデバイスは、mTPMイメージングと行動データのリアルタイム同期を容易にし、自由に動く動物から高品質なデータを効率的、安定的、継続的に取得することができます。3D行動装置には、動物の行動の全容を捉える4台のカメラと、3D動物のポーズを再構築するための自動キャリブレーションモジュールが搭載されています。どちらのデバイスも、それぞれのバージョンに同期モジュールを組み込む必要があります。

  1. デバイス接続
    1. 3D 動作デバイスの外殻を取り外します。4台のカメラと自動キャリブレーションモジュールを含む3D動作デバイスの残りの部分を、mTPMデバイスの行動記録チャンバー内に配置します。
    2. 3Dビヘイビアデバイスの同期モジュールのユニバーサルシリアルバス(USB)ケーブルを3Dビヘイビアデバイスのワークステーションに接続します。
    3. mTPMデバイスの同期モジュールを、1本のサブミニチュアバージョンA(SMA)ケーブルを介してmTPMデバイスのコントローラに接続します。
    4. 3D動作デバイスの同期モジュールのトランジスタ-トランジスタロジック(TTL)出力ポートを、1本のSMA-Bayonet Neill-Concelman(BNC)変換ケーブルを介してmTPMデバイスの同期モジュールのTTL入力ポートに接続します。
  2. mTPM フレームのタイムスタンプ記録
    1. mTPM デバイスのすべての電源をオンにします。
    2. mTPM記録ソフトウェアとmTPM同期ソフトウェアを起動します。
    3. mTPMフレームの保存パスと同期タイムスタンプを設定します。
      注: パスの名前には、英語以外の文字や特殊文字を使用しないでください。
    4. mTPM録画ソフトの録画フレーム数を設定します。推奨されるフレーム数は 6000 で、同期デバッグ手順を完了するのに十分です。
    5. mTPM同期ソフトウェアのすべてのチャネルを選択します。
    6. mTPM記録ソフトウェアからmTPMの記録を開始します。録音を開始する前に、mTPM を光のオーバーバーニングから保護するために、部屋内の照明をすべてオフにしてください。mTPM同期ソフトウェアは、ユーザーが記録を開始すると自動的に実行されます。
    7. mTPM フレームのタイムスタンプが mTPM 同期ソフトウェアによってキャプチャされているかどうかを確認します。
      メモ: mTPM 同期ソフトウェアに表示される mTPM フレームのタイムスタンプは、シャープな TTL パルスです。イメージングの各フレームは、デフォルトで 4.84 Hz のシャープな TTL パルスをトリガーします。ソフトウェアパネルにパルスが表示されない場合は、2つの正常な問題があります。1 つ目は、mTPM デバイスのコントローラーのドライバーがタイムスタンプ キャプチャをサポートしていないことです。タイムスタンプキャプチャをサポートするようにドライバーのバージョンを改善すると、最初の問題を解決できます。2つ目は、SMAケーブルの接続不良です。SMA コネクタがしっかりと締められていることを確認します。タイムスタンプを確認する前に、1.1.2 に戻ってから、段階的に試してください。
    8. 録音が停止するまで待ちます。mTPMフレームの.tifファイル、.tdmsファイル1つ、タイムスタンプの.tdms_indexファイル1つが保存されているか確認してください。
  3. 3D行動装置の4台のカメラのタイムスタンプ記録
    1. カスタマイズしたカメラ同期スクリプトで、ビデオと動作のタイムスタンプの保存パスを設定します。
      メモ:カスタマイズされたカメラ同期コードは https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py にあります。
    2. mTPM 同期ソフトウェアを起動します。mTPM 同期タイムスタンプの保存パスを設定します。
    3. mTPM同期ソフトウェアの記録を開始します。カスタマイズしたカメラ同期スクリプトを実行します。
    4. 動作のタイムスタンプが mTPM 同期ソフトウェアによってキャプチャされているかどうかを確認します。
      注:mTPM同期ソフトウェアに表示される動作タイムスタンプは、シャープなTTLパルスです。ビヘイビア ビデオ フレームの記録の 30 フレームごとに、1 つのビヘイビア タイムスタンプが mTPM 同期ソフトウェアに送信されます。動作のタイムスタンプは、3D 動作デバイスのワークステーションにも保存されます。
    5. 3Dビヘイビアデバイスのビヘイビアビデオの.aviファイルが4つ、ビヘイビアタイムスタンプの.txtファイルが1つ、mTPMワークステーションのビヘイビアタイムスタンプの.tdmsファイルと.tdms_indexファイルが1つ保存されているか確認します。
  4. 3D動作デバイスのカメラキャリブレーション
    1. 4台のカメラの撮影角度を調整します。4台のカメラは、オープンフィールドの基部全体を包括的にカバーすると同時に、視野をオープンフィールドの最も遠い境界から少なくとも20cm上に拡張して、マウスが立ち上がっているインスタンスを完全にキャプチャする必要があります。
    2. キャリブレーションモジュールを撮影エリアの中央に配置します。カメラキャリブレーションソフトウェアを実行します。カメラキャリブレーションソフトウェアを実行する前に、すべてのライトをオフにしてください。
      注: 4台のカメラが、キャリブレーション画面に表示される移動チェックボードのフレームをキャプチャします。カメラのキャリブレーションは、Zhangのキャリブレーション方法29に基づいています。
    3. カメラキャリブレーションソフトウェアを実行すると、動物の3Dポーズ再構成用のカメラ投影マトリックスを含む1つの.matファイルが保存されます。システム同期ステップでの動作データのインデックス作成はキャリブレーション .mat ファイルに依存しているため、システム全体の同期ステップの前にカメラのキャリブレーション ステップが終了していることを確認してください。
  5. システム全体の同期
    注:このステップの前に、mTPMフレームと3D動作デバイスからのタイムスタンプがmTPM同期ソフトウェアで個別に受信できることを確認してください。
    1. mTPM デバイスと 3D 動作デバイスのすべての電源をオンにします。
    2. mTPM 録画ソフトウェア、mTPM 同期ソフトウェア、およびカスタマイズされたカメラ同期スクリプトを起動します。
    3. 手順1.3.1を参照して、パスとパラメータを設定します。mTPM記録ソフトウェアからmTPMの記録を開始します。
    4. カスタマイズしたカメラ同期スクリプトを実行します。mTPM 同期ソフトウェアが 3D 動作デバイスからタイムスタンプを受信できるように、mTPM フレームの記録の開始が動作記録スクリプトの実行より前にあることを確認します。mTPM フレームの記録終了時刻を動作記録の時間よりも長く設定して、mTPM 同期ソフトウェアが動作タイムスタンプを損失なくキャプチャできるようにします。
      注:mTPMフレームの記録時間は、動作記録の5分より長いことをお勧めします。たとえば、ユーザーが 15 分間の動作を記録する場合は、mTPM フレームの数を 4.84 x (15+5) x 60 = 5808 フレームに設定する必要があります。
    5. 録音が停止するのを待ちます。記録後、1 つの mTPM フレーム .tif ファイル、2 つの mTPM 同期 .tdms ファイル、2 つの .tdms_index ファイル、4 つの動作ビデオ.aviファイル、および 1 つの動作タイムスタンプ .txt ファイルがあります。
    6. カスタマイズした同期コードを実行して、mTPM フレームと動作ビデオを整列させます。カスタマイズされた同期コードは https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m にあります。
      1. このスクリプトを実行する前に、次のようにファイルを手動で整理します。
        ----\Root path # すべてのデータを保存するパス
        --------\behavior_all # 行動データを保存するパス
        ------------\A-B-C-D-E-caliParas.mat # カメラキャリブレーションファイル
        ------------\A-B-C-D-E-camera-1.avi # カメラ1からの行動映像
        ------------\A-B-C-D-E-camera-2.avi # カメラ 2 からの動作ビデオ
        ------------\A-B-C-D-E-camera-3.avi # カメラ 3 からの動作ビデオ
        ------------\A-B-C-D-E-camera-4.avi # カメラ 4 からの動作ビデオ
        ------------\A-B-C-D-E-event.txt # 3D行動デバイスからの行動タイムスタンプ
        ----\tpm_suite2p # mTPMデータを保存するパス
        --------\sep # mTPMフレームとタイムスタンプを保存するパス
        ------------\A-B-C-D-E-event # タイムスタンプのアライメントを行うパス
        ----------------\beh.tdms # 動作チャネル .tdms ファイル
        ----------------\beh.tdms_index #The 動作チャネル .tdms_index ファイル
        ----------------\tpm.tdms # mTPM チャネルの .tdms ファイル
        ----------------\tpm.tdms_index # mTPM チャネル .tdms_index ファイル
        ------------\A-B-C-D-E-tpm # mTPMフレームを保存するパス
        ----------------\F.tif # 各記録の mTPM フレーム
        --------\process # ニューラルトレースを抽出するパス
        ------------\C # 各マウスのパス
        ----------------\F.tif # 各マウスのmTPMフレーム
        A から G は名前フィールドの定義であり、ここで
        Aは実験グループ、例えば自由、
        B はビデオのシーケンスを意味し、たとえば seg1、
        Cは動物の同一性を意味し、例えば1tpmss、
        D は、インタラクション パートナーを意味し、たとえば、1wt、
        E は実験日を意味し、たとえば 20220226、
        F は、mTPM 記録フレーム チャンク (チャンクあたり 5000 フレーム) を意味します (たとえば、ソーシャル 1)。
        注:3D行動追跡システムのフレームレートは30Hzですが、mTPMのフレームレートは4.84Hzです。達成可能な最大同期精度は最低フレーム レート (4.84 Hz) によって制約されるため、同期の時間分解能は約 206 ミリ秒です。動作タイムスタンプは参照として機能し、各 mTPM フレームは最も近い動作時点に調整されます。動作タイムラインに関する連続する mTPM フレーム間の間隔は、段階的なアプローチを使用して補間されます。

2. 神経行動学的データの記録

注:神経行動学的データの記録プロセスは、4つの主要なステップで構成されています(図1B)。

  1. mTPMの取り付け
    注: mTPM マウントの詳細は mTPM のチュートリアルに含まれているため、ここでは主要な手順のみを紹介します。
    1. 頭蓋窓を準備します。
      注:頭蓋窓の準備には、主にウイルスの注入、カバーガラスの移植、および金属板の固定が含まれます。さまざまな研究で画像部位が異なるため、頭蓋窓の準備の詳細も異なります。この場合、頭蓋窓の準備はアウトソーシングサービスによって行われます。サンプルデータの画像脳領域は、一次体性感覚皮質(S1)です。
    2. マウスストレストナーをmTPMマイクロマニピュレーターに固定します。マウスのヘッドを金属板を通して拘束器に固定します。
    3. mTPMで蛍光を見つけます。mTPMイメージングをオンにする前に、すべてのライトをオフにしてください。次の手順を実行する前に、mTPM をホルダーに固定します。
      1. カルボマーアイジェルを頭蓋窓の上部に1滴加えます。頭蓋窓がmTPM対物レンズの下に揃ったら、モーションプラットフォームを介してマウスを動かします。
      2. マイクロマニピュレーターを垂直に動かして、撮像面を見つけます。マイクロマニピュレーターを面内に移動して、イメージ面を中央に配置します。
    4. 上部ベースをmTPMに固定します。下のベースを上のベースと頭蓋窓に接着します。
      1. 構造の安定性を確保するには、2つのベースとマウスのヘッドに取り付けられた金属板ブラケットの間の隙間を埋め、高性能アクリル構造用接着剤で接着します。接着剤を30分間硬化させてから、ピンセットでベースをそっと探って接着の安定性を評価します。必要に応じて、確実な固定が達成されるまで追加の接着剤を塗布します。
        注: ベースと mTPM 自体が直接付着しないようにすることが重要です。上下のベースは小さなアルミフレームです。上部ベースは、mTPMハウジングの下部輪郭にぴったりとフィットするようにカスタムメイドされています。複数の高さオプションを備えた下部ベースは、上部ベースと頭蓋窓の間のギャップを埋めるために使用されます。すべての下部ベースは、機械的互換性を確保するために上部ベースと同じ平面寸法を持ち、頭蓋骨から上部ベースの距離の変化に合わせて高さのみが異なります。
    5. ベースチャンバー内にカルボマーアイジェルを1滴加えます。mTPMでニューロンの蛍光を確認します。ニューロンの蛍光がはっきりと見えない場合は、頭蓋ドリルを使用して接着剤を取り除き、ベースを分離し、その後、蛍光の透明性が得られるまで上記の手順を繰り返します。
    6. mTPMの繊維と頭蓋窓の間にアルミホイルをテープで固定します。
      メモ: この手順は、録画プロセス全体を通じて適切な遮光を維持するためのものです。アルミホイルと粘着テープの使用を最小限に抑え、全体の軽量化を実現しました。
    7. 部屋の照明をオンにして、mTPM フレームの透明度をテストします。
  2. マウスをオープンフィールドに置く
    注: このステップでは、ファイバーと mTPM の適切な重量バランスを確保しながら、マウスをオープンフィールドに配置します。
    1. 少なくとも10個のヘリウム風船を膨らませ、綿糸で別々に結びます。マウスレストレストナーから金属板を取り外します。
    2. 片手でマウスの尻尾を持ちます。もう一方の手でmTPMファイバーをサポートします。
    3. マウスを開いたフィールドにそっと配置します。ヘリウム風船を繊維に綿麻ひもで吊り下げます。マウスが自由に動けるようになり、制約なくオープンフィールドを探索できるようになるまで、バルーンの数を調整します。
      注:バルーンの最適な数は、マウスが地面に固定されたままで、前肢が上向きの浮力によって持ち上げられず、動物が自然な頭の姿勢を維持し、自発的に直立できるようにmTPMの重量を十分に相殺しているときに決定されます。綿麻ひもは、マウスの自由な動きに十分な繊維長を確保するために、オープンフィールドより上の高さで結ぶ必要があります。綿麻ひもは、オープンフィールドチャンバーの上端とほぼ揃った光ファイバーの高さで結ばれました。この例では、このステップが完了すると、未処理のマウスがオープンフィールドに導入され、自由な社会的相互作用が可能になります。
    4. 外部からの妨害を最小限に抑えるために、mTPMエンクロージャのドアを閉めます。
  3. mTPM記録をオンにします。
    1. mTPM記録ソフトウェアとmTPM同期ソフトウェアを起動します。プラットフォーム確立ステップを参照して、パスとパラメータを設定します。
    2. mTPM記録ソフトウェアからmTPMの記録を開始します。同期ソフトウェア内の各2光子フレームに対応するタイムマーカーの存在を確認します。
    3. 2 光子画像のコントラストが影響を受けないかどうかを評価し、マウスの移動が記録されたフレームの安定性を損なわないことを確認します。問題が検出された場合は、2 光子イメージングでタイム マーカーが正確に位置合わせされた鮮明なフレームが生成されるまで、同期手順と mTPM 実装プロセスを繰り返します。
  4. 動作記録のオンにする
    1. カスタマイズしたカメラ同期スクリプトを開始します。
      メモ:カスタマイズされたカメラ同期コードは https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py にあります。
    2. プラットフォーム確立ステップを参照するパスとパラメータを設定します。
    3. カスタマイズしたカメラ同期スクリプトを使用して、動作の記録を開始します。mTPM 同期ソフトウェア内の各 30 個の動作フレームに対応するタイム マーカーの存在を確認します。
    4. カメラからの 4 つのビデオ ストリームが適切に同期されているかどうかを確認し、3D 行動追跡システムのビデオ キャプチャ パラメーターを確認します。
      注:上記の設定では、カメラは64×0〜480ピクセルのフレーム解像度、30フレーム/秒のフレームレート、RGBフレーム、および自動露出を使用します。自動露出により、カメラは周囲の照明条件に基づいて明るさを動的に調整できます。露光時間は、特に長時間の露光が必要な暗い場所では、達成可能なフレーム レートに直接影響するため、フレーム レートが低下する可能性があります。30Hzで安定したフレーム取得を行うには、背景照明をコントロールして露光時間を最小限に抑えることが重要です。カメラのゲインとビニングの設定は、録画中ずっとデフォルト値に保たれます。
    5. 事前定義された期間に達すると、行動記録は自動的に停止します。動作記録が完了したら、mTPM の記録と同期を手動でオフにします。これらの手順に従うことで、神経データと行動データの同時取得の 1 回の試行が完了します。

3. 神経行動学的データの前処理

注:上記のすべての手順が正常に完了すると、3つのカテゴリのデータファイルを取得する必要があります:2光子イメージングフレーム(.tif)、4つの動作ビデオ録画(.avi)とカメラキャリブレーションファイル(.mat)、および後続のデータ前処理用の2つの同期タイムスタンプファイル(.tdms)。これらのデータの名前は手動で変更し、手順 1.5.7 を参照するフォルダーに入れる必要があります。

  1. mTPMデータの前処理
    1. suite2p30を介してmTPMフレームから神経信号の軌跡を抽出します。再現性を確保するために、suite2p のパラメーターをデフォルト値に保ちます。フレームレートは、mTPM取得設定に合わせてのみ調整してください。
      注:後続のステップには信号処理と品質管理が含まれるため、この段階でsuite2pパラメータを広範囲に微調整する必要はありません。データセット間で一貫性を維持することがより重要です。
    2. カスタマイズしたコードを実行して、mTPM フレームと動作ビデオの間のタイムスタンプを調整します。
      注: このスクリプトは、動作イベントのタイムスタンプを対応する mTPM 取得時間に合わせます。各記録のインデックスマッピングを生成して保存し、行動と神経データの同期分析を可能にします。このカスタマイズされたコードは https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m にあります。
    3. カスタマイズしたコードを実行して、suite2p 出力からデータ形式を変換します。
      注:このスクリプトは、関連するフレームインデックスを識別してマッピングすることにより、個々の動物のmTPMデータを抽出して再編成します。対応する神経活動トレースを選択し、それらを標準化されたデータ形式に再構築することで、セグメント化された記録の合理化された下流分析を可能にします。このカスタマイズされたコードは https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step2_separate_tpm_data.m にあります。
    4. カスタマイズしたコードを実行して、ニューラル信号をリサンプリングし、動作フレームに合わせます。
      注: このスクリプトは、mTPM データの時間的リサンプリングを実行して、神経活動トレースを行動タイムスタンプに合わせます。以前にセグメント化されたニューラル データと同期インデックスをロードし、それに応じてリサンプリングされたトレースを抽出し、さらなる信号処理のために出力を標準化された形式で保存します。時間的リサンプリングの方法は段階的補間です。このカスタマイズされたコードは https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step3_resample_tpm_data.m にあります。
    5. カスタマイズされたコードを実行して、ニューラルの軌跡を絞り込みます。
      1. 段階的補間はリンギングアーティファクトと高周波ノイズを引き起こす可能性があるため、これらのアーティファクトを軽減するために、通過帯域周波数が2Hz、阻止帯域周波数が2.2Hzの等リップルローパスフィルタを設計します。フィルターの次数は61です。
      2. その後、Weijian Zongのノイズ除去法を使用して、再サンプリングされたmTPMカルシウムトレース13を精製します。パーセンタイルおよび局所分散基準を使用して局所ベースラインを推定し、ΔF/F信号を計算します。ΔF/Fは、ベースラインに対する蛍光強度の相対的な変化を表す無次元尺度であり、カルシウムイメージングにおける神経活動を定量化するために一般的に使用されます。分子(ΔF)と分母(F)はどちらも任意の蛍光単位であるため、結果のΔF / F値は物理単位を持たず、比率またはパーセンテージで表されます。信号が極端にフラットまたは飽和したセルは、信号範囲のしきい値に基づいて除外されます。得られた高品質の神経活動トレースは、下流の分析のために保存されます( 図2A図3Aおよび図4A)。
        注: カスタマイズされたコードは、https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step4_filter_tpm_data.m で入手できます。
  2. 動作データの前処理
    1. ドリフト防止ポーズトラッカー(ADPT)7を使用して、ビデオ録画から行動ポーズを抽出します。
      注:ADPTは、DeepLabCut6 やSLEAP22などの畳み込みニューラルネットワークベースの手法で観察される頻繁なポイントドリフトの問題に対処します。ADPTは、ファイバーの動きによって引き起こされるポイントドリフトを効果的に低減するため、自由に動く動物のmTPMイメージングなどの神経記録デバイスを含むシナリオに特に適しています。ADPTのリポジトリは https://github.com/tangguoling/ADPT にあります。
      1. 実験セットアップには2匹のマウスが含まれ、mTPMがそのうちの1匹の識別子として機能することを考慮して、2つの独立したシングルマウスADPTモデルをトレーニングして、各マウスの姿勢を個別に推定します。
      2. 各モデルについて、鼻、左耳、右耳、首、左右前肢、左右後肢、左右前足、左右前足、左右前足、背中、尾根、尾中央、尾端を含む16のキーポイント1101531に手動で注釈を付け、15分間のビデオでカメラビューごとに手動でラベルを付けます。
      3. 既定のパラメーターを使用して ADPT モデルをトレーニングします。トレーニング パラメーターと予測パラメーターの詳細は、https://github.com/tangguoling/ADPT/blob/main/code/config.yaml と https://github.com/tangguoling/ADPT/blob/main/code/config_predict.yaml にあります。
    2. 3D動物のポーズを再構築します。トレーニングが完了したら、2 つのモデルを独立して適用して、異なるカメラでキャプチャされた各ビデオから各マウスの姿勢を予測します。結果のデータを 1 つのテーブル ファイルにマージして、さらに処理します。
    3. カメラキャリブレーションファイル32と組み合わせて三角測量を使用して、行動軌跡の3D再構成を実行します。再構成に続いて、その後の分析のために、対象マウス(mTPMを運ぶマウス、 図2B図3B図4B)と対象マウス(相互作用する同種マウス、 図2C図3C図4C)の移動軌跡を取得します。
    4. 社会的相互作用研究では、個人間の距離は社会的ダイナミクスの重要な指標として機能します33。対応する身体点間のペアワイズユークリッド距離を使用して、2匹のマウス間の相対的な身体距離を計算し、さらなる社会的行動分析のための定量的尺度を提供します( 図2D図3D図4D)。
    5. 行動モチーフを分解・分類する。
      注: 上記の手順ではきめ細かなポーズの軌跡が得られますが、動物が何をしているのかはまだわかりません。行動とは、動物が特定の期間にどのように動くかを指し、行動を割り当てるには、そのような期間ごとに意味のある人間が解釈できるラベルを付ける必要があります。通常の方法は、人間の注釈を使用することです。
      1. 行動記録は長すぎるため、手動でラベルを付けるには長いことが多いため、機械学習手法を使用します。
        注:教師あり学習は、事前定義されたラベル付けルールに準拠しており、人間のアノテーターは選択した行動セグメントにラベルを割り当て、それを使用して機械学習またはAIモデルをトレーニングして、データセット全体のラベルを予測します。このアプローチは行動分類の効率を向上させますが、人間が解釈できるラベルのセットが限られているため、複雑で自然主義的な行動を扱う場合に特に重大な制限があります。自然主義的行動の豊富な変動性を捉えるために、教師なし行動分類法が開発されました。これらのアプローチは、時間を超えた行動モチーフ間の本質的な類似性を特定し、それらを低次元の特徴空間内にクラスター化することで、より効率的で偏りのない人間の解釈を可能にします。本質的に、教師あり分類は、行動認識を導くために事前定義された人間のラベルに依存していますが、教師なし分類は事前のラベル付けなしで潜在的な行動構造を明らかにし、複雑な自然主義的ダイナミクスを捉える際の柔軟性を高めます。
      2. 自然主義的行動の枠組みの中で、行動セグメンテーション用に設計された教師なしクラスタリング手法であるBehavior Atlas(BeA)10 とSocial Behavior Atlas(SBeA)1 ( 図2E図3E図4E)を使用して、2匹のマウスの行動モチーフを特定します。これらの方法は、動物の行動を、その固有の動的および階層的構造34に基づいてサブセカンドモチーフに分解およびクラスター化し、その後、それらを定義された行動カテゴリに関連付けます。
    6. BeAを用いて個々のマウスの行動モチーフを抽出する。
      1. ノイズを減らすには、500 ミリ秒の時間枠を持つ中央値フィルターを適用します。背中と尾の基部のキーポイントを使用して体のアライメントを実行し、非運動運動の分解を促進し、右前肢、左前肢、右後肢、左後肢のキーポイントを利用して体のサイズの正規化を行います。
      2. 行動分解には、鼻(x、y、z)、左耳(x、y、z)、右耳(x、y、z)、首(x、y、z)、左前肢(x、y、z)、右前肢(x、y、z)、左後肢(x、y、z)、右後肢(x、y、z)、左前足(x、y、z)、左前足(x、y、 z)、右前足(x、y、z)、左後足(x、y、z)、右後足(x、y、z)、背中(z)、尾根(x、z)。
      3. 時間的削減指数を 5 に設定し、クラスタリング解像度を 3 に設定します。初期化にはスペクトルクラスタリングを使用し、帯域幅シグマが30のガウスカーネルを使用します。最小セグメンテーション長と最大セグメンテーション長をそれぞれ 500 ミリ秒と 2000 ミリ秒に設定します。
      4. 動作モチーフの埋め込みには、最近傍を30個、最小距離を0.05にしてUMAPを適用します。分類の安定性を向上させるために、Wardの連鎖とユークリッドのペアワイズ距離を用いた階層的クラスタリングによってモチーフをクラスタリングする。BeA のリポジトリは
      5. SBeAを用いた社会的行動モチーフの同定SBeAの初期化パラメータをBeAで使用されているものと一致するように設定し、次の変更を加えます:中央値フィルターウィンドウサイズを1000ミリ秒に設定し、最小セグメンテーション長を2000ミリ秒に増やし、社会的行動分解のために最大セグメンテーション長を5000ミリ秒に拡張します。
      6. モチーフ埋め込みには、帯域幅シグマが2のガウスカーネルを適用します。社会的行動クラスターの最終的な数は、16 (下限) から 280 (上限) の範囲です。提示された例では、デモンストレーションの目的で最大の 16 個のクラスターのみが使用されています。SBeAのリポジトリは https://github.com/YNCris/SBeA_release/blob/main/README_SBeA_mapper.md にあります。

4. 神経行動学的データマッピング

  1. マッピングデータセットを準備します。前述の準備に続いて、神経行動学的マッピングには、神経活動、被験者の姿勢、物体の姿勢、身体距離、被験者の行動モチーフ、物体の行動モチーフ、社会的行動のモチーフを含む7つのデータセットが利用可能です。これらのファイルを次のように手動で整理します。
    data path # すべてのデータを保存するパス
    ----\A-B-C-D-E-neu.mat # ニューロン活動
    ----\A-B-C-D-E-pose-tpm.mat # 被写体のポーズ
    ----\A-B-C-D-E-pose-free.mat # オブジェクトのポーズ
    ----\A-B-C-D-E-rel_dist.mat # ボディ距離
    ----\A-B-C-D-E-mov-tpm.mat # 被写体の行動モチーフ
    ----\A-B-C-D-E-mov-free.mat # オブジェクトの動作モチーフ
    ----\A-B-C-D-E-sbea.mat # 社会行動のモチーフ
    フィールド A、B、C、D、E の定義は 1.5.7 と同じです。再現用のデモデータは https://doi.org/10.6084/m9.figshare.29606795.v1 です。
  2. CEBRA を使用してマッピングの埋め込みを作成します。
    注:CEBRAは、埋め込みを構築するために仮説駆動型アプローチと発見駆動型アプローチの両方を統合していることを考えると、さまざまな補助変数に関連する神経表現を明らかにするのに適しています(図5A)。
    1. 異なるモダリティ間での埋め込みを体系的に比較するには、CEBRAモデルのパラメータを標準化します。モデル アーキテクチャでは、バッチ サイズが 1024、学習率が 0.0001、温度パラメーターが 1 の 10 個のオフセットが採用されています。
    2. 出力ディメンションを 3 に設定し、最大 15,000 回の反復のトレーニングを実行します。類似性メトリックとして余弦距離を使用し、条件変数は時間オフセットが 10 の時間デルタとして定義されます。ニューロン活動データを入力として使用し、補助変数をラベルとして使用して、関節埋め込みを生成します。
  3. ニューロン活動の自己埋め込みには、同じ CEBRA パラメーターを適用しますが、ニューロン活動データのみを入力として使用します。

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

自然な行動の研究は、試験ベースの実験と比較してより複雑です。まず、自然条件では、神経活動と行動の両方に固定されたベースラインがありません。これらの活動は反復的であり、以前の状態の影響を受けるため、神経活動を比較するために特定の行動の開始を調整しても、以前の神経行動学的状態の影響を解きほぐすことができません。第二に、自然行動における神経符号化は、主に母集団レベルで発生します4,5。単一のニューロンで観察される変動性は、ノイズと見なすのに十分なほど大きいです。これを検証するために、本部では神経活動と自然な行動姿勢との相関解析を行いました(図2F図3F図4F)。結果として得られた相関係数行列は、ポーズトレースとのニューロン特異的な対応を明らかにしませんでした。具体的には、神経信号と被験者の姿勢、物体の姿勢、または体間距離の間の相関係数はすべて-0.3〜+0.3の範囲に収まり、一般に弱い相関と見なされます15(図2G図3G図4G)。これらの発見は、自然主義的な条件下では、ポーズ関連情報がニューロン固有の方法でエンコードされていないことを示しています。

これらの要因を考慮すると、このフレームワークは、神経集団レベルで神経行動学的データを取得してマッピングするための客観的なアプローチを提供します。mTPMイメージングは、個々のニューロンの変動性を可能な限り維持します。さらに、ADPTによる深層学習ベースの姿勢推定と、BeAやSBeAなどの教師なし行動分解法を使用することで、豊富な補助変数が生成され、CEBRAは神経集団内の変動性を効果的に解釈できるようになります。

これらの例は、被験者の姿勢、物体の姿勢、身体距離、被験者の行動モチーフ、物体の行動モチーフ、社会的行動モチーフなど、すべての補助変数に共同CEBRA埋め込みが存在することを示しています(図5A)。セッションまたは被験者間での行動モチーフと神経埋め込みの一貫性を検証するために、Procrustes分析35 を3つのマウスペアにわたって使用します(図5B)。CEBRA埋め込みが単位球上に分布していることを考えると、Procrustes解析の回転パラメータのみが有効になりました。自然な挙動のCEBRA埋め込みには明確なベースラインがないため、この部分ではまず、プロクラステス分析を適用する前に、整列するために埋め込みに対してラベルガイド付きアライメントサンプリングを実行し、一貫したアンカーポイントを確保しました。視覚的には、これらの CEBRA 埋め込みはある程度の本質的な一貫性を示し、身体距離と社会的モチーフが最高の整合性を示します。これは、Procrustes アライメントの前後の RMSE の定量化に適合します (図 5C)。次に、ポーズ(図5D)とモチーフ(図5E)の埋め込みデコード精度を比較します。それらの表現は異なりますが、それぞれが高精度でデコード可能です。身体距離のデコードRMSEは、被写体と被写体のポーズよりも大幅に高くなりますが、ADPT7の追跡精度にすぎません。

これらの仮説主導の埋め込みの起源を探るために、CEBRAを介して神経活動の自己組織化埋め込みが生成されました(図5A、右列)。神経埋め込みの形状は、他の関節埋め込みよりも複雑で、さまざまな関節埋め込みのパターンが組み込まれています。さらに、神経埋め込みと関節埋め込みの類似性をプロクラステス変換を使用して比較し、次にそれらの余弦類似性を比較しました(図5F)。コサイン類似性は、対応する時点にわたる整列された埋め込み間の 1 分ごとに導き出されます。

S1 被験者の姿勢の関節埋め込みは、自己組織化された体性感覚入力のエンコードにおける S1 の十分に確立された役割に基づいて、類似性比較のベースラインとして選択されました36。この埋め込みは、オブジェクト関連のモチーフなどの他の変数が同じニューラル空間内でどのように表現されるかを評価するための生物学的に意味のある基準点として機能します。このような比較により、自己関連の体性感覚ベースラインに関して、さまざまな行動次元のエンコーディングの相対的な強度を評価することができます。

本研究では、神経埋め込みのコサイン類似性をベースラインとしてS1被験者の姿勢の関節埋め込みと比較すると、物体モチーフの関節埋め込みが有意に低いことがわかりました。これは、この例における自由な社会的相互作用の15分間の間、被験者マウスのS1神経活動が主にその行動と進行中の社会的相互作用の両方をコード化することを示唆しています。この分析は実証的なケースとして機能しますが、同じ方法論的フレームワークは、たとえば、異なる時間的エポックにわたる埋め込み構造を比較して、ニューラル エンコーディングの動的変化を明らかにすることにより、より詳細な調査に容易に適用できます。

figure-results-1
図1:神経行動学的データを収集する手順。 (A)デバイスの統合。(B)データ記録の操作。(C)記録後の神経信号抽出、2次元姿勢推定、3次元身体軌跡再構成。 この図の拡大版を表示するには、ここをクリックしてください。

figure-results-2
図2:さらなる分析のためのマウス1の前処理データ。 (A)ニューロン活動。(B) 被写体のポーズ。(C)オブジェクトのポーズ。(D)ボディディスタンス。(E)行動モチーフ。上から下に、主体、客体、社会的行動のモチーフです。(F)神経活動とポーズの相関係数行列。左:神経活動と被験者のポーズの相関係数。中心:神経活動と物体の姿勢の間の相関係数。右:神経活動と身体距離の相関係数。相関係数は、各ニューロントレースと各姿勢次元の間にあります。(G)Fの相関係数の分布。ニューロン指標は、神経活動と被験者の姿勢の相関係数に従ってソートされます。略語: N & S = 神経活動と被験者の姿勢、N & O = 神経活動と物体の姿勢、N & B = 神経活動と身体距離、CC = 相関係数。 この図の拡大版を表示するには、ここをクリックしてください。

figure-results-3
図3:さらなる分析のためのマウス2の前処理データ。 (A)ニューロン活動。(B) 被写体のポーズ。(C)オブジェクトのポーズ。(D)ボディディスタンス。(E)行動モチーフ。上から下に、主体、客体、社会的行動のモチーフです。(F)神経活動とポーズの相関係数行列。左:神経活動と被験者のポーズの相関係数。中心:神経活動と物体の姿勢の間の相関係数。右:神経活動と身体距離の相関係数。相関係数は、各ニューロントレースと各姿勢次元の間にあります。(G)Fの相関係数の分布。ニューロン指標は、神経活動と被験者の姿勢の相関係数に従ってソートされます。略語: N & S = 神経活動と被験者の姿勢、N & O = 神経活動と物体の姿勢、N & B = 神経活動と身体距離、CC = 相関係数。 この図の拡大版を表示するには、ここをクリックしてください。

figure-results-4
図4:さらなる分析のためのマウス3の前処理データ。 (A)ニューロン活動。(B) 被写体のポーズ。(C)オブジェクトのポーズ。(D)ボディディスタンス。(E)行動モチーフ。上から下に、主体、客体、社会的行動のモチーフです。(F)神経活動とポーズの相関係数行列。左:神経活動と被験者のポーズの相関係数。中心:神経活動と物体の姿勢の間の相関係数。右:神経活動と身体距離の相関係数。相関係数は、各ニューロントレースと各姿勢次元の間にあります。(G)Fの相関係数の分布。ニューロン指標は、神経活動と被験者の姿勢の相関係数に従ってソートされます。略語: N & S = 神経活動と被験者の姿勢、N & O = 神経活動と物体の姿勢、N & B = 神経活動と身体距離、CC = 相関係数。 この図の拡大版を表示するには、ここをクリックしてください。

figure-results-5
図5:神経行動学的データのCEBRA埋め込みの分析。 (A)CEBRA埋め込み。左からS1神経活動と被験者の姿勢の共同埋め込み、S1神経活動と物体の姿勢の共同埋め込み、S1神経活動と2匹の動物間の身体距離の共同埋め込み、S1神経活動と被験者の行動モチーフの共同埋め込み、S1神経活動と物体の行動モチーフの共同埋め込み、 S1の神経活動と社会的行動モチーフの共同埋め込み、およびS1の神経埋め込み。(B)Procrustes分析は、上記の埋め込みを整列させます。灰色の円はマウスペア 1 を表し、参照埋め込みとして機能します。緑色のプラス記号はマウスペア 2 を表し、オレンジ色の十字はマウスペア 3 を表し、どちらもマウスペア 1 に揃えられています。(C)プロクラステスアライメント前(左)と後(右)の二乗平均平方根誤差(RMSE)(対応のあるt検定、n = 3、平均±SEM)。(D)CEBRA埋め込みからの姿勢再構成のRMSE(一元配置ANOVAとそれに続くTukeyの多重比較検定、n = 3、平均±SEM)。(E)CEBRA埋め込みからのモチーフ再構成の精度(一元配置ANOVAとそれに続くTukeyの多重比較検定、n = 3、平均±SEM)。(F)関節埋め込みとS1の神経埋め込みの間のコサイン類似性(一元配置分散分析とそれに続くダネットの多重比較検定、n = 45、平均±SEM)。*p < 0.05、**p < 0.01、***p < 0.001。 この図の拡大版を表示するには、ここをクリックしてください。

いいえ。観察された問題考えられる原因考えられる解決策
1動作タイムスタンプなし(1) SMA または BNC ケーブルの故障(1) SMA ケーブルと BNC ケーブルの交換
(2) USB-to-TTLドライバの欠落(2) Prolific PL2303 USBドライバをインストールする
(3) COMポートの選択が間違っている(3) デバイスマネージャーでCOMポート番号を確認し、mTPMソフトウェアとビヘイビアカメラスクリプトの両方で更新します。
2mTPM実装中に可視蛍光がない(1)ウイルス発現の欠如(1)別のマウスを使用する
(2)視野が間違っている(2)視野を再調整する
(3) レーザー出力が不十分(3) レーザー出力を徐々に上げる
(4)乾燥カルボマーゲル(4)新鮮なカルボマージェルを再塗布します
3mTPMイメージングで画面が完全に白い(1)光漏れ(1) アルミホイルを適切にシールドするために再包装します
(2) レーザー出力が不十分(2) レーザー出力を徐々に上げる
(3) mTPMヘッドからのファイバーの剥離(3) ファイバーをmTPMに再挿入し、固定ネジを締めます
4行動動画のフレームのドロップ(1) 周囲照明が少ない(1)背景照明を増やす
(2) USBポートが間違っている(2) 少なくとも USB 3.0 ポートを使用する
(3) コンピュータの性能が不十分(3) Intel i7-9700K以上、デュアルチャネルRAM、SSDストレージを搭載したマシンを使用してください。
5mTPMマウントマウスの移動なし(1)同じマウスを繰り返し使用する(1)マウスの再利用は3日以内に避ける
(2)アルミホイルの過剰使用(2) 遮光に必要なホイルは最小限にとどめます
(3)ヘリウムバルーンの数や体積が不足している(3)マウスの自然な姿勢と動きを可能にしながら、mTPMファイバーをサポートするためにバルーンの数と膨張を調整します。
6不正確な2D姿勢推定(1) 手動でラベル付けされたフレームの数が不十分(1) 200フレーム以上を段階的に注釈を付ける
(2) ADPTモデルの学習が不十分(2) ADPTのconfig.yamlファイルでトレーニングエポックを増やす
7異常な3Dポーズ再構成(1) 不適切なカメラキャリブレーション(1) キャリブレーションのコントラストと傾斜角の向上
(2)不正確な2Dポーズ入力(2)チェックボードのフレーム数を増やす
(3) 2Dポーズの問題を最初に解決します(問題6を参照)
8ニューラルデータと行動データの不一致(1) ソフトウェアの初期化順序が間違っている(1) 常にビヘイビアカメラより前にmTPM録画を開始する
(2) 落とした動作フレーム(2) フレームドロップの問題に対処する(問題4を参照)
(3) 十分なディスク容量があることを確認する
9BeA/SBeA処理中のメモリオーバーフロー(1) 過剰な録音時間(1) 録音を短いセグメント(5〜60分)に分割し、BeA/SBeAを実行します
(2) 限られたシステムRAM(2) BeAの時間的減少係数を増加させる(例:5から10へ)
(3) RAM を 64 GB 以上にアップグレードする
10CEBRA が GPU で実行できない(1) CUDAとGPUドライバの不一致(1) チュートリアルに直接従って CUDA 11.3 をインストールしないでください
(2) 互換性のないPyTorchバージョン(2) GPUモデルとドライバのバージョン(nvidia-smi)を確認する
(3) 適切なCUDAおよびPyTorchバージョンをインストールし、pip経由でCEBRAをインストールします

表 1: トラブルシューティング リスト。 以下は、以前に遭遇した 10 の重要な問題と考えられる解決策のリストです。

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

この神経行動学的記録およびデコードフレームワークは、市販のデバイスに基づいて構築されており、ほとんどのトラブルシューティングの問題をそれぞれの企業が確実に対処できます。それでも、この調査では、参照を容易にし、トラブルシューティングを合理化するために、頻繁に発生する問題のリストを提供します (表 1)。このアクセシビリティにより、フレームワークは初心者にとってよりユーザーフレンドリーになります。さらに、このフレームワークは非常に柔軟で、ニューラル記録と行動記録間の同期は標準の TTL 信号に依存しています。その結果、必要に応じて他の生理学的記録デバイスをフレームワークに簡単に統合できます。その後の分析手順も、完全にカスタマイズされた神経および行動記録システムをサポートするのに十分な一般的です。

商用化されたデバイスに基づくこのフレームワークに関連するコストは比較的高く (~500,000 米ドル)、それによってラボに追加の経済的負担が課せられます。MINI2P13 や Anipose37 などの最近のオープンソース ツールは材料費の削減に役立ちますが、この経験は、デバッグに関連する人的リソース コストを考慮すると、全体的な費用は同様のままであることを示唆しています。このフレームワークのもう一つの制限は、CEBRA埋め込みの解釈可能性にあります。人工ニューラルネットワークに基づく手法として、解釈は本質的に困難です。この例は埋め込みを説明するための簡単なアプローチを提供しますが、プロジェクトごとにケースバイケースでさらなる方法を開発する必要があります。CEBRA埋め込みのさらなる解釈のための1つの潜在的な解決策は、動的システムの適用です38。さらに、自然な行動は、2 匹のマウスが遠くにいるときや近くにいるときの相互作用など、異なる段階に分割できます。さまざまな科学的問題には、カスタマイズされたデータ分析ワークフローの開発が必要になる場合があります。

現在の mTPM + 3D カメラ システムはオープンフィールドの分野に展開されていますが、その用途はこの特定の動作コンテキストに限定されません。主な制約は、動物の可動性の範囲を制限するイメージングシステムの物理的なテザリングと、追跡可能な体積を制限する3Dカメラの視野から生じます。これらの要因は、ワイヤレスイメージングモジュール39またはトラップカメラアレイ40を組み込んで、より複雑で自然主義的な行動パラダイムを可能にすることにより、将来の反復で対処される可能性がある。特に、mTPMシステムと3Dカメラセットアップの両方が24時間の連続データ取得10,41が可能であり、パイプライン全体が長期スケールの行動および神経記録研究に適しています。

この研究は、自発的な行動の神経エンコーディングを調査するために完全にデータ駆動型のアプローチを採用しているため、クラスター化された行動モチーフに事前定義された意味ラベルを割り当てることを意図的に控えています。この決定は、神経行動マッピングフレームワークの一般化可能性を維持し、実験者が課した行動カテゴリから独立して動作できるようにするという目的に根ざしています。行動モチーフの生物学的解釈可能性と教師あり分類に関心のある読者は、以前の研究1,10、および教師なしモチーフクラスタリングを、同じ基礎となる行動アトラスフレームワークを使用して手動でラベル付けされた行動と体系的に比較した最近の研究42を参照することができます。これらの研究は、3D ポーズ シーケンス、軌跡、モチーフ レベルの埋め込みなどの広範な視覚化も提供し、パブリック リポジトリを通じて入手できます。これらのリソースを組み合わせることで、行動の意味構造に関する補完的な洞察を提供すると同時に、ここで採用された柔軟で一般化可能なニューラル デコード アプローチをサポートします。

このデータ処理パイプラインはモジュール性と柔軟性を念頭に置いて設計されており、多様な実験設定やユーザーの好みに適応できます。3D姿勢推定、教師なし行動モチーフクラスタリング、神経信号前処理、共同神経行動学的埋め込みに至るまで、パイプラインの各主要コンポーネントは、明確に定義された入出力インターフェースを備えた独立したモジュールとして実装されます。このアーキテクチャにより、ユーザーは、ワークフロー全体を中断することなく、各段階で代替ツールまたはアルゴリズム(例えば、異なる姿勢推定フレームワーク6,22、行動クラスタリングアルゴリズム43,44、またはニューラルデコーダー45,46)を置き換えることができます。これらのコンポーネントは相互運用可能になるように設計されていますが、この調査では代替方法の考えられるすべての組み合わせを網羅的にテストしたわけではなく、ユーザーは特定のアプリケーションでの互換性を確保するために追加の調整を実行する必要がある場合があります。このようなモジュール性により、再現性と拡張性の両方が促進され、ここで実証されたものを超えて、フレームワークを種、記録モダリティ、または行動パラダイムに合わせて調整することができます。より広範なコミュニティの使用をサポートするために、この研究では概略図の概要と要約表を提供します (図 1材料表)。

このパイプラインでSBeAとCEBRAに使用されるパラメータ設定は、デフォルト値と、この実験コンテキストに固有の経験的調整の組み合わせに基づいており、自然な社会的相互作用の下でマウスを自由に動かします。これらのパラメータは、さらなる調整を必要とせずに、この研究で提示されたすべての結果を再現することが検証されています。ユーザーは、さまざまな記録設定や動作タスクに対応するために特定のパラメータを微調整したい場合がありますが、このパイプラインを複製するためにそのような変更は必要ありません。他のコンテキストで作業するユーザーの場合は、パラメーター範囲とタスク固有のガイダンスが提供されている SBeA および CEBRA の元のドキュメントと文献を参照することをお勧めします。この実装は、必要に応じて直接適用または適応できる堅牢な参照構成として機能します。

このフレームワークの主な進歩は、自由に動く動物への応用にあります。頭固定動物を対象に実施された以前の研究は、この枠組み内で自由に動く条件に適応することができます。たとえば、Go/No-Go タスク47 や Two-Alternative Forced Choice48 などのタスクは、自然な行動パラダイムに基づいて変更され、このフレームワークに統合できます。このアプローチにより、頭の制限によって引き起こされるアーティファクトが排除され、タスクと自然な行動状態の関係の研究が可能になります。この枠組みにより、動物は意思決定においてより大きな自律性を得ることができます。また、mTPM 脊髄記録法49 を組み合わせて、自然主義的な文脈での脊髄の研究もサポートします。さらに、頭固定セットアップでは実現できない現象である自由集団行動の研究を容易にします。データ分析ワークフローでは、埋め込みを使用して神経集団の背後にある脳機能の複雑さを解明し、複数の変数にわたる神経集団活動の解釈が可能になります。

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

著者は、利益相反がないことを宣言します。

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

この研究は、中国科学院の戦略的優先研究プログラム(助成金番号XDB1010101 P.W.)、STI2030-主要プロジェクト(P.W.への助成金番号2021ZD0203900)、中国国家自然科学基金(P.W.への助成金第32222036号)、中国国家自然科学基金(P.W.への助成第T2394530号)、深セン科学技術プログラム(P.W.への助成番号KJZD20230923115114028 P.W.に)。著者らはまた、2光子顕微鏡の使用に対する支援と支援に対して、南京脳天文台(NBO)とPKU-南京共同トランスレーショナルメディシン研究所(南京211800、中国)に感謝したいと思います。

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
3D行動記録システムベイワンサイエンティフィックBA-3D-マウス統合同期モジュール
気球aliExpress(アリエクスプレス)URL: https://tinyurl.com/3uex669sヘリウムで満たされたときに飛ぶのに十分なほど軽い気球。バルーンは直径約45cmの球形のホイルバルーンで、セルフシールバルブを備えています。URL はバルーンの例を示しています。 
カルボマーアイジェルビディシックカルボマー980ベースの潤滑アイジェル10グラム
綿麻ひもaliExpress(アリエクスプレス)URL: https://tinyurl.com/ywu7u754厚くて軽く、直径1〜2mm。URLは綿ひもの例を示しています。
頭蓋ドリルRWDの780010.8mm、1.4mm、2.1mmドリル
カスタムカメラモジュール設定可能インテルリアルセンスD435/
高性能アクリル構造用接着剤ホイティアン1320490ミリリットル
イメージング用マウストランセンド・ビボスコープURL: https://en.tv-scope.com/C57BL/6J 背景の雄マウス (生後 10 週) は、12&thinsp の下でケージごとに 1 匹のマウスに収容されました。h 22&ndash での明暗サイクル。25&シンスプ;°40%&ndashのC。湿度が70%で、水や食料を自由に利用することが許可されました。AAV9-CaMKII-GCaMP6s ウイルスをその一次体性感覚皮質 (AP、&-s;0.60ミリメートル;ML、&-マイナス;2.40ミリメートル;DV、2.00 mm)。私たちの研究では、マウスは専門的な動物準備サービスの一環としてTRANSCEND VIVOSCOPEによって準備されました。このサービスには、ウイルス注入、頭蓋窓移植、小型二光子顕微鏡システム用に特別に調整されたベースプレートの取り付けが含まれます。
インタラクション用のマウスベイワンLACURL: https://lac.bayonesci.com/C57BL/6Jバックグラウンド(生後10週)の雄マウスを、12&thinspの下でケージあたり5匹のマウスに収容しました。h 22&ndash での明暗サイクル。25&シンスプ;°40&ndash の C。湿度が70%で、水や食料に自由にアクセスできるようになった。すべての飼育および実験手順は、中国科学院深セン先端技術研究所の動物管理および使用委員会によって承認されました。
mTPMニューラル記録システムトランセンド・ビボスコープスーパーノヴァ-600SUPERNOVA-600は、外部刺激装置を除くすべての重要な光学および記録コンポーネントを含む、自由に動くげっ歯類のための完全に統合された小型2光子イメージングシステムです。統合同期モジュールが含まれている必要があります。

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Multi-animal 3d social pose estimation, identification and behaviour embedding with a few-shot learning framework. Nat Machine Intellig. 6 (1), 48-61 (2024).">Han, Y., et al. Multi-animal 3d social pose estimation, identification and behaviour embedding with a few-shot learning framework. Nat Machine Intellig. 6 (1), 48-61 (2024).
  2. Miniature two-photon microscopy for enlarged field-of-view, multi-plane and long-term brain imaging. Nat Methods. 18 (1), 46-49 (2021).">Zong, W., et al. Miniature two-photon microscopy for enlarged field-of-view, multi-plane and long-term brain imaging. Nat Methods. 18 (1), 46-49 (2021).
  3. Learnable latent embeddings for joint behavioural and neural analysis. Nature. 617 (7960), 360-368 (2023).">Schneider, S., Lee, J. H., Mathis, M. W. Learnable latent embeddings for joint behavioural and neural analysis. Nature. 617 (7960), 360-368 (2023).
  4. Neuroethology of natural actions in freely moving monkeys. Science. 387 (6730), 214-220 (2025).">Lanzarini, F., et al. Neuroethology of natural actions in freely moving monkeys. Science. 387 (6730), 214-220 (2025).
  5. Neural signatures of natural behaviour in socializing macaques. Nature. 628 (8007), 381-390 (2024).">Testard, C., et al. Neural signatures of natural behaviour in socializing macaques. Nature. 628 (8007), 381-390 (2024).
  6. Deeplabcut: Markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).">Mathis, A., et al. Deeplabcut: Markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
  7. Anti-drift pose tracker (adpt), a transformer-based network for robust animal pose estimation cross-species. Elife. 13, RP95709(2025).">Tang, G., et al. Anti-drift pose tracker (adpt), a transformer-based network for robust animal pose estimation cross-species. Elife. 13, RP95709(2025).
  8. A review of 28 free animal-tracking software applications: Current features and limitations. Lab Anim (NY). 50 (9), 246-254 (2021).">Panadeiro, V., Rodriguez, A., Henry, J., Wlodkowic, D., Andersson, M. A review of 28 free animal-tracking software applications: Current features and limitations. Lab Anim (NY). 50 (9), 246-254 (2021).
  9. Automated home-cage behavioural phenotyping of mice. Nat Commun. 1, 68(2010).">Jhuang, H., et al. Automated home-cage behavioural phenotyping of mice. Nat Commun. 1, 68(2010).
  10. A hierarchical 3d-motion learning framework for animal spontaneous behavior mapping. Nat Commun. 12 (1), 2784(2021).">Huang, K., et al. A hierarchical 3d-motion learning framework for animal spontaneous behavior mapping. Nat Commun. 12 (1), 2784(2021).
  11. Chronically implanted neuropixels probes enable high-yield recordings in freely moving mice. Elife. 8, e47188(2019).">Juavinett, A. L., Bekheet, G., Churchland, A. K. Chronically implanted neuropixels probes enable high-yield recordings in freely moving mice. Elife. 8, e47188(2019).
  12. Miniature fluorescence microscopy for imaging brain activity in freely-behaving animals. Neurosci Bull. 36 (10), 1182-1190 (2020).">Chen, S., et al. Miniature fluorescence microscopy for imaging brain activity in freely-behaving animals. Neurosci Bull. 36 (10), 1182-1190 (2020).
  13. Large-scale two-photon calcium imaging in freely moving mice. Cell. 185 (7), 1240-1256.e30 (2022).">Zong, W., et al. Large-scale two-photon calcium imaging in freely moving mice. Cell. 185 (7), 1240-1256.e30 (2022).
  14. Fast high-resolution miniature two-photon microscopy for brain imaging in freely behaving mice. Nat Methods. 14 (7), 713-719 (2017).">Zong, W., et al. Fast high-resolution miniature two-photon microscopy for brain imaging in freely behaving mice. Nat Methods. 14 (7), 713-719 (2017).
  15. Mousevenue3d: A markerless three-dimension behavioral tracking system for matching two-photon brain imaging in free-moving mice. Neurosci Bull. 38 (3), 303-317 (2022).">Han, Y., et al. Mousevenue3d: A markerless three-dimension behavioral tracking system for matching two-photon brain imaging in free-moving mice. Neurosci Bull. 38 (3), 303-317 (2022).
  16. Interpreting neural computations by examining intrinsic and embedding dimensionality of neural activity. Curr Opin Neurobiol. 70, 113-120 (2021).">Jazayeri, M., Ostojic, S. Interpreting neural computations by examining intrinsic and embedding dimensionality of neural activity. Curr Opin Neurobiol. 70, 113-120 (2021).
  17. Neural population dynamics during reaching. Nature. 487 (7405), 51-56 (2012).">Churchland, M. M., et al. Neural population dynamics during reaching. Nature. 487 (7405), 51-56 (2012).
  18. Visualizing data using t-sne. J Machine Learning Res. 9, 2579-2605 (2008).">Van Der Maaten, L., Hinton, G. Visualizing data using t-sne. J Machine Learning Res. 9, 2579-2605 (2008).
  19. Umap: Uniform manifold approximation and projection for dimension reduction. arXiv. , (2018).">Mcinnes, L., Healy, J., Melville, J. Umap: Uniform manifold approximation and projection for dimension reduction. arXiv. , (2018).
  20. Mapping the landscape of social behavior. Cell. 188 (8), 2249-2266.e23 (2025).">Klibaite, U., et al. Mapping the landscape of social behavior. Cell. 188 (8), 2249-2266.e23 (2025).
  21. Zhou, D., Wei, X. 34th Conference on Neural Information Processing Systems (NeurIPS), , (2020).
  22. Sleap: A deep learning system for multi-animal pose tracking. Nat Methods. 19 (4), 486-495 (2022).">Pereira, T. D., et al. Sleap: A deep learning system for multi-animal pose tracking. Nat Methods. 19 (4), 486-495 (2022).
  23. Big behavior: Challenges and opportunities in a new era of deep behavior profiling. Neuropsychopharmacology. 46 (1), 33-44 (2021).">Von Ziegler, L., Sturman, O., Bohacek, J. Big behavior: Challenges and opportunities in a new era of deep behavior profiling. Neuropsychopharmacology. 46 (1), 33-44 (2021).
  24. Quantifying behavior to understand the brain. Nat Neurosci. 23 (12), 1537-1549 (2020).">Pereira, T. D., Shaevitz, J. W., Murthy, M. Quantifying behavior to understand the brain. Nat Neurosci. 23 (12), 1537-1549 (2020).
  25. The mouse action recognition system (mars) software pipeline for automated analysis of social behaviors in mice. Elife. 10, e63720(2021).">Segalin, C., et al. The mouse action recognition system (mars) software pipeline for automated analysis of social behaviors in mice. Elife. 10, e63720(2021).
  26. Supervised and unsupervised learning technology in the study of rodent behavior. Front Behav Neurosci. 11, 141(2017).">Gris, K. V., Coutu, J. P., Gris, D. Supervised and unsupervised learning technology in the study of rodent behavior. Front Behav Neurosci. 11, 141(2017).
  27. Objective and comprehensive re-evaluation of anxiety-like behaviors in mice using the behavior atlas. Biochem Biophys Res Commun. 559, 1-7 (2021).">Liu, N., et al. Objective and comprehensive re-evaluation of anxiety-like behaviors in mice using the behavior atlas. Biochem Biophys Res Commun. 559, 1-7 (2021).
  28. Simultaneous two-photon imaging of action potentials and subthreshold inputs in vivo. Nat Commun. 12 (1), 7229(2021).">Bando, Y., Wenzel, M., Yuste, R. Simultaneous two-photon imaging of action potentials and subthreshold inputs in vivo. Nat Commun. 12 (1), 7229(2021).
  29. A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence. 22 (11), 1330-1334 (2002).">Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on pattern analysis and machine intelligence. 22 (11), 1330-1334 (2002).
  30. Suite2p: Beyond 10,000 neurons with standard two-photon microscopy. bioRxiv. , (2017).">Pachitariu, M., et al. Suite2p: Beyond 10,000 neurons with standard two-photon microscopy. bioRxiv. , (2017).
  31. Han, Y., Huang, K., Chen, K., Wang, L., Wei, P. IEEE 11th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Systems (CYBER), , 306-310 (2021).
  32. 3d reconstruction toolbox for behavior tracked with multiple cameras. J Open Source Soft. 5 (45), 1849(2020).">Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3d reconstruction toolbox for behavior tracked with multiple cameras. J Open Source Soft. 5 (45), 1849(2020).
  33. S-ketamine exposure in early postnatal period induces social deficit mediated by excessive microglial synaptic pruning. Mol Psychiatry. 30 (8), 3615-3631 (2025).">Zhong, H., et al. S-ketamine exposure in early postnatal period induces social deficit mediated by excessive microglial synaptic pruning. Mol Psychiatry. 30 (8), 3615-3631 (2025).
  34. Computational neuroethology: A call to action. Neuron. 104 (1), 11-24 (2019).">Datta, S. R., Anderson, D. J., Branson, K., Perona, P., Leifer, A. Computational neuroethology: A call to action. Neuron. 104 (1), 11-24 (2019).
  35. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).">Schönemann, P. H. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).
  36. Map plasticity in somatosensory cortex. Science. 310 (5749), 810-815 (2005).">Feldman, D. E., Brecht, M. Map plasticity in somatosensory cortex. Science. 310 (5749), 810-815 (2005).
  37. Anipose: A toolkit for robust markerless 3d pose estimation. Cell Rep. 36 (13), 109730(2021).">Karashchuk, P., et al. Anipose: A toolkit for robust markerless 3d pose estimation. Cell Rep. 36 (13), 109730(2021).
  38. Self-supervised contrastive learning performs non-linear system identification. arXiv. , (2024).">Laiz, R. G., Schmidt, T., Schneider, S. Self-supervised contrastive learning performs non-linear system identification. arXiv. , (2024).
  39. An open source, wireless capable miniature microscope system. J Neural Eng. 14 (4), 045001(2017).">Liberti, W. A., Perkins, L. N., Leman, D. P., Gardner, T. J. An open source, wireless capable miniature microscope system. J Neural Eng. 14 (4), 045001(2017).
  40. Perspectives in machine learning for wildlife conservation. Nat Commun. 13 (1), 792(2022).">Tuia, D., et al. Perspectives in machine learning for wildlife conservation. Nat Commun. 13 (1), 792(2022).
  41. 24-hour simultaneous MPFC's miniature 2-photon imaging, EEG-EMG, and video recording during natural behaviors. Sci Data. 12 (1), 1226(2025).">Han, J., et al. 24-hour simultaneous MPFC's miniature 2-photon imaging, EEG-EMG, and video recording during natural behaviors. Sci Data. 12 (1), 1226(2025).
  42. Hierarchical behavioral analysis framework as a platform for standardized quantitative identification of behaviors. Cell Rep. 44 (2), 115239(2025).">Ye, J., et al. Hierarchical behavioral analysis framework as a platform for standardized quantitative identification of behaviors. Cell Rep. 44 (2), 115239(2025).
  43. Keypoint-moseq: Parsing behavior by linking point tracking to pose dynamics. Nat Methods. 21 (7), 1329-1339 (2024).">Weinreb, C., et al. Keypoint-moseq: Parsing behavior by linking point tracking to pose dynamics. Nat Methods. 21 (7), 1329-1339 (2024).
  44. self-supervised features extraction of animal behaviors. Elife. 11, e76218(2022).">Jia, Y., et al. self-supervised features extraction of animal behaviors. Elife. 11, e76218(2022).
  45. Marble: Interpretable representations of neural population dynamics using geometric deep learning. Nat Methods. 22 (3), 612-620 (2025).">Gosztolai, A., Peach, R. L., Arnaudon, A., Barahona, M., Vandergheynst, P. Marble: Interpretable representations of neural population dynamics using geometric deep learning. Nat Methods. 22 (3), 612-620 (2025).
  46. Rastermap: A discovery method for neural population recordings. Nat Neurosci. 28 (1), 201-212 (2025).">Stringer, C., et al. Rastermap: A discovery method for neural population recordings. Nat Neurosci. 28 (1), 201-212 (2025).
  47. Custom-built operant conditioning setup for calcium imaging and cognitive testing in freely moving mice. eNeuro. 9 (1), (2022).">Vassilev, P., et al. Custom-built operant conditioning setup for calcium imaging and cognitive testing in freely moving mice. eNeuro. 9 (1), (2022).
  48. Basal ganglia output (entopeduncular nucleus) coding of contextual kinematics and reward in the freely moving mouse. Elife. 13, RP98159(2025).">Verma Rodriguez, A. K., Ramírez-Jarquin, J. O., Rossi-Pool, R., Tecuapetla, F. Basal ganglia output (entopeduncular nucleus) coding of contextual kinematics and reward in the freely moving mouse. Elife. 13, RP98159(2025).
  49. Long-term two-photon imaging of spinal cord in freely behaving mice. bioRxiv. , (2022).">Ju, F., et al. Long-term two-photon imaging of spinal cord in freely behaving mice. bioRxiv. , (2022).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Neural Population DynamicsNatural Behavior DecodingTwo Photon MicroscopySocial Behavior AtlasBehavioral Pose EstimationNeural Embedding AlignmentFreely Moving MiceDeep Learning BehaviorDual Mouse TrackingNeural Coding Principles

Related Articles