自動行動分析のためのDeepBehavior、ディープラーニングツールボックスのステップバイステップ実装
February 6th, 2020
このプロトコルの目的は、事前に構築された畳み込みニューラルネットを利用して行動追跡を自動化し、詳細な行動分析を行うことである。行動追跡は、任意のビデオデータまたは画像のシーケンスに適用することができ、任意のユーザー定義オブジェクトを追跡するために一般化可能です。
脳の行動関係を理解するには、詳細な行動分析を行う必要があります。行動を評価する最良の方法の1つは、注意深い観察を通じてです。ただし、観察された動作を定量化するのは時間がかかり、困難です。
古典的な行動分析方法は容易に定量化が容易ではなく、本質的に主観的である。機械学習と人工知能分野の分野であるディープラーニングの最近の発展は、画像やビデオの自動化された客観的な定量化の機会を提供します。ここでは、深いニューラルネットワークを利用してげっ歯類やヒトの詳細な行動解析を行う方法を紹介します。
この手法の主な利点は、動作分析のための任意のイメージング データに対する柔軟性と適用性です。DeepBehavior ツールボックスは、単一のオブジェクトの識別、マルチオブジェクト検出、および人間のポーズトラッキングをサポートしています。さらに、MATLAB では、より詳細なキネマティック解析方法のポスト処理コードも提供しています。
テンソルボックスを設定して開始します。環境をアクティブにし、GitHub を使用してテンソル ボックスを複製し、マシンと追加の依存関係にインストールします。次に、ラベル付けグラフィカルユーザーインターフェイスを起動し、動作フレームの広い分布から少なくとも600枚の画像にラベルを付けます。
画像にラベルを付けるには、対象オブジェクトの左上隅をクリックし、次に右下隅をクリックします。次に、バウンディング ボックスがオブジェクト全体をキャプチャすることを確認します。次のフレームに移動するには、次のフレームをクリックします。
トレーニング イメージをネットワーク ハイパー パラメータ ファイルにリンクするには、overfeat_rezoom開きます。テキストエディター内の json を使用し、labels.json にtrain_idl下のファイルパスを置き換えます。次に、test-idl の下に同じファイル パスを追加し、変更を保存します。
600,000 回の反復のトレーニングを開始し、結果として得られた畳み込みニューラル ネットワークの重みを出力フォルダに生成するトレーニング スクリプトを開始します。次に、新しい画像に対して予測を実行し、ネットワークの出力をラベル付きイメージとして、境界ボックス座標として表示します。YOLOv3 をインストールします。
次に、Yolo_mark-data-obga フォルダに画像を配置し、グラフィカル ユーザー インターフェイスで 1 つずつラベルを付けて、トレーニング データにYolo_markラベルを付けます。約200枚の画像にラベルを付けます。次に、構成ファイルをセットアップします。
構成ファイルを変更するには、YOLO-obj を開きます。cfg フォルダ。バッチ、サブディビジョン、およびクラスの行を変更します。
次に、YOLO レイヤーの前の各畳み込みレイヤーのフィルターを変更します。ネットワークウェイトをダウンロードし、ダークネットビルドに配置します。x64 フォルダ。
トレーニング アルゴリズムを実行し、完了したらイテレーションを表示します。人間の主題の複数の身体部分を追跡するには、OpenPoseをインストールし、それを使用して目的のビデオを処理します。DeepBehaviorツールボックスの機能は、食餌ペレットがタスクに達するマウスのビデオで実証されました。
彼らの右足はラベル付けされ、動きはフロントビューカメラとサイドビューカメラで追跡されました。カメラキャリブレーションで後処理した後、リーチの3D軌道が得られた。YOLOv3 の出力は、複数のオブジェクトを追跡できるため、複数のバウンディング ボックスです。
境界ボックスは、身体の一部となり得る対象のオブジェクトの周囲にあります。OpenPoseでは、ネットワークがジョイント位置を検出し、カメラキャリブレーションで後処理した後、被写体の3Dモデルが作成されました。このプロトコルでカバーされていない重要なステップの 1 つは、デバイスが適切な Python バージョンと依存関係と、GPU で構成されたデバイスを使用してから開始する前に持っていることを確認することです。
ネットワークからトラックの動作を正常に取得した後、さらに動作のキネマティクスとパターンを分析するために追加の後処理を行うことができます。なぜDeepBehaviorツールボックスはげっ歯類およびヒトの被験者の疾患モデルの診断アプローチに適用可能であるが、直接的な治療上の利益ではない。これらの技術を診断用または予後診断ツールとして使用することは、当研究室で活発な研究を行っています。
この技術は、げっ歯類における熟練した運動行動の神経メカニズムを調べるとともに、神経疾患患者の運動回復を評価する臨床研究で使用されている。
View the full transcript and gain access to thousands of scientific videos
概要
このプロトコルは、事前に構築された畳み込みニューラルネットワークを利用して、行動追跡を自動化し、詳細な行動分析を実施します。これは任意のビデオデータまたは画像のシーケンスに適用可能で、ユーザー定義のオブジェクトの追跡を可能にします。
主要な研究構成要素
科学分野
- 神経科学
- 行動分析
- 機械学習
背景
- 脳と行動の関係を理解することが重要です。
- 従来の行動分析方法は主観的で時間がかかります。
- ディープラーニングは自動化された行動定量化の機会を提供します。
- AIの最近の進歩は、さまざまな被験者における行動追跡を強化できます。
研究目的
- ディープニューラルネットワークを使用して行動追跡を自動化する。
- ビデオや画像における行動の客観的な定量化を提供する。
- 研究における行動分析の効率性を向上させる。
使用方法
- 畳み込みニューラルネットワークの利用。
- ビデオデータと画像シーケンスへの適用。
- ユーザー定義のオブジェクトの追跡。
- げっ歯類と人間の研究の両方への適用。
主要な結果
- 行動追跡の成功的な自動化。
- 行動パターンの客観的分析。
- 異なるタイプのビデオデータ間での一般化可能性。
- 定量的測定を通じた行動の理解の向上。
結論
- ディープラーニング方法は行動分析を大幅に改善できます。
- 自動化により、研究における主観性と時間が減少します。
- このアプローチはさまざまな研究状況に適用可能です。
よくある質問
Executive Industry Relevance
Automated behavior analysis addresses the bottleneck of subjective, time-intensive manual scoring in preclinical neuroscience, enabling objective quantification of motor phenotypes in disease models. By converting video data into precise kinematic metrics, DeepBehavior supports target validation and mechanistic de-risking in early discovery, particularly for CNS disorders where behavioral endpoints are critical. This enhances predictive confidence in lead identification and reduces attrition due to poor translational validity of behavioral assays.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of therapeutic hypotheses by quantifying spontaneous and skilled motor behaviors in rodent models of neurological disease.
- Operational Value: Reduces inter-observer variability and increases throughput for high-content behavioral screening.
- Predictive Value: Generates reproducible, multidimensional behavioral readouts that improve confidence in target engagement and pathway modulation.
Screening & Assay Development
- Scientific Value: Produces standardized, quantitative Cartesian coordinates of body parts or joints across frames, enabling objective comparison of compound effects on motor function.
- Operational Value: Supports assay scalability through automation of single-object, multi-object, and 3D pose tracking workflows.
- Assay Readiness: Outputs are compatible with downstream statistical analysis and machine learning pipelines for biomarker discovery.
Translational & Preclinical Research
- Translational Continuity: Facilitates cross-species behavioral comparison by applying identical deep learning frameworks to rodent and human video data.
- Preclinical Validation: Enables longitudinal tracking of motor recovery or degeneration in disease models, supporting risk-adjusted advancement decisions.
- Mechanistic De-risking: Links observed behavioral changes to neural circuit function through precise spatiotemporal tracking of movement patterns.
Pipeline & Workflow Integration
DeepBehavior integrates into the discovery continuum from early target validation through lead optimization, where automated behavior quantification informs structure-activity relationships and phenotypic screening outcomes.
- Discovery Biology: Supports hypothesis-driven analysis of motor circuit function by providing objective, frame-resolved behavioral metrics.
- Screening: Enables reproducible, high-throughput analysis of compound libraries using standardized pose estimation and tracking outputs.
- Analytics: Delivers quantitative kinematic data (e.g., trajectory, velocity, joint angles) that facilitate dose-response modeling and effect size estimation.
- Translational Research: Aligns preclinical rodent behavior with human motor assessments via shared deep learning architectures, improving clinical predictability.
- Enterprise Reuse: The toolbox is adaptable across disease areas and models, serving as a reusable platform for behavioral phenotyping.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence by reducing behavioral measurement noise and enabling detection of subtle phenotypic changes.
- Operational Value: Standardizes data acquisition and analysis across sites and operators, improving reproducibility in multi-site studies.
- Strategic Value: Accelerates go/no-go decisions by providing early, objective behavioral efficacy signals.
- Portfolio Impact: Supports risk-based prioritization of compounds with favorable behavioral profiles, reducing late-stage failure risk.
Implementation Considerations
- Requires expertise in deep learning frameworks, video data management, and behavioral neuroscience.
- Needs GPU-enabled workstations and software environments for TensorBox, YOLOv3, and OpenPose.
- Demands standardization of video acquisition protocols (e.g., lighting, camera angles) to ensure tracking accuracy across experiments.
- Requires post-processing skills for coordinate transformation, camera calibration, and kinematic analysis in MATLAB or Python.
- Performance depends on sufficient training data (e.g., 600+ labeled frames) and appropriate network hyperparameters for the target behavior.
