Summary
このプロトコルは、小型で汎用性の高いビデオカメラを構築する方法と、そこから得られたビデオを使用してニューラルネットワークを訓練し、オペラ座内の動物の位置を追跡する方法を説明します。これは、オペラコンディショニングテストから得られたデータログの標準的な分析を補完する貴重なものです。
Abstract
オペラコンディショニングチャンバーは、神経科学の分野で幅広い行動検査を行うために使用されます。記録されたデータは、通常、チャンバー内に存在するレバーと鼻突きセンサーのトリガーに基づいています。これは、動物が特定の応答を実行するタイミングと方法の詳細なビューを提供しますが、センサーをトリガーしない動作を評価するために使用することはできません。したがって、動物が自分自身を配置し、チャンバー内を移動する方法を評価することはめったに不可能です。この情報を得るためには、研究者は一般的にビデオを記録して分析する必要があります。オペラコンディショニングチャンバーのメーカーは、通常、高品質のカメラ設定を顧客に供給することができます。しかし、これらは非常に高価であり、必ずしも他のメーカーまたは他の行動テストのセットアップからのチャンバーに合うわけではありません。現在のプロトコルは、ホビーエレクトロニクスコンポーネントを使用して安価で汎用性の高いビデオカメラを構築する方法を説明しています。さらに、画像解析ソフトウェアパッケージDeepLabCutを使用して、強力な光信号の状態とラットの位置を、オペランコンディショニングチャンバーから収集したビデオで追跡する方法について説明します。前者は、テストセッション全体をカバーするビデオに関心のある短いセグメントを選択する際に大きな助けとなり、後者は、オペラ室によって生成されたデータログから得ることができないパラメータの分析を可能にします。
Introduction
行動神経科学の分野では、研究者は一般的にげっ歯類の異なる認知および精神医学的特徴の広い範囲を評価するためにオペラコンディショニングチャンバーを使用しています。このようなシステムには複数の異なるメーカーがありますが、通常は特定の属性を共有し、ほぼ標準化された設計11、2、32,を持っています。チャンバーは一般的に正方形または長方形の形をしており、動物を内部に配置するために開くことができる1つの壁と、レバー、鼻突き開口部、報酬トレイ、応答ホイールおよび様々な種類のライト1、2、32,3などのコンポーネントを含む残りの壁の1つまたは2つを有する。チャンバーに存在するライトとセンサーは、テストプロトコルを制御し、動物の行動11、2、3、4、52,3,4を5追跡するために使用されます。典型的なオペラの調節システムは動物が部屋に存在する異なったオペランドおよび開口部と相互作用する方法の非常に詳細な分析を可能にする。一般に、センサーがトリガされる任意の機会は、システムによって記録することができ、このデータからユーザーは、テスト44、55の特定のステップの間に動物が何をしたかを記述する詳細なログファイルを取得することができます。これは動物の性能を広範囲に表現しますが、1つ以上のセンサー44,55を直接トリガする動作を記述するためにのみ使用できます。そのため、試験の異なる段階で動物がチャンバー内をどのように位置づけ、移動するのかについては、6、7、8、9、10などはよく説明されていない。6,7,8,9,10このような情報は動物の行動を完全に理解するために価値がある可能性がありますので、これは残念です。例えば、特定の動物が特定のテスト6で悪いパフォーマンスを発揮する理由を明らかにするために使用され、困難,なタスク6、7、8、9、107,8,9を扱うために動物が開発する戦略を記述したり、おそらく単純な行動11、12,12の真の複雑さを理解することができます。610このような明瞭な情報を得るために、研究者は一般的にビデオ,6、7、8、9、10、117,8,9,10の手動分析に目を向けます。611
オペラコンディショニングチャンバーからのビデオを録画する場合、カメラの選択は非常に重要です。チャンバーは一般的に孤立したキュービクルに位置し、プロトコルは頻繁に可視光が輝いているステップを利用して3、6、7、8、9。6,7,8,9そのため、赤外線(IR)照明とIRに敏感なカメラを組み合わせて使用する必要があります。また、隔離キュービクル内にカメラを配置するために利用可能なスペースは、多くの場合、非常に限られた、広い視野を有するレンズ(例えば、魚眼レンズ)9を用いた小型カメラを有することから強く利益を得られることを意味する。オペラコンディショニングシステムのメーカーは、多くの場合、顧客に高品質のカメラのセットアップを供給することができますが、これらのシステムは高価であり、必ずしも他のメーカーや他の行動テストのためのセットアップからのチャンバーに適合しません。しかし、スタンドアロンビデオカメラを使用する上で顕著な利点は、これらのセットアップは、多くの場合、オペランコンディショニングシステム13、14,14と直接インターフェースすることができるということです。これにより、完全なテスト セッションではなく特定のイベントのみを記録するように設定できるため、次の分析に大きく役立ちます。
現在のプロトコルは、ホビーエレクトロニクスコンポーネントを使用して安価で汎用性の高いビデオカメラを構築する方法を説明しています。カメラは魚眼レンズを使用し、IR照明に敏感で、IR発光ダイオード(IR LED)のセットが取り付けられています。さらに、それは平らで、細いプロフィールを持つために造られる。これらの側面は、市販のオペラコンディショニングチャンバーや他の行動テスト設定からのビデオを録画するのに理想的です。このプロトコルはさらに、カメラで取得したビデオを処理する方法と、ソフトウェアパッケージDeepLabCut15,16を使用して、目的のビデオシーケンスを抽出し、16動物の動きを追跡する方法について説明します。これは、コンディショニングシステムのオペラメーカーが提供する統合ソリューション上でスタンドアロンカメラを使用することの欠点を部分的に回避し、行動の手動スコアリングを補完します。
プロトコルを一般的な形式で記述し、プロセス全体を異なるオペラコンディショニングテストのビデオに適応させることができることを強調する努力がなされています。特定の主要概念を説明するために、5選択逐次反応時間試験(5CSRTT)1717を行うラットの動画が例として用いられる。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
動物の取り扱いを含むすべての手順は、動物研究のためのマルメルンド倫理委員会によって承認されています。
1. ビデオカメラの構築
注: カメラの構築に必要なコンポーネントのリストは、 材料表に記載されています。 図 1、 図 2、図 3、 図 4、図 5も参照してください。
- カメラスタンドの開口部の周りに(魚眼レンズパッケージに付属する)磁気金属リングを取り付けます(図2A)。これにより、魚眼レンズをカメラの前に置きます。
- カメラモジュールをカメラスタンドに取り付けます(図2B)。これにより、カメラモジュールにいくらかの安定性が与え、電子回路に対してある程度の保護を提供します。
- カメラモジュールとマイクロコンピュータ(図1)のカメラポートを、プラスチッククリップの端をそっと引っ張って開きます(図2C)。
- カメラポートにリボンケーブルを置き、銀色のコネクタが回路基板に向かるようにします(図2C)。カメラポートのプラスチッククリップを押し込み、ケーブルを所定の位置にロックします。
- マイクロコンピュータをプラスチックケースに入れ、リストされているマイクロSDカード(図2D)を挿入します。
メモ:マイクロSDカードは、マイクロコンピュータのハードドライブとして機能し、完全なオペレーティングシステムが含まれています。リストされているマイクロSDカードには、インストールマネージャがプリインストールされています(新しいアウトオブボックスソフトウェア(NOOBS)。。別の方法として、マイクロコンピュータのオペレーティングシステム(RaspbianまたはRasberry Pi OS)の最新バージョンの画像を一般的なマイクロSDカードに書き込むことができます。これに関する支援については、公式のWebリソース18を参照してください。32 Gbのストレージスペースを備えたクラス10マイクロSDカードを使用することが好ましい。より大きなSDカードは、記載されているマイクロコンピュータと完全に互換性がない可能性があります。 - モニタ、キーボード、マウスをマイクロコンピュータに接続し、電源を接続します。
- インストールガイドの指示に従って、マイクロコンピュータのオペレーティングシステム(RaspbianまたはRasberry Pi OS)の完全インストールを実行します。マイクロコンピュータが起動したら、イーサネットケーブルまたはWi-Fiを介してインターネットに接続されていることを確認します。
- 以下の手順に従って、マイクロコンピュータのプレインストールされたソフトウェアパッケージを更新します。
- ターミナル ウィンドウを開きます (図 3A)。
- 「sudo apt-get 更新」(引用符を除く) と入力し、Enter キーを押します (図 3B)。プロセスが完了するまで待ちます。
- 「sudo apt フルアップグレード」(引用符を除く)と入力して Enter キーを押します。プロンプトが表示されたらボタンの応答を行い、プロセスが完了するまで待ちます。
- [スタート]メニューの [基本設定とラズベリーパイの構成] を選択します (図 3C)。開いたウィンドウで、[インターフェイス] タブに移動し、[カメラとI2Cを有効にする] をクリックします。これは、マイクロコンピュータがカメラとIR LEDモジュールで動作するために必要です。
- 補足ファイル 1の名前を "Pi_video_camera_Clemensson_2019.py" に変更します。USB メモリスティックにコピーし、その後、マイクロコンピュータの /home/pi フォルダにコピーします (図 3D)。このファイルは Python スクリプトで、ステップ 1.13 で接続されているボタン スイッチでビデオ録画を行うことができます。
- 以下の手順に従って、マイクロコンピュータの rc.local ファイルを編集します。これにより、コンピュータはステップ 1.10 でコピーされたスクリプトを起動し、ステップ 1.13 で接続された IR LED を起動すると起動します。
注意: この自動起動機能は、一覧に記載されているモデル以外のマイクロコンピュータボードでは動作しません。- ターミナルウィンドウを開き、「sudo nano /etc/rc.local」(引用符を除く)と入力して Enter キーを押します。テキスト ファイルが開きます (図 4A)。
- キーボードの矢印キーを使用して、カーソルを「fi」と「exit 0」の間のスペースに移動します(図4A)。
- 図 4Bに示すように、次のテキストを追加します。
sudo i2cset -y 1 0x70 0x00 0xa5 &
sudo i2cset -y 1 0x70 0x09 0x0f &
sudo i2cset -y 1 0x70 0x01 0x32 &
sudo i2cset -y 1 0x70 0x03 0x32 &
sudo i2cset -y 1 0x70 0x06 0x32 &
sudo i2cset -y 1 0x70 0x08 0x32 &
スドパイソン /ホーム/パイ/Pi_video_camera_Clemensson_2019.py & - Ctrl + xキーを押し、その後yとEnterを押して変更を保存します。
- 図5Aに示すように必要な成分を一緒にソルダ化し、以下に説明する。
- 2 つの色付き LED の場合は、抵抗と女性のジャンパ ケーブルを片方の脚に、もう 1 本の脚に女性のジャンパ ケーブルを取り付けます(図 5A)。ケーブルはできるだけ短くしてください。これは、マイクロコンピュータの汎用入出力(GPIO)ピンの地面に接続する必要がありますので、LEDの電極のどれが負のもの(通常は短いもの)であるのかをメモしてください。
- 2 つのボタン スイッチの場合は、各脚にメスのジャンパ ケーブルを取り付けます(図 5A)。ケーブルをスイッチの1つに長くし、もう一方のスイッチに短くします。
- IR LED モジュールを組み立てるには、公式 Web リソース19で入手可能な指示に従ってください。
- はんだ付きジョイントをシュリンクチューブで覆い、コンポーネントを短絡するリスクを抑えます。
- マイクロコンピュータの電源を切り、 図 5Bに示すようにスイッチと LED を GPIO ピンに接続します( 以下を参照)。
注意: 間違ったGPIOピンにコンポーネントを配線すると、カメラの電源が入っているときに、それらの、またはマイクロコンピュータが損傷する可能性があります。- マイナスの端がピン#14に接続し、正の端がピン#12に接続するように、1 つの LED を接続します。このLEDは、マイクロコンピュータが起動し、カメラを使用する準備が整ったときに輝きます。
- ボタンスイッチを長いケーブルで接続して、1本のケーブルをピン#9に接続し、もう一方のケーブルをピン#11接続します。このボタンは、ビデオ録画を開始および停止するために使用されます。
メモ:カメラを制御するスクリプトは、ビデオ録画を開始または停止した直後に数秒間このボタンが応答しないように書かれています。 - マイナスの端がピン#20に接続し、正の端がピン#13に接続するように、1 つの LED を接続します。この LED は、カメラがビデオを録画しているときに輝きます。
- ボタンスイッチを短いケーブルで接続して、1 本のケーブルをピン #37に接続し、もう 1 本のケーブルをピン #39に接続します。このスイッチは、カメラの電源を切るために使用されます。
- IR LED モジュールを、公式 Web リソース19に記載されているように接続します。
2. 目的のオペラコンディショニングプロトコルの設計
注: DeepLabCut を使用して、オペラ室から録画されたビデオのプロトコル進行を追跡するには、以下で説明するように、動作プロトコルを特定の方法で構成する必要があります。
- プロトコルの特定のステップ(個別の試験の開始、またはテストセッションなど)の指標として、チャンバーのハウスライト、または別の強い光信号を使用するようにプロトコルを設定する(図6A)。このシグナルは、このプロトコルの残りの部分では「プロトコルステップインジケータ」と呼ばれます。この信号が存在すると、記録されたビデオでプロトコルの進行を追跡することができます。
- プロトコルステップインジケータがアクティブになったときに関連して、関心のあるすべての応答を個々のタイムスタンプで記録するようにプロトコルを設定します。
3. 目的の行動テストを行う動物の動画を録画する
- カメラを室内の上に置き、内部の領域の上面図を記録します(図7)。
注:これは、チャンバー内で動物の一般的な位置と姿勢をキャプチャするために特に適しています。カメラのインジケータライトとIR LEDモジュールをカメラレンズの近くに置かないようにしてください。 - 電源ケーブルを介してカメラをコンセントに接続してカメラを起動します。
注:最初の使用前に、カメラモジュールに付属している小さなツールを使用して、カメラの焦点を設定することが有益です。 - ビデオ録画を開始および停止するには、ステップ 1.13.2 で接続されているボタンを使用します。
- 次の手順に従って、カメラの電源を切ります。
- ステップ 1.13.4 で接続されているボタンを押し続けて、ステップ 1.13.1 で接続されている LED がオフになるまで押し続けます。これにより、カメラのシャットダウンプロセスが開始されます。
- マイクロコンピュータの上部に表示されている緑色の LED (図 1)が点滅しなくなるまで待ちます。
- カメラの電源を取り外します。
注意: マイクロコンピュータの実行中に電源を抜き、マイクロSDカードのデータが破損する可能性があります。
- カメラをモニター、キーボード、マウス、USB ストレージデバイスに接続し、デスクトップからビデオファイルを取得します。
注: ファイルの名前は、ビデオ録画が開始された日時に従って指定されます。しかし、マイクロコンピュータは内部クロックを持っていないし、唯一のインターネットに接続したときに、その時間の設定を更新します。 - 録画したビデオを .h264 から に変換します。MP4は、後者がDeepLabCutとほとんどのメディアプレーヤーでうまく機能します。
注: これを実現するには、複数の方法があります。1 つは 補足ファイル 2 で説明されています。
4. ディープラボカットを使用したビデオの分析
注:DeepLabCutは、ユーザーがビデオフレームのセットに関心のある任意のオブジェクトを定義し、その後、フルレングスビデオ15、16,16でオブジェクトの位置を追跡するニューラルネットワークを訓練するためにこれらを使用することを可能にするソフトウェアパッケージです。このセクションでは、DeepLabCutを使用して、プロトコルステップインジケータのステータスとラットの頭部の位置を追跡する方法について、大まかな概要を説明します。DeepLabCutのインストールと使用は、他の公開プロトコル15、16,でよく説明されています。各ステップは、他の場所で説明されているように、特定のPythonコマンドまたはDeepLabCutのグラフィックユーザーインターフェースを介して行うことができます15,,16.
- 16で概説されている手順に従って、新しい DeepLabCut プロジェクトを作成および構成します。
- DeepLabCutのフレームグラブ機能を使用して、セクション3で記録された1つ以上のビデオから700\u2012900ビデオフレームを抽出します。
注:動物が毛皮の色素沈着やその他の視覚特性でかなり異なる場合は、700\u2012900抽出されたビデオフレームが異なる動物のビデオに分割されることをお勧めします。これを通して、1つの訓練されたネットワークを使用して、異なる個人を追跡することができます。- プロトコル ステップ インジケータのアクティブ (図 8A) と非アクティブ (図 8B) の両方の状態を表示するビデオ フレームを含める必要があります。
- テスト中にラットが表示する可能性のあるさまざまな位置、姿勢、頭の動きの範囲をカバーするビデオフレームを含める必要があります。これには、ラットがチャンバーの異なる領域に静止しているビデオフレームと、その頭が異なる方向を向いているビデオフレーム、ラットが積極的に動いているビデオフレーム、鼻突き開口部に入り、ペレットトラフに入るビデオフレームが含まれるはずです。
- 手順 4.2 で抽出した各ビデオ フレームで、Rat の頭部の位置を手動でマークするには、DeepLabCut のラベリング ツールボックスを使用します。マウスカーソルを使用して、ラットの耳の間の中央の位置に「頭部」ラベルを配置します(図8A,B)。また、室内のハウスライト(または他のプロトコルステップインジケータ)の位置を、活発に輝いている各ビデオフレームにマークを付けます(図8A)。ハウス ライトは、非アクティブなフレームにラベルを付けておいてください (図 8B)。
- DeepLabCutの「トレーニングデータセットの作成」および「トレーニングネットワーク」機能を使用して、ステップ4.3でラベル付けされたビデオフレームからトレーニングデータセットを作成し、ニューラルネットワークのトレーニングを開始します。選択したネットワークの種類に対して必ず [resnet_101] を選択してください。
- トレーニング損失が 0.01 を下回った場合は、ネットワークのトレーニングを停止します。これには、最大 500,000 のトレーニング イテレーションが必要になる場合があります。
注: 約 8 GB のメモリを搭載した GPU マシンと、約 900 個のビデオ フレーム (解像度: 1640 x 1232 ピクセル) のトレーニング セットを使用する場合、トレーニング プロセスには約 72 時間かかることが判明しました。 - DeepLabCutのビデオ分析機能を使用して、ステップ4.4で訓練されたニューラルネットワークを使用して、ステップ3で収集したビデオを分析します。これにより、分析されたビデオの各ビデオフレームで、ラットの頭部の追跡位置とプロトコルステップインジケータをリストした.csvファイルが提供されます。また、トラック位置が視覚的に表示されるマークアップビデオファイルが作成されます (ビデオ 1-8)。
- 追跡の精度を評価するには、以下の手順に従います。
- DeepLabCutの組み込みの評価機能を使用して、ネットワークの追跡精度の自動評価を取得します。これは、ステップ 4.3 でラベル付けされたビデオ フレームに基づいており、ネットワークによって追跡される位置が手動で配置されたラベルからどれくらい離れているかを示します。
- ステップ 4.6 で取得したマークアップ ビデオで、1 つ以上の短いビデオ シーケンス (それぞれ約 100\u2012200 ビデオ フレーム) を選択します。ビデオシーケンスを通り、フレームごとに、ラベルが正しくラットの頭、尾などの位置を示すフレーム数、およびラベルが誤った位置に配置されたフレームの数または表示されないフレームの数に注意してください。
- ボディパーツまたはオブジェクトのラベルが頻繁に失われたり、誤った位置に配置されたりする場合は、トラッキングが失敗する状況を特定します。手順 4.2 を繰り返して、これらの機会のラベル付きフレームを抽出して追加します。と4.3.次に、ネットワークを再トレーニングし、手順 4.4 ~ 4.7 を繰り返してビデオを再分析します。最終的には、>90%の精度のトラッキング精度を達成する必要があります。
5. オペラ室の関心点の座標を取得する
- ステップ 4.3 で説明したように DeepLabCut を使用して、単一のビデオ フレーム (図 8C)で、操作室の対象となるポイント (鼻突き開口部、レバーなど) を手動でマークします。これらは、研究固有の興味に応じて手動で選択されますが、プロトコルステップインジケータの位置は常に含める必要があります。
- プロジェクト フォルダーの "ラベル付きデータ" の下に DeepLabCut が自動的に格納する .csv ファイルから、目的のマークされたポイントの座標を取得します。
6. プロトコルステップインジケータがアクティブなビデオセグメントの識別
- ステップ 4.6 の DeepLabCut ビデオ分析から得た .csv ファイルを、選択したデータ管理ソフトウェアにロードします。
注: DeepLabCutおよびオペラコンディショニングシステムから得られるデータの量と複雑さにより、データ管理は自動分析スクリプトを使用して行うことをお勧めします。この作業を開始するには、他の場所で入手できるエントリ レベルのガイド20、21、,22を参照してください。 - プロトコルステップインジケータがセクション5で得られた位置から60ピクセル以内に、ビデオセグメントが追跡される点に注意してください。これらは、プロトコルステップインジケータがアクティブな期間になります(図6B)。
注: プロトコル ステップ インジケーターが輝いていないビデオ セグメントでは、マークされたビデオは DeepLabCut がどの位置にもそれを追跡していないことを示しているように見えるかもしれません。ただし、これはまれにしか行われず、通常は複数の散在する場所に追跡されます。 - プロトコルステップインジケータがアクティブな各期間の正確な開始点を抽出します (図6C:1)。
7. 関心のある動画セグメントの特定
- プロトコルステップインジケータがアクティブになるポイント(図6C:1)と、オペラ室によって記録された応答のタイムスタンプ(セクション2、 図6C:2)を考えてみましょう。
- この情報を使用して、試行間の間隔、応答、報酬の取得など、特定の興味深いイベントをカバーするビデオ セグメントを特定します (図 6C: 3、図 6D)。
注:このためには、ここに記載されているカメラは30 fpsでビデオを記録することを覚えておいてください。 - 関心のあるこれらのイベントをカバーする特定のビデオ フレームに注意してください。
- (オプション)完全なテスト セッションのビデオ ファイルを編集して、特定のセグメントのみを含めます。
注: これを実現するには、複数の方法があります。1 つは 補助ファイル 2 および 3で説明されています。これは、多数のビデオを保存する場合に非常に役立ち、結果の確認と表示をより便利にすることもできます。
8. 特定のビデオセグメントにおける動物の位置と動きを分析する
- ステップ 4.6 で DeepLabCut から取得したヘッド位置の完全なトラッキング データをサブセット化して、セクション 7 に記載されているビデオ セグメントのみを含めます。
- セクション 5 (図 8C) で選択した 1 つまたは複数の基準点に対して、動物の頭部の位置を計算します。これにより、さまざまな動画間でのトラッキングと位置の比較が可能になります。
- 動物の位置と動きの関連する詳細な分析を実行します。
注: 実行される特定の分析は、厳密にスタディ固有になります。分析できるパラメータの例を以下に示します。- 1 つのグラフ内の選択した期間に検出されたすべての座標をプロットして、パス トレースを視覚化します。
- 次の式を使用して、特定の対象点への近接性を分析します。
- 連続したフレームでのトラッキングされた座標間の距離を計算し、カメラの 1/fps で除算することで、移動中の速度の変化を分析します。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
ビデオカメラのパフォーマンス
代表結果は、床面積が28.5cm x 25.5cm、高さ28.5cmのラット用の手術用コンディショニングチャンバーに集めた。魚眼レンズを取り付けた状態で、カメラはチャンバーの上に置くと、床面積全体と周囲の壁の大部分を捉えます(図7A)。そのため、カメラがチャンバーの上部の中心外に配置されていても、良好なビューを得ることができます。これは、同等のオペラ室に当てはまるはずです。IR LEDはチャンバー全体を照らすことができる(図7B,C)、チャンバー内の他のすべてのライトがオフになっている場合でも、良好な眺めを可能にする(図7C)。しかし、このような状況での照明は完全に均等ではなく、正確な追跡を得るのにいくつかの困難をもたらす可能性があります。このような解析が必要な場合は、IR イルミネーションの追加ソースが必要になる場合があります。また、いくつかのチャンバーは、尿や便を収集するために、金属滴下鍋を使用していることも注目に値します。カメラをこのような表面の真上に配置すると、IR LEDの光の強い反射が記録されたビデオに表示されます(図7B)。しかし、これは、ドロップパンにペーパータオルを入れることで避けることができ、はるかに改善されたイメージを与えます(図7C)。カメラの IR またはカラーの LED をカメラレンズの近くに置きすぎると、画像周辺に見える結果になる可能性があります(図 7B)。カメラはIRに敏感であるため、チャンバー内に存在するIR光源はビデオに見えるかもしれません。多くのセットアップでは、IRビームブレークセンサーの連続輝きが含まれます(図7C)。カメラのIR LEDからの連続的な照明は、十分に明るいチャンバの画質を妨げません(図7D)。カメラで録画される動画のサイズは約77 Mb/分です。カメラに32 GbマイクロSDカードを使用する場合、オペレーティングシステムのインストール後に約20 Gbが利用可能である必要があります。これは、記録された映像の約260分のための余地を残します。
魚眼レンズは、カメラがわずかに不均一な焦点を持ち、画像の中央に鋭いが、エッジに向かってシャープさを減少させます。これは追跡の精度に影響を与えないようです。また、魚眼レンズは記録された画像が歪んでいる結果となる。たとえば、等間隔の点の間の直線の間隔は、画像の周囲に向かって人工的に減少した間隔を示します(図9A,B)。カメラが視野の大部分または距離と速度の絶対測定値が対象となるアプリケーションに使用される場合、この歪み23(補足ファイル4)のデータを修正することを検討する価値があります。ただし、歪みは画像の中央で比較的軽度です(図9B)。私たちのオペラ室に集まったビデオの場合、関心のある領域はカメラの視野の中央25%に限定されています。この領域では、魚眼の歪みの影響は最小限に抑えられます(図9C\u2012F)。
ディープラボカットによる追跡の精度
トレーニングされたネットワークの追跡精度を決定する主な要因は、(i) トレーニング データ セット内のラベル付きフレームの数、(ii) ラベル付きフレームが対象の動作をどの程度うまくキャプチャしているか、および (iii) 使用されるトレーニング反復の数です。DeepLabCutには評価関数が含まれており、オブジェクトの実際の位置から追跡が予想される距離(ピクセル数)の推定値を報告します。ただし、これは、オブジェクトが失われたり、ラベルが間違っているフレームの数を示すものではありません (図 10A)は、トラッキング精度の手動評価を追加する必要を促します。
オペラ座内の挙動を分析するために、十分な訓練を受けたネットワークは、プロトコルステップインジケータがアクティブなすべてのイベントを正確に識別できるようにする必要があります。そうでなければ、ネットワークを再トレーニングするか、別のインジケータを選択する必要があります。十分な訓練を受けたネットワークを持っているにもかかわらず、プロトコルステップインジケータの追跡は、時にはカメラの視界を妨げている動物によって中断される可能性があります(図10B)。これは、インジケータが非アクティブなエピソードを連想させるトラッキングでブレークを引き起こすでしょう。この発生の頻度は、動物の緊張、行動プロトコルの種類、プロトコルステップインジケータの選択に依存します。ここで使用される5CSRTTのサンプルデータでは、400回の試行のうち4回に発生しました(データは表示されません)。すべての機会は、プロトコル設計に含まれていたブレークステップの期間と一致しないほど容易に識別可能でした(図6A)。最終的には、チャンバーに高く配置され、動物が相互作用するコンポーネントから離れたインジケータを選択することは役に立つ可能性があります。
十分な訓練を受けたネットワークは、対象のビデオセグメントの間に動物の頭部を追跡する際に、90%の精度を可能にする必要があります (ビデオ 1)。この場合、ビデオ フレームのごく一部のみを後続の分析から除外する必要があり、テスト セッション内の事実上すべての試行から使用できる追跡データを取得できます。正確な追跡は、動き全体を通して動物に続くマーカーによって明確に識別可能である(ビデオ2)と滑らかに見えるプロットされたパス(図10C)。対照的に、不正確なトラッキングは、ターゲット(Video 3)に確実に留まらないマーカーと、ギザギザに見えるプロットされたパスによって特徴付けられる(図10D)。後者は、正確なトラッキングのシーケンス内の単一のビデオフレーム内の遠くの誤った位置に追跡されているオブジェクトによって引き起こされます。この結果、不正確な追跡は通常、計算された移動速度の急激な変化を引き起こします(図10E)。これは、トラッキングが不正確なビデオフレームを識別し、後続の分析から除外するために使用できます。トラッキング精度に重大な問題がある場合、トラッキングが失敗する場合を特定し、これらのイベントのラベル付きビデオ フレームを含む拡張トレーニング セットを使用してネットワークを再トレーニングする必要があります (図 10A,E)。
ビデオトラッキングを使用して、操作行動の分析を補完
オペラテスト中に動物がどのように動き、位置を付けるかを分析することは、その行動の複雑で多面的な性質に関する複数の洞察を提供します。テストセッション中に動物が位置する場所を追跡することで、異なる動きパターンがパフォーマンスとどのように関連しているかを評価できます(図11A,B)。特定のプロトコル・ステップ中の頭部の動きをさらに調査することで、さまざまなストラテジーの使用を検出して特徴づけることができます (図 11C\u2012E)。
例示するために、5CSRTT試験を行うラットに対して提示される代表的なデータを考えてみましょう(図6A、図11)。このテストでは、動物は、それぞれ5秒の待機ステップ(試験間間隔 - ITI)で始まる複数の試験を提示されます(図6A:1)。この最後に、鼻突き口の1つの内側に光が当たります(各試行でランダムに選択された位置、図6A:2)。キュード開口部への鼻突きは正しい応答と見なされ、報われる(図6A:3)。別の開口部への応答は正しくないと見なされます。光のプレゼンテーションに続いて5以内に応答しないことは省略とみなされます。このテストのITI中のヘッドの動きを追跡すると、ラットが応答を行う試験では、鼻突き開口部の周りの領域に向かって速く移動することが明らかとなっています(図11A,B、ビデオ4)。対照的に、大部分の省略試験では、ラットは開口部の周囲に接近することができない(図11B、ビデオ5)。この動作は、省略の一般的な解釈が、テスト3,,16を実行する低い動機と密接に関連しています。しかし、不作為試験のサブセット(現在のデータセットの約20%)では、ラットは開口部に向かって明確な焦点を示したが(図11B、ビデオ6)が、キューの開口部の正確な位置をメモしなかった。したがって、データは、少なくとも2つの異なるタイプの省略があることを示し、1つは進行中の試験における不利益の可能性に関連し、もう1つは不十分な視空間注意3に依存している。ヘッドトラッキングは、明らかな戦略を区別するためにも使用できます。例として、ラットが5CSRTTの間に鼻突き開口部に近接しているときに動く方法を分析する際に、2つの明確な注意戦略が明らかになった(図11C\u2012E)。最初の戦略では、ラットは非常に焦点を当てたアプローチを示し、ITIのほとんどを中心とした位置を維持しました(図11C、ビデオ7)。対照的に、他の戦略を採用しているラットは、常に検索のような方法で異なる開口部の間で頭を移動しました(図11D、ビデオ8)。この種の動作の違いは、異なる開口部に近接して費やされた時間を計算することによって、便利に定量化することができます(図11E)。最後に、キューライト提示時にどのラットが最も近いかを分析することにより(図11F)、中央位置(図11G)またはcued開口部の位置に近接していること(図11H)が試験上の正確な性能に有益であると考えられることを実証することができる。
図1:記載されているマイクロコンピュータのスケッチ。 この回路図は、マイコンマザーボード上の目的の複数のコンポーネントの位置を示しています。これらは、次のように丸で囲まれた数字でマークされています: 1: カメラ リボン ケーブルのコネクタ;2: コンピュータが稼働しているタイミングを示す LED ライト。3:電源ケーブル用マイクロUSB。4:マウス/キーボード用マイクロUSB;5:汎用入出力ピン(GPIOピン)、これらのピンは、LED、スイッチ、およびIR LEDモジュールにマイクロコンピュータを接続するために使用されます。6:ミニHDMI出力。7: マイクロSDカードスロット。図の下の部分では、GPIOピンのトリミング部分と拡大部分が示され、特定のピンの位置を正しく識別するためにそれらに沿ってカウントする方法が示されています。 この図の大きなバージョンを表示するには、ここをクリックしてください。
図2:カメラ本体の構築 図は、カメラのボディを構築するための主な手順を示しています。(A)磁気金属リングをカメラスタンドに取り付けます。(B)カメラモジュールをカメラスタンドに取り付けます。(C)カメラモジュールをフラットリボンケーブルでマイクロコンピュータに接続します。マイクロコンピュータとカメラモジュールの両方に存在するカメラポートを開閉する方法を示す白い矢印に注意してください。(D) マイクロコンピュータをプラスチックケースに入れ、マイクロSDカードを挿入します。 この図の大きなバージョンを表示するには、ここをクリックしてください。
図3:マイクロコンピュータのオペレーティングシステムを更新し、周辺機器を有効にする 図は、マイクロコンピュータのユーザーインターフェイスを示す4つの異なるスクリーンショットを示しています。(A)画面の左上隅にある「ターミナル」アイコンをクリックすると、ターミナルウィンドウを開くことができます。(B) 端末内では、プロトコルテキストに詳述されているように、さまざまな種類のコマンドを入力できます。スクリーンショットには、システムのソフトウェアパッケージを更新するためのコマンドが表示されます。(C) スクリーンショットは、カメラモジュールとI2C GPIOピンの使用を有効にできる設定メニューに移動する方法を表示します。(D) スクリーンショットには/home/piフォルダが表示され、ここで、プロトコルのステップ1.10でカメラスクリプトをコピーする必要があります。画面の左上隅にあるアイコンをクリックすると、ウィンドウが開きます。 この図の大きなバージョンを表示するには、ここをクリックしてください。
図 4: マイクロコンピュータの rc.local ファイルを構成する。 図は、ステップ 1.11.1 で説明したようにターミナルを介してアクセスした場合、マイクロコンピュータの rc.local ファイルの 2 つのスクリーンショットを示しています。(A) rc.local ファイルの元の形式のスクリーンショット。矢印は、カメラの自動開始機能を有効にするためにテキストを入力する必要があるスペースを示します。(B) RC.local ファイルが編集された後の、IR LED を照らし、マイクロコンピュータの起動時にカメラを制御する Python スクリプトを起動した後のスクリーンショット。 この図の大きなバージョンを表示するには、ここをクリックしてください。
図 5: マイクロコンピュータの GPIO ピンにスイッチと LED を接続する (A) スケマティック図は、女性ジャンパケーブル(上)と抵抗と女性のジャンパーケーブル(下)を備えたLEDを備えたボタンスイッチを示しています。(1)ボタンスイッチ、(2)女性ジャンパケーブル、(3)LED、(4)抵抗。(B) 2 つのボタンスイッチ、色付き LED、および IR LED ボードがマイクロコンピュータの GPIO ピンに接続されている様子を示す概略図。青いケーブルとGPIOピンは地面を示します。2つのGPIOピンの位置は図(GPIOピン#2と#40):(1)ビデオ録画を開始/停止するためのボタン。(2) ビデオがいつ録画されているかを示す LED。(3) カメラのスイッチを切るボタン。(4) LED は、カメラが起動し、使用できる状態であることを示します。(5) IR LED モジュール。LED を搭載した回路には、330 Ω の抵抗も含まれています。 この図の大きなバージョンを表示するには、ここをクリックしてください。
図 6: プロトコル ステップ インジケーターの DeepLabCut 追跡を使用して、全長ビデオの対象シーケンスを特定する(A)5選択連続反応時間試験(5CSRTT)における単一試験のステップの概略:(1)まず、短い待ち時間(ITI)がある。矢印は、積極的に輝くハウスライトを示します。(2) ITIの最後に、5つの鼻突き口(矢印)の1つに光が当たります。(3)ネズミがキュード開口部に鼻突きで正確に反応すると、報酬(矢印)が届きます。(4) ラットは報酬を取り出す。(5) プロトコルステップインジケーターとしてハウスライトを使用できるようにするため、次の試行が始まる前に、ハウスライトがオフ(矢印)される短い休止ステップを実施する。ハウスライトは、試験の後続のステップ中に輝いていることに注意してください。(B) 5CSRTT テストのビデオ セグメント中に DeepLabCut によって追跡されるアクティブなハウス ライトの x 座標を表すグラフの例。ハウスライトが輝いているセグメント(インジケータアクティブ - 1)の間、位置は、図8C(x、y:163、503)のハウスライトの位置に匹敵する、一貫した安定したポイント(例Figure 8Cのビデオフレームの赤いマーカー(矢印で示される)にも注意してください)に追跡されます。ハウスライトが輝いていないセグメント(インジケータがアクティブでない - 2、例のビデオフレームの白い矢印に注意)の間、追跡された位置は安定しておらず、ハウスライトの実際の座標から遠く離れています。(C)表1は、プロトコルステップインジケータのDeepLabCut追跡から得られた処理された出力の例を示す。この出力では、インジケーターがアクティブな各機会の開始点がリストされています。表2は、オペラ・コンディショニング・システムから得られたデータの例を示し、個々の試験に関連する詳細を示している。この例では、ITIの期間、キュード開口部の位置および待ち時間が応答を実行し、報酬を取得するために記録されている。表 3 は、DeepLabCut の追跡結果と、オペランコンディショニングシステムから記録されたデータをマージして取得したデータの例を示しています。これを通じて、ITIの開始点(ステップ1 in A)のビデオフレームは、キューライトプレゼンテーションの出発点(Aのステップ2)、応答(ステップ3 in A)および検索(Aのステップ4)を例として得られた。(D) 撮影された 5CSRTT 試験中に DeepLabCut によって追跡された、ハウス ライトの X 座標を表すグラフの例。プロトコルの異なるステップが示されています: (1) ITI;(2)キューライトの提示(白い矢印で示される位置);(3) 応答;(4)報酬の取得。これらの異なるプロトコルステップの開始と停止を示すビデオフレームの識別は、Dに示されたのと同等のプロセスを経て行われました。
図7:カメラの画像特性(A)オペラ式コンディショニングチャンバーの上に置かれたカメラから得られたトリミングされていない画像。画像は、部屋が明るく照らされた部屋に置かれている間にキャプチャされました。(1)ハウスライトと(2)チャンバーの左壁に沿ってペレットトラフに報酬を与え、(3)チャンバーの右壁に沿って5つの鼻突き開口部の列に注意してください。各鼻突きの開口部には小さなキューライトが含まれています。(B)(1)金属滴下鍋による強い反射を表示するトリミングされていない画像、カメラの(2)インジケータLEDおよび(3)IR LEDモジュールの最適な位置決めによって生じる反射。B(C)完全な暗闇の中でチャンバーのトリミング画像。チャンバーの右壁に沿った5つの鼻突き開口部のIRビームブレーク検出器からのライトがはっきりと見える(矢印)。(D)明るく点灯したときのチャンバーのトリミング画像。この図の大きなバージョンを表示するには、ここをクリックしてください。
図8:プロトコルステップインジケータと対象の身体部分の位置追跡。 (A) 図は、DeepLabCutによって追跡される、プロトコルステップインジケーター(赤)と、ラットの頭(黄色)と尾(緑)の位置を示しています。点灯したハウスライトの追跡によって示されるように、ビデオフレームはアクティブトライアルのスナップショットから取得されます。(B) この画像は、トライアルがアクティブでない瞬間に DeepLabCut によって追跡された、頭 (黄色) と尾 (緑) の位置を示します。ハウスライトトラッキングの欠如に注意してください。(C) 図6 および 図11に示すデータの分析に使用される対象点の位置。(1) ハウスライト、この場合プロトコルステップインジケータとして使用される、(2\u20126)鼻突き開口部#1\u20125。 この図の大きなバージョンを表示するには、ここをクリックしてください。
図9:魚眼レンズからの画像の歪み。(A) このプロトコルで説明されているカメラで撮影された、等しい大きさと間隔を同じにした黒と白の正方形を持つチェッカーボードパターンの画像。画像は、オペラコンディショニングチャンバーからのビデオを録画する際に使用されるものに匹敵する高さで撮影されました。中央の水平線と垂直線に沿った黒い正方形は、DeepLabCutでマークされています。(B)(A)のマークされた四角形の間隔が画像の中心に近いでどのように変化するかを示すグラフ。(C)操作室から集めたビデオに対する魚眼歪み効果の影響を評価するために行われた測定値を描写した画像。床面積のエッジに沿ったコーナーと中点、個々のフロアラングの中央位置、および5つの鼻突き開口部の位置はDeepLabCut(色付きのドット)で示されています。(1)床の間隔は、(2)チャンバーの中央に沿ってチャンバー床の幅、(3)鼻突き開口部の間隔。(D) 床ラングの間隔 (3 つの連続したラングのセットごとに平均) を左から右へ (C) で番号付けします。魚眼歪みの影響が小さく、中央のラングはおよそ3ピクセル(8%)の間隔で配置されますさらにチャンバーの床の端に配置されているラングよりも離れて。(E)チャンバー床の幅(C)は、その左右の端と中点で測定した。魚眼歪みの影響が小さく、中間点で測定された幅は約29ピクセル(5%)になる他の測定値よりも長い。(F)(C)での鼻突き開口部の間隔、画像の上から番号が付いている。F魚眼歪みの影響が小さく、中央の3つの開口部(H2、H3、H5)間の間隔はおよそ5ピクセル(4%)になるH1-H2 と H4-H5 の間の間隔より広い。D-Fの場合、データは4つの動画から収集され、グラフはグループ平均+標準誤差を示しています。この図の大きなバージョンを表示するには、ここをクリックしてください。
図 10: DeepLabCut トラッキングの精度を確認する(A) 手術室内でラットを追跡するために訓練された2つのニューラルネットワークのトレーニング情報をリストした表。ネットワーク#1は、より小さなトレーニング データセットを使用しましたが、ネットワーク #2と比較してトレーニングの反復回数が多くなっています。どちらのネットワークもDeepLabCutの評価機能(DLCテストエラー)から低い誤差スコアを達成し、トレーニングの終わりに向かって低いトレーニング損失を示しました。それにもかかわらず、ネットワーク#1は、マークされたビデオフレームの手動評価時に非常に悪い追跡精度を示しました(測定された精度、ビデオ2とビデオ3に匹敵するビデオセグメントをカバーする150のビデオフレームから推定される)。ネットワーク#2は、(E)に記載されているように、トレーニングデータセットにラットを積極的に移動させる追加のビデオフレームを含めた後、ネットワーク#1の改良版を表す。(B) ラットが飼育し、部屋の家の灯を頭で覆Figure 7Aい、その追跡を妨害する画像。(C)5CSRTT試行中に行われた応答をキャプチャするビデオフレーム(図6A:3)。応答中およびITIに先行する頭部の移動経路は、画像上に黄色で重ねられています。追跡は正確であると見なされます。移動中のスムーズなトラッキング(白い矢印)に注意してください。対応するビデオはビデオ2として利用できます。追跡にネットワーク #2 (A を参照) が使用されました。(D) 5CSRTT試行中に行われた応答をキャプチャするビデオフレーム(図6A:3)。応答中およびITIに先行する頭部の移動経路は、画像上に黄色で重ねられています。データは(C)と同じ試用版に関係しますが、ネットワーク#1で分析されます(Aを参照)。追跡は不正確であると見なされます。パスのギザギザの外観は、遠くの誤った位置(黒い矢印)に頭を時折追跡することによって引き起こされる複数の直線(白い矢印)で発生します。対応するビデオはビデオ3として利用できます。(E)(C)と(D)における頭部追跡の動き速度の動的変化を示すグラフ。Eグラフで識別可能なビデオ2と3で見られる3つの主要な動きは、ラットが最初に鼻突き開口部(最初のターン)に向かって回り、さらにそれらに近づくため(調整)、そして最終的に応答を実行する小さな調整を行います。ネットワーク#2(A)によって得られた良好な追跡のための速度プロファイルは、正確な追跡を示す、移動速度(青い矢印)の変化の滑らかな曲線を表示します。ネットワーク #1 (A) によって得られた不適切な追跡の速度プロファイルは、移動速度 (赤い矢印) の複数の急激なスパイクを示す単一のビデオ フレームで時折追跡エラーを示します。これらの追跡の問題は、特に動きの間に発生することは注目に値します。これを是正するために、ネットワーク#1のトレーニングに使用される最初のトレーニングセットは、積極的に動くラットを描いたビデオフレームを大量に拡大しました。これは、その後、ネットワーク#2を訓練するために使用され、この追跡の問題を効率的に取り除きました。この図の大きなバージョンを表示するには、ここをクリックしてください。
図11:DeepLabCutを通じた位置追跡を使用して、オペラコンディショニングテストの行動分析を補完する。 (A) オペラコンディショニング室の内部の一面図。チャンバーの3つの領域が示されている。報酬ペレットトラフ(ペレット)、中央チャンバーエリア(中央)、鼻突き開口部(開口部)の周りの領域に近い領域。(B) ラットが5CSRTTのITIステップ中に(A)で概説したオペラ室の3つの異なる領域で過ごす時間の相対的な量を示すグラフである。反応を伴う試験では、ラットは最初はペレットトラフ(黒)とチャンバーセンター(灰色)の近くに配置される傾向がありますが、ITIが進むにつれて、鼻突き開口部(白)の周りに自分自身を配置する方向にシフトします。対照的に、典型的な省略試験では、ラットはペレットトラフとチャンバーセンターの周りに位置し続ける。省略試験のサブセットについて(約20%)ラットは明らかに鼻突きの開口部に向かって焦点を移しますが、プロンプトが出されたときに応答を実行することができません。被験者因子と被験者内因子としての試験タイプを用いたノーズポーク開口部の周囲に費やす時間の双方向ANOVA分析は、有意な時間を明らかにする(p < 0.001, F(4,8) = 35.13), trial type (p < 0.01, F(2,4) = 57.33) and time x trial type interaction (p < 0.001, F(8,16) = 15.3) effects. Data gathered from four animals performing 100 trials each. Graph displays mean + standard error. (C) 5CSRTT テスト セッションの 50 ITI 中に 1 つの特定のラットによって、鼻突き開口部の近くで追跡されたすべてのヘッド位置を表示するヒート マップ。ラットは、頭を中央の鼻突きの開口部に近い場所に保つ傾向が強いことに注意してください。(D) 5-CSRTT テスト セッションの 50 ITI 中に 1 つの特定のラットによって、鼻突き開口部の近くで追跡されたすべてのヘッド位置を表示するヒート マップ。なお、ラットは特定の開口部に対して明確な好みを示さない。(E) (C)と(D)に表示された2匹のラットが5CSRTTの50のITIの間に異なる鼻突き開口部に最も近い時間を費やす時間の相対的な量を示すグラフ。焦点を絞った戦略(C)を示すラット(黒)は、中央開口部に最も近いという強い好みを示し、検索様戦略(D)を有するラット(白)は特定の開口部に対する好みを示さない。グラフは平均 + 標準誤差を示します。(F) 5CSRTT試行におけるキュープレゼンテーション時のネズミの画像(図 6A).ラットは頭を中央の開口部(白い矢印)に最も近い位置に配置しており、キューの開口部(黒い矢印)から2つの開口部から離れている点に注意してください。(G) ラットの頭部が中央開口部に最も近いか、またはキュー提示時に他の開口部の1つに最も近いかに関して、5CSRTTのパフォーマンス精度(すなわち、正しい応答を行う頻度)を示すグラフ(図 6A2).4匹の動物から収集したデータは、それぞれ約70の応答を行っています。グラフは、グループ平均+ 標準誤差(一致t検定:p)を表示します < 0.05). (H) シグナル提示の点における、キュード開口部の位置とラットの頭部の位置との距離に関する5CSRTTの性能精度を示すグラフ。距離は、ラットの頭の位置とシグナルされた開口部の位置との間の開口部の数に関連しています。4匹の動物から収集したデータは、それぞれ約70の応答を行っています。グラフは平均+ 標準誤差 (一方向分散分析:p) < 0.01). For the presented analysis, Network #2 described in 図10A が使用された。完全な分析されたデータセットには、約160,000のビデオフレームと400のトライアルが含まれていました。これらの中で、ビデオフレームの2.5%は、動物の注目された移動速度が3,000ピクセル/sを超えているため除外され、誤った追跡を示しています(図 10E).完全な試験は除外されませんでした。 この図の大きなバージョンを表示するには、ここをクリックしてください。
ビデオ1:訓練を受けたニューラルネットワークの代表的な追跡性能。 ビデオでは、5CSRTT テスト セッション中に正しい応答を持つ 45 回の試行を実行するラットのモンタージュを示しています (プロトコルの詳細については 図 6A を参照してください)。ハウスライト(赤マーカー)、テールベース(緑色マーカー)とヘッド(青マーカー)のトラッキングがビデオに示されています。ネットワークのトレーニング( 図10Aのネットワーク#2)では、鼻突き口に近接してチャンバーフロアに沿って行われた動きの精度を強調しました(右壁、 図7A)。これらのセグメントのトラッキングは平均で90%の精度で表示されます。トレーニングセットにはこれらの動作のフレームが含まれていないため、飼育とグルーミングのエピソードの追跡は不正確です。ビデオはファイル サイズを小さくするために圧縮されており、カメラで得られるビデオ品質を表せないことに注意してください。 こちらをクリックして、このビデオをダウンロードしてください。
ビデオ2:正確に追跡された動物の例。 ビデオは、5CSRTTの間に正しい応答を実行するラットの単一のよく追跡された試験を示しています。ハウスライト(赤マーカー)、テールベース(緑色マーカー)とヘッド(青マーカー)のトラッキングがビデオに示されています。 図10A に記載されたニューラルネットワーク#2をトラッキングに用いた。マーカーが動物の動きにどのように正確に従うに注意してください。また、このビデオクリップのヘッドトラッキングのプロットパスと移動速度については、 図10C,E を参照してください。 こちらをクリックして、このビデオをダウンロードしてください。
ビデオ3:追跡が不十分な動物の例。 ビデオは、5CSRTTの間に正しい応答を実行するラットの単一の不十分に追跡された試験を示しています。ハウスライト(赤マーカー)、テールベース(緑色マーカー)とヘッド(青マーカー)のトラッキングがビデオに示されています。 図10A に記載されたニューラルネットワーク#1をトラッキングに用いた。ビデオクリップはビデオ2で使用したものと同 じです。頭部のマーカーは、確実にラットの頭部の上に置かれていないことに注意してください。また、このビデオクリップのヘッドトラッキングのプロットパスと移動速度については、 図10D,E を参照してください。 こちらをクリックして、このビデオをダウンロードしてください。
ビデオ4:応答を伴う5CSRTT試験中に行われた動きの例。 ビデオは、5-CSRTTの間に正しい応答を実行するラットの単一のよく追跡された試験を示しています。ハウスライト(赤マーカー)、テールベース(緑色マーカー)とヘッド(青マーカー)のトラッキングがビデオに示されています。最初のラットがペレットレセプタクル(左壁、 図7A)に明確に近い位置に配置され、鼻突き開口部の列に注意を向けるために移動することに注意してください。 こちらをクリックして、このビデオをダウンロードしてください。
ビデオ5:5CSRTT中の典型的な省略試験の例。 ビデオは、5CSRTTの間に典型的な省略を行うラットの単一のよく追跡された試験を示しています。ハウスライト(赤マーカー)、テールベース(緑色マーカー)とヘッド(青マーカー)のトラッキングがビデオに示されています。ラットがペレットレセプタクル(左壁、 図7A)とチャンバーセンターの周りの位置を維持する方法に注意してください。鼻の突き出しに向かって振り向くのではなく(右壁、 図7A)。表示される動作と省略の原因は、テストの実行に対する関心の低さを反映すると主張できます。 こちらをクリックして、このビデオをダウンロードしてください。
ビデオ6:5CSRTT中の非定型不作為試験の例。 ビデオは、5CSRTTの間に非定型的な省略を行うラットの単一のよく追跡された試験を示しています。ハウスライト(赤マーカー)、テールベース(緑色マーカー)とヘッド(青マーカー)のトラッキングがビデオに示されています。ラットがチャンバーの右壁に沿って鼻突き開口部に向かって自分自身を配置する方法に注意してください(図7A)。これは、動物がテストを行うことに興味があることを示すために議論することができます。ただし、キューが表示されると、(5 s s)キューの開口部から離れた場所に向きます。 ビデオ4に表示される省略とは対照的に、ここで見られるものは、最適でない視空間注意プロセスに関連している可能性が高い。 こちらをクリックして、このビデオをダウンロードしてください。
ビデオ7:5CSRTTのITI中に集中した中心位置を維持する動物の例。 ビデオは、5CSRTTの試験で正しい応答を実行するラットの単一のよく追跡された試験を示しています。ラットがITI中の中央位置を維持し、頭をチャンバー右壁に沿って中央の鼻突き開きに近づけながら安定的に保つ方法に注意してください(図7A)。ハウスライト(赤マーカー)、テールベース(緑色マーカー)とヘッド(青マーカー)のトラッキングがビデオに示されています。 こちらをクリックして、このビデオをダウンロードしてください。
ビデオ8:5CSRTTのITI中に検索のような注意戦略を表示する動物の例。 ビデオは、5CSRTTの試験で正しい応答を実行するラットの単一のよく追跡された試験を示しています。ラットが頻繁にチャンバーの右壁に沿って異なる鼻突き開口部に直面するように頭を再配置する方法に注意してください(図7A)。ハウスライト(赤マーカー)、テールベース(緑色マーカー)とヘッド(青マーカー)のトラッキングがビデオに示されています。 こちらをクリックして、このビデオをダウンロードしてください。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
このプロトコルは、操作コンディショニングチャンバーやその他の動作テスト設定からビデオを記録するために使用できる安価で柔軟なビデオカメラを構築する方法を説明します。さらに、DeepLabCutを使用してこれらのビデオ内の強い光信号を追跡する方法と、完全なテストセッションをカバーするビデオファイルの関心のある短いビデオセグメントを特定するのにどのように使用できるかを示しています。最後に、ラットの頭部の追跡を使用して、オペランコンディショニングテスト中の行動の分析を補完する方法を説明します。
プロトコルは、オペラコンディショニングチャンバー用の市販のビデオ録画ソリューションに代わるものを提示します。前述のように、これらの主な利点は、彼らが特定のイベントのビデオ録画を可能にする、オペラ室と統合することです。このプロトコルで説明されている対象のビデオ セグメントを特定するアプローチは、特定のイベントを記録する完全統合システムを使用する場合と比較して、より手間がかかり、時間がかかります。しかし、かなり安いです(6つのオペランチャンバのためのビデオ監視装置のための最近のコスト見積もりは、約13,000 USDに設定されました。それに比べて、ここに記載されている6台のカメラを構築すると、約720米ドルの費用がかかります。さらに、カメラは、他の複数の動作テストのセットアップに使用することができます。カメラを操作する場合、流体に接触しないように、露出した電子機器(カメラコンポーネントの背面とIR LEDコンポーネントの背面)に注意することが重要です。また、カメラモジュールをマイクロコンピュータに接続するリボンケーブルや、LEDとスイッチをGPIOピンに接続するケーブルは、カメラが頻繁に動き回ると緩んでしまう可能性があります。したがって、カメラケースの設計を調整することは、いくつかのアプリケーションにとって有益である可能性があります。
DeepLabCutを使用して対象のビデオセグメントを識別し、動物の動きを追跡することは、手動ビデオ分析の補完および/または代替手段を提供します。前者は後者を無効にしませんが、オペラ室内の動きや行動を分析する便利な方法を提供することがわかりました。特に、手動スコアリングを介して通常抽出されるものよりも詳細な情報を含む動物の位置データを提供する(すなわち、「前」や「隣」等の定性的な位置情報と比較した実際の座標)。
プロトコルステップインジケータを選択する際には、行動プロトコルの特定のステップを一貫して示し、動物によってブロックされる可能性が低いものを選択することが重要です。後者が問題がある場合は、オペラ室の外にランプを設置し、チャンバーの壁を通してそれを撮影することを検討することができます。多くのオペラ式コンディショニング室はモジュール式で、ライト、センサー、その他のコンポーネントを自由に動かします。また、ユーザー,がビデオ24、25、26のユーザー定義オブジェクトを認識および追跡する際にニューラル ネットワークをトレーニングできるソフトウェア パッケージが他にあることに注意してください。これらは、現在のプロトコルでDeepLabCutの代替として使用される可能性があります。
プロトコルは、手術室内の動きを測定するためにラットの頭部の中央部分を追跡する方法を記述します。DeepLabCutは、身体の部分や関心のあるオブジェクトを選択する際に完全な自由を提供するので、これは、研究固有の興味に合わせて、利便性を持って変更することができます。本明細書に記載された追跡の自然な延長は、ラットの耳と鼻の位置を追跡し、頭部の位置だけでなく、向きもより良く判断することです。ここに示す代表的なデータは、ロングエバンスラットで再コード化されました。これらのラットは、特に尾部ベースに向かって、色素沈着パターンのかなりの個人間変動を示す。これは、異なる個人の追跡のための単一の訓練されたニューラルネットワークを適用するいくつかの困難をもたらす可能性があります。これらの問題を制限するには、ネットワークのトレーニング セットに関心のあるすべての動物のビデオ フレームを含めるのが最適です。ロングエバンスラットの黒い頭部は、ここで使用されるチャンバーの金属表面に対して合理的に強いコントラストを提供します。したがって、彼らの頭の正確な追跡を得る可能性が高いアルビノ株よりも少ない労力を必要とします。DeepLabCutまたは同等のソフトウェアパッケージを使用して正確な追跡を得る最も重要なステップは、ニューラルネットワークのトレーニングのために多様なビデオフレームを選択することです。したがって、対象物の追跡が最適でないと判断される場合、トレーニングフレームのセットを増やすことは、常に結果を改善するための第一歩となるはずです。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
ラズベリーパイ財団の資料やリソースがこの原稿に使用され、引用されていますが、財団はこの原稿の機器やデータの準備や使用に積極的に関与しませんでした。同じことがパイサプライにも当てはまります。著者らは開示するものは何もない。
Acknowledgments
この研究は、スウェーデン脳財団、スウェーデンパーキンソン財団、スウェーデン政府臨床研究資金(M.A.C.)、ウェンナー・グレン財団(M.A.C,E.K.H.C)、オーレン財団(M.A.C)、財団ブランシュフロール・ボンコムニ・ルドヴォヴィシ(S.F.)からの助成金によって支えられました。
Materials
| Name | Company | Catalog Number | Comments |
| 32 Gb micro SD card with New Our Of Box Software (NOOBS) preinstalled | The Pi hut (https://thpihut.com) | 32GB | |
| 330-Ohm resistor | The Pi hut (https://thpihut.com) | 100287 | This article is for a package with mixed resistors, where 330-ohm resistors are included. |
| Camera module (Raspberry Pi NoIR camera v.2) | The Pi hut (https://thpihut.com) | 100004 | |
| Camera ribbon cable (Raspberry Pi Zero camera cable stub) | The Pi hut (https://thpihut.com) | MMP-1294 | This is only needed if a Raspberry Pi zero is used. If another Raspberry Pi board is used, a suitable camera ribbon cable accompanies the camera component |
| Colored LEDs | The Pi hut (https://thpihut.com) | ADA4203 | This article is for a package with mixed colors of LEDs. Any color can be used. |
| Female-Female jumper cables | The Pi hut (https://thpihut.com) | ADA266 | |
| IR LED module (Bright Pi) | Pi Supply (https://uk.pi-supply.com) | PIS-0027 | |
| microcomputer motherboard (Raspberry Pi Zero board with presoldered headers) | The Pi hut (https://thpihut.com) | 102373 | Other Raspberry Pi boards can also be used, although the method for automatically starting the Python script only works with Raspberry Pi zero. If using other models, the python script needs to be started manually. |
| Push button switch | The Pi hut (https://thpihut.com) | ADA367 | |
| Raspberry Pi power supply cable | The Pi hut (https://thpihut.com) | 102032 | |
| Raspberry Pi Zero case | The Pi hut (https://thpihut.com) | 102118 | |
| Raspberry Pi, Mod my pi, camera stand with magnetic fish eye lens and magnetic metal ring attachment | The Pi hut (https://thpihut.com) | MMP-0310-KIT |
References
- Pritchett, K., Mulder, G. B. Operant conditioning. Contemporary Topics in Laboratory Animal Science. 43 (4), (2004).
- Clemensson, E. K. H., Novati, A., Clemensson, L. E., Riess, O., Nguyen, H. P. The BACHD rat model of Huntington disease shows slowed learning in a Go/No-Go-like test of visual discrimination. Behavioural Brain Research. 359, 116-126 (2019).
- Asinof, S. K., Paine, T. A. The 5-choice serial reaction time task: a task of attention and impulse control for rodents. Journal of Visualized Experiments. (90), e51574 (2014).
- Coulbourn instruments. Graphic State: Graphic State 4 user's manual. Coulbourn instruments. , Holliston, Massachusetts. 12-17 (2013).
- Med Associates Inc. Med-PC IV: Med-PC IV programmer's manual. Med Associates Inc. , St. Albans, Vermont. 21-44 (2006).
- Clemensson, E. K. H., Clemensson, L. E., Riess, O., Nguyen, H. P. The BACHD rat model of Huntingon disease shows signs of fronto-striatal dysfunction in two operant conditioning tests of short-term memory. PloS One. 12 (1), (2017).
- Herremans, A. H. J., Hijzen, T. H., Welborn, P. F. E., Olivier, B., Slangen, J. L. Effect of infusion of cholinergic drugs into the prefrontal cortex area on delayed matching to position performance in the rat. Brain Research. 711 (1-2), 102-111 (1996).
- Chudasama, Y., Muir, J. L. A behavioral analysis of the delayed non-matching to position task: the effects of scopolamine, lesions of the fornix and of the prelimbic region on mediating behaviours by rats. Psychopharmacology. 134 (1), 73-82 (1997).
- Talpos, J. C., McTighe, S. M., Dias, R., Saksida, L. M., Bussey, T. J. Trial-unique, delayed nonmatching-to-location (TUNL): A novel, highly hippocampus-dependent automated touchscreen test of location memory and pattern separation. Neurobiology of Learning and Memory. 94 (3), 341 (2010).
- Rayburn-Reeves, R. M., Moore, M. K., Smith, T. E., Crafton, D. A., Marden, K. L. Spatial midsession reversal learning in rats: Effects of egocentric cue use and memory. Behavioural Processes. 152, 10-17 (2018).
- Gallo, A., Duchatelle, E., Elkhessaimi, A., Le Pape, G., Desportes, J. Topographic analysis of the rat's behavior in the Skinner box. Behavioural Processes. 33 (3), 318-328 (1995).
- Iversen, I. H. Response-initiated imaging of operant behavior using a digital camera. Journal of the Experimental Analysis of Behavior. 77 (3), 283-300 (2002).
- Med Associates Inc. Video monitor: Video monitor SOF-842 user's manual. Med Associates Inc. , St. Albans, Vermont. 26-30 (2004).
- Coulbourn Instruments. Coulbourn Instruments. , Available from: https://www.coulbourn.com/product_p/h39-16.htm (2020).
- Mathis, A., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 21 (9), 1281-1289 (2018).
- Nath, T., Mathis, A., Chen, A. C., Patel, A., Bethge, M., Mathis, M. W. Using DeepLabCut for 3D markerless pose estimation across species and behaviors. Nature Protocols. 14 (7), 2152-2176 (2019).
- Bari, A., Dalley, J. W., Robbins, T. W. The application of the 5-chopice serial reaction time task for the assessment of visual attentional processes and impulse control in rats. Nature Protocols. 3 (5), 759-767 (2008).
- Raspberry Pi foundation. Raspberry Pi foundation. , Available from: https://thepi.io/how-to-install-raspbian-on-the-raspberry-pi/ (2020).
- Pi-supply. Pi-supply. , Available from: https://learn.pi-supply.com/make/bright-pi-quickstart-faq/ (2018).
- Python. Python. , Available from: https://wiki.python.org/moin/BeginnersGuide/NonProgrammers (2020).
- MathWorks. MathWorks. , Available from: https://mathworks.com/academia/highschool/ (2020).
- Cran.R-Project.org. Cran.R-Project.org. , Available from: https://cran.r-project.org/manuals.html (2020).
- Liu, Y., Tian, C., Huang, Y. Critical assessment of correction methods for fisheye lens distortion. The international archives of the photogrammetry, remote sensing and spatial information sciences. , (2016).
- Pereira, T. D., et al. Fast animal pose estimation using deep neural networks. Nature Methods. 16 (1), 117-125 (2019).
- Graving, J. M., et al. DeepPoseKit, a software toolkit for fast and robust animal pose estimation using deep learning. Elife. 8 (47994), (2019).
- Geuther, B. Q., et al. Robust mouse tracking in complex environments using neural networks. Communications Biology. 2 (124), (2019).
