Summary
このプロトコルは、神経学的運動障害を持つ人々のための適応的脳深部刺激療法(aDBS)を最適化する研究をサポートする在宅マルチモーダルデータ収集プラットフォームのプロトタイプを示しています。また、パーキンソン病患者の自宅に1年以上にわたってプラットフォームを導入した結果、重要な調査結果も紹介します。
Abstract
適応的脳深部刺激療法(aDBS)は、パーキンソン病(PD)などの神経疾患の治療改善に期待されています。aDBSは、症状に関連するバイオマーカーを使用して、刺激パラメータをリアルタイムで調整し、症状をより正確にターゲットにします。これらの動的な調整を可能にするには、aDBSアルゴリズムのパラメータを個々の患者ごとに決定する必要があります。これには、臨床研究者による時間のかかる手動調整が必要であり、1人の患者に最適な構成を見つけたり、多くの患者に拡張したりすることが困難でした。さらに、患者が自宅にいる間にクリニック内で構成されたaDBSアルゴリズムの長期的な有効性は、未解決の問題のままです。この治療法を大規模に実施するためには、治療結果を遠隔でモニタリングしながら、aDBSアルゴリズムのパラメータを自動的に設定する方法論が必要です。このホワイトペーパーでは、この2つの問題に対処するために、在宅データ収集プラットフォームの設計を共有します。このプラットフォームは、オープンソースのハードウェアとソフトウェアの統合エコシステムで構成されており、ニューラル、慣性、およびマルチカメラのビデオデータを自宅で収集できます。患者を特定できるデータのプライバシーを確保するために、プラットフォームはデータを暗号化し、仮想プライベートネットワークを介して転送します。この手法には、データストリームの時間調整や、ビデオ録画からの姿勢推定値の抽出が含まれます。このシステムの使用を実証するために、このプラットフォームをPDの個人の自宅に展開し、1.5年間にわたって自主的な臨床タスクと自由行動の期間中にデータを収集しました。データは、さまざまな治療条件下で運動症状の重症度を評価するために、治療下、治療上、および治療上刺激の振幅で記録されました。これらの時間軸合わせデータは、このプラットフォームが治療評価のために、自宅でのマルチモーダルデータ収集を同期できることを示しています。このシステムアーキテクチャは、自動化されたaDBS研究をサポートし、新しいデータセットを収集し、神経疾患に苦しむ人々に対するクリニック外でのDBS療法の長期的な効果を研究するために使用できます。
Introduction
脳深部刺激療法(DBS)は、脳内の特定の領域に直接電流を流すことにより、パーキンソン病(PD)などの神経疾患を治療します。世界中で推定850万人のPD症例があり、DBSは、症状を管理するのに薬物療法が不十分な場合に重要な治療法であることが証明されています1,2。しかし、DBSの有効性は、従来固定された振幅、周波数、およびパルス幅で送達される刺激から時々発生する副作用によって制約され得る3。このオープンループの実装は、症状状態の変動に反応しないため、患者の変化するニーズに適切に適合しない刺激設定が生じます。DBSは、現在、臨床医が個々の患者ごとに手動で行っている刺激パラメータの調整という時間のかかるプロセスによってさらに妨げられています。
適応型DBS(aDBS)は、症状に関連するバイオマーカーが検出されるたびに刺激パラメータをリアルタイムで調整することにより、DBSの効果的な次の反復であることが示されているクローズドループアプローチです3,4,5。研究によると、視床下核(STN)のベータ振動(10〜30 Hz)は、PD 6,7に特徴的な運動の鈍化である運動緩慢中に一貫して発生します。同様に、皮質における高ガンマ振動(50-120 Hz)は、PD8でも一般的に見られる過度で不随意運動であるジスキネジアの期間中に発生することが知られています。最近の研究では、診療所外で長期間aDBSを投与することに成功していますが5、患者が在宅中に診療所内で構成されたaDBSアルゴリズムの長期的な有効性は確立されていません。
日常生活で遭遇する症状を抑制する上で、これらの動的アルゴリズムの時間とともに変化する効果を捉えるには、リモートシステムが必要です。aDBSの動的刺激アプローチは、副作用を抑えたより正確な治療を可能にする可能性がありますが3,9、aDBSは依然として、各患者の刺激パラメータを手動で特定する臨床医の大きな負担に悩まされています。従来のDBSでプログラムするパラメータのセットがすでに大きいことに加えて、aDBSアルゴリズムには多くの新しいパラメータが導入されており、これも慎重に調整する必要があります。この刺激パラメータとアルゴリズムパラメータの組み合わせは、制御不能な数の組み合わせを持つ広大なパラメータ空間を生み出し、aDBSが多くの患者にスケーリングすることを妨げます10。研究現場でも、aDBSシステムの構成と評価に時間がかかるため、臨床だけでアルゴリズムを適切に最適化することは困難であり、パラメータのリモート更新が必要です。aDBSをスケーリング可能な治療法にするには、刺激とアルゴリズムのパラメータ調整を自動化する必要があります。さらに、aDBSを臨床外での実行可能な長期治療として確立するために、治療の結果を反復試験にわたって分析する必要があります。治療効果をリモートで評価するためのデータを収集し、aDBSアルゴリズムパラメータの更新をリモートで展開できるプラットフォームが必要です。
このプロトコルの目標は、マルチモーダルな在宅データ収集プラットフォームの再利用可能なデザインを提供して、クリニック外での aDBS の有効性を向上させ、この治療をより多くの個人に拡大できるようにすることです。私たちの知る限り、家庭用ビデオカメラ、ウェアラブルセンサー、慢性神経信号記録、患者主導のフィードバックを使用して治療結果をリモートで評価し、制御されたタスクと自然な行動中のaDBSシステムを評価する最初のデータ収集プラットフォーム設計です。
このプラットフォームは、以前に開発されたシステム5に基づいて構築されたハードウェアおよびソフトウェアコンポーネントのエコシステムです。最小限のハードウェアを最初にインストールした後、リモートアクセスによって完全に保守できるため、自宅で快適に人からマルチモーダルなデータ収集を行うことができます。その鍵となるのが、神経活動を感知してSTNに刺激を与え、胸部インプラントからの加速度を記録する植込み型神経刺激システム(INS)11 です。最初の展開で使用されるインプラントの場合、神経活動は、STNに埋め込まれた両側リード線と、運動皮質に埋め込まれた皮質電図電極から記録されます。ビデオ録画システムは、臨床医が症状の重症度と治療効果を監視するのに役立ち、グラフィカルユーザーインターフェース(GUI)を備えており、進行中の録画を簡単にキャンセルして患者のプライバシーを保護できます。ビデオを処理して、2次元(2D)または3次元(3D)の位置の運動学的軌跡を抽出し、スマートウォッチを両手首に装着して角速度と加速度の情報を取得します。重要なのは、すべてのデータは暗号化されてから長期クラウドストレージに転送され、患者を特定できるビデオがあるコンピューターには仮想プライベートネットワーク(VPN)を介してのみアクセスできることです。このシステムには、すべてのデータストリームを事後的にタイムアライメントするための2つのアプローチが含まれており、データを使用して患者の動きの質をリモートで監視し、aDBSアルゴリズムを改良するための症状関連のバイオマーカーを特定します。この作品のビデオ部分は、データ収集プロセスと、収集されたビデオから抽出された運動学的軌跡のアニメーションを示しています。
プロトコルの開発には、いくつかの設計上の考慮事項が導かれました。
データセキュリティと患者のプライバシーの確保: 識別可能な患者データを収集するには、医療保険の相互運用性と説明責任に関する法律 (HIPAA) であるため、送信と保存に細心の注意を払う必要があります12,13 準拠し、自宅で患者のプライバシーを尊重する。このプロジェクトでは、システムコンピュータ間のすべての機密性の高いトラフィックのプライバシーを確保するためのカスタムVPNを設定することで、これを実現しました。
刺激パラメータの安全限界: 意図しない影響をもたらす可能性のあるaDBSアルゴリズムを試している間、患者の安全を確保することが重要です。患者のINSは、過剰な刺激または過小刺激による危険な影響を許容しない刺激パラメータの安全な境界を持つように臨床医によって構成されなければなりません。INSシステムの場合11 この研究で使用されるこの機能は、臨床医のプログラマーによって有効になります。
患者が拒否権を行使できるようにする: 安全なパラメータ範囲内であっても、症状と刺激反応の日々の変動性は、患者がテスト中のアルゴリズムを嫌い、通常の臨床的オープンループDBSに戻りたいという不快な状況をもたらす可能性があります。選択されたINSシステムには、患者が刺激グループと刺激振幅をmA単位で手動で変更できる患者テレメトリモジュール(PTM)が含まれています。また、データ収集に先立ってINSをリモートで設定するために使用されるINS接続の研究アプリケーションもあります14これにより、患者はaDBS試験を中止し、治療を管理することもできます。
複雑で自然な動作をキャプチャする: ビデオデータは、臨床医が治療効果をリモートで監視し、研究分析で使用するために姿勢推定から運動学的軌跡を抽出できるように、プラットフォームに組み込まれました15.ウェアラブルセンサーは邪魔になりませんが、ウェアラブルシステムのみを使用して全身のダイナミックな可動域を完全にキャプチャすることは困難です。ビデオにより、患者の全可動域と症状を経時的に同時に記録することができます。
患者にとってのシステムの使い勝手:在宅マルチモーダルデータを収集するには、患者の自宅に複数のデバイスを設置して活用する必要があり、患者の移動が煩雑になる可能性があります。患者のコントロールを確保しながらシステムを使いやすくするには、記録を開始する前に、患者に埋め込まれている、または物理的に取り付けられているデバイス(この場合はINSシステムとスマートウォッチを含む)のみを手動でオンにする必要があります。患者とは別のデバイス(この場合、ビデオカメラから記録されたデータを含む)の場合、患者の操作を必要とせずに、録画が自動的に開始および終了します。GUIの設計では、ボタンの数を最小限に抑え、深いメニューツリーを避けて、操作がシンプルになるように注意が払われました。すべてのデバイスがインストールされた後、研究コーディネーターは、任意のデバイスで記録を終了する方法や、投薬履歴と症状レポートを入力する方法など、各デバイスの一部である患者向けGUIを介してすべてのデバイスを操作する方法を患者に示しました。
データ収集の透明性:カメラの電源がオンになっていることを明確に示すことは、人々がいつ録画されているかを知り、プライバシーの瞬間が必要な場合は録画を一時停止できるようにするために不可欠です。これを実現するために、カメラシステムアプリケーションを使用して、患者向けのGUIでビデオ録画を制御します。アプリケーションを起動すると、GUI が自動的に開き、次にスケジュールされた録画の日時が一覧表示されます。記録が進行中の場合は、記録の終了が予定されていることを示すメッセージが表示されます。GUIの中央には、赤いライトの大きな画像が表示されます。この画像は、録画中は常に明るく点灯しているライトを示しており、録画がオフのときは点灯していない画像に変わります。
このプロトコルでは、在宅データ収集プラットフォームの設計、構築、展開、収集されたデータの完全性と堅牢性の品質チェック、および将来の研究で使用するためのデータの後処理の方法を詳しく説明しています。
図1:データフロー 各モダリティのデータは、患者の居住地から独立して収集され、処理され、単一のリモートストレージエンドポイントに集約されます。各モダリティのデータは、リモート・ストレージ・エンドポイントに自動的に送信されます。チームメンバーの1人の助けを借りて、それを取得し、妥当性をチェックし、モダリティ間で時間を調整し、よりモダリティ固有の前処理を行うことができます。コンパイルされたデータセットは、すべてのチームメンバーが安全にアクセスして分析を継続できるリモートストレージエンドポイントにアップロードされます。特に生のビデオなどの機密データについては、データにアクセスできるすべてのマシンがVPNで囲まれているため、すべてのデータが安全に転送され、保存されたデータは常に暗号化されます。 この図の拡大版をご覧になるには、ここをクリックしてください。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
患者は、カリフォルニア大学サンフランシスコ校の aDBS に関する大規模な IRB および IDE 承認済みの研究を通じて登録され、プロトコル # G1800975 に登録されます。この研究に登録された患者は、この研究のために特別にインフォームドコンセントを追加で提供しました。
1.在宅システムコンポーネント
- 中央サーバーとVPN
- VPN専用のLinuxベースのオペレーティングシステム(OS)を実行しているパーソナルコンピュータ(PC)を入手します。機械は安全な部屋に収納してください。ディスクはマシンを暗号化して、データのセキュリティを確保します。
- 少なくとも 1 つのポートでパブリックにアクセスできるように VPN サーバーを構成します。
注: このケースでは、IT 部門と協力して、サーバーに外部向けの静的 IP アドレスと、大学の DNS ホスティング オプションによるカスタム URL を付与することで実現されました。 - サーバーをインストールするには、VPN を提供するために選択した PC で、次の手順を一度実行します。
- ファイアウォール構成:PCターミナルで次のコマンドを実行して、複雑なファイアウォールをインストールおよび構成します。
sudo apt ufwをインストールする
sudo ufwはsshを許可します
sudo ufw allow <ポート番号>/udp
sudo ufwを有効にする - サーバーVPNのインストール:オープンソースのWireGuard VPNプロトコル16 をPCにインストールし、インストールディレクトリに移動します。PC 端末で umask 007 を実行し、ディレクトリー・アクセス・ルールを更新します。
- キーの生成: PC ターミナルで、
WGのgenkey |TEE 秘密鍵 |WG pubkey > publickey
これにより、VPN サーバーの公開キーと秘密キーのペアが生成されます。この公開鍵は、VPNに接続するすべてのクライアントPCと共有されます。 - VPN設定:PC端末で、 touch
.conf を実行して設定ファイルを作成し、ファイル名はインターフェイスの名前と一致する必要があります。次のサーバールールをこのファイルに貼り付けます。
[インターフェース]
PrivateKey =
アドレス = ##.#.#.#/##
PostUp = iptablesの-A FORWARD -i interface_name -j ACCEPT;iptablesの-t nat -A POSTROUTING -o network_interface_name -j マスカレード
PostDown = iptablesの-D FORWARD -i interface_name -j ACCEPT;iptablesの-t nat -D POSTROUTING -o network_interface_name -j マスカレード
リッスンポート =#####
[ピア]
PublicKey =
許可されたIPアドレス = ##.#.#.#/## - VPN の有効化: ターミナルに wg-quick up
と入力して VPN を起動します。PCが再起動するたびにVPNプロトコルが自動的に開始されるようにするには、ターミナルで次のコマンドを実行します。
systemctl enable wg-quick@
- ファイアウォール構成:PCターミナルで次のコマンドを実行して、複雑なファイアウォールをインストールおよび構成します。
- クライアントをインストールする場合は、VPN にアクセスする必要がある新しいマシンごとに次の手順を実行します。
- クライアントVPNのインストール:WireGuard16 ダウンロードページのOS固有の手順に従ってVPNプロトコルをインストールします。
- VPN へのクライアントの追加: インストール時に生成された構成ファイルから公開キーを取得します。このキーをサーバーの構成ファイルの peer セクションに貼り付けます。
- VPNの有効化:WireGuard16 ダウンロードページのOS固有の指示に従ってVPNを開始します。
- クラウドストレージ
- クラウドストレージサイトを選択して、記録されたすべてのデータストリームを1か所に長期間保存できるようにします。ここでは、選択したデータ転送プロトコルと互換性のあるAmazonウェブサービスベースのクラウドストレージサイトを使用しました。
- 埋め込み型ニューロモデュレーションシステム
- IRBおよびIDEのガイドラインに従って、患者が手動で刺激設定を変更できる埋め込み型ニューロモデュレーションシステム(INS)11 を選択します。
- タブレットPCを入手し、オープンソースのUCSF DBSアプリケーションをインストールして、INSの記録、投薬や症状の報告、その他の患者のコメントを可能にします14。タブレットにストリーミングされる INS データを、データの匿名化と長期クラウド ストレージへのオフロードの前に一時保存するために、一時的な HIPPA 準拠のクラウド ストレージ エンドポイントにアップロードされるように構成します。
- 動画収集システム
- クラウドストレージに転送する前に、必要な量のビデオファイルを収集して保存できるPCを入手してください。PC のマザーボードにトラステッド プラットフォーム モジュール (TPM) チップが搭載されていることを確認します。
注: この場合、500 GB SSD、2 TB HDD、および 6 GB GPU を搭載した PC が選択されました。2TBのディスクは、長時間の録画セッションの後や、数日間インターネット接続が途絶えた場合にビデオをバッファリングすることができ、1台のPCでハードウェアの家庭内への侵入を最小限に抑えることができます。 - 目的のOSをインストールし、プロンプトに従って自動ディスク暗号化を有効にして、患者のプライバシーを確保し、データ漏洩を回避します。この場合、使いやすさと信頼性のために、Ubuntuディストリビューションを備えたLinuxベースのOSが選択されました。
- OS のインストール後に、ハード ディスクを個別に暗号化します。システムの再起動時にディスクの自動再マウントを有効にしてください。
- システムの再起動後もディスクで暗号化された PC へのアクセスを維持するように PC のオンボード TPM チップを構成します17。
メモ: Linux OS を使用している場合は、この手順を有効にするために、TPM2 チップが取り付けられたマザーボードを選択してください。Windows OSを使用している場合、自動ディスク暗号化とロック解除はBitlockerプログラムで処理できます。 - 1.1.4 のインストール手順に従って、PC を VPN クライアントとして設定します。セクション1.1.3.5のように、PCが再起動されるたびにVPNプロトコルが自動的に起動するようにして、研究者のコンピューターが常にPCにリモートアクセスできるようにします(推奨)。
- GitHub マシンのユーザー アカウントを作成して、PC にインストールされているソフトウェアの更新を簡単に自動化します。このアカウントは、リモート git エンドポイントからのプルを自動化する Webhook として機能し、リモート マシンからプッシュされた更新を識別するのに役立ちます。
- ビデオ録画をスケジュールおよび制御するソフトウェアを選択し、これをPCにインストールします。患者のプライバシーと快適性を最大限に高めるために、選択したソフトウェアには、記録がいつ進行中かを明確に示し、いつでも記録を簡単に終了できるようにするためのグラフィカルユーザーインターフェース(GUI)が含まれている必要があります。
注:必要に応じて、アプリケーションをダウンロードし、GitHub(https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp)の指示に従うことで、患者向けのGUIを備えた著者のカスタムビデオ録画アプリケーションをインストールできます。 - モニターを選択すると、ビデオが録画されていることが表示され、録画を簡単に終了できます。キーボードやマウスを操作しなくても録画を終了できるように、タッチスクリーン機能を備えたモニターを選択します。
- PCにリモートデスクトップアプリケーションをインストールします。これにより、GUIを使用してアプリケーションを実行し、GUIが患者側と遠隔地の研究者側の両方に表示されたままになります。
注: オープンソースの NoMachine リモート デスクトップ アプリケーションは、Linux OS で最適に動作しました。 - 特定のスペースでポーズを計算するのに十分な解像度を備えたUSB互換のWebカメラを選択します。
注:この場合、4k解像度(30fps)またはHD解像度(60fps)など、複数の解像度とフレームレートの組み合わせを提供する4k互換のWebカメラが選択されました。 - 患者の自宅にウェブカメラを取り付けるための堅牢なハードウェアを選択します。クリップ付きのグースネックマウントを使用して家具に固定し、カメラの揺れを防ぎます。
- 暗号化機能を備えたデータ転送プロトコルを選択し、これをPCにインストールします。クラウドストレージサイトにアクセスするための設定を作成し、データ転送の前に最初の設定をラップする暗号化設定を作成します。
注:この場合、暗号化機能を備えたオープンソースのデータ転送およびファイル同期プロトコルがインストールされました18。データ転送プロトコルのドキュメントでは、クラウドストレージへのデータ転送を構成する方法が説明されています。このプロトコルは最初にVPNサーバーにインストールされ、オフサイトのクラウドストレージサイトにデータを転送する暗号化構成が作成されました。
- クラウドストレージに転送する前に、必要な量のビデオファイルを収集して保存できるPCを入手してください。PC のマザーボードにトラステッド プラットフォーム モジュール (TPM) チップが搭載されていることを確認します。
- ウェアラブル・センサー・データ・コンポーネント
- 患者の各手首に装着するスマートウォッチを選択して、動き、加速度、心拍数などの信号を追跡します。
注意: Apple Watch Series 3は、ジスキネジアや振戦スコアなどのPD症状スコアを生成する運動障害症状モニターを内蔵して選択されました。 - 各スマートウォッチに、録画を開始および終了でき、データをクラウドストレージに転送できるソフトウェアを選択してインストールします。研究者や臨床医が分析できるように、すべてのデータストリームを関連するオンラインポータルにアップロードするアプリケーションを選択します19.
- 患者の各手首に装着するスマートウォッチを選択して、動き、加速度、心拍数などの信号を追跡します。
図2:ビデオ録画コンポーネント。 ビデオデータ収集をサポートするハードウェアコンポーネントは、単一のタワーPC、USB接続のWebカメラ、患者向けGUIを表示するための小型モニターなど、最小限です。モニターはタッチスクリーン対応で、GUIに表示されるボタンを押すことで、進行中またはスケジュールされた録画を簡単に終了できます。GUIの中央には、ビデオカメラがアクティブに録画しているときに明るい赤色に変わる録画ライトの画像が表示されます。 この図の拡大版をご覧になるには、ここをクリックしてください。
2.家庭内構成
- ハードウェアのインストール
- 家への混乱を最小限に抑えるWebカメラを取り付けるための適切なスペースを決定します。患者との話し合いを通じてスペースを決定します。ここでは、録音量とプライバシーのバランスをとるのに最適な場所として、ホームオフィスエリアを選択しました。
- 選択した取り付けハードウェアの識別された領域にWebカメラを取り付けます。グースネックマウントを近くの重い家具にクリップで留めることで、誰かが近くに足を踏み入れたときにカメラが揺れるのを防ぎます。
- USBケーブルがPCに接続できるように、PCを取り付けたWebカメラに十分に近づけて配置します。
- タブレットPC、INSコンポーネント、スマートウォッチ、およびスマートフォンを電源コンセントの近くに置いて、すべてのデバイスを接続したままにして、いつでも使用できるようにします。
- PC端末で route -n を実行してVPNがONになっていることを確認します。そうでない場合は、セクション1.1.3.5の指示に従ってVPNをアクティブにします。
- ビデオ録画アプリケーションを起動します
- ビデオ録画スケジュール:データを収集する前に、適切な録画スケジュールについて患者と話し合ってください。このスケジュールは、ビデオ録画ソフトウェアで設定します。
注:作者のカスタムビデオ録画アプリケーションを使用する場合、スケジュールを設定する手順はGitHub(https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide)にあります。 - 録画ソフトウェアの更新: 1.4.6 でインストールされた GitHub マシン ユーザー アカウントを使用して、選択したビデオ録画ソフトウェアの最新バージョンが PC にアップロードされていることを確認します。
- ビデオ録画を開始する:インストールされているリモートデスクトップソフトウェアからPCにログインし、ビデオ録画ソフトウェアを起動します。
注:作者のカスタムビデオ録画アプリケーションを使用する場合、アプリケーションの起動手順はGitHub(https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide)にあります。
- ビデオ録画スケジュール:データを収集する前に、適切な録画スケジュールについて患者と話し合ってください。このスケジュールは、ビデオ録画ソフトウェアで設定します。
- ビデオカメラのキャリブレーション
- オートフォーカスを無効にする: レンズや遠近法の歪みなどの固有のパラメーターを計算するには、選択したOSとWebカメラに基づく指示に従ってオートフォーカスをオフにします。
注: Linux では、Web カメラは Video for Linux API を介してアクセスされ、カメラに接続されているコンピューターが再起動されるたびにデフォルトでオートフォーカスがオンになります。これを自動的に無効にするようにスクリプトを構成することは、3D ポーズを処理するためにカメラのキャリブレーション中に取得したフォーカスを保持するために必要です。 - 本質的なキャリブレーション:姿勢推定ソフトウェア20の3Dキャリブレーションをサポートするために、100mmの正方形を持つ6x8のチェッカーボードパターンを取得します。研究者がすべてのカメラのフレーム内でチェッカーボードを角度付けしている間に、個々のWebカメラからビデオを録画します。チェッカーボードの行数が偶数で列数が偶数でない (またはその逆) ことを確認します。これにより、回転に関する曖昧さが解消されます。
- 外部キャリブレーション: 3 つの Web カメラすべてから同時にビデオを録画します。ビデオは、3D 姿勢推定用に処理するビデオと同じ解像度で録画してください。すべてのビデオで正確な時刻同期を確保するには、録画の開始時と終了時にIRLEDライトを点滅させます。ビデオ編集ソフトウェアを使用して、LEDの開始時にフレームをマークし、ビデオを同じ長さにトリミングすることにより、ビデオを手動で同期します。
- キャリブレーション マトリックス: 前の 2 つの手順で記録したビデオを OpenPose21 に通して、内因性および外因性のキャリブレーション マトリクスを生成します。
注: OpenPose はカメラのキャリブレーションに OpenCV ライブラリを使用しており、詳細な手順については、OpenPose GitHub20,22 のドキュメントを参照してください。
- オートフォーカスを無効にする: レンズや遠近法の歪みなどの固有のパラメーターを計算するには、選択したOSとWebカメラに基づく指示に従ってオートフォーカスをオフにします。
3. データ収集
- 記録を開始するための患者の指示
- デバイスのバッテリーと電源を確認する:INSデバイスは常にオンになっており、被験者に一定の刺激を提供します。神経データの記録を開始するには、患者にタブレットPCの電源を入れてもらい、左右両方のINSデバイスの臨床医テレメトリモジュール(CTM)がオンになっていて、完全に充電されていることを確認します。
- CTMの配置:胸の両側にCTMを配置します。最大の接続性を確保し、パケットロスを減らすために、記録中にCTMを胸部インプラントの近くに配置します。CTMを配置する追加の場所は、ジャケットの胸ポケットや特殊なスカーフを使用することです。
- タブレット接続のアクティブ化:タブレットが起動したら、患者にDBSアプリケーション を開いて接続を選択するように依頼し、CTMへのBluetooth接続、続いてINSデバイス14への接続を促します。
- カメラの起動:ビデオカメラがUSBケーブルを介してPCに接続されていること、およびカメラの電源がオンになっていることを確認するように患者に依頼します。
注:著者のカスタムビデオ録画アプリケーションを使用する場合、進行中の録画は、明るく照らされた赤いライトの大きな画像によって、患者向けのGUIに明確に示されます。これは、録音がオフのときに点灯していない赤いライトに変わります。選択したWebカメラには、小さな白いインジケーターライトもあります。 - スマートウォッチのアクティベーション: 電源 ボタンを押したままにして、スマートウォッチとスマートフォンの電源を入れるように患者に依頼します。次に、スマートウォッチアプリケーションを開いて、データ記録とPD症状の追跡を開始するように依頼します。
- ジェスチャーベースのデータアライメントと記録のシナリオ
- データ収集を開始する前に、データ記録中に患者が実行するタスクを書き出します。
- タイムスタンプを揃えるためのマルチデバイスクロックベースの同期は信頼性が低い場合があるため、自由な行動の期間中に記録することを計画している場合でも、新しい記録の開始時に記録されたデータからタイムスタンプを同期するために使用できるジェスチャーを実行するように患者に依頼します。
注:著者らは、患者が両手をカメラの視界内に収めたまま、埋め込まれた両方のINSデバイスをタップする簡単なジェスチャーを考案した。このタッピングは、スマートウォッチやINS加速度計からの慣性記録に特徴的なパターンを作成し、ビデオで簡単に観察できます。
- 記録を終了するための患者の指示
- 刺激群を、患者が希望する臨床的に割り当てられた群に戻します。
- DBS アプリケーションの患者向け GUI で、症状レポートを入力します。
- DBS アプリケーションを閉じると、CTM が切断され、INS ストリーミングが終了します。
- スマートウォッチ録画アプリケーションを閉じ、CTM、スマートフォン、スマートウォッチデバイスを充電ポートに戻します。
- データのオフロード
- 暗号化された構成を使用して、データ転送プロトコルを介して生のビデオをクラウドストレージに転送します。ビデオ録画PC上にcronジョブを作成し、データ転送プロトコル18を介して録画されたビデオをクラウドストレージに自動的に転送する。
注:ビデオの解像度と毎日記録される時間数に応じて、すべてのビデオを24時間以内にクラウドストレージに転送できるように、インターネット速度が十分に高速である必要があります。データ転送が遅すぎると、ディスク容量が不足し、翌日にスケジュールされた追加のビデオ録画が失敗する可能性があります。 - 手順 1.3.2 で構成した HIPAA セキュアなクラウド エンドポイントに INS データを保存します。HIPAAセキュアなクラウドエンドポイントからINSデータをダウンロードし、データを匿名化します。匿名化されたデータを外部クラウドストレージに保存します。
注:オープンソースのOpenMind前処理コード23 は、データを匿名化し、jsonファイルからテーブル形式に変換するために使用されました。患者のタブレットは、生のINSデータを一時的に保存するために、HIPAAで安全なクラウドエンドポイントで構成されていました。ただし、HIPAAに準拠し、オフロード前にデータが暗号化されていれば、長期保存に使用されるのと同じクラウドストレージサイトもこのステップに使用できる可能性があります。 - 必要に応じて、スマートウォッチのデータのコピーを外部クラウドストレージに保存して、すべてのデータストリームに1か所でアクセスできるようにします。
- 暗号化された構成を使用して、データ転送プロトコルを介して生のビデオをクラウドストレージに転送します。ビデオ録画PC上にcronジョブを作成し、データ転送プロトコル18を介して録画されたビデオをクラウドストレージに自動的に転送する。
4. システム特性評価
- 生データの可視化:目的のコーディング環境で、すべての生データストリームを可視化し、データが失われたり破損したりすることなく適切に記録および転送されたことを確認します。
注:スマートウォッチの記録を管理するために選択されたアプリケーションには、スマートウォッチデータの視覚化に役立つブラウザアプリ24がある。 - ビデオ フレームとタイムスタンプの遅延: 異なる Web カメラから生成されたタイムスタンプ間の遅延を調べます。すべてのWebカメラのフレーム内に配置されたプログラム可能なLEDライトでビデオを録画することにより、遅延を分析します。
注:分析により、カスタムビデオ録画アプリによってインポートされたビデオセグメンテーション機能25 が、タイムスタンプラグの増加の原因であることが明らかになりました。セグメンテーション機能なしでビデオを録画すると、Webカメラ間のフレームとタイムスタンプの遅延が発生し、時間の経過とともに増加しませんでした(補足 ファイル 1および 補足図1を参照)。
5. データの前処理とアライメント
- ポーズデータ
- 録画したビデオから関節位置の推定値を計算するソフトウェアをインストールします。
注: OpenPose ライブラリが選択されたのは、2D と 3D の両方で手と顔のトラッキングが含まれているためです。 - OpenPose ライブラリは、複数の人物がフレーム内にいるケースを自動的に処理しないため、後処理スクリプトを使用して、各人物のポーズの推定が 1 つのフレームから次のフレームまで連続するようにします。OpenPose は、姿勢推定の品質を視覚的に確認するために、2D または 3D のアニメーションを簡単に生成するコードを提供します。
- 録画したビデオから関節位置の推定値を計算するソフトウェアをインストールします。
- ジェスチャーベースのタイムアライメント
- 各INSデバイス(左右)について、著者のデータアライメントGUI(https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI)を使用して、以下で説明する手順に従います。
- データの読み取り:保存されたINSおよびスマートウォッチの加速度測定データにクラウドストレージからアクセスして、目的のデータセッションを行います。
注: 必要に応じて、時系列を追加できます。 図3 は、右手中指先のポーズ位置を緑色で示しています。 - GUIでデータストリームを可視化:手動のタイムアライメントGUIを使用して、INS加速度、スマートウォッチの加速度、姿勢データをオーバーレイします。
- アライメント アーティファクトの拡大: 時間軸にズームインし、表示ウィンドウを録画の胸部タップ セクションに移動します。INSとスマートウォッチの両方の時系列信号の胸部タップからのピークができるだけ重なるように、位置合わせ時系列をシフトします。
注: GUI は、任意の時系列を共通の真の時刻に手動で位置合わせできるように設計されています。 図 3 は、実際の時系列を青色で示し、整列時系列をオレンジ色と緑色で示しています。GUI アライメントの主要なガイドは、GitHub ReadMe (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment) に記載されています。 - アライメントの確認: GUI ウィンドウを記録内の各チェスト タッピング タスクに移動し、アライメントが時系列全体で一貫していることを確認します。[Switch Aligning]ボタンを押して、残りのデータストリームでアライメントを繰り返します。
- 警告フラグ: データが欠落しているか、シフトされているか、またはデータ品質に関するその他の一般的な警告を示すには、GUI で D キー、S キー、F キーをそれぞれ使用して警告フラグを設定します。
- データの読み取り:保存されたINSおよびスマートウォッチの加速度測定データにクラウドストレージからアクセスして、目的のデータセッションを行います。
- 各INSデバイス(左右)について、著者のデータアライメントGUI(https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI)を使用して、以下で説明する手順に従います。
- ゼロ正規化相互相関 (ZNCC) 時間アライメント
- 真の時間に最も近い可能性が最も高い信号を特定します。通常、これはサンプル頻度が最も高いか、インターネット時刻の更新が最も速いものです。
- 2 つの信号をリサンプリングして同じ時間サンプリング周波数をもち、両方の信号を個別に z スコア付けします。これにより、結果の ZNCC スコアが -1 から 1 の間で正規化され、2 つの信号間の類似性レベルが推定され、エラーの検出に役立ちます。
- タイム ラグごとに 2 番目の信号と 1 番目の信号の相互相関を計算します。
- 2 つの信号の位相情報が重要でない場合は、測定された相互相関曲線の絶対値を取ります。
注: 動作が著しく非周期的である場合、この場合のように位相情報は必要ありません。 - ZNCC曲線を解析します。明確なピークが 1 つあり、ピーク ZNCC スコアが 0.3 を超える場合、このピークの時間は 2 つの信号間のタイム ラグに対応します。ピークが複数ある場合、明確なピークがない場合、またはすべてのタイムラグでZNCCスコアが低い場合は、2つの信号を手動でアライメントする必要があります。
図3:ジェスチャーベースのデータアライメント。 図の上半分は、3 つのデータ ストリームをアライメントした後の手動アライメント GUI を示しています。青い線がスマートウォッチの加速度データ、オレンジ色の線がINSからの加速度データ、緑の線が1台のWebカメラからの右中指先の2Dポーズ位置です。右上には、スマートウォッチからの真の時刻とINSの間のオフセットと、発生した問題をマークするためのさまざまな警告フラグが表示されます。この例では、INSはスマートウォッチより20.8秒進んでいました。左下のグラフは拡大され、データアライメントのために患者が行った5回の胸部タップが表示されます。5つのピークは、各データストリームで十分に明瞭であるため、適切なアライメントが保証されます。 この図の拡大版をご覧になるには、ここをクリックしてください。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
プロトタイププラットフォームの設計と展開
プロトタイプのプラットフォームを設計し、1人の患者の自宅に展開しました(図1)。家庭にハードウェアを初めて設置した後は、プラットフォームをメンテナンスし、データを完全にリモートアクセスで収集することができます。INSデバイス、スマートウォッチ、カメラには、患者が記録を開始および停止できる患者向けアプリケーションがあります。ビデオ収集ハードウェアは、承認されたスケジュールが構成された後、自動ビデオ録画を有効にします。患者は、ビデオ録画アプリケーションのGUIのボタンを押すだけで、進行中の録画を簡単にキャンセルできます(図2)。収集されたデータはすべて暗号化され、研究者が処理および分析できるようにクラウドストレージサイトに転送されました。
データ収集
最初の展開とデータ収集サイクルでは、患者に自主的な臨床タスクを実施するように依頼しました。課題は、統一パーキンソン病評価尺度(UPDRS)26、すなわち安静時振戦、親指から人差し指へのタッピング、手の開閉、手首の回内外、座位から立位への移動と歩行、およびタイピングタスクから取られました。すべてのタスクは、各記録日に 3 回繰り返されました。繰り返しごとに、異なる刺激振幅を設定して、PDの潜在的な刺激関連症状を明らかにしました。 図4 は、システムで収集された1週間分のデータがどのようなものかの概略化された例を示しています。
図4:データの可用性。 システムで収集された 1 週間分のデータがどのようになるかを図式化したデモンストレーション。上のプロットは、いくつかの昼/夜のサイクルにわたる刺激レベル(青)を示しています。この患者の刺激の変化は、睡眠スケジュールと薬の服用時間によって異なります(縦の赤い線)。一日の任意の時間に、データ収集システムをリモートで有効にして、色付きのボックスとして表示される複数のモダリティのデータを収集できます。本文の左側に選択されたすべての並列、時間アライメントされたデータストリームの 1 つの例が下のプロットに示されています。この記録中、患者は、低振幅、治療的、および高振幅の刺激条件下で一連の臨床評価を実行するように求められました。ここに示されているすべてのデータは、収集された実際のデータに対応していますが、視覚化を容易にし、多様性を示すために、個別の実験に圧縮されています。略語:LFP =局所電界電位、STN =視床下核、加速度=加速度計、ジャイロ=ジャイロスコープ、2D =2次元。 この図の拡大版をご覧になるには、ここをクリックしてください。
手動アライメント
手動アライメントGUIは、複数のデータストリームをアライメントするための使いやすいプラットフォームを提供します。 図3に示すように、チェストタップは、手動アライメントに使用できるすべてのデータモダリティ(INS、スマートウォッチ、ビデオ)で明確に識別可能なアーチファクトを提供します。GUIはデータをアライメントする便利な手段でしたが、これは研究者が使用したい他のアライメントツールと交換できます。場合によっては、データストリームにわずかなドリフトがあります。この問題の将来の解決策として考えられるのは、セッションデータを異なる試行に分割し、それぞれに独自の胸部タップシーケンスを持たせることです。その後、各試行を個別に調整して、ドリフトの影響を最小限に抑えることができます。
ゼロ正規化相互相関 (ZNCC) 時間アライメント
ZNCCの方法は場合によってはうまくいきますが、いくつかの重大な脆弱性があります。例えば、いくつかの動きについて、2つの加速度計信号は、互いに相対的に位相シフトされ得る。位相整列運動と位相シフト運動の両方が分析されたエポックに含まれている場合、ZNCCは複数のピークを持つか、または明確なピークを持たない可能性があります。ZNCCの正規化により、これらのアライメントを自動的に識別し、必要に応じて破棄することができます。この方法は、両方の信号が比較的ノイズがなく、両方のトレースで大きな同期効果を持つエポックにウィンドウ処理されている場合に最も効果的です。最良の結果は、患者が両手で胸を当てて一連の強いタップを行うように求められたときに達成されました。しかし、実際には、自動アライメントの手動検証は、自動化された方法を使用する利点が無視できるほど十分なケースで必要でした。
データ品質
データ転送プロトコル プロセスでは、損失が回復可能であることを確認するために生のコピーがバックアップされるため、自動転送中のデータ損失はごくわずかでした。Bluetoothと無線周波数では予期しない接続のドロップアウトが発生することがあり、範囲が制限されているため、接続の問題によるデータ損失が定期的に発生していました。最大 2 秒の短いギャップは約 1 時間に数回発生し、最大 2 分間の長いギャップは約数時間に 1 回発生しました。データ損失以外にも、神経データに有意な刺激アーチファクトが観察され、その重症度は記録と選択した刺激グループに依存しました。最大のアーチファクトは、刺激周波数の近くで発生し、対象範囲をはるかに超えています。スマートウォッチのデータにアーチファクトは観察されませんでした。ビデオは一定のフレームレートで記録されました。ただし、ビデオで重複フレームが確認されました。これにより、実際のフレームレートは、Webカメラの仕様に記載されている理論上のフレームレートよりも数フレーム低くなりました。しかし、重複したフレームよりも目立ったのは、録画日によって異なる間隔でビデオで確認された凍結期間でした。約 10 フレーム以下のフリーズ期間が定期的に観察されました。しかし、約2〜30秒の長さの長いセクションも不規則な周期で観察されました。
縦断的データ収集
表 1は、プラットフォームのプロトタイプが1.5年間にわたって定期的に収集したデータを示しています。その間、数百時間のデータが収集され、両側の合計293時間のINSデータ、両方の時計の224時間のスマートウォッチデータ、3つのWebカメラの2,037時間のビデオデータが含まれていました。これは、このプラットフォームが長期間にわたる在宅データ収集をサポートすると同時に、神経データの経時的変化とそれに対応する刺激要件を観察するまれな機会を提供することを示しています。
| データ型 | 合計期間 (hh:mm:ss) | 合計日数 | ストレージサイズ |
| ニューラル | 293:17:33 | 90 | 28.94ギガバイト |
| 時計 | 224:06:05 | 89 | 35.67ギガバイト |
| ビデオ | 2037:06:11 | 228 | 146,073.77ギガバイト |
表1:収集データの縦断的概要。 導入したプラットフォームは、1.5年にわたって数回の実験でデータを収集しました。約 90 日間を記録し、ニューラル、ビデオ、スマートウォッチのデータストリームを収集しました。
2Dおよび3D姿勢推定
現在、いくつかの姿勢推定ソフトウェアパッケージが利用可能です。姿勢推定は、オープンソースのソフトウェアパッケージであるOpenPoseを用いてテストした21。これは、組織のGitHubが提供するドキュメントと、Web上にある他の多くの非公式チュートリアルに従って正常にインストールされました。OpenPose の処理時間は、OpenPose ライブラリとその広範な依存関係のインストール方法、使用される GPU のサイズ、およびオプションの手と顔のキー ポイントが処理されるかどうかによって大きく異なります。2Dポーズは比較的簡単に実装できましたが、3Dポーズは著しく難しく、予備的な3D結果は2Dポーズと同等の品質に一貫性がありませんでした。低品質の3D姿勢推定は、最適でないカメラキャリブレーション、カメラのオートフォーカスが誤ってオンになった期間、またはOpenPoseソフトウェア自体に固有のものによって悪影響を受けている可能性があります。しかし、複数の角度から同期された高品質のビデオは、利用可能なさまざまな姿勢推定ソフトウェアパッケージに豊富な入力を提供する可能性があります。テストのセットアップは、患者の自宅の外で完了し、利用可能なさまざまな姿勢推定ソフトウェアパッケージを手動でベンチマークすることをお勧めします。
補足図1:ビデオフレームの遅延分析。 ビデオ録画アプリから生成されたタイムスタンプの遅延が、システムの特性評価中に検出されました。ラグの原因を調査するために、ランダムな間隔で点滅する赤色LEDライトを記録することで、各カメラから生成されたフレーム番号とタイムスタンプを決定し、カメラ間のタイムスタンプラグの変動を計算しました。(トップ)3台のカメラのそれぞれで測定されたLEDの輝度(RGB単位)は、3台のカメラ間で観察された時間オフセットを示しています(赤い矢印で表示)。(下)3 つのプロットは、記録全体にわたる一連の LED 点滅のフレーム数のカメラ間のタイムスタンプの遅れを示しています。各記録は複数のセグメントに分割され、フレームラグは時間の経過とともにほぼ一定でした。 このファイルをダウンロードするには、ここをクリックしてください。
補足ファイル1:ビデオフレームとタイムスタンプの分析方法。このファイルをダウンロードするには、ここをクリックしてください。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
ニューロモデュレーション研究における将来の研究を支援するために、マルチモーダルデータ収集プラットフォームの在宅プロトタイプの設計を共有します。この設計はオープンソースでモジュール式であるため、プラットフォーム全体を崩壊させることなく、ハードウェアのあらゆる部分を置き換えたり、ソフトウェアコンポーネントを更新または変更したりできます。神経データを収集し、匿名化するための方法は、選択されたINSに固有ですが、残りの方法と行動データ収集への全体的なアプローチは、どの埋め込み型デバイスが使用されるかに依存しません。私たちは、このプラットフォームをパーキンソン病患者の自宅に展開し、実験期間と自然療法期間の両方でデータを収集しました。展開、データ収集、事後データ処理の過程で、研究のイテレーションを成功させるために特に重要ないくつかの側面が発見されました。
私たちのチームの貴重なメンバーは、ハードウェアのインストール、VPNの設定、3Dポーズのカメラキャリブレーションの実行、各デバイスの患者向けGUIの使用方法を患者に説明するために患者の自宅に出張した研究コーディネーターでした。重要なのは、研究コーディネーターが患者と研究チームの間の主要な連絡窓口としても機能したことです。患者は、電子メールのチャット機能を使用して、メッセージをすばやくやり取りすることを好みました。一貫性があり、アクセスしやすい連絡先を持つことは、次の2つの点で特に役に立ちました。
患者がスケジュールされた記録の変更を要求し、システムの使用上の問題を伝えるための使い慣れた通信チャネルを確立すること。これは、研究コーディネーターが患者が記録実験を行うのに都合の良い時間を特定するのに役立ちました。報告されたシステム使用の主な困難は、複数のデバイスのバッテリ寿命を追跡する必要があることでした。
システムのトラブルシューティングが患者に与える影響を最小限に抑えるため。ほとんどのトラブルシューティングは、平均して数週間に1回発生するネットワーク接続の問題に起因していました。通常、デバイスを再起動するとこれらの問題は解決しますが、時計は何度も再起動する必要があり、患者は負担が大きいと報告しました。
患者の自宅に設置されたハードウェアへの堅牢なリモートアクセスを確保することが不可欠です。これを実現するには、安定したインターネット接続が重要です。また、ディスクで暗号化されたマシンを、マシンが再起動するたびに自動的にロックが解除されるように構成する必要もあります。当然のことながら、イーサネットケーブルは一貫して最速で最も信頼性の高いネットワーク接続を実現しました。OSとしてLinuxを選択したために必要だったTPMチップを構成する必要性は、あまり期待されていませんでした。Windows OSが使用されている場合、Bitlockerプログラムが自動的にこれを処理します。最後に、システムの再起動時にVPNを自動的に有効にし、ハードディスクドライブを再マウントするように展開されたPCを構成することで、患者の自宅に何度も再訪問することなく、継続的なリモートアクセスが保証されました。VPNとデータ暗号化プロトコルをプラットフォーム設計に組み込むことは、データのセキュリティと整合性にとって極めて重要でした。VPNを使用すると、患者のプライベートルーターでカスタムポート転送を構成することなく、コンピューターのネットワークを接続できます。オープンソースのデータ暗号化プロトコルであるRcloneプログラムは、既製のデータ暗号化と、患者のデバイスからクラウドストレージにデータを転送するための簡単に自動化できる手段を提供しました18。データ暗号化プロトコルは、データ転送手順中に生データのバックアップコピーを作成し、損失が回復可能であることを確認します。これらの手順により、患者の個人データが安全に保たれ、破損することがなくなりました。
有意義なデータ分析を行うためには、複数のデバイスから収集したデータを時間的に調整することが不可欠です。各デバイスの時計は、メーカーが推奨している場合でも、一般的なインターネット時刻と完全に一致していない可能性があります。さらに、一部のデバイスでは、予測できないタイミングでドリフトが発生し、他のデバイスに対してオフセットが変化する可能性があります。このため、完全に自動化されたリアルタイム適応アルゴリズムの実現が困難であり、今後の研究ではこの問題の解決策を慎重に検討する必要があります。自動アライメントの方法は、正規化された相互相関を使用して検討されました。多くの場合、これはかなりうまく機能します。ただし、時間のずれは最小限に抑える必要があり、データには明確に識別可能な信号が含まれている必要があります。大きなドリフトと、データのノイズやパケット損失が大きすぎる期間の両方が発生するため、この完全に自動化された方法は完全には信頼できません。手作業でデータをアライメントする負担を最小限に抑えるために、研究者が比較的簡単かつ迅速にデータストリームを視覚的に確認できるシンプルなGUIを作成しました。
ビデオデータをシステムに組み込むことで、臨床医は遠隔観察を通じて症状の重症度を測定でき、研究者はイベントラベルを取得できます。また、指の動きの速さや滑らかさを経時的に測定するなど、動きの質の連続的な指標として動画から姿勢推定を算出することができます。ただし、複数のカメラから高解像度のビデオを収集するには、大規模なストレージスペースが必要です。たとえば、3 台のカメラから MJPEG 形式の 4K ビデオを 8 時間収集するには、約 0.5 TB のストレージ容量が必要です。大量のデータを記録・保存するとすぐにコストがかかり、このシステムを多くの患者に導入する上で経済的なボトルネックとなります。このようなプラットフォームを多くの患者に拡張するために、将来のシステム設計者は、長期保存に必要なデータ量を減らす必要があります。将来のシステムでは、ポーズが処理された後にビデオを迅速に削除できるように、リアルタイムのポーズ処理を含めることを検討する必要があります。リアルタイムのポーズは、閉ループアルゴリズムにおける細かい運動能力に関するフィードバックを提供することもできますが、これはこの研究の範囲外です。臨床医のレビューやイベントのラベリングのために一部のビデオデータを保存する必要がある場合は、クラウドストレージに保存する前に、低解像度にダウンサンプリングすることができます。
最後に、統合システムを構築する際に必ず発生する設計上の欠陥や実装エラーに効率的に対処するために、テストリグとして使用するために展開するハードウェアのレプリカを取得することは非常に価値があります。これは、ビデオの収集とポーズデータの処理のために選択されたハードウェアとソフトウェアをテストする場合にも当てはまりました。2D空間と3D空間の両方でビデオを取得し、ポーズを推定するプロセス全体は、予想よりもはるかに困難でした。テストマシン群では、導入前に次のような多くの重要な手順でトラブルシューティングとストレステストを行うことができます。
特定の部屋のレイアウト制約内でカメラを適切にキャリブレーションする。
高品質の姿勢推定をサポートするための適切なビデオ解像度とフレームレートを特定します。小さな部屋やオフィスのような環境では、録画されたビデオの個人のサイズが十分に大きいため、4Kビデオよりも大幅に少ないストレージスペースでポーズを簡単に計算できるため、HDビデオ録画で十分である可能性があります。
フレームのフリーズや、連続して書き込まれたビデオファイル間のタイムラグなど、録画されたビデオのバグを検出します。
マシンの再起動時にカメラのオートフォーカスを再設定するなど、予期しないソフトウェアのデフォルトが公開され、カメラのキャリブレーションの利点が損なわれます。
OpenPose を中規模の GPU で実行できるようにするためにプリインストールする必要があるソフトウェア ライブラリの互換性のあるバージョンを見つけるための試行錯誤。
この研究の特定の制限は、1 人の個人の自宅に 1 つのパイロット研究でプラットフォームを展開するため、参加者間の一般化が発見されないことです。しかし、設計および開発プロセス全体を通じて、システムはスケーラブルで、リモート研究をサポートするための複数の展開をサポートするように設計されており、このパイロット研究の目的は、高度な在宅モニタリングプラットフォームの技術的実現可能性を確立することでした。議論された重要な発見のいくつかに基づいてこのパイロット設計を修正し、プラットフォームをより多くの家庭に展開することで、設計をさらに洗練させ、在宅aDBSの将来の研究をサポートすることができます。さらに、個人が事前に決められた実験を行っていない追加の時点でデータを収集することで、分析と全体的な治療効果を改善するための洞察が得られます。aDBSは、許容できない副作用をもたらす可能性のある従来のDBSと比較して、PDを含む神経疾患を治療するための好ましい方法を提供する可能性があります。この重要な治療を多くの人に届けるには、パラメーターの調整を自動化し、時間の経過とともにクリニックの外で治療効果を分析する必要があります。このプラットフォームは、患者の自宅にいながらにして、実験中および自然活動中の家庭用ビデオカメラ、スマートウォッチ、ニューラル記録、および患者レポートデータを収集するための新しいアプローチを提供します。このシステムは、神経疾患の治療における将来の発見をサポートするための新しいマルチモーダルデータセットの作成にさらに貢献します15。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
著者には開示すべき利益相反はありません。
Acknowledgments
この資料は、全米科学財団大学院研究フェローシッププログラム(DGE-2140004)、ワイルニューロハブ、および国立衛生研究所(UH3NS100544)の支援を受けた研究に基づいています。この資料に記載されている意見、調査結果、結論、または推奨事項は著者のものであり、必ずしも米国国立科学財団、ワイルニューロハブ、または米国国立衛生研究所の見解を反映しているわけではありません。プラットフォームの設計とビデオデータの組み込みに関する専門的なコンサルティングを行ってくれたTianjiao Zhangに感謝します。特に、この研究に参加してくださった患者様、およびネットワークセキュリティとプラットフォーム設計に関するフィードバックとアドバイスに感謝します。
Materials
| Name | Company | Catalog Number | Comments |
| Analysis RCS Data Processing | OpenMind | https://github.com/openmind-consortium/Analysis-rcs-data, open-source | |
| Apple Watches | Apple, Inc | Use 2 watches for each patient, one on each wrist | |
| BRIO ULTRA HD PRO BUSINESS WEBCAM | Logitech | 960-001105 | Used 3 in our platform design |
| DaVinci Resolve video editing software | DaVinci Resolve | used to support camera calibration | |
| Dell XPS PC | Dell | 2T hard disk drive, 500GB SSD | |
| Dropbox | Dropbox | ||
| ffmpeg | N/A | open-source, install to run the Video Recording App | |
| Gooseneck mounts for webcams | N/A | ||
| GPU | Nvidia | A minimum of 8GB GPU memory is recommended to run OpenPose, 12GB is ideal | |
| Java 11 | Oracle | Install to run the Video Recording App | |
| Microsoft Surface tablet | Microsoft | ||
| NoMachine | NoMachine | Ideal when using a Linux OS, open-source | |
| OpenPose | N/A | open-source | |
| Rclone file transfer program | Rclone | Encrypts data and copies or moves data to offsite storage, open-source | |
| StrivePD app | RuneLabs | We installed the app on the Apple Watches to start recordings and upload data to an online portal. | |
| Summit RC+S neuromodulation system | Medtronic | For investigational use only | |
| touchscreen-compatible monitor | N/A | ||
| Video for Linux 2 API | The Linux Kernel | Install if using a Linux OS for video recording | |
| Wasabi | Wasabi | Longterm cloud data storage | |
| WireGuard VPN Protocol | WireGuard | open-source |
References
- World Health Organization. Parkinson disease. , https://www.who.int/news-room/fact-sheets/detail/parkinson-disease (2022).
- Herrington, T. M., Cheng, J. J., Eskandar, E. N.
- Little, S., et al. Adaptive deep brain stimulation for Parkinson's disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
- Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson's disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
- Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson's disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
- Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson's disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
- Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson's disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
- Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson's disease using motor cortex sensing. J. Neural Eng. 11, (2018).
- Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
- Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson's disease. Journal of Neural Engineering. 18 (4), 046046 (2021).
- Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid - State Circuits Conference - (ISSCC). , 460-462 (2018).
- Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/privacy/index.html (2008).
- Rights (OCR), O. for C. The Security Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/security/index.html (2009).
- Perrone, R., Gilron, R. SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , https://github.com/openmind-consortium/App-SCBS-PatientFacingApp (2021).
- Strandquist, G., et al. In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
- Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
- etzion. Ubuntu 20.04 and TPM2 encrypted system disk - Running Systems. , https://run.tournament.org.il/ubuntu-20-04-and-tpm2-encrypted-system-disk/ (2021).
- Craig-Wood, N. Rclone. , https://github.com/rclone/rclone (2023).
- Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401 (2021).
- Hidalgo, G. inés, et al. CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose (2023).
- Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
- Cao, Z. openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/advanced/calibration_module.md (2023).
- Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398 (2021).
- Ranti, C. Rune Labs Stream API. , https://docs.runelabs.io/ (2023).
- ffmpeg development community. FFmpeg Formats Documentation. , https://ffmpeg.org/ffmpeg-formats.html (2023).
- Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).
