このコンテンツを表示するには、JoVEへの購読が必要です。 または、無料トライアルをお申し込みください。

方法論記事

クリニックを自宅に持ち帰る:適応型脳深部刺激療法をサポートする在宅マルチモーダルデータ収集エコシステム

2.3K 閲覧数

⸱

DOI：

10.3791/65305

⸱

2023年7月14日

 ,  ,  ,  ,  ,  ,  ,  ,  , 
1Computer Science and Engineering, University of Washington, 2Neuroscience, University of Washington, 3Neurology, University of California, San Francisco, 4Bioengineering, University of Washington, 5Bioengineering, University of California, Berkeley, 6Biophysics, University of California, Berkeley, 7Psychology, University of California, Berkeley, 8Neurological Surgery, University of Washington

この記事について

サマリー

このプロトコルは、神経学的運動障害を持つ人々のための適応的脳深部刺激療法(aDBS)を最適化する研究をサポートする在宅マルチモーダルデータ収集プラットフォームのプロトタイプを示しています。また、パーキンソン病患者の自宅に1年以上にわたってプラットフォームを導入した結果、重要な調査結果も紹介します。

要約

適応的脳深部刺激療法(aDBS)は、パーキンソン病(PD)などの神経疾患の治療改善に期待されています。aDBSは、症状に関連するバイオマーカーを使用して、刺激パラメータをリアルタイムで調整し、症状をより正確にターゲットにします。これらの動的な調整を可能にするには、aDBSアルゴリズムのパラメータを個々の患者ごとに決定する必要があります。これには、臨床研究者による時間のかかる手動調整が必要であり、1人の患者に最適な構成を見つけたり、多くの患者に拡張したりすることが困難でした。さらに、患者が自宅にいる間にクリニック内で構成されたaDBSアルゴリズムの長期的な有効性は、未解決の問題のままです。この治療法を大規模に実施するためには、治療結果を遠隔でモニタリングしながら、aDBSアルゴリズムのパラメータを自動的に設定する方法論が必要です。このホワイトペーパーでは、この2つの問題に対処するために、在宅データ収集プラットフォームの設計を共有します。このプラットフォームは、オープンソースのハードウェアとソフトウェアの統合エコシステムで構成されており、ニューラル、慣性、およびマルチカメラのビデオデータを自宅で収集できます。患者を特定できるデータのプライバシーを確保するために、プラットフォームはデータを暗号化し、仮想プライベートネットワークを介して転送します。この手法には、データストリームの時間調整や、ビデオ録画からの姿勢推定値の抽出が含まれます。このシステムの使用を実証するために、このプラットフォームをPDの個人の自宅に展開し、1.5年間にわたって自主的な臨床タスクと自由行動の期間中にデータを収集しました。データは、さまざまな治療条件下で運動症状の重症度を評価するために、治療下、治療上、および治療上刺激の振幅で記録されました。これらの時間軸合わせデータは、このプラットフォームが治療評価のために、自宅でのマルチモーダルデータ収集を同期できることを示しています。このシステムアーキテクチャは、自動化されたaDBS研究をサポートし、新しいデータセットを収集し、神経疾患に苦しむ人々に対するクリニック外でのDBS療法の長期的な効果を研究するために使用できます。

概要

脳深部刺激療法(DBS)は、脳内の特定の領域に直接電流を流すことにより、パーキンソン病(PD)などの神経疾患を治療します。世界中で推定850万人のPD症例があり、DBSは、症状を管理するのに薬物療法が不十分な場合に重要な治療法であることが証明されています1,2。しかし、DBSの有効性は、従来固定された振幅、周波数、およびパルス幅で送達される刺激から時々発生する副作用によって制約され得る3。このオープンループの実装は、症状状態の変動に反応しないため、患者の変化するニーズに適切に適合しない刺激設定が生じます。DBSは、現在、臨床医が個々の患者ごとに手動で行っている刺激パラメータの調整という時間のかかるプロセスによってさらに妨げられています。

適応型DBS(aDBS)は、症状に関連するバイオマーカーが検出されるたびに刺激パラメータをリアルタイムで調整することにより、DBSの効果的な次の反復であることが示されているクローズドループアプローチです3,4,5。研究によると、視床下核(STN)のベータ振動(10〜30 Hz)は、PD 6,7に特徴的な運動の鈍化である運動緩慢中に一貫して発生します。同様に、皮質における高ガンマ振動(50-120 Hz)は、PD8でも一般的に見られる過度で不随意運動であるジスキネジアの期間中に発生することが知られています。最近の研究では、診療所外で長期間aDBSを投与することに成功していますが5、患者が在宅中に診療所内で構成されたaDBSアルゴリズムの長期的な有効性は確立されていません。

日常生活で遭遇する症状を抑制する上で、これらの動的アルゴリズムの時間とともに変化する効果を捉えるには、リモートシステムが必要です。aDBSの動的刺激アプローチは、副作用を抑えたより正確な治療を可能にする可能性がありますが3,9、aDBSは依然として、各患者の刺激パラメータを手動で特定する臨床医の大きな負担に悩まされています。従来のDBSでプログラムするパラメータのセットがすでに大きいことに加えて、aDBSアルゴリズムには多くの新しいパラメータが導入されており、これも慎重に調整する必要があります。この刺激パラメータとアルゴリズムパラメータの組み合わせは、制御不能な数の組み合わせを持つ広大なパラメータ空間を生み出し、aDBSが多くの患者にスケーリングすることを妨げます10。研究現場でも、aDBSシステムの構成と評価に時間がかかるため、臨床だけでアルゴリズムを適切に最適化することは困難であり、パラメータのリモート更新が必要です。aDBSをスケーリング可能な治療法にするには、刺激とアルゴリズムのパラメータ調整を自動化する必要があります。さらに、aDBSを臨床外での実行可能な長期治療として確立するために、治療の結果を反復試験にわたって分析する必要があります。治療効果をリモートで評価するためのデータを収集し、aDBSアルゴリズムパラメータの更新をリモートで展開できるプラットフォームが必要です。

このプロトコルの目標は、マルチモーダルな在宅データ収集プラットフォームの再利用可能なデザインを提供して、クリニック外での aDBS の有効性を向上させ、この治療をより多くの個人に拡大できるようにすることです。私たちの知る限り、家庭用ビデオカメラ、ウェアラブルセンサー、慢性神経信号記録、患者主導のフィードバックを使用して治療結果をリモートで評価し、制御されたタスクと自然な行動中のaDBSシステムを評価する最初のデータ収集プラットフォーム設計です。

このプラットフォームは、以前に開発されたシステム5に基づいて構築されたハードウェアおよびソフトウェアコンポーネントのエコシステムです。最小限のハードウェアを最初にインストールした後、リモートアクセスによって完全に保守できるため、自宅で快適に人からマルチモーダルなデータ収集を行うことができます。その鍵となるのが、神経活動を感知してSTNに刺激を与え、胸部インプラントからの加速度を記録する植込み型神経刺激システム(INS)11 です。最初の展開で使用されるインプラントの場合、神経活動は、STNに埋め込まれた両側リード線と、運動皮質に埋め込まれた皮質電図電極から記録されます。ビデオ録画システムは、臨床医が症状の重症度と治療効果を監視するのに役立ち、グラフィカルユーザーインターフェース(GUI)を備えており、進行中の録画を簡単にキャンセルして患者のプライバシーを保護できます。ビデオを処理して、2次元(2D)または3次元(3D)の位置の運動学的軌跡を抽出し、スマートウォッチを両手首に装着して角速度と加速度の情報を取得します。重要なのは、すべてのデータは暗号化されてから長期クラウドストレージに転送され、患者を特定できるビデオがあるコンピューターには仮想プライベートネットワーク(VPN)を介してのみアクセスできることです。このシステムには、すべてのデータストリームを事後的にタイムアライメントするための2つのアプローチが含まれており、データを使用して患者の動きの質をリモートで監視し、aDBSアルゴリズムを改良するための症状関連のバイオマーカーを特定します。この作品のビデオ部分は、データ収集プロセスと、収集されたビデオから抽出された運動学的軌跡のアニメーションを示しています。

プロトコルの開発には、いくつかの設計上の考慮事項が導かれました。
データセキュリティと患者のプライバシーの確保: 識別可能な患者データを収集するには、医療保険の相互運用性と説明責任に関する法律 (HIPAA) であるため、送信と保存に細心の注意を払う必要があります12,13 準拠し、自宅で患者のプライバシーを尊重する。このプロジェクトでは、システムコンピュータ間のすべての機密性の高いトラフィックのプライバシーを確保するためのカスタムVPNを設定することで、これを実現しました。
刺激パラメータの安全限界: 意図しない影響をもたらす可能性のあるaDBSアルゴリズムを試している間、患者の安全を確保することが重要です。患者のINSは、過剰な刺激または過小刺激による危険な影響を許容しない刺激パラメータの安全な境界を持つように臨床医によって構成されなければなりません。INSシステムの場合11 この研究で使用されるこの機能は、臨床医のプログラマーによって有効になります。
患者が拒否権を行使できるようにする: 安全なパラメータ範囲内であっても、症状と刺激反応の日々の変動性は、患者がテスト中のアルゴリズムを嫌い、通常の臨床的オープンループDBSに戻りたいという不快な状況をもたらす可能性があります。選択されたINSシステムには、患者が刺激グループと刺激振幅をmA単位で手動で変更できる患者テレメトリモジュール(PTM)が含まれています。また、データ収集に先立ってINSをリモートで設定するために使用されるINS接続の研究アプリケーションもあります14これにより、患者はaDBS試験を中止し、治療を管理することもできます。
複雑で自然な動作をキャプチャする: ビデオデータは、臨床医が治療効果をリモートで監視し、研究分析で使用するために姿勢推定から運動学的軌跡を抽出できるように、プラットフォームに組み込まれました15.ウェアラブルセンサーは邪魔になりませんが、ウェアラブルシステムのみを使用して全身のダイナミックな可動域を完全にキャプチャすることは困難です。ビデオにより、患者の全可動域と症状を経時的に同時に記録することができます。
患者にとってのシステムの使い勝手:在宅マルチモーダルデータを収集するには、患者の自宅に複数のデバイスを設置して活用する必要があり、患者の移動が煩雑になる可能性があります。患者のコントロールを確保しながらシステムを使いやすくするには、記録を開始する前に、患者に埋め込まれている、または物理的に取り付けられているデバイス(この場合はINSシステムとスマートウォッチを含む)のみを手動でオンにする必要があります。患者とは別のデバイス(この場合、ビデオカメラから記録されたデータを含む)の場合、患者の操作を必要とせずに、録画が自動的に開始および終了します。GUIの設計では、ボタンの数を最小限に抑え、深いメニューツリーを避けて、操作がシンプルになるように注意が払われました。すべてのデバイスがインストールされた後、研究コーディネーターは、任意のデバイスで記録を終了する方法や、投薬履歴と症状レポートを入力する方法など、各デバイスの一部である患者向けGUIを介してすべてのデバイスを操作する方法を患者に示しました。
データ収集の透明性:カメラの電源がオンになっていることを明確に示すことは、人々がいつ録画されているかを知り、プライバシーの瞬間が必要な場合は録画を一時停止できるようにするために不可欠です。これを実現するために、カメラシステムアプリケーションを使用して、患者向けのGUIでビデオ録画を制御します。アプリケーションを起動すると、GUI が自動的に開き、次にスケジュールされた録画の日時が一覧表示されます。記録が進行中の場合は、記録の終了が予定されていることを示すメッセージが表示されます。GUIの中央には、赤いライトの大きな画像が表示されます。この画像は、録画中は常に明るく点灯しているライトを示しており、録画がオフのときは点灯していない画像に変わります。

このプロトコルでは、在宅データ収集プラットフォームの設計、構築、展開、収集されたデータの完全性と堅牢性の品質チェック、および将来の研究で使用するためのデータの後処理の方法を詳しく説明しています。

figure-introduction-1
図1:データフロー 各モダリティのデータは、患者の居住地から独立して収集され、処理され、単一のリモートストレージエンドポイントに集約されます。各モダリティのデータは、リモート・ストレージ・エンドポイントに自動的に送信されます。チームメンバーの1人の助けを借りて、それを取得し、妥当性をチェックし、モダリティ間で時間を調整し、よりモダリティ固有の前処理を行うことができます。コンパイルされたデータセットは、すべてのチームメンバーが安全にアクセスして分析を継続できるリモートストレージエンドポイントにアップロードされます。特に生のビデオなどの機密データについては、データにアクセスできるすべてのマシンがVPNで囲まれているため、すべてのデータが安全に転送され、保存されたデータは常に暗号化されます。 この図の拡大版をご覧になるには、ここをクリックしてください。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

プロトコル

患者は、カリフォルニア大学サンフランシスコ校の aDBS に関する大規模な IRB および IDE 承認済みの研究を通じて登録され、プロトコル # G1800975 に登録されます。この研究に登録された患者は、この研究のために特別にインフォームドコンセントを追加で提供しました。

1.在宅システムコンポーネント

  1. 中央サーバーとVPN
    1. VPN専用のLinuxベースのオペレーティングシステム(OS)を実行しているパーソナルコンピュータ(PC)を入手します。機械は安全な部屋に収納してください。ディスクはマシンを暗号化して、データのセキュリティを確保します。
    2. 少なくとも 1 つのポートでパブリックにアクセスできるように VPN サーバーを構成します。
      注: このケースでは、IT 部門と協力して、サーバーに外部向けの静的 IP アドレスと、大学の DNS ホスティング オプションによるカスタム URL を付与することで実現されました。
    3. サーバーをインストールするには、VPN を提供するために選択した PC で、次の手順を一度実行します。
      1. ファイアウォール構成:PCターミナルで次のコマンドを実行して、複雑なファイアウォールをインストールおよび構成します。
        sudo apt ufwをインストールする
        sudo ufwはsshを許可します
        sudo ufw allow <ポート番号>/udp
        sudo ufwを有効にする
      2. サーバーVPNのインストール:オープンソースのWireGuard VPNプロトコル16 をPCにインストールし、インストールディレクトリに移動します。PC 端末で umask 007 を実行し、ディレクトリー・アクセス・ルールを更新します。
      3. キーの生成: PC ターミナルで、
        WGのgenkey |TEE 秘密鍵 |WG pubkey > publickey
        これにより、VPN サーバーの公開キーと秘密キーのペアが生成されます。この公開鍵は、VPNに接続するすべてのクライアントPCと共有されます。
      4. VPN設定:PC端末で、 touch .conf を実行して設定ファイルを作成し、ファイル名はインターフェイスの名前と一致する必要があります。次のサーバールールをこのファイルに貼り付けます。
        [インターフェース]
        PrivateKey =
        アドレス = ##.#.#.#/##
        PostUp = iptablesの-A FORWARD -i interface_name -j ACCEPT;iptablesの-t nat -A POSTROUTING -o network_interface_name -j マスカレード
        PostDown = iptablesの-D FORWARD -i interface_name -j ACCEPT;iptablesの-t nat -D POSTROUTING -o network_interface_name -j マスカレード
        リッスンポート =#####
        [ピア]
        PublicKey =
        許可されたIPアドレス = ##.#.#.#/##
      5. VPN の有効化: ターミナルに wg-quick up と入力して VPN を起動します。PCが再起動するたびにVPNプロトコルが自動的に開始されるようにするには、ターミナルで次のコマンドを実行します。
        systemctl enable wg-quick@
    4. クライアントをインストールする場合は、VPN にアクセスする必要がある新しいマシンごとに次の手順を実行します。
      1. クライアントVPNのインストール:WireGuard16 ダウンロードページのOS固有の手順に従ってVPNプロトコルをインストールします。
      2. VPN へのクライアントの追加: インストール時に生成された構成ファイルから公開キーを取得します。このキーをサーバーの構成ファイルの peer セクションに貼り付けます。
      3. VPNの有効化:WireGuard16 ダウンロードページのOS固有の指示に従ってVPNを開始します。
  2. クラウドストレージ
    1. クラウドストレージサイトを選択して、記録されたすべてのデータストリームを1か所に長期間保存できるようにします。ここでは、選択したデータ転送プロトコルと互換性のあるAmazonウェブサービスベースのクラウドストレージサイトを使用しました。
  3. 埋め込み型ニューロモデュレーションシステム
    1. IRBおよびIDEのガイドラインに従って、患者が手動で刺激設定を変更できる埋め込み型ニューロモデュレーションシステム(INS)11 を選択します。
    2. タブレットPCを入手し、オープンソースのUCSF DBSアプリケーションをインストールして、INSの記録、投薬や症状の報告、その他の患者のコメントを可能にします14。タブレットにストリーミングされる INS データを、データの匿名化と長期クラウド ストレージへのオフロードの前に一時保存するために、一時的な HIPPA 準拠のクラウド ストレージ エンドポイントにアップロードされるように構成します。
  4. 動画収集システム
    1. クラウドストレージに転送する前に、必要な量のビデオファイルを収集して保存できるPCを入手してください。PC のマザーボードにトラステッド プラットフォーム モジュール (TPM) チップが搭載されていることを確認します。
      注: この場合、500 GB SSD、2 TB HDD、および 6 GB GPU を搭載した PC が選択されました。2TBのディスクは、長時間の録画セッションの後や、数日間インターネット接続が途絶えた場合にビデオをバッファリングすることができ、1台のPCでハードウェアの家庭内への侵入を最小限に抑えることができます。
    2. 目的のOSをインストールし、プロンプトに従って自動ディスク暗号化を有効にして、患者のプライバシーを確保し、データ漏洩を回避します。この場合、使いやすさと信頼性のために、Ubuntuディストリビューションを備えたLinuxベースのOSが選択されました。
    3. OS のインストール後に、ハード ディスクを個別に暗号化します。システムの再起動時にディスクの自動再マウントを有効にしてください。
    4. システムの再起動後もディスクで暗号化された PC へのアクセスを維持するように PC のオンボード TPM チップを構成します17。
      メモ: Linux OS を使用している場合は、この手順を有効にするために、TPM2 チップが取り付けられたマザーボードを選択してください。Windows OSを使用している場合、自動ディスク暗号化とロック解除はBitlockerプログラムで処理できます。
    5. 1.1.4 のインストール手順に従って、PC を VPN クライアントとして設定します。セクション1.1.3.5のように、PCが再起動されるたびにVPNプロトコルが自動的に起動するようにして、研究者のコンピューターが常にPCにリモートアクセスできるようにします(推奨)。
    6. GitHub マシンのユーザー アカウントを作成して、PC にインストールされているソフトウェアの更新を簡単に自動化します。このアカウントは、リモート git エンドポイントからのプルを自動化する Webhook として機能し、リモート マシンからプッシュされた更新を識別するのに役立ちます。
    7. ビデオ録画をスケジュールおよび制御するソフトウェアを選択し、これをPCにインストールします。患者のプライバシーと快適性を最大限に高めるために、選択したソフトウェアには、記録がいつ進行中かを明確に示し、いつでも記録を簡単に終了できるようにするためのグラフィカルユーザーインターフェース(GUI)が含まれている必要があります。
      注:必要に応じて、アプリケーションをダウンロードし、GitHub(https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp)の指示に従うことで、患者向けのGUIを備えた著者のカスタムビデオ録画アプリケーションをインストールできます。
    8. モニターを選択すると、ビデオが録画されていることが表示され、録画を簡単に終了できます。キーボードやマウスを操作しなくても録画を終了できるように、タッチスクリーン機能を備えたモニターを選択します。
    9. PCにリモートデスクトップアプリケーションをインストールします。これにより、GUIを使用してアプリケーションを実行し、GUIが患者側と遠隔地の研究者側の両方に表示されたままになります。
      注: オープンソースの NoMachine リモート デスクトップ アプリケーションは、Linux OS で最適に動作しました。
    10. 特定のスペースでポーズを計算するのに十分な解像度を備えたUSB互換のWebカメラを選択します。
      注:この場合、4k解像度(30fps)またはHD解像度(60fps)など、複数の解像度とフレームレートの組み合わせを提供する4k互換のWebカメラが選択されました。
    11. 患者の自宅にウェブカメラを取り付けるための堅牢なハードウェアを選択します。クリップ付きのグースネックマウントを使用して家具に固定し、カメラの揺れを防ぎます。
    12. 暗号化機能を備えたデータ転送プロトコルを選択し、これをPCにインストールします。クラウドストレージサイトにアクセスするための設定を作成し、データ転送の前に最初の設定をラップする暗号化設定を作成します。
      注:この場合、暗号化機能を備えたオープンソースのデータ転送およびファイル同期プロトコルがインストールされました18。データ転送プロトコルのドキュメントでは、クラウドストレージへのデータ転送を構成する方法が説明されています。このプロトコルは最初にVPNサーバーにインストールされ、オフサイトのクラウドストレージサイトにデータを転送する暗号化構成が作成されました。
  5. ウェアラブル・センサー・データ・コンポーネント
    1. 患者の各手首に装着するスマートウォッチを選択して、動き、加速度、心拍数などの信号を追跡します。
      注意: Apple Watch Series 3は、ジスキネジアや振戦スコアなどのPD症状スコアを生成する運動障害症状モニターを内蔵して選択されました。
    2. 各スマートウォッチに、録画を開始および終了でき、データをクラウドストレージに転送できるソフトウェアを選択してインストールします。研究者や臨床医が分析できるように、すべてのデータストリームを関連するオンラインポータルにアップロードするアプリケーションを選択します19.

figure-protocol-1
図2:ビデオ録画コンポーネント。 ビデオデータ収集をサポートするハードウェアコンポーネントは、単一のタワーPC、USB接続のWebカメラ、患者向けGUIを表示するための小型モニターなど、最小限です。モニターはタッチスクリーン対応で、GUIに表示されるボタンを押すことで、進行中またはスケジュールされた録画を簡単に終了できます。GUIの中央には、ビデオカメラがアクティブに録画しているときに明るい赤色に変わる録画ライトの画像が表示されます。 この図の拡大版をご覧になるには、ここをクリックしてください。

2.家庭内構成

  1. ハードウェアのインストール
    1. 家への混乱を最小限に抑えるWebカメラを取り付けるための適切なスペースを決定します。患者との話し合いを通じてスペースを決定します。ここでは、録音量とプライバシーのバランスをとるのに最適な場所として、ホームオフィスエリアを選択しました。
    2. 選択した取り付けハードウェアの識別された領域にWebカメラを取り付けます。グースネックマウントを近くの重い家具にクリップで留めることで、誰かが近くに足を踏み入れたときにカメラが揺れるのを防ぎます。
    3. USBケーブルがPCに接続できるように、PCを取り付けたWebカメラに十分に近づけて配置します。
    4. タブレットPC、INSコンポーネント、スマートウォッチ、およびスマートフォンを電源コンセントの近くに置いて、すべてのデバイスを接続したままにして、いつでも使用できるようにします。
    5. PC端末で route -n を実行してVPNがONになっていることを確認します。そうでない場合は、セクション1.1.3.5の指示に従ってVPNをアクティブにします。
  2. ビデオ録画アプリケーションを起動します
    1. ビデオ録画スケジュール:データを収集する前に、適切な録画スケジュールについて患者と話し合ってください。このスケジュールは、ビデオ録画ソフトウェアで設定します。
      注:作者のカスタムビデオ録画アプリケーションを使用する場合、スケジュールを設定する手順はGitHub(https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide)にあります。
    2. 録画ソフトウェアの更新: 1.4.6 でインストールされた GitHub マシン ユーザー アカウントを使用して、選択したビデオ録画ソフトウェアの最新バージョンが PC にアップロードされていることを確認します。
    3. ビデオ録画を開始する:インストールされているリモートデスクトップソフトウェアからPCにログインし、ビデオ録画ソフトウェアを起動します。
      注:作者のカスタムビデオ録画アプリケーションを使用する場合、アプリケーションの起動手順はGitHub(https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide)にあります。
  3. ビデオカメラのキャリブレーション
    1. オートフォーカスを無効にする: レンズや遠近法の歪みなどの固有のパラメーターを計算するには、選択したOSとWebカメラに基づく指示に従ってオートフォーカスをオフにします。
      注: Linux では、Web カメラは Video for Linux API を介してアクセスされ、カメラに接続されているコンピューターが再起動されるたびにデフォルトでオートフォーカスがオンになります。これを自動的に無効にするようにスクリプトを構成することは、3D ポーズを処理するためにカメラのキャリブレーション中に取得したフォーカスを保持するために必要です。
    2. 本質的なキャリブレーション:姿勢推定ソフトウェア20の3Dキャリブレーションをサポートするために、100mmの正方形を持つ6x8のチェッカーボードパターンを取得します。研究者がすべてのカメラのフレーム内でチェッカーボードを角度付けしている間に、個々のWebカメラからビデオを録画します。チェッカーボードの行数が偶数で列数が偶数でない (またはその逆) ことを確認します。これにより、回転に関する曖昧さが解消されます。
    3. 外部キャリブレーション: 3 つの Web カメラすべてから同時にビデオを録画します。ビデオは、3D 姿勢推定用に処理するビデオと同じ解像度で録画してください。すべてのビデオで正確な時刻同期を確保するには、録画の開始時と終了時にIRLEDライトを点滅させます。ビデオ編集ソフトウェアを使用して、LEDの開始時にフレームをマークし、ビデオを同じ長さにトリミングすることにより、ビデオを手動で同期します。
    4. キャリブレーション マトリックス: 前の 2 つの手順で記録したビデオを OpenPose21 に通して、内因性および外因性のキャリブレーション マトリクスを生成します。
      注: OpenPose はカメラのキャリブレーションに OpenCV ライブラリを使用しており、詳細な手順については、OpenPose GitHub20,22 のドキュメントを参照してください。

3. データ収集

  1. 記録を開始するための患者の指示
    1. デバイスのバッテリーと電源を確認する:INSデバイスは常にオンになっており、被験者に一定の刺激を提供します。神経データの記録を開始するには、患者にタブレットPCの電源を入れてもらい、左右両方のINSデバイスの臨床医テレメトリモジュール(CTM)がオンになっていて、完全に充電されていることを確認します。
    2. CTMの配置:胸の両側にCTMを配置します。最大の接続性を確保し、パケットロスを減らすために、記録中にCTMを胸部インプラントの近くに配置します。CTMを配置する追加の場所は、ジャケットの胸ポケットや特殊なスカーフを使用することです。
    3. タブレット接続のアクティブ化:タブレットが起動したら、患者にDBSアプリケーション を開いて接続を選択するように依頼し、CTMへのBluetooth接続、続いてINSデバイス14への接続を促します。
    4. カメラの起動:ビデオカメラがUSBケーブルを介してPCに接続されていること、およびカメラの電源がオンになっていることを確認するように患者に依頼します。
      注:著者のカスタムビデオ録画アプリケーションを使用する場合、進行中の録画は、明るく照らされた赤いライトの大きな画像によって、患者向けのGUIに明確に示されます。これは、録音がオフのときに点灯していない赤いライトに変わります。選択したWebカメラには、小さな白いインジケーターライトもあります。
    5. スマートウォッチのアクティベーション: 電源 ボタンを押したままにして、スマートウォッチとスマートフォンの電源を入れるように患者に依頼します。次に、スマートウォッチアプリケーションを開いて、データ記録とPD症状の追跡を開始するように依頼します。
  2. ジェスチャーベースのデータアライメントと記録のシナリオ
    1. データ収集を開始する前に、データ記録中に患者が実行するタスクを書き出します。
    2. タイムスタンプを揃えるためのマルチデバイスクロックベースの同期は信頼性が低い場合があるため、自由な行動の期間中に記録することを計画している場合でも、新しい記録の開始時に記録されたデータからタイムスタンプを同期するために使用できるジェスチャーを実行するように患者に依頼します。
      注:著者らは、患者が両手をカメラの視界内に収めたまま、埋め込まれた両方のINSデバイスをタップする簡単なジェスチャーを考案した。このタッピングは、スマートウォッチやINS加速度計からの慣性記録に特徴的なパターンを作成し、ビデオで簡単に観察できます。
  3. 記録を終了するための患者の指示
    1. 刺激群を、患者が希望する臨床的に割り当てられた群に戻します。
    2. DBS アプリケーションの患者向け GUI で、症状レポートを入力します。
    3. DBS アプリケーションを閉じると、CTM が切断され、INS ストリーミングが終了します。
    4. スマートウォッチ録画アプリケーションを閉じ、CTM、スマートフォン、スマートウォッチデバイスを充電ポートに戻します。
  4. データのオフロード
    1. 暗号化された構成を使用して、データ転送プロトコルを介して生のビデオをクラウドストレージに転送します。ビデオ録画PC上にcronジョブを作成し、データ転送プロトコル18を介して録画されたビデオをクラウドストレージに自動的に転送する。
      注:ビデオの解像度と毎日記録される時間数に応じて、すべてのビデオを24時間以内にクラウドストレージに転送できるように、インターネット速度が十分に高速である必要があります。データ転送が遅すぎると、ディスク容量が不足し、翌日にスケジュールされた追加のビデオ録画が失敗する可能性があります。
    2. 手順 1.3.2 で構成した HIPAA セキュアなクラウド エンドポイントに INS データを保存します。HIPAAセキュアなクラウドエンドポイントからINSデータをダウンロードし、データを匿名化します。匿名化されたデータを外部クラウドストレージに保存します。
      注:オープンソースのOpenMind前処理コード23 は、データを匿名化し、jsonファイルからテーブル形式に変換するために使用されました。患者のタブレットは、生のINSデータを一時的に保存するために、HIPAAで安全なクラウドエンドポイントで構成されていました。ただし、HIPAAに準拠し、オフロード前にデータが暗号化されていれば、長期保存に使用されるのと同じクラウドストレージサイトもこのステップに使用できる可能性があります。
    3. 必要に応じて、スマートウォッチのデータのコピーを外部クラウドストレージに保存して、すべてのデータストリームに1か所でアクセスできるようにします。

4. システム特性評価

  1. 生データの可視化:目的のコーディング環境で、すべての生データストリームを可視化し、データが失われたり破損したりすることなく適切に記録および転送されたことを確認します。
    注:スマートウォッチの記録を管理するために選択されたアプリケーションには、スマートウォッチデータの視覚化に役立つブラウザアプリ24がある。
  2. ビデオ フレームとタイムスタンプの遅延: 異なる Web カメラから生成されたタイムスタンプ間の遅延を調べます。すべてのWebカメラのフレーム内に配置されたプログラム可能なLEDライトでビデオを録画することにより、遅延を分析します。
    注:分析により、カスタムビデオ録画アプリによってインポートされたビデオセグメンテーション機能25 が、タイムスタンプラグの増加の原因であることが明らかになりました。セグメンテーション機能なしでビデオを録画すると、Webカメラ間のフレームとタイムスタンプの遅延が発生し、時間の経過とともに増加しませんでした(補足 ファイル 1および 補足図1を参照)。

5. データの前処理とアライメント

  1. ポーズデータ
    1. 録画したビデオから関節位置の推定値を計算するソフトウェアをインストールします。
      注: OpenPose ライブラリが選択されたのは、2D と 3D の両方で手と顔のトラッキングが含まれているためです。
    2. OpenPose ライブラリは、複数の人物がフレーム内にいるケースを自動的に処理しないため、後処理スクリプトを使用して、各人物のポーズの推定が 1 つのフレームから次のフレームまで連続するようにします。OpenPose は、姿勢推定の品質を視覚的に確認するために、2D または 3D のアニメーションを簡単に生成するコードを提供します。
  2. ジェスチャーベースのタイムアライメント
    1. 各INSデバイス(左右)について、著者のデータアライメントGUI(https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI)を使用して、以下で説明する手順に従います。
      1. データの読み取り:保存されたINSおよびスマートウォッチの加速度測定データにクラウドストレージからアクセスして、目的のデータセッションを行います。
        注: 必要に応じて、時系列を追加できます。 図3 は、右手中指先のポーズ位置を緑色で示しています。
      2. GUIでデータストリームを可視化:手動のタイムアライメントGUIを使用して、INS加速度、スマートウォッチの加速度、姿勢データをオーバーレイします。
      3. アライメント アーティファクトの拡大: 時間軸にズームインし、表示ウィンドウを録画の胸部タップ セクションに移動します。INSとスマートウォッチの両方の時系列信号の胸部タップからのピークができるだけ重なるように、位置合わせ時系列をシフトします。
        注: GUI は、任意の時系列を共通の真の時刻に手動で位置合わせできるように設計されています。 図 3 は、実際の時系列を青色で示し、整列時系列をオレンジ色と緑色で示しています。GUI アライメントの主要なガイドは、GitHub ReadMe (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment) に記載されています。
      4. アライメントの確認: GUI ウィンドウを記録内の各チェスト タッピング タスクに移動し、アライメントが時系列全体で一貫していることを確認します。[Switch Aligning]ボタンを押して、残りのデータストリームでアライメントを繰り返します。
      5. 警告フラグ: データが欠落しているか、シフトされているか、またはデータ品質に関するその他の一般的な警告を示すには、GUI で D キー、S キー、F キーをそれぞれ使用して警告フラグを設定します。
  3. ゼロ正規化相互相関 (ZNCC) 時間アライメント
    1. 真の時間に最も近い可能性が最も高い信号を特定します。通常、これはサンプル頻度が最も高いか、インターネット時刻の更新が最も速いものです。
    2. 2 つの信号をリサンプリングして同じ時間サンプリング周波数をもち、両方の信号を個別に z スコア付けします。これにより、結果の ZNCC スコアが -1 から 1 の間で正規化され、2 つの信号間の類似性レベルが推定され、エラーの検出に役立ちます。
    3. タイム ラグごとに 2 番目の信号と 1 番目の信号の相互相関を計算します。
    4. 2 つの信号の位相情報が重要でない場合は、測定された相互相関曲線の絶対値を取ります。
      注: 動作が著しく非周期的である場合、この場合のように位相情報は必要ありません。
    5. ZNCC曲線を解析します。明確なピークが 1 つあり、ピーク ZNCC スコアが 0.3 を超える場合、このピークの時間は 2 つの信号間のタイム ラグに対応します。ピークが複数ある場合、明確なピークがない場合、またはすべてのタイムラグでZNCCスコアが低い場合は、2つの信号を手動でアライメントする必要があります。

figure-protocol-2
図3:ジェスチャーベースのデータアライメント。 図の上半分は、3 つのデータ ストリームをアライメントした後の手動アライメント GUI を示しています。青い線がスマートウォッチの加速度データ、オレンジ色の線がINSからの加速度データ、緑の線が1台のWebカメラからの右中指先の2Dポーズ位置です。右上には、スマートウォッチからの真の時刻とINSの間のオフセットと、発生した問題をマークするためのさまざまな警告フラグが表示されます。この例では、INSはスマートウォッチより20.8秒進んでいました。左下のグラフは拡大され、データアライメントのために患者が行った5回の胸部タップが表示されます。5つのピークは、各データストリームで十分に明瞭であるため、適切なアライメントが保証されます。 この図の拡大版をご覧になるには、ここをクリックしてください。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

結果

プロトタイププラットフォームの設計と展開
プロトタイプのプラットフォームを設計し、1人の患者の自宅に展開しました(図1)。家庭にハードウェアを初めて設置した後は、プラットフォームをメンテナンスし、データを完全にリモートアクセスで収集することができます。INSデバイス、スマートウォッチ、カメラには、患者が記録を開始および停止できる患者向けアプリケーションがあります。ビデオ収集ハードウェアは、承認されたスケジュールが構成された後、自動ビデオ録画を有効にします。患者は、ビデオ録画アプリケーションのGUIのボタンを押すだけで、進行中の録画を簡単にキャンセルできます(図2)。収集されたデータはすべて暗号化され、研究者が処理および分析できるようにクラウドストレージサイトに転送されました。

データ収集
最初の展開とデータ収集サイクルでは、患者に自主的な臨床タスクを実施するように依頼しました。課題は、...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

ディスカッション

ニューロモデュレーション研究における将来の研究を支援するために、マルチモーダルデータ収集プラットフォームの在宅プロトタイプの設計を共有します。この設計はオープンソースでモジュール式であるため、プラットフォーム全体を崩壊させることなく、ハードウェアのあらゆる部分を置き換えたり、ソフトウェアコンポーネントを更新または変更したりできます。神経データを収集し、匿名化するための方法は、選択されたINSに固有ですが、残りの方法と行動データ収集への全体的なアプローチは、どの埋め込み型デバイスが使用されるかに依存しません。私たちは、このプラットフォームをパーキンソン病患者の自宅に展開し、実験期間と自然療法期間の両方でデータを収集しました。展開、データ収集、事後データ処理の過程で、研究のイテレーションを成功させるために特に重要ないくつかの側面が発見されました。

私たちのチームの貴重なメンバーは、ハードウェアのインストール、VPNの設定、3Dポーズのカメラキャリブレーションの実行、各デバイスの患者向けGUIの使用方法を患者に説明するために患者の自宅に出張した研究コーディネーターでした。重要なのは、研究...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

開示事項

著者には開示すべき利益相反はありません。

謝辞

この資料は、全米科学財団大学院研究フェローシッププログラム(DGE-2140004)、ワイルニューロハブ、および国立衛生研究所(UH3NS100544)の支援を受けた研究に基づいています。この資料に記載されている意見、調査結果、結論、または推奨事項は著者のものであり、必ずしも米国国立科学財団、ワイルニューロハブ、または米国国立衛生研究所の見解を反映しているわけではありません。プラットフォームの設計とビデオデータの組み込みに関する専門的なコンサルティングを行ってくれたTianjiao Zhangに感謝します。特に、この研究に参加してくださった患者様、およびネットワークセキュリティとプラットフォーム設計に関するフィードバックとアドバイスに感謝します。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
分析 RCS データ処理OpenMindhttps://github.com/openmind-consortium/Analysis-rcs-data、オープンソース
Apple WatchesApple, Inc患者ごとに2つの時計を使用し、各手首に1つずつ
BRIO ULTRA HD PRO ビジネスウェブカメラLogitech960-001105当社のプラットフォーム設計で3つを使用 
DaVinci Resolveビデオ編集ソフトウェア DaVinci Resolveは、カメラのキャリブレーションをサポートするために使用されます
Dell XPS PC Dell2Tハードディスクドライブ、500GB SSD
DropboxDropbox
ffmpeg N / Aオープンソース、ビデオ録画アプリを実行するためにインストール
します ウェブカメラ用のGooseneckマウントN / A
GPUNvidiaOpenPoseを実行するには最低8GBのGPUメモリが推奨されます、12GBは理想的な
Java 11Oracle録画アプリを実行するために
Microsoft Surfaceタブレット マイクロソフト
NoMachine NoMachineLinux OS使用時の理想、オープンソースの
OpenPose N/Aオープンソースの
Rcloneファイル転送プログラムRcloneは、データを暗号化し、データをオフサイトストレージにコピーまたは移動し、オープンソースの
StrivePDアプリRuneLabsApple Watchesにアプリをインストールして、録音を開始し、オンラインポータルにデータをアップロードします。
Summit RC+S ニューロモデュレーションシステムメドトロニック治験用
、タッチスクリーン対応モニターN/A
Video for Linux 2 API録画にLinux OSを使用する場合のLinuxカーネル
わさび WasabiLongterm cloud data storage
WireGuard VPN ProtocolWireGuardオープンソース
の。ビデオインストール のみ ビデオインストール 

参考文献

  1. World Health Organization. Parkinson disease. , https://www.who.int/news-room/fact-sheets/detail/parkinson-disease (2022).
  2. Herrington, T. M., Cheng, J. J., Eskandar, E. N. Mechanisms of deep brain stimulation. Journal of Neurophysiology. 115 (1), 19-38 (2016).
  3. Little, S., et al. Adaptive deep brain stimulation for Parkinson's disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
  4. Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson's disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
  5. Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson's disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
  6. Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson's disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
  7. Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson's disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
  8. Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson's disease using motor cortex sensing. J. Neural Eng. 11, (2018).
  9. Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
  10. Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson's disease. Journal of Neural Engineering. 18 (4), 046046(2021).
  11. Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid - State Circuits Conference - (ISSCC). , 460-462 (2018).
  12. Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/privacy/index.html (2008).
  13. Rights (OCR), O. for C. The Security Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/security/index.html (2009).
  14. Perrone, R., Gilron, R. SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , https://github.com/openmind-consortium/App-SCBS-PatientFacingApp (2021).
  15. Strandquist, G., et al. In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
  16. Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
  17. etzion. Ubuntu 20.04 and TPM2 encrypted system disk - Running Systems. , https://run.tournament.org.il/ubuntu-20-04-and-tpm2-encrypted-system-disk/ (2021).
  18. Craig-Wood, N. Rclone. , https://github.com/rclone/rclone (2023).
  19. Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401(2021).
  20. Hidalgo, G. inés, et al. CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose (2023).
  21. Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
  22. Cao, Z. openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/advanced/calibration_module.md (2023).
  23. Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398(2021).
  24. Ranti, C. Rune Labs Stream API. , https://docs.runelabs.io/ (2023).
  25. ffmpeg development community. FFmpeg Formats Documentation. , https://ffmpeg.org/ffmpeg-formats.html (2023).
  26. Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

再版と許可

タグ

DBS
クリニックを自宅に持ち帰る:適応型脳深部刺激療法をサポートする在宅マルチモーダルデータ収集エコシステム
お問い合わせ
図書館への推薦

プライバシー

利用規約

ポリシー

著作権 © 2026 MyJoVE Corporation. 無断転載を禁じます。