標準化された飲酒課題運動学のウェブベースの臨床ガイド コンピュータビジョン解析のための互換性のあるビデオ録画

サマリー

飲酒課題の運動学的指標は上肢脳中リハビリテーションに推奨されていますが、従来の運動学的研究は実用的ではないと考えられています。現在のプロトコルは、飲酒タスクの動画をウェブベースに記録するガイドを提供しており、コンピュータビジョンと互換性があり推奨運動学的指標を抽出しています。

要約

上肢の評価はリハビリテーションのサイクルにおいて極めて重要です。過去20年間で、飲酒課題活動の運動学的評価は、脳卒中や筋骨格系疾患を含む広範な疾患に影響を受けるリハビリテーション集団の臨床的変化に有効かつ応答的であることが示されています。この飲水タスク運動学に関する基礎的な研究は、リハビリテーション研究における上肢運動学の採用に関する合意勧告につながりました。しかし、実務的な懸念が提起されており、研究コミュニティでの採用や臨床実践への応用を危うくしています。採用の障壁には、従来のモーションキャプチャ手法によるキネマティクスの習得の技術的複雑さや、その背後にある活動プロトコルの忠実さなどがあります。前者に関しては、コンピュータビジョンとして知られるAIサブフィールドにおける画期的な進歩が、運動学的解析の技術的負担を大幅に軽減しています。後者に関しては、市販のステレオカメラ、パーソナルコンピュータ、外来臨床環境で利用可能な基本的な教材を用いて、高度に標準化された飲酒タスク活動プロトコルのビデオ撮影を臨床医が案内するウェブベースのアプリケーション(アプリ)を紹介します。さらに、このビデオキャプチャと、飲み込みタスクの運動学的指標を抽出するためのカスタムコンピュータビジョンパイプラインとの互換性も示しています。継続的な検証とユーザビリティ研究を通じて、このツールが高度に標準化された上肢運動学的指標へのアクセスを大幅に向上させ、上肢障害を持つリハビリテーション集団における研究と臨床ケアの進展につながると期待しています。

概要

日常生活中の上肢の作業の大部分は両手足を必要とします。上肢能力の喪失は神経障害後に頻繁に起こり、脳卒中生存者の約80%が上肢欠損を経験^{しています。}これらの欠損は機能や生活の質を低下させることが知られています^。リハビリテーションは機能回復のための主要な介入として残^{っており、リ}ハビリテーションは正確な評価に基づくサイクルとして説明されています^。上肢の運動学的評価は過去20年間で注目を集めています。この注目は、現在の臨床評価の限界に起因しており、人間の評価者の主観性や微妙な変化に対する解決の不十分さなど、認識されている欠点が認識されています⁵。

運動学は、人体、手足、関節の動きにおける人間の動きを研究する生体力学の一分野です。これまでの研究の中でも、飲酒課題の運動学的研究は^{研究コミュニティから}大きな注目を集めています。運動学的評価における飲み込みタスクの人気は、その動きの複雑さ、目標志向の課題の特異性、そして循環的な動きに起因^{しています。}神経発達に典型的な成人や子どもを対象とした多くの研究に加え、飲酒課題は^8,9,10,11の多様な神経疾患でも調査されています。脳卒中集団において、これらの研究は有効な運動学的指標を特定し、これらは有効で信頼性が高く、臨床的変化に応答します12,13,14。しかし^、運動学的評価は複雑で高価なシステムや技術的知識のため、長らく非現実的と考えられてきました。

人工知能の登場により、運動学的評価に対する実用的な障壁は大幅に減らされています。例えば、デジタル画像から情報を抽出するAIのサブフィールドであるコンピュータビジョンは、比較的シンプルなカメラとコンピューターを用いてマーカーレスのモーションキャプチャシステムを実現するために活用可能になりました。^16、17、18。これらのコンピュータビジョンの進歩を活用するために、本方法論文の目的は、臨床医が以下の事項を案内するために開発されたウェブベースのツールを説明することです:(i) 飲酒タスクのための標準化された活動プロトコルの実装、(ii) 運動学的指標抽出のためのコンピュータビジョンワークフローと互換性のある飲酒タスクの動画を録画すること。これらの運動学的指標はまだ標準的な臨床ケアの一部ではありませんが、本プロトコルの目的は、生体力学的研究を実践に統合したい臨床医の関与を促進することです。期待される影響は、上肢の運動学的指標への臨床アクセスが大幅に向上し、現在のリハビリテーション治療プロトコルの形成や新たな治療プロトコルの研究開発を支援することにあります。

プロトコル

代表的な結果セクションに示された数字は、ヘルシンキ宣言に従って実施された2つの別々のケーススタディに対応しています。データ収集前に全参加者からインフォームドコンセントが取得されました。これらの個別のケーススタディは参加者が2名のみであったため、地元の機関審査委員会が定義する臨床研究の定義を満たしていませんでした。したがって、割り当てられたIRBプロトコル番号は利用できません。

注:プロトコルおよび関連するウェブベースアプリは主に以下の3つのステップに分かれています:(i) ワークスペースの設定;(ii) 校正活動;および(iii) 飲酒課題の活動。インフォグラフィック(図1)はこれらのステップを視覚的に示しており、ウェブベースのアプリ(https://mobile-motion-lab-public.web.app)を使用する際にユーザーが直面するワークフローも含まれています。

図1:プロトコルの概要を示すインフォグラフィック。 ウェブベースのアプリからのスクリーンショットとともに、各主要ステップごとにイラストが掲載されており、ワークスペースの設定(左パネル)、キャリブレーションワークフロー(中央パネル)、飲み込みタスクワークフロー(右パネル)などが含まれています。 この図の拡大版はこちらをクリックしてご覧ください。

1. ワークスペースの設定

注:このステップでは、次のキャリブレーション活動や飲み作業作業のために作業スペースを正しく設定する方法(図2)を説明します。適切なセットアップは、信頼性の高い後処理とコンピュータビジョンワークフローを用いた運動学的指標の抽出のために、ビデオキャプチャの標準化と品質を確保する鍵となります。

1. 椅子、テーブル、被写体の位置
   1. 座面付きの高さ調整可能な椅子を設置し、被験者が手のひらをテーブルに下向きに置き、手首の折り目をテーブルの端に合わせて座れるようにします。
   2. 座面の高さを調整し、被験者の股関節と膝が約90度の屈曲になるようにします。
   3. テーブルの高さを調整し、腕が快適に横に置かれ、直立した座り方を維持し、肘を90度屈曲させてください。
2. 飲酒タスク活動のプレインマットの配置
   1. ウェブアプリ(https://mobile-motion-lab-public.web.app/resources)のリソースメニューにある印刷可能なファイル(Drinking Task Activity Placement)と、タブロイドサイズのプリンター用紙(10インチ×17インチ)を使ってプレインマットを作成します。
   2. ランチョンマットの前端を被写体の正面にあるテーブルの端と合わせます。ターゲットの四角いボックスが被写体の中央線の中心に位置していることを確認しましょう。
   3. テーブルの表面に接着テープでしっかりと貼り付けます。
3. カップ戦順位
   1. 250mLのプラスチックカップを、ランチョンマットの四角い場所に置きます。これにより、カップはテーブルの端から30cm離れた位置にあり、被写体の正面に位置します。カップに100mLの飲み水を入れます。
4. カメラの配置
   1. ステレオカメラ(焦点距離4mm)を正面から被写体とカップを撮影するために位置を決めます。ウェブアクセス可能なパーソナルパソコンに接続できるステレオカメラ(例:クリニックベースのワークステーションへのUSB接続)が必要です。レンズ歪みの影響を最小限に抑えるために、焦点距離の長いステレオカメラが推奨されます。標準的なカメラ三脚を使用できます。
      注意:カメラのキャリブレーションが完了すると(今後の段階で実施予定)、このキャリブレーションを維持するにはカメラの位置を維持する必要があります。このため、カメラには床に取り付けた三脚や、常設カウンタートップや重いテーブルなどの固い表面に置くデスクトップ取り付けの三脚など、しっかりとした基盤が好まれます。
   2. カメラの位置を調整してターゲットボリューム、すなわち被験者が初期の位置に完全に収まっている仮想の立方体を捉え、その後の活動試行(例:飲むタスク)で被験者が行う近位および遠位上肢の活動(例:手の動きを含む)を完全に捉えられる許容範囲を十分に確保します。
      1. ステレオカメラの理想的な配置は、特定のデバイスの固有のパラメータ(イメージセンサーのサイズ、焦点距離、視野角)に依存しますが、まずステレオカメラをテーブルの端(被写体に最も近いテーブルの端)から約150cm離れた場所に位置させ、カメラの高さをテーブル表面から約100cmに設定してください。
      2. この開始位置から必要に応じてカメラ位置を最適化し、前述のターゲットボリュームを捉えられるように調整します。なお、カメラのキャリブレーションプロセスは、カメラの外部パラメータ(例:ロール/ヨー/ピッチ)の変化を自動的に考慮します。
5. 照明のセットアップ
   1. 可能であれば、部屋を柔らかく均一な照明でしっかりと照らしてください。近隣の窓からの強い日光などの強い逆光は避けてください。まぶしさはキャリブレーション中にチェッカーボードグリッドパターンの検出を妨げる恐れがあります。
   2. カメラの視界内に影を導入することは避けてください。影はキャリブレーションの成功率やコンピュータビジョンによる人間の姿勢推定の成功を損なう恐れがあります。被写体の影を減らすために天井の照明やランプを設置してください。まぶしさが問題であれば、ライトディフューザーを付けることを検討してください。

2. 校正活動

注:このステップでは、キャリブレーション活動を成功裏に完了し、ウェブアプリを通じて画像を適切な保存先に適切に管理する方法を説明します。校正は被験者とのビデオデータ収集前に1日1回実施されることがあります。もし通行人がカメラや三脚に当たることによる意図せずカメラの位置が一日中に変わった場合は、新たなキャリブレーションが推奨され、その後のすべてのビデオ撮影活動はコンピュータビジョンのワークフローにおいてこの新しいキャリブレーションと関連付ける必要があります。

1. 校正準備
   1. ウェブアプリのリソースメニューから印刷可能なファイル(キャリブレーションチェッカーボード印刷)を使って、キャリブレーション用のチェッカーボードグリッドパターンを作成し https://mobile-motion-lab-public.web.app/resources。
   2. 8.5インチ×11インチの標準的なレターサイズの用紙を使って、白黒のチェッカーボードの格子パターンを印刷します。光沢のない紙とプリンターのオプションを使いましょう。
   3. チェッカーボードグリッドパターンのプリントアウトを平らな面(例:クリップボードの裏)に貼り付け、テープで固定します。テープがチェッカーボードパターンのいかなる部分も隠さないようにし、貼付された紙のプリントアウトに変形が最小限に抑えられるようにしてください。そうでなければ、チェッカーボードグリッドパターンの遮蔽や変形により、コンピュータビジョンによるキャリブレーションの成功率が低下する可能性があります。
2. キャリブレーション画像のキャプチャ
   1. ウェブアプリのダッシュボードメニュー(https://mobile-motion-lab-public.web.app/calibrationActivity)にあるキャリブレーションアクティビティモジュール(キャリブレーションアクティビティガイド)を開きます。このモジュールはキャリブレーションのプロセスを導くために設計されています。
      1. 以下の方法で校正を行います:(i) 校正活動のビデオデモンストレーションを視聴すること;(ii) ステレオカメラの識別確認;(iii)録画前にステレオカメラのライブ映像をプレビューすること。最後に、キャリブレーション活動を記録し、チェッカーボードパターンを作業スペース内で移動させながら画像を撮影します。
   2. ガイドを進めて、ステレオカメラのプレビューと録画開始アイコンが表示されるまで進みます。
   3. 録画を開始する前に、チェッカーボードを元の位置に配置してください。前述のテーブルに座る個人の姿勢に基づくと、チェッカーボードの開始位置は、パターンを胸の高さ近く、かつテーブルトップの表面に対して垂直に保持することです(図3)。
   4. 録画を開始するには、ウェブアプリ内の「 録画開始 」アイコンをクリックしてください。開始されると、アプリが3秒間の視覚・音声カウントダウンを提供し、その後、キャリブレーション活動の開始時を示す視覚・音声の合図が表示されます。
      注意:キャリブレーションを単独で行う場合、カウントダウンは録音開始前にチェックボードパターンを位置決める時間を与えます。
   5. キャリブレーション開始の合図が出たら、チェッカーボードパターンを作業スペース(カメラに向かって)滑らかかつ制御された方向で前進させます。作業スペース(被写体とカップに割り当てられた仮想の立方体)を完全に前進させたら、逆方向に動きてパターンを滑らかかつ制御された形で後方(カメラから離れる方向)に移動させます。このチェッカーボードパターンの前後の動きを繰り返し、画像撮影が完了します。画像撮影の総時間は10秒です。
      1. チェッカーボードのパターンをあまりにも速く動かさないようにしましょう。素早い動きはカメラで撮影した画像のぼやけを引き起こす可能性があり、このぼやけはコンピュータビジョンのワークフローが適切なキャリブレーションパラメータを抽出する能力を低下させる可能性があります。
         注意点:ウェブアプリにはキャリブレーション活動モジュール中にビデオデモンストレーションが含まれています。また、キャリブレーションパターンの動きは、ウェブアプリのリソースページにある「はじめき動画」でも示されています。
3. キャリブレーション記録のレビュー
   1. 記録されたキャリブレーションを確認しましょう。キャリブレーション活動を録画した直後、ウェブアプリでビデオ再生が表示されます。このビデオ再生を以下の項目に注意深く確認してください。
      1. 画質:チェッカーボードの全体パターンが動画全体で完全に見えるようにしましょう。画像のブレはできるだけ避けるべきであり、もし明らかなブレの証拠がある場合は、チェッカーボードパターンの動きをゆっくりとしてキャリブレーション録画を再試すことを検討してください。画像品質を向上させることで、その後のコンピュータビジョンワークフローでもチェッカーボードパターンを検出しやすくなり、これは深度や位置測定の抽出に必要な参照となります。
      2. 視界をクリアにする:照明が十分であることを確認しましょう。チェックボードの見えを妨げる明らかな暗い影や白く塗りつぶされる光は避けてください。撮影中にカメラの視線を妨げるもの(例:前景を通る通行人)がないか確認してください。
         注:画像の品質や可視性を評価するための参考として、キャリブレーション動画の例はキャリブレーション活動モジュールおよびウェブアプリのリソースメニューにある「はじめに動画」内にあります。
      3. 必要なら再挑戦してください。キャリブレーション活動のパフォーマンスやキャリブレーション動画の品質に懸念がある場合は、「再試行」オプションを選択して再度録画を開始してください。それ以外の場合は、キャリブレーション画像の送信や保存を進めてください。
4. キャリブレーション画像の保存
   1. キャリブレーション活動と記録が完了したら、「 キャリブレーション画像を保存 」アイコンを選択してください。これにより、キャリブレーション画像の保存先を選択できるウィンドウプロンプトが開きます。デフォルトでは、ファイル保存先はデスクトップに設定され、デフォルトのファイル名規則(例:calibration_[Date]_[Time]_[Camera Type])が設定されています。
   2. キャリブレーション画像の保存が確認されたら、「 保存確認 」を選択して進めます。保存後に確認メッセージが表示され、次の飲み作業アクティビティガイドモジュールに進むか、キャリブレーションタスクアクティビティガイドモジュールを再起動するかの選択肢が表示されます。

3. 飲酒課題の活動

注意:このステップでは、被験者が飲酒タスク活動を完了するよう導く方法、飲酒タスクのビデオ録画の作成方法、そしてウェブアプリを使って動画を保存先に適切に管理する方法を説明します。

1. 飲酒課題活動の準備
   1. 飲酒課題の活動に適した開始・終了の位置に被験者を配置します。座面の高さを調整し、被写体が腰と膝を90度の角度で曲げて快適に座れるようにします。必要に応じてテーブルの高さを調整してください。被験者が椅子にまっすぐ座り、腕をリラックスさせ、肘を90度の角度で曲げ、手のひらを肩幅に広げてテーブルに快適に置き、手首の折り目をテーブルの端に合わせ、中央線がテーブルマットのカップの位置に合わせていることを確認してください。
   2. 被験者に、最初の記録には指定された手(右または左)を使うよう指示します。
      注:飲酒課題の追加の試験はウェブアプリを通じて可能です。追加の試験中は、ウェブアプリで手の横方向を表示でき、データキュレーション時に自動的にそれぞれの試験ファイル名に関連付けられます。
   3. 被験者に飲酒タスクの練習を指示します。被験者は飲酒課題活動の練習試験を1回または2回行うことができます(記録なし)。被験者に、カップと手を元の位置に戻す前に、ほんの少しだけ飲めばよいことを思い出させてください。
      1. 飲酒の課題に関して過度に指導しすぎないようにしましょう。その意図は、現実世界で起こる行動を捉えることです。被験者がさらなる指示を求めた場合は、日常生活の現実世界の状況を考慮するよう助言します。
2. 飲酒タスクの活動を記録してください
   1. ウェブアプリのダッシュボードメニュー(https://mobile-motion-lab-public.web.app/drinkingTaskActivity)にある飲酒タスク活動モジュール(飲酒タスクアクティビティガイド)を開きます。
      注意:このモジュールは、飲酒課題を行う被験者のビデオ録画をガイドするために設計されています。このプロセスには以下が含まれます:(i) 飲酒タスク活動の例映像を見る;(ii) ステレオカメラの識別確認と被写体識別子の入力;(iv) 特定の裁判で使用する手の側方(例:右または左)を入力すること;(v) 録画前にステレオカメラのライブ映像をプレビューすること。
   2. 録画を開始する前に、被写体をカウントダウンに合わせます。モバイルアプリから3秒の視覚・音声カウントダウンが提供され、その後の視覚・音声の合図で飲み作業の開始時間が示されます。
   3. ウェブアプリ内の「 録画開始 」アイコンをクリックして動画録画を開始してください。カウントダウンや合図を使って、被験者に飲酒課題の活動を行うよう促します(図3)。飲酒タスク活動に割り当てられる合計時間は20秒です。
      注意:被験者はカップから少しだけ飲み、カップをランチョンマットの輪郭元の場所に戻し、手を元の輪郭に戻す必要があります。
3. 飲酒課題のビデオ録画を確認しましょう。録画直後、ウェブアプリでビデオ再生が表示されます。このビデオ再生を以下の項目に注意して確認してください。
   1. フレーム内の被写体:飲む作業中、被写体の顔、胴体、上肢、カップがすべての映像フレームに完全に収まるようにしてください。
   2. 視覚的な乱れのなさ:照明が十分で、気を散らす影やまぶしさがないことを確認してください。動画の前景や背景に他の人を誤って捉えてしまうのは避けましょう。そうでなければ、コンピュータビジョンのワークフローが関心のある対象を正しく特定する可能性が低下する可能性があります。
   3. 課題完了:被験者がカップを拾い上げ、一口飲むこと、カップを元の位置に戻すこと、そして体や手を元の位置に戻すなど、すべての課題を完了させることを確実にします。
   4. 必要なら再挑戦してください。飲酒作業の動画撮影の品質に疑問がある場合は、「 再試行 」オプションを選択して再度録画を開始してください。
      注意:リトライオプションは前回の録画を破棄します。ビデオを破棄したくない場合は、リトライを選択しず、以下に説明する追加のトライアルを進めてください。
4. 飲酒課題活動の追加試行記録
   1. 同じ被験者に対して飲み込みタスクの追加試行が必要な場合は、「 別の試行を繰り返す」オプションを選択してください。
      注意:Drinking Task Activity Guideモジュールは、各ユニークな被験者ごとにユニークなインスタンスとして実行されるよう設計されています(例:モジュールは各ユニークな被験者ごとに再起動が必要です)。
   2. 前述の指示に従って、同じ被験者の追加試験を録画・レビューを進めてください。
      注:同一被験者による繰り返し試験の場合、元々入力した被験者識別子およびカメラ識別子がすべての試験に自動的に関連付けられます。それ以外の場合は、各試行で以下のステップのみを要求します:(i) 被験者が使う手の側方(例:右または左)を入力;(ii) 録画前にステレオカメラのライブ映像をプレビューすること;(iii) 飲酒タスク活動のビデオ録画を開始すること;および(iv)必要に応じて録画の確認・再試行。
5. ビデオ録画を保存
   1. すべての希望のトライアルが記録されたら、「 すべてのトライアルで終了 」を選択して、ビデオファイルを希望の目的地に保存します。
   2. 「注記」と指定された欄には、今後のデータの処理、分析、解釈に関するコメントを追加してください。 パッケージを選択し、Notesを追加 して進めてください。
   3. 「 飲酒タスク動画の保存 」アイコンを選択してください。これにより、ファイルの保存先を選択するウィンドウプロンプトが開きます。デフォルトでは、ファイルの保存先はデスクトップに設定されています。
      注意:ファイルの保存先が設定されると、ウェブアプリは動画データを自動的にキュレーションし、ウェブアプリガイドの完成時に入力したユーザー入力に基づく名前のフォルダ/サブフォルダ構造で管理します。これにより、標準化された名前のメインフォルダ(例:subj[identifier]_drinktask_[Date]_[Time]_[Camera Type])と、標準化された名前のサブフォルダ(例:[Laterality]_[Trial Number]_[Frame Rate])ができ、それぞれのアクティビティトライアルの動画が収められます。
   4. 動画のファイルセーブが確認されたら、「 保存確認 」を選択して進めます。保存後は確認メッセージが表示され、飲酒タスクアクティビティガイドモジュールの再起動オプションも表示されます。以下の結果セクションで示されているように、保存された動画はコンピュータビジョンのワークフローと連携して運動学を抽出することができます。

結果

ウェブベースの臨床ガイドの主な動機は、臨床医が上肢の生体力学を評価するためにコンピュータビジョンを用いることを妨げる技術的な障壁を減らすことです。ウェブベースの臨床ガイドは、ユーザーに主に2つの出力を生成することが期待されています。(i) ステレオカメラのデュアルイメージセンサーに基づくチェッカーボードキャリブレーションパターンの同期画像の連続、(ii) 被験者が行った各試験に対して、標準化された飲酒課題活動の同期動画2本が提供されます(図3).ウェブベースのガイドは、手順書、ビデオ/音声デモンストレーション、インタラクティブなバーチャルウォークスルーなど、複数の形式で指示を提供します。管理負担を軽減するために、データキュレーションは自動化されています。画像および映像データは、ユーザーが指定した希望するデジタルファイルフォルダーに保存されます。例えば、コンピュータのデスクトップや機関のクラウドベースのネットワークなどです。データは自動的に圧縮されたフォルダに整理され、ネストされたサブフォルダや、対象識別子、データ取得日時、手の横性、カメラの種類/側性、試験番号に基づく標準化されたファイル名が含まれます。

図2:画像と映像の記録のための外来クリニック環境。 飲料作業の運動学は、対応する映像からコンピュータビジョンを用いて抽出することができ、ステレオカメラ、コンピューター、クリニックでよく見られる物品(椅子、テーブル、印刷用具、クリップボード、カップ、飲料水)の描写されたセットアップを用いて実現できます。カメラの正確な配置や向きは機器モデルによって異なりますが、(A)おおよその位置が示され、(B)飲酒中に被験者の体と上肢が完全に収まる作業空間を捉えるために調整可能です。 この図の拡大版はこちらをクリックしてご覧ください。

図3:ウェブベースの臨床医ガイドによって作成された互換性のある画像と動画。 ウェブベースの臨床ガイドの主な出力には、(A) チェッカーボードのキャリブレーションパターンの同期画像シリーズ、(B) 飲酒活動の全段階で被験者のパフォーマンスを捉えた同期動画2本が含まれます。 この図の拡大版はこちらをクリックしてご覧ください。

収集された画像や映像データに基づき、飲み作業中の上肢の生体力学をコンピュータビジョンを用いて抽出することができます。重要なのは、生データの収集とコンピュータビジョンの応用を切り離すことが可能である。過去の文献では、このようなデータ^16,18に適用するために様々なコンピュータビジョンワークフローが記述されており^、ユーザーは自らカスタムビルドしたワークフローを適用することも可能です。例えば、私たちは以前に三次元の人間の姿勢(図4)を推定し、その後3つの運動学的指標を抽出するためのコンピュータビジョンワークフローを開発しました。簡単に言うと、このコンピュータビジョンのワークフローは以下の主要なステップを含みます:(i) ピクセルを実際の次元にマッピングするための内在的および外在的なカメラ特性を抽出するためのキャリブレーション;(ii) 人間の体型検出による解剖学的要点のピクセル位置を二次元画像で注釈付けすること;(iii) 二重二次元画像から三次元情報を計算するためのリフティング手法の適用;(iv)移動平均やカルマンフィルタなどの軌道平滑化のためのフィルタの適用。より詳細な説明は本論文の範囲を超えていますが、先行の著作¹⁶でアクセス可能です。このワークフローを適用することで、抽出された運動学的指標は運動の滑らかさ(例:運動単位数、NMU)、補償(例:体幹変位、TD)、および運動時間(MT)を定量化し、これらは脳卒中リハビ^{リテーション研究}において有効で信頼性が高く、臨床的変化に応答することが示^{されています。}従来のマーカーベースのモーションキャプチャシステムと比較して、このコンピュータビジョンワークフローは臨床的に有意な変化の推定値(3-7 NMU、20-50 mm TD、2.5-5秒 MT)に比べて、誤差は小さい(NMU_誤差-0.12単位、TD誤差3.4mm、MT誤差2.5-5秒)と比べて小さいです¹⁶。特定の運動学的指標、すなわちNMUによる運動の滑らかさ(図5)を示すために、飲酒作業中の手首速度プロファイルのプロットを図示します。これは脳卒中既往のある個人(51歳女性、右手利き、右延髄虚血性脳卒中と軽度の左半麻痺の既往がある)、 脳卒中発症>6か月前、高血圧および右手根管症候群を含む併存)。

図4:人間の動きデータを抽出するための画像やビデオへのコンピュータビジョン応用。 飲み込みタスクの運動学を実現するために、さまざまなコンピュータビジョンワークフローが記述されています。(A) 初期のキャリブレーションステップでは、ピクセルを現実世界の寸法にマッピングするために2D画像が必要であり、(B) 射影幾何学を用いて3D座標に変換可能です。その後、飲み作業の動画に人間の姿勢推定を適用することで、(C) 2次元の解剖学的キーポイントを自動検出でき、これを(D) 3Dキーポイントに変換し、さまざまな計量計算や可視化(例:キーポイントの軌跡)に利用できます。 この図の拡大版はこちらをクリックしてご覧ください。

図5:飲み作業中の運動の滑らかさの運動学的指標。 飲酒タスクの3D人体運動データに基づき、脳卒中後のさまざまな運動学的指標を達成できます。脳卒中回復の慢性期にいる被験者に基づき、動作の滑らかさの運動学的指標(例:手首の速度プロファイル上の赤いアスタリスク数で示される運動単位数、NMU)をコンピュータビジョン付きビデオから抽出し、(A)左上肢と(B)右上肢の運動機能の客観的な違いを明らかにできます。 この図の拡大版はこちらをクリックしてご覧ください。

ディスカッション

飲酒課題の運動学的評価は脳卒中リハビリテーション研究に推奨されています⁶。しかし、リハビリテーション研究における運動学の普及には、実際の課題が挙げられており、その懸念には、従来の人間の生体力学測定に用いられるモーションキャプチャ技術のコストや技術的要件が含まれます¹⁵。これらの懸念は、運動学的評価の臨床導入と臨床実践への応用を妨げています。あるいは、コンピュータビジョンによる運動学的抽出により実用的なアプローチとして、単一のステレオカメラ、パーソナルコンピュータ、外来クリニックで一般的に見られる物品を用いて実現^{できます。}臨床医向けに設計されたプロトコルを提示します。ウェブベースのガイドを用いて、コンピュータビジョンワークフローと互換性のある画像や動画を記録し、飲酒タスクの運動学的指標を抽出します。長期的な目標は、これらの指標へのアクセスを向上させることです。これらは以前に開発され、脳卒中リハビリテーション研究で推奨されている^{5、6、12、13、14}です。

ビデオ同期は、コンピュータビジョンのデュアルカメラアプローチにおいて重要です。デュアルカメラのセットアップは人間の目を模倣し、現実世界のシーンをわずかに異なる視点から同時に知覚し、奥行き認識を可能にします。コンピュータビジョンの場合、適切な同期は、2つの2次元情報源(例:写真における人間の手首のピクセル位置)から決定される3次元情報(例:デカルト座標系における人間の手首の位置)の精度に極めて重要です。私たちの経験では、デュアルカメラは1ミリ秒¹⁶秒以内の同期で合理的な結果を提供できます。同期を妨げる要因はいくつかあり、信頼性の低いカメラフレームレート、ケーブル内のデータ伝送速度の制限、ソフトウェアの非効率性、限られたハードウェア仕様(例:低RAMや低性能プロセッサ)などがあります。同期の問題を緩和するために、このプロトコルは市販のステレオカメラを利用しており、物理的な負荷が小さく、プラグアンドプレイデバイス(例:標準的なパーソナルコンピュータへの単一のUSB接続)として設計されており、内蔵の2つの画像センサーから同期した画像を自動的にキャプチャします。

カメラの特性は、コンピュータビジョンの応用において慎重な考慮が必要です。理論的には、高解像度の画像と高フレームレートの人間の動き記録は、解剖学的要点をより時空的に検出するためのより多くのデータを提供します。しかし、データ量とデータを処理するための利用可能な計算資源との間では避けられないバランスが必要です。このプロトコルは、1280×720ピクセル解像度で60Hzのフレームレートでビデオを記録するステレオカメラに基づいており、これは飲酒タスク運動学にコンピュータビジョンを応用した以前の研究と同等^です。これらの動画の録画に関しては、上位のコンシューマー向けコンピュータ(例:3.2 GHz CPU、128 GB RAM)を使った安定した成功が確認され、ノートパソコン(例:2.6 GHz CPU、16 GB RAM)での成功はまちまちでした。下位レベルのコンピュータを適用すると、典型的な問題はビデオフレームの欠如であり、これはしばしば意図された20秒の動画録画よりも短い出力映像として表示されます。注目すべきは、データコンピューティングが映像フレームの欠落の一般的な原因である一方で、データ伝送も重要な点です。例えば医療現場では、コンピュータアクセスポート(例えばUSBドライブ)に関連するセキュリティ設定が、データ伝送遅延を引き起こし、信頼性の高いビデオ録画に干渉することがあります。

視線干渉は、キャリブレーションや人間の姿勢推定など、コンピュータビジョンのワークフローにおける重要なステップに課題をもたらします。キャリブレーションは標準サイズのチェッカーボードパターンのデジタル画像に依存しており、これによりコンピュータビジョンが画像のピクセルを現実世界の物理的寸法にマッピングします。チェッカーボードパターンの明確な可視化は、このマッピングの成功率を高めます。視覚干渉は以下のような理由で発生することがありますが、これらに限定されません:(i) 照明の問題(例:近くの窓からの眩しいまぶしさや暗い影);(ii) チェッカーボードの過度に速い動き(例:長時間のカメラ露光による画像のぼやけ);または(iii)不適切なカメラ固有の特性(例:焦点距離の不正確や重度のレンズ歪み)。ヒューマンポーズ推定は人工知能を活用し、単一の人物(シングルポーズ推定)または複数の人物(マルチポーズ推定)の画像から解剖学的ランドマークを自動的に注釈付けします。したがって、人間の明確な可視化が姿勢推定の成功率に不可欠です。一部の視覚干渉は、コンピュータビジョンのパラメータ(例:AIアーキテクチャ、予測閾値)によって許容される場合があります。しかし、人間のポーズ推定に適しているかどうかを判断するには、注意すべき一般的な落とし穴があります:(i) 単一ポーズ推定の場合に見える通行人;(ii) カメラの視野外に断続的に現れる身体のセグメント;および(iii)重なり合う体節による自己閉塞。

コンピュータビジョンのワークフローからデータ収集を切り離すことには利点と欠点の両方があります。顕著な欠点は、臨床医や患者が意思決定の参考となる臨床的に重要な情報が得られるのが遅れることです。潜在的な利点は、臨床医と患者の相互作用への干渉が少なくなることです。例えば、患者の予約前に校正が行われると仮定すると、以前の文献¹² で説明された飲水タスクの10回の繰り返しをビデオ録画するには、理想的には4分未満のビデオ録画時間に加え、プロトコルに慣れていない患者に慣れさせるために必要な時間も必要です。さらに、この分離は情報の責任を分担することで臨床医の受容を促進する可能性があります。この職務分離の中で、臨床医はビデオ評価がいつ、なぜ行われるかを主体化し、データサイエンティストやエンジニアは正確で信頼できる臨床指標(例:飲酒タスク運動学)を担当するコンピュータビジョンのワークフローを洗練させます。実際、これは臨床医が日常的に指示する血液検査(例:完全な代謝パネル)や画像検査(例:MRI検査)の現実に例えられます。最後に、このデカップリングはAI分野が進展し続ける中で有利になる可能性があります。今日取得された映像データは、より高度なコンピュータビジョンソリューションによって再解析され、より高速、正確、信頼性でより多くの運動学的指標を抽出できる可能性があります。

私たちの目標は、外来の臨床医や将来的に在宅環境(例:遠隔リハビリテーション)の個人を含むリハビリテーションコミュニティにおける上肢運動学へのアクセスをさらに促進することです。このプロトコルとウェブベースのアプリは、これまで非常に集中した活動(すなわち飲酒タスク)と、比較的集中したステークホルダーグループ(すなわち、飲酒タスクを簡単に実行できる被験者)を考慮した初期段階と見なすべきです。今後のバージョンは、より多様なユーザーグループ、多様な活動、そしてより多様な被験者集団(例:重度の障害を持つ個人が活動調整を必要とする場合)に対応するために必要となるでしょう。さらに、今後の開発には、電子カルテへの統合や患者のプライバシー・機密保持など、広範な導入前に重要なチェックポイントが設けられる予定です。これらの将来のバージョンは新技術を取り入れ、既存の技術を洗練させる可能性が高いです。例えば、現在のプロトコルは両眼視覚(例:ステレオカメラ)に基づくコンピュータビジョンのワークフローを前提としています。次の論理的な発展は、単眼視覚(例:より基本的なカメラ)を備えたプロトコルであり、両眼データセットで訓練されたAIを活用することで実現可能かもしれません。注目すべきは、現在のプロトコルは、すでに性能が^{新しいソリューションに}取って代わられつつある最先端のコンピュータビジョンソリューションと互換性のある画像および映像データを提供していることです。ここで説明するウェブベースのプロトコルは、臨床医がコンピュータビジョンの基盤を実践に実装することを可能にする可能性があり、AI技術が医療業界に浸透するにつれて、コンピュータビジョンは劇的に進展すると考えられています。

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
カメラマウントアーム、2セクション単一可動式、カメラプラットフォーム付き	マンフロット	196B-2	ステレオカメラ用マウント
カメラ三脚、標準取り付けネジの1/4インチおよび3/8インチに対応しています	iフッテージ	CB3基地	三脚からステレオカメラの取り付け
クリップボード、標準レターサイズ	該当なし	該当なし	キャリブレーションパターンを固定するための表面
カップ、8オンスプラスチック	該当なし	該当なし	飲用用の水容器
高さ調整可能な椅子、ロック式キャスターホイール付き	フェルムント・ラーセン A/S	VELA独立	教科講座
高さ調整可能なテーブル、ロック式キャスターホイール付き	ミッドマーク・コーポレーション	6215 長方形ワークステーション	飲み作業用のテーブル
キャリブレーションチェッカーボードのプリントアウト	該当なし	該当なし	カリブレイトンビデオのパターン
飲み作業アクティビティのプレイスマットのプリントアウト、	該当なし	該当なし	飲み作業のセットアップをガイドするランチョンマット
ステレオカメラ、焦点距離4mm、偏光フィルターなし、5m USB 3.0ケーブル	ステレオラボ	ゼッド2i	ビデオ録画用のステレオカメラ
テープ	該当なし	該当なし	印刷用接着剤