Summary
3D ステレオ ビデオの人間の深度の認識は、カメラの分離、収束点、距離、およびオブジェクトの親しみやすさに依存します。本論文では、ライブの開胸手術中に迅速かつ信頼性の高いテストデータ収集を行い、理想的なカメラ構成を決定するロボット化された方法を紹介する。
Abstract
手術によるステレオ3Dビデオは、医学教育に非常に価値があり、臨床コミュニケーションを改善します。しかし、手術室と外科分野へのアクセスは制限されています。滅菌環境で、外科スタッフや技術機器で身体の空間が混雑しています。この設定では、外科的処置の不明瞭な捕獲および現実的な再現は困難である。本論文では、異なるカメラベースライン距離と収束距離における立体3Dビデオの迅速かつ信頼性の高いデータ収集方法を紹介する。高精度と再現性を備えた手術中の干渉を最小限に抑えたテストデータを収集するために、デュアルアームロボットの各手にカメラを取り付けました。ロボットは手術室に天井に取り付けられました。10 mmの増分ステップで50~240mmの間のベースライン距離を持つテスト位置の範囲を、1100 mmと1400 mmの2つの収束距離で、同期カメラの動きのタイミングシーケンスを実行するようにプログラムされました。手術は40連続5sビデオサンプルを可能にするために一時停止されました。合計10の外科シナリオが記録された。
Introduction
手術では、3D可視化を教育、診断、術前計画、術後評価に使用できます1,2。現実的な深さの知覚は正常および異常な解剖学の理解3、4、5、6を改善することができる。外科的処置の簡単な2Dビデオ録画は良いスタートです。しかし、深度知覚の欠如は、非外科的同僚が異なる解剖学的構造間の後方関係を完全に理解するのを困難にし、解剖学の誤解のリスクを引き起こす可能性があります7,8,9,10。
3D 表示エクスペリエンスは、(1) カメラの構成は、図 1、(2) ベースライン距離 (カメラ間の分離) に示すように、平行または引き離すことができます。(3) 対象とするオブジェクトまでの距離や、背景などの他のシーン特性。(4) 画面サイズや視聴位置などの表示装置の特性 1,11,12,13.(5)視聴者の個人の好み14,15。
3D カメラの設定の設計は、主観的または自動評価に使用するさまざまなカメラベースライン距離および構成で記録されたテストビデオのキャプチャから始まります16,17,18,19,20。シャープな画像をキャプチャするには、カメラの距離は外科分野に一定でなければなりません。オートフォーカスは、手、楽器、または頭部に合わせて調整されるため、固定フォーカスが優先されます。しかし、関心のあるシーンが外科分野である場合、これは容易には達成できない。これらの施設は清潔で無菌に保たれなければならないので、手術室はアクセスエリアが制限されています。技術機器、外科医、スクラブ看護師は、多くの場合、良好な視覚的概要と効率的なワークフローを確保するために、患者の周りに密接に集められております。3D 表示エクスペリエンスに対するカメラ位置の効果を比較して評価するには、形状、サイズ、色などのオブジェクト特性が 3D 表示エクスペリエンスに影響を与える可能性があるため、カメラ位置のテスト範囲を 1 つ完全に記録する必要があります。
同じ理由で、カメラ位置の完全なテスト範囲は、異なる外科的処置で繰り返されるべきです。ポジションのシーケンス全体を高精度に繰り返す必要があります。外科環境では、ベースライン距離22 の手動調整または固定ベースライン距離23 を持つ異なるカメラペアのいずれかを必要とする既存の方法は、空間と時間の両方の制約のために実現不可能である。この課題に対処するために、このロボットソリューションは設計されました。
データは、手術室の天井に取り付けられたデュアルアーム共同産業用ロボットで収集されました。カメラはロボットの手首に取り付けられ、 図2に示すように、ベースライン距離が増加して円弧状の軌道に沿って移動しました。
このアプローチを実証するために、10の試験系列は4つの異なる先天性心不全を有する4つの異なる患者から記録された。手術の一時停止が可能な場合、シーンは選択されました:外科的修復の直前と直後に心臓を鼓動する。シリーズはまた、心が逮捕されたときに作られました。手術は3分と20 sのために一時停止され、異なるカメラ収束距離とベースライン距離を持つ40の5sシーケンスを収集してシーンをキャプチャしました。ビデオは後処理され、臨床チームのために3Dで表示され、3Dビデオが0-5のスケールに沿ってどれほど現実的であるかを評価しました。
トードイン ステレオ カメラの収束点は、両方のイメージの中心点が交点する場所です。収束点は、原則として、オブジェクトの前方、内側、または後方のいずれかに配置することができます。.収束ポイントがオブジェクトの前にある場合、オブジェクトは、右のカメラ イメージの左カメラ イメージの中間線の左、右のカメラ イメージの右の右側にキャプチャされ、表示されます(図 1A)。逆の場合は、収束ポイントがオブジェクトの背後にある場合に適用されます(図 1B)。収束点がオブジェクト上にある場合、オブジェクトはカメラ画像の中線にも表示されます(図1C)。画像をマージするためにスクイントが必要とされないので、おそらく最も快適な表示を得るはずです。快適なステレオ3Dビデオを実現するには、収束点が対象物の上に位置するか、または少し後ろにある必要があります。
データは、デュアルアームの協調産業用ロボットを使用してカメラを配置して収集しました(図2A-B)。ロボットは装置なしで38のkgの重量を量る。ロボットは本質的に安全です。予期しない影響を検出すると、移動が停止します。ロボットは、所定のベースライン距離で停止する円弧状の軌道に沿ってCマウントレンズを備えた5メガピクセルのカメラを配置するようにプログラムされました(図2C)。図3に示すように、カメラはアダプタプレートを使用してロボットハンドに取り付けられました。各カメラは毎秒25フレームで記録されています。レンズは、対象物(心臓の近似幾何学的中心)に焦点を合わせたfストップ1/8に設定された。すべてのイメージ フレームには、2 つのビデオ ストリームを同期するために使用されたタイムスタンプがありました。
ロボット手首とカメラの間のオフセットを較正しました。 これは、図 4 に示すように、カメライメージの十字線を揃えて配置することで実現できます。この設定では、ロボット手首の取り付け点とカメライメージセンサの中心からの総移動オフセットは、X方向で55.3mm、Z方向に21.2mmであったと 、図5に示す。回転オフセットは、収束距離1100mm、ベースライン距離50mmでキャリブレーションされ、ロボットコントロールパネルのジョイスティックで手動で調整されました。この研究のロボットは、デカルト空間で0.02mm、回転解像度0.01度の精度を指定しました。半径 1100 m では、角度差が 0.01 度の場合、中心点 0.2 mm がオフセットされます。50-240 mmの分離からの完全なロボットの動きの間に、各カメラの十字線は収束の理想的な中心から2mm以内であった。
ベースライン距離は、視野の中心を中心にカメラを50~240mmの10mmずつ対称的に分離することで段階的に増加しました(図2)。カメラは各位置で5sの停止状態に保たれ、50mm/sの速度で位置間を移動しました。コンバージェンスポイントは、グラフィカルユーザーインターフェイスを使用してX方向とZ方向で調整できます(図6)。ロボットは、その作業範囲内でそれに従って続いた。
収束点の精度は、 図7A と Bの均一三角形と変数名を使用して推定した。高さ 'z' は、ピタゴラス定理を持つ収束距離 'R' から計算された
実際の収束点が目的のポイントよりも近い場合、図 7A に示すように、誤差距離 'f1' は次のように計算されました。
同様に、収束点が目的の点まで遠位した場合、誤差距離 'f2' は次のように計算されました。
ここで、'e'は 十字線間の最大分離であり、キャリブレーション中の最大ベースライン分離で最大2mm(D= 240mm)であった。 R = 1100 mm (z = 1093 mm) の場合、誤差は ± 9.2 mm 未満でした。 R = 1400 mm (z = 1395 mm) の場合、エラーは 11.7 mm ±。すなわち、収束点の配置の誤差は所望の1%以内であった。1100 mm と 1400 mm の 2 つのテスト距離は、このように十分に分離されていました。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
実験は、スウェーデンのルンドにある地元の倫理委員会によって承認されました。参加は自発的であり、患者の法的保護者はインフォームド・コンセントを提供しました。
1. ロボットのセットアップと構成
注:この実験では、デュアルアームの協調型産業用ロボットと、タッチディスプレイ付きの標準コントロールパネルを使用しました。ロボットはロボットウェア6.10.01コントローラソフトウェアとロボット統合開発環境(IDE)RobotStudio 2019.525で制御されます。ロボットアプリケーション、記録アプリケーション、ポストプロセッシングスクリプトなど、著者が開発したソフトウェアは、GitHubリポジトリ26で入手できます。
注意:ロボットプログラムのセットアップとテスト中に保護眼鏡と速度の低下を使用してください。
- 製品仕様24の25ページに記載されているとおり、100kgの寸法の付いたボルトを使用して、天井またはテーブルにロボットを取り付けます。腕が自由に動き、視野への視線が不明瞭であることを確認します。
注意: 高い位置にロボットを取り付ける場合は、リフトまたは安全ロープを使用してください。 - ロボットのベースにあるスタートスイッチを回してロボットを起動します。47-5625ページの操作マニュアルに記載されている手順に従って、ロボットを較正します。
- Windows コンピューターでロボット IDE を起動します。
- 物理ロボットシステム(操作マニュアル14027)に接続します。
- ロボットプログラムのコードと、ユーザーインターフェイスのアプリケーションライブラリをロボットにロードします。
- 天井に取り付けられたロボットのロボットコードは、 フォルダロボット/反転コード と ロボット/テーブルマウントコードのテーブルマウントロボットです。各ファイルの左/データ.mod、左/メインモジュール.mod、右/データ.modと右/メインモジュール.mod:
- ファイルと同じ名前 (Data または MainModule) を使用して新しいプログラム モジュール (操作マニュアルページ 31827 を参照) を作成し、ファイルの内容を新しいモジュールにコピーします。
- ロボット IDE で [適用] を押して、ファイルをロボットに保存します。
- FPAppフォルダにあるTpSViewStereo2.dll、TpsViewStereo2.gtpu.dll、およびTpsViewStereo2のロボットアプリケーションファイルをロボットに転送するには.pdb、ファイル転送(操作マニュアル34627)を使用します。このステップの後、ロボット IDE は今後使用されません。
- ロボットタッチディスプレイ(FlexPendant)の背面にある リセット ボタンを押して、グラフィカルインタフェースをリロードします。ロボットアプリケーションStereo2がタッチディスプレイメニューの下に表示されるようになりました。
- Github リポジトリのルート フォルダーにあるスクリプト install_all_linux.shを実行して、Ubuntu 20.04 コンピューターに記録アプリケーション (Liveview) と後処理アプリケーションをインストールします。
- 各カメラをロボットに取り付けます。取り付けに必要なコンポーネントは 、図3Aに表示されます。
- レンズをカメラに取り付けます。
- カメラを3本のM2ネジでカメラアダプタプレートに取り付けます。
- カメラの反対側に 4 本の M6 ネジを使用して、円形の取り付けプレートをカメラ アダプタ プレートに取り付けます。
- 他のカメラについても、手順 1.9.1 ~ 1.9.3 を繰り返します。結果のアセンブリは、 図 3B および 図 3C に示すように、ミラー化されます。
- 図 3D に示すように、アダプタープレートを 4 本の M2.5 ねじでロボット手首に取り付けます。
- 天井に取り付けられたロボットの場合:図2Aに示すように、図3Cの左カメラを左ロボットアームに取り付けます。
- テーブル取り付けロボットの場合: 図3C の左カメラを右のロボットアームに取り付けます。
- 図 3E に示すように、USB ケーブルをカメラと Ubuntu コンピュータに接続します。
2. カメラのキャリブレーションを確認する
- ロボットタッチディスプレイで、 メニュー ボタンを押して Stereo2 を選択し、ロボットアプリケーションを起動します。 これにより、図 6A に示すように、メイン画面が開きます。
- メイン画面で、[Go]を押してロボットアプリケーションで1100mmの スタートを切 り、ロボットが開始位置に移動するのを待ちます。
- カメラから保護レンズキャップを取り外し、USBケーブルをUbuntuコンピュータに接続します。
- カメラセンサーから印刷されたキャリブレーショングリッド(キャリブレーショングリッド.pngをリポジトリに1100mm配置します。対応する正方形の正確な識別を容易にするために、小さなネジナットまたはマークをグリッドの中央のどこかに配置します。
- Ubuntu コンピュータで記録アプリケーションを起動します (Github リポジトリ内のライブビュー フォルダにあるスクリプト start.sh を実行します)。 図 4 に示すように、インターフェイスが起動します。
- 絞りを調整し、絞りとフォーカスリングでレンズに焦点を合わせます。
- 記録アプリケーションで、[ 十字線] をオンにして十字線を視覚化します。
- 記録アプリケーションでは、 図 4 に示すように、両方のカメラ イメージで、両方のカメラ イメージで同じ位置にあるキャリブレーション グリッドに十字線が揃っていることを確認します。ほとんどの場合、次のような調整が必要になります。
- 十字が重ならない場合は、ロボットタッチディスプレイのロボットアプリケーションの 歯車 アイコン(左下の 図6A)を押して、図 6Bに示すように設定画面を開きます。
- 1 を押します。図 6B に示すように、[開始] の [Pos] に移動します。
- ジョイスティックでロボットをジョギングして、カメラの位置を調整します(操作マニュアルページ3123)。
- 各ロボットアームの工具位置を更新します。3 を押します 。左ツールを更新 し、 4.右ツールを更新 して、左と右の腕のキャリブレーションを保存します。
- [戻る] アイコン (右上、図 6B) を押して、メイン画面に戻ります。
- ロボットアプリケーションで 実行実験 (図6A)を押し、十字線が揃っていることを確認します。それ以外の場合は、手順 2.3 から 2.3.5 を繰り返します。
- この時点で、距離や時間に対する変更を追加してテストします。これには、ロボットプログラムコードの変更と高度なロボットプログラミングスキルが必要です。左タスクの Data モジュールで次の変数を変更します(アーム):整数配列変数の 距離、収束距離、整数配列 ConvergencePos の収束距離、変数 Nwaittime (秒単位の値) を編集して各ステップの時間を編集します。
注意:ライブ手術中にテストされていないロボットプログラムを実行しないでください。 - キャリブレーションが完了したら、 レイズ を押してロボットアームをスタンバイ位置に上げます。
- 必要に応じて、ロボットの電源を切ります。
注: 手順は、上記の手順の間に一時停止することができます。
3. 手術開始時の準備
- ロボットをほこり。
- ロボットの電源がオフになっている場合は、ロボットのベースにある スタート スイッチをオンにして起動します。
- ステップ 2.1 および 2.2 で説明されているタッチディスプレイおよび記録アプリケーションでロボットアプリケーションを起動します。
- 録画アプリケーションで、ビデオを保存するフォルダを作成して選択 します([フォルダの変更]をクリックします)。
- ロボットアプリケーションで:ギアアイコンを押し、患者に対してカメラを配置します。X 方向と Z 方向を変更するには、 それぞれ [ロボットからの手の距離 ] と [ 高さ] を押して、画像が外科フィールドをキャプチャするようにします。手動でロボットまたは患者を移動させることにより、Y方向に位置決めを行います。
注: 準備ステップ 3.1 から 3.4 の間で準備を一時停止できます。
4. 実験
注意: すべての担当者は、事前に実験について通知する必要があります。
- 手術を一時停止します。
- 実験が開始されたことを OR 担当者に通知します。
- 記録アプリケーションで [録音 ]を押します。
- ロボットアプリケーションで 実験を実行 を押します。
- プログラムの実行中に待機します。ロボットは、終了するとタッチディスプレイ上のロボットアプリケーションに「Done」と表示されます。
- [終了]を押して、記録アプリケーションでの録画を停止します。
- 実験が完了したことを OR 担当者に通知します。
- 手術を再開します。
注: 手順 4.1 ~ 4.6 では、実験を一時停止できません。
5. 繰り返し
- ステップ 4.1 から 4.6 を繰り返して、別のシーケンスとステップ 3.1-3.4 およびステップ 4.1~4.6 を取り込み、異なる手術のシーケンスをキャプチャします。10個のフルシーケンスをキャプチャします。
6. 後処理
注: 以下の手順は、ほとんどのビデオ編集ソフトウェアまたは後処理フォルダ内の提供されたスクリプトを使用して実行できます。
- この場合、RAW形式で保存されるビデオをデベイヤします。
- スクリプトの後処理/デバイエル/実行を実行.sh図 8A に示す debayer アプリケーションを開きます。
- 入力ディレクトリを参照を押して、RAWビデオを持つフォルダを選択します。
- 出力ディレクトリの参照を押して、結果として得られるビデオファイルとカラー調整されたビデオファイルのフォルダを選択します。
- デバイエルを押せ!プロセスが完了するまで待ちます - 図 8B に示すように、両方の進行状況バーがいっぱいです。
- 左右の同期ビデオを3Dステレオフォーマット28にマージします。
- スクリプトの後処理/merge_tb/実行を実行して.shマージ アプリケーションを開始します。 図 8C に示すグラフィカル ユーザー インターフェイスが開きます。
- [入力ディレクトリを参照]を押して、ビデオファイルを取り込んだフォルダを選択します。
- 出力ディレクトリの参照を押して、マージされた 3D ステレオファイルのフォルダを選択します。
- プレスマージ! をクリックし、図 8D の終了画面が表示されるまで待ちます。
- Premiere Pro などの既製のビデオ編集ソフトウェアを使用して、ビデオの各カメラ距離にテキストラベルを追加します。
注:ビデオでは、ロボットが動くたびに目に見える揺れがあり、カメラの距離が長くなります。この実験では、カメラ距離にラベルA-Tを使用しました。
7. 評価
- アクティブな 3D プロジェクターで、ビデオを上底 3D 形式で表示します。
- 視聴の経験は、視野角と画面までの距離に依存します。対象の対象者と設定を使用してビデオを評価します。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
右上の立体3Dの上部に配置された右の画像を持つ許容評価ビデオがVideo1に表示されます。成功したシーケンスは、鮮明で、フォーカスを設定し、同期されていないイメージ フレームを使用しない必要があります。同期されていないビデオストリームは、ファイルビデオ2に示すように、ぼかしを引き起こします。コンバージェンス ポイントは、図 9A,B に示すように、カメラの分離に関係なく水平方向に中央に配置する必要があります。ロボットが位置間を遷移すると、ビデオに小さな揺れが生じ、50mm/sの遷移速度で予想されます。右と左の画像の間に大きな分離が大きすぎると、脳は図 9C とビデオ 3 を参照して、画像を 1 つの 3D 画像に融合できません。
図 1C に示すように、画像内の心臓の位置はビデオ全体の中央に配置する必要があります。これが失敗する原因としては、次の点が考えられます: (1) 収束点が心臓から離れすぎている場合は、図 7 を参照してください。患者に対するカメラ位置は、ロボットアプリケーション設定画面から変更することができる(図6B)。(2) カメラ ツールの座標系が正しく構成されていません。ロボットプログラムは、収束点(図2C)を中心に半径方向の動きでカメラを対称的に移動し、カメラツール座標系を中心にカメラを回転させます(図5)。カメラアダプタプレート(図3)が正しく組み立てられていない場合、デフォルト値は機能しません。ステップ 2.1 から 2.4 を再実行し、完全なロボット動作中に、記録アプリケーション(図 6)の十字線が同じオブジェクトを指していることを確認します。座標フレームを調整する場合は、キャリブレーションに使用するオブジェクト(図4)がカメラの中央に配置されていることを確認します。それ以外の場合、キャリブレーションは非対称の座標フレームになります。
デベイヤ処理アプリケーションでデベイヤ処理を行った後に色が正しくない場合(図8)、キャプチャされたビデオのデベイヤ形式が正しくありません。このためには、ユーザーが脱ベイヤ化アプリケーションのコードを変更するか、別のデベイヤ化ツールを使用する必要があります。同様に、ステレオビデオ間の自動同期が失敗した場合、ユーザーはPremiere Proなどのビデオ編集プログラムを使用してビデオを整列させる必要があります。
結果を分析するには、対象ユーザーの 3D プロジェクターにビデオを表示する必要があります。視聴者は、3Dビデオが現実の状況にどの程度対応しているかを主観的に評価することができます。ステップ6.3で追加されたラベルを使用して、異なる距離をスコア付けすることができます。
図 1.収束点の配置。 対象のオブジェクト(灰色のドット)に対する収束点の配置が異なります。(A) オブジェクトの前の収束点、(B) オブジェクトの後ろ、および (C) オブジェクトの収束点。各カメラ画像の中線は点線で表示されます。外科医はカメラの間に立って、上から示されています。最上部では、オブジェクトの左と右のカメライメージの位置が、正中線を基準にして表示されます。 この図の大きなバージョンを表示するには、ここをクリックしてください。
図2:ロボットの動き。 カメラの分離は(A)50mmから(B)240mmに増加し、10mmの段階的なステップで(C)ロボットはカメラを放射状に動かし、常にカメラを収束点(心臓)に向けた。ここで距離 D はカメラ間の距離、 R は半径1100または1400mm、 a はカメラの角度である 、sin(a)=D/2Rです。 左右のカメラは、工具の Z 軸を中心にそれぞれ負の方向と正の方向 に角度を 付けた。 この図の大きなバージョンを表示するには、ここをクリックしてください。
図3:ロボットにカメラを取り付ける(A)レンズ、カメラセンサー、カメラアダプタプレート、円形取り付け板、ロボット手首、ネジなど、1台のカメラのコンポーネントを分解した図。組み立てられた2つのカメラアダプタは、(B)ロボット側と(C)前面から示されています。(D)ロボットの手首に取り付けられたアダプターは、4本のM2.5ネジで。(E) カメラに接続されている USB ケーブル。この図の大きなバージョンを表示するには、ここをクリックしてください。
図4:記録アプリケーションでカメラのキャリブレーション。 キャリブレーショングリッドとスクリューナットを使用して、ロボットの絞り込みと相対的にカメラツールの座標系をキャリブレーションしました。ナットが画像の中央に表示されるようにカメラを角度付けする必要があります。 この図の大きなバージョンを表示するには、ここをクリックしてください。
図 5: カメラ ツールの座標系 カメラ ツール座標系の X 軸 (赤)、Y 軸 (緑)、Z 軸 (青)。 この図の大きなバージョンを表示するには、ここをクリックしてください。
図6:ロボットアプリケーション(A)実験を実行するためのタッチディスプレイ上のメイン画面の表示。(B) ツールのキャリブレーションとコンバージェンスポイントの調整の設定画面。この図の大きなバージョンを表示するには、ここをクリックしてください。
図7:エラー推定。 収束誤差(A)が上で、(B)目的の収束点より下。水平基線距離(D = 240 mm)、カメラ間の距離、および収束点(R = 1100)。カメラと収束点の間の垂直距離(z = 1093 mm)、画像中心点(十字線)の最大分離(e= 2mm)、実収束点が望ましい収束位置(f1 = 9 mm)を上回る場合の垂直誤差距離。実際の収束点が目的の収束位置(f2 = 9.2 mm)より下にある場合の垂直誤差距離。 図は 、スケールに描画されていません。 この図の大きなバージョンを表示するには、ここをクリックしてください。
図 8: デベイザーとマージのためのアプリケーションの後処理。(C) マージアプリケーションの開始画面と(D)終了画面。この図の大きなバージョンを表示するには、ここをクリックしてください。
図9:完成したステレオビデオのスナップショット 元の画像からは、他のすべてのピクセル行のみが、標準のトップ/ボトム 3D ステレオフォーマットに準拠して使用されていました。上の画像は右のカメラから、左カメラから下に向かって表示されます。(A) 3Dステレオ画像と50 mmの基線距離、および心臓の後ろのORテーブルの収束点。(B) 3Dステレオ画像と240mmのベースライン距離、および心臓の後ろのORテーブルの収束点。(C) 3Dステレオ画像と240mmのベースライン距離と、心臓の後ろに300mmの収束点を有する。 この図の大きなバージョンを表示するには、ここをクリックしてください。
ビデオ 1.1100 mm でステレオ 3D ビデオ。収束点は、カメラから1100ミリメートル、心臓にあります。ビデオはベースライン距離50mm(A)から始まり、10mmから240mm(T)のステップで増加します。 こちらをクリックして、このビデオをダウンロードしてください。
ビデオ 2.非同期ステレオ3Dビデオ。 左右の動画が同期化されておらず、3Dで見るとぼやけ ます。
ビデオ 3.1400 mm でステレオ 3D ビデオ。収束点は、カメラから1400ミリメートル、心臓の後ろにあります。ビデオ このビデオをダウンロードするにはここをクリックしてください。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
ライブ手術中、3Dビデオデータ収集に使用された実験の合計時間は、患者にとって安全であると制限されていました。オブジェクトがフォーカスされていないか、または露出し過ぎる場合、データは使用できません。重要なステップは、カメラツールのキャリブレーションとセットアップ中です(ステップ2)。手術開始時にカメラの絞りと焦点を変更することはできません。セットアップと手術の間、同じ照明条件と距離を使用する必要があります。ステップ2.1-2.4のカメラキャリブレーションは、撮影したビデオの中心に心臓が配置されるように注意深く行う必要があります。キャリブレーションのトラブルシューティングを行うために、カメラツールの座標系の値を、ロボットを座標系でジョギングすることで個別に検証できます(ステップ 2.3.3)。手術前に、完全なロボットプログラムとカメラを記録アプリケーションと一緒にテストすることが重要です。手術台の高さは手術中に調整される場合があります。ロボットカメラの高さは、ロボットアプリケーション(ステップ3.4)で、所望の心臓までの距離を保つようにライブで変更することもできます。ロボットプログラムの距離と待ち時間は、ステップ2.5で説明したように変更することができます。
この手法の 1 つの制限は、手術が一時停止する必要があることです。したがって、データ収集は、患者が手術を一時停止することが安全な場合にのみ行うことができます。もう一つの制限は、天井にロボットを取り付けるために手術室の物理的な適応を必要とし、プログラムされたロボットの動きは、ロボットが心臓の上に中心であることを前提としています。さらに、カメラは平行ではなくトードインであり、キーストーン効果を引き起こす可能性があります。キーストーン効果は、ポストプロダクション29,30,31で調整することができます。
アーク上に配置された複数のカメラの配列を使用して、同様のデータ23を収集できます。カメラアレイは、すべてのカメラから同時に画像をキャプチャすることができます。したがって、手術は短時間で一時停止することができます。カメラアレイのエラーの原因は、カメラの焦点、絞り、およびキャリブレーションが若干異なる可能性があり、異なるカメラペアからのビデオを比較すると、ベースライン距離以外のパラメータが画像品質と深度認識に影響を与える可能性があるという点です。カメラアレイの欠点は、ベースライン距離間のステップサイズがカメラの物理的なサイズによって制限される点です。例えば、この研究で使用されるレンズの直径は30mmで、最小ステップサイズと等しくなります。試験で提示されたセットアップでは、10 mmのステップサイズがテストされましたが、必要に応じて小さく設定することができました。また、配列の設定では、高さと収束距離を動的に調整することはできません。
もう 1 つの方法は、カメラを手動で定義済みの位置22に移動することです。それは重要な外科ワークスペースと時間を侵害するので、これは生きた心臓手術中に実現不可能です。
この方法は、整形外科、血管、および一般的な手術を含む多くのタイプの開手術に適用可能であり、最適なベースラインおよび収束距離はまだ決定されていない。
この方法は、3D ビジュアライゼーション以外の目的で画像を収集するためにも適用できます。多くのコンピュータビジョンアプリケーションは、画像間の格差を利用して、オブジェクトまでの距離を計算します。複数の方向から静止オブジェクトを 3D スキャンして 3D モデルを作成するには、正確なカメラ モーションを使用できます。3D ローカリゼーションでは、正確なカメラの位置、カメラのキャリブレーション、光の状態、フレームの同期に応じて、オブジェクト上の同じポイントを異なる画像で識別できる場合、3D 表示エクスペリエンスはあまり重要ではありません。
ロボット制御カメラの位置決めは、立体視3Dビデオに最適なカメラ位置を特定するためのビデオデータを収集するのに、安全かつ効果的です。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
著者らは開示するものは何もない。
Acknowledgments
研究は、ヴィンノバ(2017-03728、2018-05302、2018-03651)、心臓肺財団(20180390)、ファミリーカンプラード財団(20190194)、アンナ・リサとスヴェン・エリック・ルンドグレン財団(2017年と2018年)からの資金で行われました。
Materials
| Name | Company | Catalog Number | Comments |
| 2 C-mount lenses (35 mm F2.1, 5 M pixel) | Tamron | M112FM35 | Rated for 5 Mpixel |
| 3D glasses (DLP-link active shutter) | Celexon | G1000 | Any compatible 3D glasses can be used |
| 3D Projector | Viewsonic | X10-4K | Displays 3D in 1080, can be exchanged for other 3D projectors |
| 6 M2 x 8 screws | To attach the cXimea cameras to the camera adaptor plates | ||
| 8 M2.5 x 8 screws | To attach the circular mounting plates to the robot wrist | ||
| 8 M5 x 40 screws | To mount the robot | ||
| 8 M6 x 10 screws with flat heads | For attaching the circular mounting plate and the camera adaptor plates | ||
| Calibration checker board plate (25 by 25 mm) | Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras | ||
| Camera adaptor plates, x2 | Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium. | ||
| Circular mounting plates, x2 | Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl |
||
| Fix focus usb cameras, x2 (5 Mpixel) | Ximea | MC050CG-SY-UB | With Sony IMX250LQR sensor |
| Flexpendant | ABB | 3HAC028357-001 | robot touch display |
| Liveview | recording application | ||
| RobotStudio | robot integrated development environment (IDE) | ||
| USB3 active cables (10.0 m), x2 | Thumbscrew lock connector, water proofed. | ||
| YuMi dual-arm robot | ABB | IRB14000 |
References
- Held, R. T., Hui, T. T. A guide to stereoscopic 3D displays in medicine. Academic Radiology. 18 (8), 1035-1048 (2011).
- van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. Effectiveness of stereoscopic displays in medicine: A review. 3D Research. 3 (1), 1-13 (2012).
- Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. Optimizing conditions for computer-assisted anatomical learning. Interacting with Computers. 18 (5), 1123-1138 (2006).
- Takano, M., et al. Usefulness and capability of three-dimensional, full high-definition movies for surgical education. Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).
- Triepels, C. P. R., et al. Does three-dimensional anatomy improve student understanding. Clinical Anatomy. 33 (1), 25-33 (2020).
- Beermann, J., et al. Three-dimensional visualisation improves understanding of surgical liver anatomy. Medical Education. 44 (9), 936-940 (2010).
- Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. The Effectiveness of an interactive 3-dimensional computer graphics model for medical education. Interactive Journal of Medical Research. 1 (2), (2012).
- Yammine, K., Violato, C. A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy. Anatomical Sciences Education. 8 (6), 525-538 (2015).
- Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors. Clinical Anatomy. 21 (7), 718-724 (2008).
- Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. Why don't they know enough about anatomy? A narrative review. Medical Teacher. 33 (5), 403-409 (2011).
- Terzić, K., Hansard, M. Methods for reducing visual discomfort in stereoscopic 3D: A review. Signal Processing: Image Communication. 47, 402-416 (2016).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. 3D quantitative evaluation system for autostereoscopic display. Journal of Display Technology. 12 (10), 1185-1196 (2016).
- McIntire, J. P., et al. Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display. Journal of Display Technology. 11 (11), 959-966 (2015).
- Kalia, M., Navab, N., Fels, S. S., Salcudean, T. A method to introduce & evaluate motion parallax with stereo for medical AR/MR. IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).
- Kytö, M., Hakala, J., Oittinen, P., Häkkinen, J. Effect of camera separation on the viewing experience of stereoscopic photographs. Journal of Electronic Imaging. 21 (1), 1-9 (2012).
- Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. Subjective evaluation of stereoscopic image quality. Signal Processing: Image Communication. 28 (8), 870-883 (2013).
- Yilmaz, G. N. A depth perception evaluation metric for immersive 3D video services. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).
- Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. Evaluating depth perception of 3D stereoscopic videos. IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).
- López, J. P., Rodrigo, J. A., Jiménez, D., Menéndez, J. M. Stereoscopic 3D video quality assessment based on depth maps and video motion. EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).
- Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. Stereoscopy and the human visual system. SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).
- Kytö, M., Nuutinen, M., Oittinen, P. Method for measuring stereo camera depth accuracy based on stereoscopic vision. Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).
- Kang, Y. S., Ho, Y. S. Geometrical compensation algorithm of multiview image for arc multi-camera arrays. Advances in Multimedia Information Processing. 2008, 543-552 (2008).
- Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics. , Available from: https://library.abb.com/en/results (2018).
- Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
- Github repository. , Available from: https://github.com/majstenmark/stereo2 (2021).
- Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
- Won, C. S. Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing. IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).
- Kim, S. K., Lee, C., Kim, K. T. Multi-view image acquisition and display. Three-Dimensional Imaging, Visualization, and Display. Javidi, B., Okano, F., Son, J. Y. , Springer. New York. 227-249 (2009).
- Liu, F., Niu, Y., Jin, H. Keystone correction for stereoscopic cinematography. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).
- Kang, W., Lee, S. Horizontal parallax distortion correction method in toed-in camera with wide-angle lens. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).
