Name: 開胸手術のステレオ3D可視化のための理想的な構成を決定するためのカメラ位置のロボット化試験 (動画) | JoVE Journal
Uploaded: 2021-08-12T14:45:00.000+00:00
Duration: 5 min 12 s
Description: 学ぼう、ロボット化したカメラ位置試験による開胸手術のステレオ3D可視化の最適構成決定法。高品質な3D映像を迅速に収集し、外科医の深度知覚評価と教育トレーニングの質向上に貢献します。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

研究は、ヴィンノバ(2017-03728、2018-05302、2018-03651)、心臓肺財団(20180390)、ファミリーカンプラード財団(20190194)、アンナ・リサとスヴェン・エリック・ルンドグレン財団(2017年と2018年)からの資金で行われました。

実験は、スウェーデンのルンドにある地元の倫理委員会によって承認されました。参加は自発的であり、患者の法的保護者はインフォームド・コンセントを提供しました。
1. ロボットのセットアップと構成
注:この実験では、デュアルアームの協調型産業用ロボットと、タッチディスプレイ付きの標準コントロールパネルを使用しました。ロボットはロボットウェア6.10.01コントローラソフトウェアとロボット統合開発環境(IDE)RobotStudio 2019.525で制御されます。ロボットアプリケーション、記録アプリケーション、ポストプロセッシングスクリプトなど、著者が開発したソフトウェアは、GitHubリポジトリ26で入手できます。
注意:ロボットプログラムのセットアップとテスト中に保護眼鏡と速度の低下を使用してください。
<ol><li>製品仕様24の25ページに記載されているとおり、100kgの寸法の付いたボルトを使用して、天井またはテーブルにロボットを取り付けます。腕が自由に動き、視野への視線が不明瞭であることを確認します。 注意: 高い位置にロボットを取り付ける場合は、リフトまたは安全ロープを使用してください。</li>
	<li>ロボットのベースにあるスタートスイッチを回してロボットを起動します。47-5625ページの操作マニュアルに記載されている手順に従って、ロボットを較正します。</li>
	<li>Windows コンピューターでロボット IDE を起動します。</li>
	<li>物理ロボットシステム(操作マニュアル14027)に接続します。</li>
	<li>ロボットプログラムのコードと、ユーザーインターフェイスのアプリケーションライブラリをロボットにロードします。<ol>
<li>天井に取り付けられたロボットのロボットコードは、 フォルダロボット/反転コード と ロボット/テーブルマウントコードのテーブルマウントロボットです。各ファイルの左/データ.mod、左/メインモジュール.mod、右/データ.modと右/メインモジュール.mod:</li>
		<li>ファイルと同じ名前 (Data または MainModule) を使用して新しいプログラム モジュール (操作マニュアルページ 31827 を参照) を作成し、ファイルの内容を新しいモジュールにコピーします。</li>
		<li>ロボット IDE で [適用] を押して、ファイルをロボットに保存します。</li>
	</ol>
</li>
	<li>FPAppフォルダにあるTpSViewStereo2.dll、TpsViewStereo2.gtpu.dll、およびTpsViewStereo2のロボットアプリケーションファイルをロボットに転送するには.pdb、ファイル転送(操作マニュアル34627)を使用します。このステップの後、ロボット IDE は今後使用されません。</li>
	<li>ロボットタッチディスプレイ(FlexPendant)の背面にある リセット ボタンを押して、グラフィカルインタフェースをリロードします。ロボットアプリケーションStereo2がタッチディスプレイメニューの下に表示されるようになりました。</li>
	<li>Github リポジトリのルート フォルダーにあるスクリプト install_all_linux.shを実行して、Ubuntu 20.04 コンピューターに記録アプリケーション (Liveview) と後処理アプリケーションをインストールします。</li>
	<li>各カメラをロボットに取り付けます。取り付けに必要なコンポーネントは 、図3Aに表示されます。<ol>
<li>レンズをカメラに取り付けます。</li>
		<li>カメラを3本のM2ネジでカメラアダプタプレートに取り付けます。</li>
		<li>カメラの反対側に 4 本の M6 ネジを使用して、円形の取り付けプレートをカメラ アダプタ プレートに取り付けます。</li>
	</ol>
</li>
	<li>他のカメラについても、手順 1.9.1 ~ 1.9.3 を繰り返します。結果のアセンブリは、 図 3B および 図 3C に示すように、ミラー化されます。</li>
	<li>図 3D に示すように、アダプタープレートを 4 本の M2.5 ねじでロボット手首に取り付けます。<ol>
<li>天井に取り付けられたロボットの場合:図2Aに示すように、図3Cの左カメラを左ロボットアームに取り付けます。</li>
		<li>テーブル取り付けロボットの場合: 図3C の左カメラを右のロボットアームに取り付けます。</li>
	</ol>
</li>
	<li>図 3E に示すように、USB ケーブルをカメラと Ubuntu コンピュータに接続します。</li>
</ol>2. カメラのキャリブレーションを確認する
<ol><li>ロボットタッチディスプレイで、 メニュー ボタンを押して Stereo2 を選択し、ロボットアプリケーションを起動します。 これにより、図 6A に示すように、メイン画面が開きます。<ol>
<li>メイン画面で、[Go]を押してロボットアプリケーションで1100mmの スタートを切 り、ロボットが開始位置に移動するのを待ちます。</li>
		<li>カメラから保護レンズキャップを取り外し、USBケーブルをUbuntuコンピュータに接続します。</li>
		<li>カメラセンサーから印刷されたキャリブレーショングリッド(キャリブレーショングリッド.pngをリポジトリに1100mm配置します。対応する正方形の正確な識別を容易にするために、小さなネジナットまたはマークをグリッドの中央のどこかに配置します。</li>
	</ol>
</li>
	<li>Ubuntu コンピュータで記録アプリケーションを起動します (Github リポジトリ内のライブビュー フォルダにあるスクリプト start.sh を実行します)。 図 4 に示すように、インターフェイスが起動します。<ol>
<li>絞りを調整し、絞りとフォーカスリングでレンズに焦点を合わせます。</li>
		<li>記録アプリケーションで、[ 十字線] をオンにして十字線を視覚化します。</li>
	</ol>
</li>
	<li>記録アプリケーションでは、 図 4 に示すように、両方のカメラ イメージで、両方のカメラ イメージで同じ位置にあるキャリブレーション グリッドに十字線が揃っていることを確認します。ほとんどの場合、次のような調整が必要になります。<ol>
<li>十字が重ならない場合は、ロボットタッチディスプレイのロボットアプリケーションの 歯車 アイコン(左下の 図6A)を押して、図 6Bに示すように設定画面を開きます。</li>
		<li>1 を押します。図 6B に示すように、[開始] の [Pos] に移動します。</li>
		<li>ジョイスティックでロボットをジョギングして、カメラの位置を調整します(操作マニュアルページ3123)。</li>
		<li>各ロボットアームの工具位置を更新します。3 を押します 。左ツールを更新 し、 4.右ツールを更新 して、左と右の腕のキャリブレーションを保存します。</li>
		<li>[戻る] アイコン (右上、図 6B) を押して、メイン画面に戻ります。</li>
	</ol>
</li>
	<li>ロボットアプリケーションで 実行実験 (図6A)を押し、十字線が揃っていることを確認します。それ以外の場合は、手順 2.3 から 2.3.5 を繰り返します。</li>
	<li>この時点で、距離や時間に対する変更を追加してテストします。これには、ロボットプログラムコードの変更と高度なロボットプログラミングスキルが必要です。左タスクの Data モジュールで次の変数を変更します(アーム):整数配列変数の 距離、収束距離、整数配列 ConvergencePos の収束距離、変数 Nwaittime (秒単位の値) を編集して各ステップの時間を編集します。 注意:ライブ手術中にテストされていないロボットプログラムを実行しないでください。</li>
	<li>キャリブレーションが完了したら、 レイズ を押してロボットアームをスタンバイ位置に上げます。</li>
	<li>必要に応じて、ロボットの電源を切ります。 注: 手順は、上記の手順の間に一時停止することができます。</li>
</ol>3. 手術開始時の準備
<ol><li>ロボットをほこり。<ol>
<li>ロボットの電源がオフになっている場合は、ロボットのベースにある スタート スイッチをオンにして起動します。</li>
	</ol>
</li>
	<li>ステップ 2.1 および 2.2 で説明されているタッチディスプレイおよび記録アプリケーションでロボットアプリケーションを起動します。</li>
	<li>録画アプリケーションで、ビデオを保存するフォルダを作成して選択 します([フォルダの変更]をクリックします)。</li>
	<li>ロボットアプリケーションで:ギアアイコンを押し、患者に対してカメラを配置します。X 方向と Z 方向を変更するには、 それぞれ [ロボットからの手の距離 ] と [ 高さ] を押して、画像が外科フィールドをキャプチャするようにします。手動でロボットまたは患者を移動させることにより、Y方向に位置決めを行います。 注: 準備ステップ 3.1 から 3.4 の間で準備を一時停止できます。</li>
</ol>4. 実験
注意: すべての担当者は、事前に実験について通知する必要があります。
<ol><li>手術を一時停止します。<ol>
<li>実験が開始されたことを OR 担当者に通知します。</li>
	</ol>
</li>
	<li>記録アプリケーションで [録音 ]を押します。</li>
	<li>ロボットアプリケーションで 実験を実行 を押します。</li>
	<li>プログラムの実行中に待機します。ロボットは、終了するとタッチディスプレイ上のロボットアプリケーションに「Done」と表示されます。</li>
	<li>[終了]を押して、記録アプリケーションでの録画を停止します。<ol>
<li>実験が完了したことを OR 担当者に通知します。</li>
	</ol>
</li>
	<li>手術を再開します。 注: 手順 4.1 ~ 4.6 では、実験を一時停止できません。</li>
</ol>5. 繰り返し
<ol><li>ステップ 4.1 から 4.6 を繰り返して、別のシーケンスとステップ 3.1-3.4 およびステップ 4.1~4.6 を取り込み、異なる手術のシーケンスをキャプチャします。10個のフルシーケンスをキャプチャします。</li>
</ol>6. 後処理
注: 以下の手順は、ほとんどのビデオ編集ソフトウェアまたは後処理フォルダ内の提供されたスクリプトを使用して実行できます。
<ol><li>この場合、RAW形式で保存されるビデオをデベイヤします。<ol>
<li>スクリプトの後処理/デバイエル/実行を実行.sh図 8A に示す debayer アプリケーションを開きます。</li>
		<li>入力ディレクトリを参照を押して、RAWビデオを持つフォルダを選択します。</li>
		<li>出力ディレクトリの参照を押して、結果として得られるビデオファイルとカラー調整されたビデオファイルのフォルダを選択します。</li>
		<li>デバイエルを押せ!プロセスが完了するまで待ちます - 図 8B に示すように、両方の進行状況バーがいっぱいです。</li>
	</ol>
</li>
	<li>左右の同期ビデオを3Dステレオフォーマット28にマージします。<ol>
<li>スクリプトの後処理/merge_tb/実行を実行して.shマージ アプリケーションを開始します。 図 8C に示すグラフィカル ユーザー インターフェイスが開きます。</li>
		<li>[入力ディレクトリを参照]を押して、ビデオファイルを取り込んだフォルダを選択します。</li>
		<li>出力ディレクトリの参照を押して、マージされた 3D ステレオファイルのフォルダを選択します。</li>
		<li>プレスマージ! をクリックし、図 8D の終了画面が表示されるまで待ちます。</li>
	</ol>
</li>
	<li>Premiere Pro などの既製のビデオ編集ソフトウェアを使用して、ビデオの各カメラ距離にテキストラベルを追加します。 注:ビデオでは、ロボットが動くたびに目に見える揺れがあり、カメラの距離が長くなります。この実験では、カメラ距離にラベルA-Tを使用しました。</li>
</ol>7. 評価
<ol><li>アクティブな 3D プロジェクターで、ビデオを上底 3D 形式で表示します。</li>
	<li>視聴の経験は、視野角と画面までの距離に依存します。対象の対象者と設定を使用してビデオを評価します。</li>
</ol>

<ol><li>Held, R. T., Hui, T. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+guide+to+stereoscopic+3D+displays+in+medicine%5BTitle%5D)+AND+%22Academic+Radiology%22%5BJournal%5D)">A guide to stereoscopic 3D displays in medicine.</a> Academic Radiology. 18 (8), 1035-1048 (2011).</li>
<li>van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Effectiveness+of+stereoscopic+displays+in+medicine%3A+A+review%5BTitle%5D)+AND+%223D+Research%22%5BJournal%5D)">Effectiveness of stereoscopic displays in medicine: A review.</a> 3D Research. 3 (1), 1-13 (2012).</li>
<li>Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Optimizing+conditions+for+computer-assisted+anatomical+learning%5BTitle%5D)+AND+%22Interacting+with+Computers%22%5BJournal%5D)">Optimizing conditions for computer-assisted anatomical learning.</a> Interacting with Computers. 18 (5), 1123-1138 (2006).</li>
<li>Takano, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Usefulness+and+capability+of+three-dimensional%2C+full+high-definition+movies+for+surgical+education%5BTitle%5D)+AND+%22Maxillofacial+Plastic+and+Reconstructive+Surgery%22%5BJournal%5D)">Usefulness and capability of three-dimensional, full high-definition movies for surgical education.</a> Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10(2017).</li>
<li>Triepels, C. P. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Does+three-dimensional+anatomy+improve+student+understanding%5BTitle%5D)+AND+%22Clinical+Anatomy%22%5BJournal%5D)">Does three-dimensional anatomy improve student understanding.</a> Clinical Anatomy. 33 (1), 25-33 (2020).</li>
<li>Beermann, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three-dimensional+visualisation+improves+understanding+of+surgical+liver+anatomy%5BTitle%5D)+AND+%22Medical+Education%22%5BJournal%5D)">Three-dimensional visualisation improves understanding of surgical liver anatomy.</a> Medical Education. 44 (9), 936-940 (2010).</li>
<li>Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+Effectiveness+of+an+interactive+3-dimensional+computer+graphics+model+for+medical+education%5BTitle%5D)+AND+%22Interactive+Journal+of+Medical+Research%22%5BJournal%5D)">The Effectiveness of an interactive 3-dimensional computer graphics model for medical education.</a> Interactive Journal of Medical Research. 1 (2), (2012).</li>
<li>Yammine, K., Violato, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+meta-analysis+of+the+educational+effectiveness+of+three-dimensional+visualization+technologies+in+teaching+anatomy%5BTitle%5D)+AND+%22Anatomical+Sciences+Education%22%5BJournal%5D)">A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy.</a> Anatomical Sciences Education. 8 (6), 525-538 (2015).</li>
<li>Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Are+we+teaching+sufficient+anatomy+at+medical+school%3F+The+opinions+of+newly+qualified+doctors%5BTitle%5D)+AND+%22Clinical+Anatomy%22%5BJournal%5D)">Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors.</a> Clinical Anatomy. 21 (7), 718-724 (2008).</li>
<li>Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Why+don%27t+they+know+enough+about+anatomy%3F+A+narrative+review%5BTitle%5D)+AND+%22Medical+Teacher%22%5BJournal%5D)">Why don't they know enough about anatomy? A narrative review.</a> Medical Teacher. 33 (5), 403-409 (2011).</li>
<li>Terzić, K., Hansard, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Methods+for+reducing+visual+discomfort+in+stereoscopic+3D%3A+A+review%5BTitle%5D)+AND+%22Signal+Processing%3A+Image+Communication%22%5BJournal%5D)">Methods for reducing visual discomfort in stereoscopic 3D: A review.</a> Signal Processing: Image Communication. 47, 402-416 (2016).</li>
<li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display%5BTitle%5D)+AND+%22Journal+of+Biomedical+Informatics%22%5BJournal%5D)">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li>
<li>Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+quantitative+evaluation+system+for+autostereoscopic+display%5BTitle%5D)+AND+%22Journal+of+Display+Technology%22%5BJournal%5D)">3D quantitative evaluation system for autostereoscopic display.</a> Journal of Display Technology. 12 (10), 1185-1196 (2016).</li>
<li>McIntire, J. P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Binocular+fusion+ranges+and+stereoacuity+predict+positional+and+rotational+spatial+task+performance+on+a+stereoscopic+3D+display%5BTitle%5D)+AND+%22Journal+of+Display+Technology%22%5BJournal%5D)">Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display.</a> Journal of Display Technology. 11 (11), 959-966 (2015).</li>
<li>Kalia, M., Navab, N., Fels, S. S., Salcudean, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+method+to+introduce+%26+evaluate+motion+parallax+with+stereo+for+medical+AR%2FMR%5BTitle%5D)+AND+%22IEEE+Conference+on+Virtual+Reality+and+3D+User+Interfaces%22%5BJournal%5D)">A method to introduce & evaluate motion parallax with stereo for medical AR/MR.</a> IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).</li>
<li>Kytö, M., Hakala, J., Oittinen, P., Häkkinen, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Effect+of+camera+separation+on+the+viewing+experience+of+stereoscopic+photographs%5BTitle%5D)+AND+%22Journal+of+Electronic+Imaging%22%5BJournal%5D)">Effect of camera separation on the viewing experience of stereoscopic photographs.</a> Journal of Electronic Imaging. 21 (1), 1-9 (2012).</li>
<li>Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Subjective+evaluation+of+stereoscopic+image+quality%5BTitle%5D)+AND+%22Signal+Processing%3A+Image+Communication%22%5BJournal%5D)">Subjective evaluation of stereoscopic image quality.</a> Signal Processing: Image Communication. 28 (8), 870-883 (2013).</li>
<li>Yilmaz, G. N. A depth perception evaluation metric for immersive 3D video services. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aYilmaz%2C+GN+%223DTV+Conference%3A+The+True+Vision+-+Capture%2C+Transmission+and+Display+of+3D+Video%22">3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video</a>. , 1-4 (2017).</li>
<li>Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluating+depth+perception+of+3D+stereoscopic+videos%5BTitle%5D)+AND+%22IEEE+Journal+on+Selected+Topics+in+Signal+Processing%22%5BJournal%5D)">Evaluating depth perception of 3D stereoscopic videos.</a> IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).</li>
<li>López, J. P., Rodrigo, J. A., Jiménez, D., Menéndez, J. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Stereoscopic+3D+video+quality+assessment+based+on+depth+maps+and+video+motion%5BTitle%5D)+AND+%22EURASIP+Journal+on+Image+and+Video+Processing%22%5BJournal%5D)">Stereoscopic 3D video quality assessment based on depth maps and video motion.</a> EURASIP Journal on Image and Video Processing. 2013 (1), 62(2013).</li>
<li>Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Stereoscopy+and+the+human+visual+system%5BTitle%5D)+AND+%22SMPTE+Motion+Imaging+Journal%22%5BJournal%5D)">Stereoscopy and the human visual system.</a> SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).</li>
<li>Kytö, M., Nuutinen, M., Oittinen, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Method+for+measuring+stereo+camera+depth+accuracy+based+on+stereoscopic+vision%5BTitle%5D)+AND+%22Three-Dimensional+Imaging%2C+Interaction%2C+and+Measurement%22%5BJournal%5D)">Method for measuring stereo camera depth accuracy based on stereoscopic vision.</a> Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).</li>
<li>Kang, Y. S., Ho, Y. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Geometrical+compensation+algorithm+of+multiview+image+for+arc+multi-camera+arrays%5BTitle%5D)+AND+%22Advances+in+Multimedia+Information+Processing%22%5BJournal%5D)">Geometrical compensation algorithm of multiview image for arc multi-camera arrays.</a> Advances in Multimedia Information Processing. 2008, 543-552 (2008).</li>
<li>Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics. , Available from: 
 <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2018).</li>
<li>Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics. , Available from: 
 <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019).</li>
<li>Github repository. , Available from: 
 <a target="_blank" href="https://github.com/majstenmark/stereo2">https://github.com/majstenmark/stereo2</a> (2021).</li>
<li>Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics. , Available from: 
 <a target="_blank" href="https://library.abb.com/en/results">https://library.abb.com/en/results</a> (2019).</li>
<li>Won, C. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Adaptive+interpolation+for+3D+stereoscopic+video+in+frame-compatible+top-bottom+packing%5BTitle%5D)+AND+%22IEEE+International+Conference+on+Consumer+Electronics%22%5BJournal%5D)">Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing.</a> IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).</li>
<li>Kim, S. K., Lee, C., Kim, K. T. Multi-view image acquisition and display. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aKim%2C+SK+%22Three-Dimensional+Imaging%2C+Visualization%2C+and+Display%22">Three-Dimensional Imaging, Visualization, and Display</a>. Javidi, B., Okano, F., Son, J. Y. , Springer. New York. 227-249 (2009).</li>
<li>Liu, F., Niu, Y., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Keystone+correction+for+stereoscopic+cinematography%5BTitle%5D)+AND+%22IEEE+Computer+Society+Conference+on+Computer+Vision+and+Pattern+Recognition+Workshops%22%5BJournal%5D)">Keystone correction for stereoscopic cinematography.</a> IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).</li>
<li>Kang, W., Lee, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Horizontal+parallax+distortion+correction+method+in+toed-in+camera+with+wide-angle+lens%5BTitle%5D)+AND+%223DTV+Conference%3A+The+True+Vision+-+Capture%2C+Transmission+and+Display+of+3D+Video%22%5BJournal%5D)">Horizontal parallax distortion correction method in toed-in camera with wide-angle lens.</a> 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).</li>
</ol>

著者らは開示するものは何もない。

ライブ手術中、3Dビデオデータ収集に使用された実験の合計時間は、患者にとって安全であると制限されていました。オブジェクトがフォーカスされていないか、または露出し過ぎる場合、データは使用できません。重要なステップは、カメラツールのキャリブレーションとセットアップ中です(ステップ2)。手術開始時にカメラの絞りと焦点を変更することはできません。セットアップと手術の間、同じ照明条件と距離を使用する必要があります。ステップ2.1-2.4のカメラキャリブレーションは、撮影したビデオの中心に心臓が配置されるように注意深く行う必要があります。キャリブレーションのトラブルシューティングを行うために、カメラツールの座標系の値を、ロボットを座標系でジョギングすることで個別に検証できます(ステップ 2.3.3)。手術前に、完全なロボットプログラムとカメラを記録アプリケーションと一緒にテストすることが重要です。手術台の高さは手術中に調整される場合があります。ロボットカメラの高さは、ロボットアプリケーション(ステップ3.4)で、所望の心臓までの距離を保つようにライブで変更することもできます。ロボットプログラムの距離と待ち時間は、ステップ2.5で説明したように変更す...

手術では、3D可視化を教育、診断、術前計画、術後評価に使用できます1,2。現実的な深さの知覚は正常および異常な解剖学の理解3、4、5、6を改善することができる。外科的処置の簡単な2Dビデオ録画は良いスタートです。しかし、深度知覚の欠如は、非外科的同僚が異なる解剖学的構造間の後方関係を完全に理解するのを困難にし、解剖学の誤解のリスクを引き起こす可能性があります7,8,9,10。
3D 表示エクスペリエンスは、(1) カメラの構成は、図 1、(2) ベースライン距離 (カメラ間の分離) に示すように、平行または引き離すことができます。(3) 対象とするオブジェクトまでの距離や、背景などの他のシーン特性。(4) 画面サイズや視聴位置などの表示装置の特性 1,11,12,13.(5)視聴者の個人の好み14,15。
3D カメラの設定の設計は、主観的または自動評価に使用するさまざまなカメラベースライン距離および構成で記録されたテストビデオのキャプチャから始まります16,17,18,19,20。シャープな画像をキャプチャするには、カメラの距離は外科分野に一定でなければなりません。オートフォーカスは、手、楽器、または頭部に合わせて調整されるため、固定フォーカスが優先されます。しかし、関心のあるシーンが外科分野である場合、これは容易には達成できない。これらの施設は清潔で無菌に保たれなければならないので、手術室はアクセスエリアが制限されています。技術機器、外科医、スクラブ看護師は、多くの場合、良好な視覚的概要と効率的なワークフローを確保するために、患者の周りに密接に集められております。3D 表示エクスペリエンスに対するカメラ位置の効果を比較して評価するには、形状、サイズ、色などのオブジェクト特性が 3D 表示エクスペリエンスに影響を与える可能性があるため、カメラ位置のテスト範囲を 1 つ完全に記録する必要があります。
同じ理由で、カメラ位置の完全なテスト範囲は、異なる外科的処置で繰り返されるべきです。ポジションのシーケンス全体を高精度に繰り返す必要があります。外科環境では、ベースライン距離22 の手動調整または固定ベースライン距離23 を持つ異なるカメラペアのいずれかを必要とする既存の方法は、空間と時間の両方の制約のために実現不可能である。この課題に対処するために、このロボットソリューションは設計されました。
データは、手術室の天井に取り付けられたデュアルアーム共同産業用ロボットで収集されました。カメラはロボットの手首に取り付けられ、 図2に示すように、ベースライン距離が増加して円弧状の軌道に沿って移動しました。
このアプローチを実証するために、10の試験系列は4つの異なる先天性心不全を有する4つの異なる患者から記録された。手術の一時停止が可能な場合、シーンは選択されました:外科的修復の直前と直後に心臓を鼓動する。シリーズはまた、心が逮捕されたときに作られました。手術は3分と20 sのために一時停止され、異なるカメラ収束距離とベースライン距離を持つ40の5sシーケンスを収集してシーンをキャプチャしました。ビデオは後処理され、臨床チームのために3Dで表示され、3Dビデオが0-5のスケールに沿ってどれほど現実的であるかを評価しました。
トードイン ステレオ カメラの収束点は、両方のイメージの中心点が交点する場所です。収束点は、原則として、オブジェクトの前方、内側、または後方のいずれかに配置することができます。.収束ポイントがオブジェクトの前にある場合、オブジェクトは、右のカメラ イメージの左カメラ イメージの中間線の左、右のカメラ イメージの右の右側にキャプチャされ、表示されます(図 1A)。逆の場合は、収束ポイントがオブジェクトの背後にある場合に適用されます(図 1B)。収束点がオブジェクト上にある場合、オブジェクトはカメラ画像の中線にも表示されます(図1C)。画像をマージするためにスクイントが必要とされないので、おそらく最も快適な表示を得るはずです。快適なステレオ3Dビデオを実現するには、収束点が対象物の上に位置するか、または少し後ろにある必要があります。
データは、デュアルアームの協調産業用ロボットを使用してカメラを配置して収集しました(図2A-B)。ロボットは装置なしで38のkgの重量を量る。ロボットは本質的に安全です。予期しない影響を検出すると、移動が停止します。ロボットは、所定のベースライン距離で停止する円弧状の軌道に沿ってCマウントレンズを備えた5メガピクセルのカメラを配置するようにプログラムされました(図2C)。図3に示すように、カメラはアダプタプレートを使用してロボットハンドに取り付けられました。各カメラは毎秒25フレームで記録されています。レンズは、対象物(心臓の近似幾何学的中心)に焦点を合わせたfストップ1/8に設定された。すべてのイメージ フレームには、2 つのビデオ ストリームを同期するために使用されたタイムスタンプがありました。
ロボット手首とカメラの間のオフセットを較正しました。 これは、図 4 に示すように、カメライメージの十字線を揃えて配置することで実現できます。この設定では、ロボット手首の取り付け点とカメライメージセンサの中心からの総移動オフセットは、X方向で55.3mm、Z方向に21.2mmであったと 、図5に示す。回転オフセットは、収束距離1100mm、ベースライン距離50mmでキャリブレーションされ、ロボットコントロールパネルのジョイスティックで手動で調整されました。この研究のロボットは、デカルト空間で0.02mm、回転解像度0.01度の精度を指定しました。半径 1100 m では、角度差が 0.01 度の場合、中心点 0.2 mm がオフセットされます。50-240 mmの分離からの完全なロボットの動きの間に、各カメラの十字線は収束の理想的な中心から2mm以内であった。
ベースライン距離は、視野の中心を中心にカメラを50~240mmの10mmずつ対称的に分離することで段階的に増加しました(図2)。カメラは各位置で5sの停止状態に保たれ、50mm/sの速度で位置間を移動しました。コンバージェンスポイントは、グラフィカルユーザーインターフェイスを使用してX方向とZ方向で調整できます(図6)。ロボットは、その作業範囲内でそれに従って続いた。
収束点の精度は、 図7A と Bの均一三角形と変数名を使用して推定した。高さ 'z' は、ピタゴラス定理を持つ収束距離 'R' から計算された
<img alt="Equation 1" src="/files/ftp_upload/62786/62786eq01.jpg">
実際の収束点が目的のポイントよりも近い場合、図 7A に示すように、誤差距離 'f1' は次のように計算されました。
<img alt="Equation 2" src="/files/ftp_upload/62786/62786eq02.jpg">
同様に、収束点が目的の点まで遠位した場合、誤差距離 'f2' は次のように計算されました。
<img alt="Equation 3" src="/files/ftp_upload/62786/62786eq03.jpg">
ここで、'e'は 十字線間の最大分離であり、キャリブレーション中の最大ベースライン分離で最大2mm(D= 240mm)であった。 R = 1100 mm (z = 1093 mm) の場合、誤差は ± 9.2 mm 未満でした。 R = 1400 mm (z = 1395 mm) の場合、エラーは 11.7 mm ±。すなわち、収束点の配置の誤差は所望の1%以内であった。1100 mm と 1400 mm の 2 つのテスト距離は、このように十分に分離されていました。

<table><tbody><tr><td>2 Cマウントレンズ(35 mm F2.1、5 Mピクセル)</td><td>タムロン</td><td>M112FM35</td><td>定格5 Mピクセル3D</td></tr><tr><td>メガネ(DLPリンクアクティブシャッター)</td><td>Celexon</td><td>G1000</td>互換性のある<td>3Dメガネは、</td></tr><tr><td>3DプロジェクターViewsonic</td><td></td><td>X10-4K</td><td>ディスプレイ1080で3D、他の3Dプロジェクターと交換することができます6</td></tr><tr><td>M2 x 8ネジ</td><td></td><td></td><td>cXimeaカメラをカメラアダプタープレートに取り付けるには</td></tr><tr><td>8本のM2.5 x 8本のネジ</td><td></td><td></td><td>円形の取り付けプレートをロボットの手首に取り付けるには</td></tr><tr><td>8本のM5 x 40本のネジ</td><td></td><td></td><td></td></tr><tr><td>8本のM6 x 10本のネジ(フラットヘッド</td><td></td><td></td>付き) <td>円形の取り付けプレートとカメラアダプタープレートの取り付け用</td></tr><tr><td>キャリブレーションチェッカーボードプレート(25 x 25 mm)</td><td></td><td></td><td>任意の標準的な市松模様は、グリッドがはっきりとカメラカメラで見える限り、印刷を含む、使用することができます</td></tr><tr><td>カメラアダプタプレート、x2</td><td></td><td></td> 著者<td>によって設計 robot_camera_adaptor_plates.dwg、アルミニウムでフライス加工。</td></tr><tr><td>円形の取り付けプレート、x2</td><td></td><td></td><td>デザイナーのジュリアス・クラインの許可を得て配布され、FDM 3DプリンターでABSプラスチックで印刷されました。ライセンス テクナリアリサーチ&イノベーション2017。Mountingplate_ROBOT_SIDE_ NewDesign_4.stl</td></tr><tr><td>固定フォーカス USB カメラ、x2 (5 Mpixel)</td><td>として添付 Ximea</td><td>MC050CG-SY-UB</td><td>Sony IMX250LQR センサー付き</td></tr><tr><td>Flexpendant</td><td>ABB</td><td>3HAC028357-001</td><td>ロボット タッチ ディスプレイ</td></tr><tr><td>ライブビュー</td><td></td><td></td><td>レコーディング アプリケーション</td></tr><tr><td>RobotStudio</td><td></td><td></td><td>&nbsp;ロボット統合開発環境(IDE)</td></tr><tr><td>USB3アクティブケーブル(10.0m)、2本</td><td></td><td></td>ネジ<td>ロックコネクタ、防水仕様。</td></tr><tr><td>YuMi 双腕ロボット</td><td>ABB</td><td>IRB14000</td><td></td></tr></tbody></table>

開胸手術のステレオ3d可視化のための理想的な構成を決定するためのカメラ位置のロボット化試験

Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery

手術によるステレオ3Dビデオは、医学教育に非常に価値があり、臨床コミュニケーションを改善します。しかし、手術室と外科分野へのアクセスは制限されています。滅菌環境で、外科スタッフや技術機器で身体の空間が混雑しています。この設定では、外科的処置の不明瞭な捕獲および現実的な再現は困難である。本論文では、異なるカメラベースライン距離と収束距離における立体3Dビデオの迅速かつ信頼性の高いデータ収集方法を紹介する。高精度と再現性を備えた手術中の干渉を最小限に抑えたテストデータを収集するために、デュアルアームロボットの各手にカメラを取り付けました。ロボットは手術室に天井に取り付けられました。10 mmの増分ステップで50~240mmの間のベースライン距離を持つテスト位置の範囲を、1100 mmと1400 mmの2つの収束距離で、同期カメラの動きのタイミングシーケンスを実行するようにプログラムされました。手術は40連続5sビデオサンプルを可能にするために一時停止されました。合計10の外科シナリオが記録された。

右上の立体3Dの上部に配置された右の画像を持つ許容評価ビデオがVideo1に表示されます。成功したシーケンスは、鮮明で、フォーカスを設定し、同期されていないイメージ フレームを使用しない必要があります。同期されていないビデオストリームは、ファイルビデオ2に示すように、ぼかしを引き起こします。コンバージェンス ポイントは、図 9A,B に示すように、カメラの分離に関係なく水平方向に中央に配置する必要があります。ロボットが位置間を遷移すると、ビデオに小さな揺れが生じ、50mm/sの遷移速度で予想されます。右と左の画像の間に大きな分離が大きすぎると、脳は図 9C とビデオ 3 を参照して、画像を 1 つの 3D 画像に融合できません。
図 1C に示すように、画像内の心臓の位置...

3D ステレオ ビデオの人間の深度の認識は、カメラの分離、収束点、距離、およびオブジェクトの親しみやすさに依存します。本論文では、ライブの開胸手術中に迅速かつ信頼性の高いテストデータ収集を行い、理想的なカメラ構成を決定するロボット化された方法を紹介する。

開胸手術のステレオ3D可視化のための理想的な構成を決定するためのカメラ位置のロボット化試験

Stereo 3D video from surgical procedures can be highly valuable for medical education and improve clinical communication. But access to the operating room ...

トレーニングと教育のための高品質な3Dビデオのキャプチャを可能にします。これは、開いた手術でほとんどの手術室の設定に適用することができます。ロボット化されたアプローチにより、データを迅速かつ正確に収集して、カメラの位置を評価することができます。この方法は、3Dビジョンアプリケーションのカメラ構成を迅速にテストするために使用されます。また、異なる被験者が深さを認識する方法を調査するためにも使用できます。カメラをロボットに取り付けるには、まずレンズをカメラに取り付け、次に3本のM2ネジでカメラをアダプタプレートに取り付けます。次に、カメラの反対側に4本のM4ネジを使用して、円形の取り付けプレートをカメラアダプタプレートに取り付けます。すべてのカメラをロボットに取り付けたら、結果のアセンブリのミラーリングを観察します。アダプタープレートを4本のM2.5ネジでロボットの手首に取り付けます。テーブルに取り付けられたロボットの場合は、左のカメラを右のロボットアームに取り付けます。USBケーブルをカメラとUbuntuコンピュータに接続します。ロボットタッチディスプレイで、メニューボタンを押してステレオ2を選択し、ロボットアプリケーションを起動します。メイン画面で、Go キーを押してロボットアプリケーションで1,100ミリメートルの開始を開始し、ロボットが開始位置に移動するのを待ちます。カメラから保護レンズキャップを取り外します。カメラセンサーから 1,100 ミリメートルの位置に印刷されたキャリブレーション グリッドを配置します。対応する正方形を正しく識別するには、グリッドの入力に小さなねじナットまたはマークを配置します。Ubuntu コンピュータで記録アプリケーションを起動し、インターフェイスを起動します。そして、絞りを調整し、絞りとフォーカスリングでレンズに焦点を合わせます。記録アプリケーションで、[十字線] をオンにして十字線を視覚化します。記録アプリケーションでは、両方のカメラ画像で、十字線がキャリブレーショングリッドと同じ位置に揃っていることを確認します。ロボットアプリケーションで歯車アイコンを押した後、カメラを患者に対して相対的に配置します。ロボットからのハンド距離のプラスまたはマイナスを押してX方向を変更し、高さのプラスまたはマイナスを押して画像の外科フィールドをキャプチャしてZ方向を変更します。手動でロボットまたは患者を動かしてY方向を変更します。手術を一時停止し、OR担当者に実験の開始を通知した後、記録アプリケーションで[記録]を押し、ロボットアプリケーションで[実験を実行]を押します。しばらくすると、実験が終了すると、タッチディスプレイに「完了」と表示されます。次に、録画を停止する記録アプリケーションで[記録を停止]を押します。実験が終了したことを OR 担当者に通知し、手術を再開します。評価のために、アクティブな 3D プロジェクターを使用して、ビデオを上底 3D 形式で表示します。右上の立体3Dの上に配置された右の画像を持つ正しい評価ビデオが表示されます。成功したシーケンスは、鮮明で、フォーカスを設定し、同期されていないイメージ フレームを使用しない必要があります。同期されていないビデオストリームはぼかしを作成します。収束ポイントは、カメラの分離とは無関係に水平方向に中央に配置する必要があります。左右の画像の間に非常に大きな分離がある場合、脳は画像を1つの3D画像に融合させることはできません。収束点から心臓までの距離など、心臓の中心位置に障害が発生する可能性があります。カメラ ツールの座標系を正しく構成するには、記録アプリケーションの十字線が同じオブジェクト、キャリブレーション オブジェクトが中央の位置にあり、正しい色のデベイア形式であることを確認します。ベースライン距離の変化を伴う3Dビデオは、深度情報が医療スタッフの解剖学的理解にどのような影響を与えるかを研究することを可能にします。

robotized-testing-camera-positions-to-determine-ideal-configuration

Research

JoVE Journal

Medicine

医学

GPUで加速された分子動力学シミュレーションとナノ構造の3D/VR視覚化、分析、操作を特徴とする新しい計算システムが実装されました。これは、材料研究を進歩させ、人間の目には見えない次元の材料構造について学ぶための革新的な調査と代替方法を促進するための新しいアプローチを表しています。...

MDシミュレーションのための新しい3D / VRインタラクティブな環境、可視化と分析

この記事では、個々の神経外科患者の重要な認知機能をサポートする脳の領域を識別するために設計されたマルチモーダル脳マッピングプログラムの概要を提供します。...

ロチェスター大学医療センターにおける翻訳脳マッピング:パーソナライズされた脳マッピングによる心の維持

複葉機のビデオラジオグラフィーは、高い精度で肩の運動学を定量することができます。本明細書に記載されているプロトコルは、平面上腕立て上げの間に肩甲骨、上腕骨、および肋骨を追跡するように特別に設計され、データ収集、処理、および分析の手順を概説する。データ収集に関する固有の考慮事項についても説明します。...

ビプラナービデオラジオグラフィーを用いた3Dインビボショルダーキネマティクスの測定

拡張現実(AR)ヘッドマウントディスプレイ「Magic...

ブタモデルにおける拡張現実ヘッドマウントディスプレイを用いた椎弓根スクリュー配置

血管内治療の進歩により、複雑な開腹手術は、弁置換術や動脈瘤修復などの低侵襲オプションに取って代わられました。この論文では、3次元(3D)モデリングとバーチャルリアリティを使用して、神経インターベンションカテーテル検査ラボの手順計画のためのCアームの位置決め、角度測定、およびロードマップの生成を支援し、手順時間を最小化することを提案しています。...

画像とバーチャルリアリティを使用した精密手術のための患者固有のアプローチの先駆者

このプロトコルは、人間の心臓から得られたサンプルを微視的スケールと巨視的スケールで分析するための包括的なパイプラインを提供します。...

ヒト心臓のマルチスケール3次元解剖学的研究のためのパイプライン

この記事では、拡張現実(AR)ベースの3D再構成に基づく自動手術モジュールの設計と実装について説明します。このシステムは、外科医が再構築された特徴を検査し、手術の手の動きをあたかも近くで手術を行っているかのように再現できるようにすることで、遠隔手術を可能にします。...

拡張現実(AR)を用いた経カテーテル的大動脈弁置換術における自動手術

ここでは、コンピューター断層撮影に基づいて心臓モデルをゼロから構築し、3次元(3D)印刷と複合現実技術を使用して医学生に解剖学を学ぶためのプロトコルについて説明します。...

教育における複合現実技術と3次元印刷:例としての心臓解剖学

このプロトコルは、自由に動くファントム(臓器など)の赤外線マーカー追跡と、拡張現実を使用したホログラフィック視覚化を実装するためのガイドを提供します。さらに、自由に動くファントムの電磁追跡を使用したホログラフィックナビゲーションシステムの前臨床検証のセットアップについても概説します。...

ホログラフィックヘッドマウントディスプレイと前臨床検証による軟部組織ナビゲーションのための赤外線追跡のための技術的アプローチ

私たちは、ラットにおける異所性腹部心肺移植(HAHLT)のための新しい技術について説明します。移植構成により、部分的に負荷がかかった移植片の循環が得られ、直接的な機能評価が可能になります。このモデルは、移植片の機能および免疫学的状態の急性または慢性研究に採用できます。...

ラット異腹部ボリュームにロードされた構成でのハート/シングル肺移植

学ぼう、ロボット化したカメラ位置試験による開胸手術のステレオ3D可視化の最適構成決定法。高品質な3D映像を迅速に収集し、外科医の深度知覚評価と教育トレーニングの質向上に貢献します。

開胸手術のステレオ3D可視化のための理想的な構成を決定するためのカメラ位置のロボット化試験

さらに動画を探す