切除された腫瘍標本の拡張現実に基づく視覚化

要約

このビデオでは、腫瘍切除のための拡張現実(AR)の使用を実演しています。このビデオでは、3Dスキャンされた腫瘍標本がヘッドマウントディスプレイ上にホログラムとして視覚化されます。外科医は、ホログラムを操作して所定の位置に固定し、正確な腫瘍除去を確実に行うことができます。

プロトコル

サンプル採取を含むすべての手順は、研究所のIRBガイドラインに従って実行されています。

注:プロトコルワークフローの詳細を示す概略図を図1に示します。

1. 3D スキャン

1. 前述の3Dスキャンプロトコル7に従って、腫瘍学的切除標本の3Dスキャンを取得します。
   1. 市販のデスクトップ3Dスキャナーを、通常検体を採取する病理学研究室の近くに設置します。
   2. 切除した標本をやさしくすすぎ、軽くたたいて乾かします。次に、その前面と後面の2D写真を撮ります。
   3. 検体をスキャナーターンテーブルに置き、薄いプラスチックシートでターンテーブルが体液から保護されていることを確認します。
   4. 3Dスキャナーソフトウェアとラップトップコンピューターを使用して、標本の前面と後面の3Dスキャンを取得します。
   5. 3Dスキャナーソフトウェアを使用して、3点データクロスレジストレーションを使用して、2セットのスキャンデータを位置合わせします。
   6. スキャンがex vivo試料の3D構造に類似したら、ステップ1.2に進みます。
2. [スキャンを保存]をクリックし、3Dスキャンソフトウェアからの完了したスキャンを.objファイルおよび.jpegファイルとして保存します。

2. 拡張現実環境のセットアップ

1. デスクトップARソフトウェアを開きます。拡張現実VISEパッケージを開きます。
2. 手順 1.2 で作成した 3D モデルを .obj ファイルとして、テクスチャ データを .jpeg ファイルとしてソフトウェアにアップロードします。これらのファイルをデスクトップから [プロジェクト アセット] ボックスにドラッグ アンド ドロップします。
3. ヘッドマウントディスプレイ(HMD)を装着します。
4. HMD環境でメニューを開くには、利き手ではない手首を上げます。四角いアイコンが表示されたら、アイコンに指を向けてタップし、表示されるメニューを探します。
5. [ファイル] |すべてのアプリを表示 |HMD で Holographic Remoting アプリケーションを開きます。
6. HMD をソフトウェアに接続するには、Mixed Reality |リモート処理 |上部のツールバーの再生モードの Holographic Remoting。
7. Holographic Remoting アプリケーションが開いているときに表示される HMD の IP アドレスを入力します。
   注:アプリ内に表示されない場合、IPアドレスは設定または音声コマンド「What's My IP Address」でも確認できます。
8. HMD とソフトウェアを実行しているデバイスの両方が同じ Wi-Fi ネットワークに接続されていることを確認します。上部中央にある三角形の再生ボタンを押します。HMD ヘッドセットにレンダリングが表示されます。
9. 3D オブジェクトモデルを左側の階層バーにドラッグします。オブジェクトのドロップダウンメニューを開きます。デフォルトを[ピボットの調整]ポップアップウィンドウの[オブジェクトの置換]の下にドラッグします。[選択したオブジェクトを適用]をクリックします。
10. [階層] メニューの [Medical_Object] ドロップダウンを開き、アンカーを選択してから、[ピボットの調整] ポップアップで [Medical_Objectのピボットをここに移動] を選択します。
11. テクスチャファイルをAdjust Pivotポップアップの(Texture 2D)ボックスにドラッグします。[選択したテクスチャ ファイルを適用] を選択します。
12. 画面上部中央の再生ボタンをもう一度押します。

3. 仮想現実に入る

1. 音声コマンドの [開く] を使用して、ホログラムを初期化します。
2. オブジェクトが見えない場合、または視界から消えてしまった場合は、音声コマンドの「再配置」を使用して、オブジェクトを視界の中心に戻します。
3. オブジェクトは解剖学的サイズでレンダリングされます。音声コマンドの「サイズのロック」を使用してオブジェクトを現在のサイズに保ち、「ロック解除サイズ」を使用してオブジェクトのサイズを変更し、「スケールに戻す」を使用してオブジェクトを解剖学的サイズに戻します。
4. ポインター指と親指でつまむと、物理オブジェクトと同じようにオブジェクトのサイズを変更、移動、回転できます。

>4. 音声コマンドの活用

1. 次の音声コマンドを使用して、オブジェクトをハンズフリーで操作します。
   1. 右: オブジェクトを右に回転させます。
   2. 左: オブジェクトを左に回転させます。
   3. 大きい: オブジェクトを大きくします。
   4. 小さい: オブジェクトを小さくします。
   5. 透明度を上げる: オブジェクトの透明度を上げます。
   6. 透明度を下げる: オブジェクトの透明度を下げます。

>5. ARガイドによる試料の再アライメント

>注: ホログラムの 3D 再調整を図 2 に示します。

1. HMDを通して見える3D標本ホログラムを親指と人差し指で操作します。
   1. 仮想環境でホログラムが見える現実環境で、親指と人差し指を合わせてオブジェクトをつかみます。
   2. 3D ホログラムが仮想環境の目的の場所に配置されたら、現実環境で親指と人差し指を開いてオブジェクトを離します。
2. 音声コマンドの Lock を使用してホログラムを所定の位置に固定し、Unlock を使用してオブジェクトをもう一度操作します。
3. ホログラムの解剖学的向きに基づいて、手順 5.1 から 5.2 に従って、仮想標本を切除ベッドに再調整します。ホログラムをHMDを通して見た切除ベッドと可能な限り再配置する場合は、音声コマンドのロックを使用して標本を所定の位置にロックします。

結果

図 1:プロトコルワークフロー。現在の標準プロトコルと並行して実験プロトコルを示す概略図。

図 2: HMD を通して見た 3D ホログラムの再調整。HMDを通じて、(A)3Dホログラムを握るユーザーの手、(B)3Dホログラムを切除ベッドにリリースするユーザーの手、および(C)切除に再整列された3Dホログラムの最終製品をHMDを通じて表示します。略語:HMD=ヘッドマウントディスプレイ。

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
デジタルカメラまたはカメラ付き携帯電話	アイフォン		iPhoneまたは同様のカメラ付き携帯電話またはデジタルカメラを使用できます。
EinScan SP V2 Platinumデスクトップ3Dスキャナー	シャイニング3D		3Dスキャナーハードウェア
ExScanソフトウェア;Solid Edge SHINING 3Dエディション	シャイニング3D		3Dスキャナーソフトウェア、3Dスキャナーの購入に含まれています
外部マウス	マイクロソフト
ノートパソコン	デルXP5	00355-60734-40310-AAOEMの	ラップトップの要件:
USB:1 ×USB 2.0または3.0;OS:Win 7、8、または10(64ビット);
グラフィックカード:Nvidiaシリーズ;グラフィックメモリ:?1G;
CPU:デュアルコアi5以上。メモリ:8G
マイクロソフト HMD 2	マイクロソフト
Unityソフトウェア	ユニティテクノロジー		リアルタイムのインタラクティブな3Dコンテンツプラットフォーム
Microsoft Officeスイート	マイクロソフト
モバイルプレゼンテーションカート	オクラホマサウンド	PRC450
USB-cデバイスコンバータ	トリップライト	U442-ドック3-B	ラップトップにUSBがない場合にのみ必要です