切除された腫瘍標本の拡張現実に基づく視覚化

した腫瘍標本を、コンピューターに接続された3Dスキャンテーブルに置きます。前面と背面をスキャンして、3D画像を作成します。

この 3D 画像が物理的な標本と一致したら、拡張現実または AR ソフトウェアで開きます。

ヘッドマウントディスプレイまたはHMDを装着し、ARソフトウェアにワイヤレスで接続します。

これにより、HMDデバイスを介して3D画像を標本の仮想ホログラムとして視覚化できます。

ホログラムを位置合わせして固定し、AR 環境内の空間精度を確保し、テクスチャを適用してリアリズムを高めます。

音声コマンドを使用して仮想環境でホログラムを開き、手のジェスチャーを使用して、位置の変更、回転、サイズの調整を行います。

または、音声コマンドを使用してハンズフリーで調整することもできます。

この拡張現実ベースの視覚化により、手術部位での断端の正確な識別に役立つ腫瘍ホログラムが生成されます。

まず、すすぎ、切除した腫瘍標本を軽くたたいて乾かします。 標本の前面と背面の2D写真を撮ります。

3Dスキャナーのプラスチックで覆われたターンテーブルに試料を置きます。 試験片の前面と背面をスキャンして 3D 画像を取得します。

3 点データ相互登録を使用して、2 セットのスキャン データを整列します。 スキャン結果が3D ex vivo標本に似ている場合は、[スキャンを保存]をクリックして、スキャンを.objファイルと.jpegファイルとして保存します。

次に、拡張現実ソフトウェアを起動し、拡張現実 VISE パッケージを開きます。 デスクトップから.objファイルと.jpegファイルを [プロジェクト アセット] ボックスにドラッグ アンド ドロップします。

ヘッドマウントディスプレイまたはHMDを装着し、利き手ではない手首を上げて、HMD環境でメニューを開きます。 四角いアイコンが表示されたら、そのアイコンに指を向けてタップします。

メニューが表示されたら、[ファイル]、[すべてのアプリの表示]の順にクリックして、Holographic Remotingアプリケーションを開きます。 上部のツール バーで [Mixed Reality] を選択し、再生モードの [リモート処理] と [ホログラフィック リモート処理] を押します。

HMD の IP アドレスを入力し、HMD とデバイスが同じ WiFi ネットワークに接続されていることを確認した後、[再生] をクリックします。 ヘッドセットに [受信中] と表示されます。

3D オブジェクト モデルを左側の階層バーにドラッグし、ドロップダウン メニューを開き、デフォルトを [オブジェクトの置換] の下の [ピボットの調整] ポップアップ ウィンドウにドラッグします。

次に、[選択したオブジェクトを適用] をクリックし、[階層] メニューの [Medical_Object] ドロップダウンを開き、[アンカー] を選択します。[ピボットの調整]ポップアップで[Medical_Objectのピボットをここに移動]を選択します。

テクスチャファイルを[ピボットの調整]ポップアップの[(テクスチャ2D])ボックスにドラッグし、[選択したテクスチャファイルを適用]を選択して、[再生]ボタンを押します。

次に、音声コマンド [開く] を使用してホログラムを初期化し、[再配置] を使用してオブジェクトが表示されていない場合にビューの中央に表示し、[サイズのロック] を使用してオブジェクトを現在のサイズに保ち、[サイズのロック解除] を使用してオブジェクト サイズを変更し、[スケールに戻る] を使用してオブジェクトを解剖学的サイズに復元します。

人差し指と親指でピンチすると、オブジェクトのサイズ変更、移動、回転ができます。 音声コマンド(右または左)で回転し、[大きく]または[小さく]でサイズを変更し、[透明度を増減]で透明度を調整するなど、ハンズフリーでオブジェクトを制御できます。

ホログラムを再配置するには、親指と人差し指を一緒に置いてオブジェクトをつかみ、切除ベッドに対して再配置し、目的の仮想位置にオブジェクトを解放します。 最後に、音声コマンドのロックまたはロック解除を使用して、ホログラムを所定の位置に固定します。