ホログラフィックヘッドマウントディスプレイと前臨床検証による軟部組織ナビゲーションのための赤外線追跡のための技術的アプローチ

プリンセス マキシマ小児腫瘍学センターでのこの研究の範囲は、拡張現実システムの開発と検証です。このシステムは、動く臓器のホログラムを正確に位置合わせする必要があります。現在の実験課題の1つは、ホログラムが移動する臓器のリアルタイム位置と正確に位置合わせされていることを検証することです。

現在、拡張現実検証技術は、骨などの剛性のある解剖学的構造に対してのみ説明されています。ただし、私たちのプロトコルには、臓器を動かすための拡張現実の検証にも使用できるという利点があります。まず、3D コンピュータ支援設計ソフトウェアを開き、新しいファイルを作成します。

[ソリッド]タブを選択し、[スケッチを作成]をクリックして、赤外線マーカーの新しい設計を開始します。[中心直径の円]を押して、直径3ミリメートルの小さな円を3つまたは4つ追加します。[線分] ツールを使用して、三角形の頂点を反対側の中点に接続し、円を結ぶ線を描画して中心点を計算します。

中心点に、中心直径の円を使用して円を描画し、2 点の長方形ツールを使用して、この中心の円と小さい円をそれぞれ接続する長方形を描画します。中央の円形ベースと接続長方形を 2 ミリメートルの厚さに押し出します。小さい円を5ミリメートルの厚さに押し出します。

[作成]を押してから[スレッド]を選択し、ISO メートルプロファイルを使用して 3 つの円錐にスレッドを追加し、6.4 ミリメートルの赤外線反射球にフィットします。3D プリントまたはエクスポート機能を使用して、最終モデルをオブジェクト ファイルとしてエクスポートします。3D コンピュータ支援設計ソフトウェア内で、[測定] を選択して、中心点を基準にした赤外線反射球の X、Y、Z 座標を測定します。

各小さな円の中心点の位置を、図形全体の中心に相関させて測定します。ゲーム開発ソフトウェアを起動します。IRTrackingOrgans_HoloLensプロジェクトファイルをインポートし、プロジェクトを開きます。

テキストエディタを使用して、Assets または StreamingAssets フォルダに保存されている JavaScript Object Notation ファイルを開きます。ファイルを調整して、以前に記録された座標を使用し、デフォルトの形式に従ってカスタム赤外線マーカーを定義します。DINO Unity タブで、ToolManager を選択し、ResearchModeController をクリックし、次に JSON ファイルと親変換をクリックし、オブジェクトの作成 JSON 設定の適用 をクリックします。

作成した3D赤外線マーカーモデルをインポートします。患者固有の 3D モデルを選択し、インスペクターウィンドウでその変換座標を変更して、シーン内のスポーンされたマーカーの位置に一致させます。次に、患者固有の 3D モデルをシーンにドラッグして挿入します。

患者の3Dモデルを変換して、赤外線マーカーをその表面に合わせます。赤外線マーカーをモデルの中心近くに配置して、レバー効果による位置誤差を減らします。次に、患者シーンをメニュー画面のボタンに接続して、複数のケースを選択できるようにします。

[アセット]、[シーン]、[メニュー シーン] に移動します。[階層] ウィンドウで、[NearMenu4x2]、[ButtonCollection] の順に移動して、関連するボタンを選択します。[インスペクター] ウィンドウで、[基本イベント] に移動し、[MenuScript] の下にあります。

LoadScene に、患者シーンの名前を入力します。リアルな解剖学的構造を持つ腎臓ファントムの3Dモデルを作成または取得します。3D モデルを 3D CAD モデリング ソフトウェアにインポートします。

次に、Solid、Create、および Hole 関数を使用して、モデルの側面にある 5 つのレジストレーション ピボット ポイントを統合します。[穴タイプ]を[シンプル]に、[穴タップタイプ]を[シンプル]、[ドリルポイント]を[角度]、[高さ]を 0.5 ミリメートル、[直径]を 4.0 ミリメートルに設定します。電磁基準センサーを固定するには、穴のあるシリンダーを作成し、それを腎臓モデルに統合します。

新しいスケッチを開始し、[中心直径円]を使用して、直径 2.8 ミリメートルの円と内側の円を描画します。外側の円を16.5ミリメートル押し出します。次に、[変更]に移動し、次に[結合]に移動します。

3D 腎臓モデルと円柱の両方を選択し、[結合] を選択し、[OK] をクリックして確定します。次に、エクスポートまたは3Dプリント機能を使用して、最終的な統合モデルをエクスポートします。次に、熱可塑性ポリウレタンなどのフレキシブルまたはセミフレキシブルフィラメントを使用して、前述の手順に従って腎臓ファントムを印刷します。電磁追跡システムのフィールドジェネレーターを、印刷された腎臓ファントムの真下に配置します。

電磁場の不均一性を防ぐために、周囲の環境からすべての強磁性体を取り除きます。次に、電磁センサーと電磁ポインターを追跡システムに接続します。電磁基準センサーを接着剤を使用してシリンダー内にしっかりと固定し、3Dモデルに取り付けます。

3D スライサーで、ピボット ポイントを含む 3D 腎臓モデルをインポートします。基準登録ウィザードを使用します。[コントロール ポイントの配置] を選択し、登録ランドマークをデジタルで割り当てます。

3D スライサーでランドマーク登録を実行するには、電磁ポインターを使用して物理的なランドマーク ポイントをピンポイントで特定します。[各物理的な場所にコントロールポイントを配置]を押して、ソフトウェアに登録します。次に、Updateを押して剛体線形レジストレーション変換を計算します。

次に、計算されたレジストレーション変換を 3D モデルに適用して、電磁基準センサーにリンクします。物理モデルを移動し、3D スライサーのデジタル バージョンがその動きに追従することを確認します。ホログラフィック ディスプレイ デバイスを起動し、前に構成したホログラフィック アプリケーションを開きます。

次に、現在 3D スライサーで視覚化されている正しい患者固有の 3D モデルに移動します。次に、接着剤を使用して赤外線マーカーを指定された場所に取り付け、術前の計画に従って取り付けられた 6.4 ミリメートルの赤外線反射球が所定の位置にあることを確認します。電磁ポインターを使用して、ホログラフィック視覚化を通して見えるターゲットポイントをデジタルで識別します。

結果のEMセンサー座標のセットを保存します。保存したターゲット座標と実際に配置されたランドマークを比較して誤差を計算し、ホログラフィック視覚化の精度を検証します。すべての参加者において、ポイントローカリゼーション誤差 (PLE) の中央値は 8.74 ミリメートルを示し、個々の測定値は 2.78 から 13.20 ミリメートルの範囲でした。

Surgeon 2 は、2.78 ミリメートルと 3.48 ミリメートルの 2 つの最も正確な位置特定を含む、一貫して最も低い PLE 測定値を達成しました。最大の局在誤差は、外科医 3 による 3 回目の測定で観察され、PLE は 13.20 ミリメートルでした。このプロトコルは、他の人がホログラフィック プロジェクトを展開し、前臨床環境で拡張現実システムを正確に検証するのに役立ちます。

私たちの外科研究グループは、複数の小児外科症例の自動ホログラフィック追跡を間もなく開始します。可動臓器は、機械学習アルゴリズムと RGB カメラ フィードに基づいて追跡されます。