Method Article

ホログラフィックヘッドマウントディスプレイと前臨床検証による軟部組織ナビゲーションのための赤外線追跡のための技術的アプローチ

DOI:

10.3791/68607

⸱

September 2nd, 2025

 ,  ,  ,  ,  ,  ,  ,  , 
1Department for Pediatric Surgery, Princess Máxima Center for Pediatric Oncology, 2Robotics and Mechatronics, University of Twente

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

このプロトコルは、自由に動くファントム(臓器など)の赤外線マーカー追跡と、拡張現実を使用したホログラフィック視覚化を実装するためのガイドを提供します。さらに、自由に動くファントムの電磁追跡を使用したホログラフィックナビゲーションシステムの前臨床検証のセットアップについても概説します。

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

拡張現実 (AR) は、外科手術中に 3 次元 (3D) の解剖学的情報を患者に直接重ね合わせることで、手術ガイダンスを強化する可能性があります。しかし、AR の実用的な実装では、特に外科的操作中に自由に動く臓器を正確に追跡する上で、重大な課題に直面します。したがって、術中に正確なホログラフィック オーバーレイを維持するには、信頼性の高い臓器追跡方法が必要です。精度に関するホログラフィック視覚化の前臨床検証にはさらなる課題があり、定量的評価のための実験プロトコルが必要です。このプロトコルは、ヘッドマウントディスプレイ(HMD)を使用したリアルタイム臓器追跡のためのカスタムメイドの赤外線マーカーを使用したAR視覚化アプリケーションを開発するための包括的なアプローチを説明し、電磁(EM)追跡を活用してファントム実験のホログラフィック精度を検証する検証フレームワークを提供します。この研究では、医療画像から患者固有の 3D モデルを作成し、カスタム赤外線マーカーを設計および製造し、これらのマーカーを HMD の AR アプリケーションに統合し、手術ナビゲーションに展開するための段階的なガイダンスの概要を説明します。さらに、EM 追跡を使用して、半変形可能な腎臓ファントムのホログラフィック視覚化の精度を定量的に測定することによる検証手順について詳しく説明します。したがって、このプロトコルは、リアルタイムの臓器追跡を容易にし、前臨床検証方法論を確立します。リアルタイムの臓器追跡を実装すると、ホログラムを正確に重ね合わせることで自由に動く臓器の手術ガイダンスが強化され、手術精度が向上し、患者の転帰が改善される可能性があります。

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

腫瘍外科では、腫瘍の位置と隣接する健康な組織との関係を正確に特定することが、健康な組織を維持しながら腫瘍の完全な切除を達成するために非常に重要です1。不完全な切除は局所再発と生存率の低下につながる可能性がありますが 2,3、過剰な組織切除は機能と生活の質を損なう可能性があります4。外科用ナビゲーション システムは、臨床転帰の改善につながる可能性のある術中ガイダンスを外科医に提供することにより、健康な組織を維持しながら根治的切除を改善することが期待されています5。ただし、従来の手術ナビゲーション システムでは、通常、手術野の外側に配置された画面に 2 次元 (2D) の解剖学的情報が表示されます。このアプローチにより、外科医は表示された 2D 情報を患者の実際の 3 次元 (3D) 解剖学的構造と精神的に相関させ、認知負荷を増加させます6。3Dモデリングの最近の進歩により、外科医は周囲の解剖学的構造7との腫瘍との関係をよりよく理解できるようになりましたが、この情報は依然として手術領域の外で視覚化され、スイッチングフォーカスの問題6,8が維持されています。外科用ナビゲーション システムのこれらの制限は、外科用ナビゲーションの使用における潜在的なエラーの一因となり、最適ではない手術結果につながる可能性があります9。

上記の制限を克服するために、拡張現実 (AR) は、患者10,11 の解剖学的構造と切除境界を 3D で視覚化することにより、有望なソリューションとして浮上しました。磁気共鳴画像法(MRI)やコンピュータ断層撮影(CT)データに基づいてセグメント化された術前3Dモデルを重ね合わせることで、解剖学的構造を可視化することができる。システマティック レビューでは、思春期患者の開腹手術に対する AR の潜在的な利点が強調され12、この分野の予備研究は、自動登録用のビジュアル マーカーを備えた患者固有の 3D ガイドの実現可能性を実証しています13。Van Doormaalらは、脳神経外科14のポイントベースのレジストレーションと画像ターゲットを持つポインターを使用して、ARデバイスを備えたナビゲーションシステムを開発しました。彼らは、手術前の患者の手術室とファントム実験で開発されたARアプリケーションを評価し、それぞれ7.2mmと4.4mmの基準登録誤差を示しました。

有望な進歩にもかかわらず、これらの登録システムはしばしば硬直的であり、標的臓器のリアルタイム追跡を欠いているため、臓器の動きのリアルタイム追跡の必要性が依然としてあります15,16。これは特に、腎臓や肝臓など、手術中に操作される臓器を動かす場合に当てはまり、不正確なガイダンス、かなりの時間がかかる再登録の必要性、健康な組織への潜在的な害や誤った切除につながる可能性があります17。これらの問題にさらに対処するために、Iqbalらが提示したアプリケーションに基づく新しいARシステムが開発されました。この開発により、AR オーバーレイは臓器位置のリアルタイムの変化に動的に適応できるようになり、それによって空間精度が維持され、手術精度が向上する可能性があります。このシステムは、厳格なレジストレーションと動的赤外線マーカーベースの追跡を組み合わせることで、手術における正確なリアルタイムのホログラフィック ガイダンスの実現に向けて大幅な進歩をもたらします。

このプロトコルは、ヘッドマウント ディスプレイ (HMD) 用の赤外線マーカーベースの AR ナビゲーションおよび前臨床検証システムを提供します。私たちは、前臨床環境で動く臓器の正確なホログラフィック オーバーレイを維持するためのリアルタイム拡張現実ナビゲーション システムの開発と検証を目指しています。まず、このプロトコルは、32 mm(幅)x 15 mm(長さ)x 6 mm(高さ)の寸法の赤外線マーカーを使用してファントム器官をリアルタイムで追跡し、動きとは無関係に3Dホログラムのオーバーレイを維持するホログラフィックアプリケーションがどのように準備されるかについての説明を提供します。熱可塑性ポリウレタンフィラメント(TPU)でプリントされた腎臓ファントムを、動く臓器のモデルとして使用します。次に、カスタム赤外線マーカーを設計および印刷する方法と、これらのマーカーをホログラフィック視覚化アプリケーションに統合する方法の概要を示します。これにより、他の研究者や臨床医は、開腹手術や臓器の移動のシミュレーションを含む他の前臨床ファントムシナリオにアプリケーションを適応させることができます。最後に、電磁追跡に基づく検証方法は、精度を計算するための定量的測定を提供し、ファントム実験におけるホログラフィックガイダンスの前臨床検証を提供します。この方法論の限界は、自動登録手順がないことであり、このシステムの精度が制限されます。ただし、このアプローチは、ユーザーが開発した AR 技術が臨床応用に適切かどうかを判断するのに役立ちます。

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

この研究は当機関のガイドラインに従い、ヒト被験者を含む医学研究法 (WMO) の対象にはなりませんでした。したがって、参加者からインフォームドコンセントを得る必要はありませんでした。

1. 3DモデリングとARアプリケーション展開のためのハードウェアおよびソフトウェアパッケージの準備

  1. Microsoft Windows 10 を実行しているパーソナル コンピューター (PC) に次のソフトウェア プログラムをダウンロードしてインストールします。
    1. Unity Hub v3.11.1 と Unity v. 2019.4.22f1 を https://unity.com/download からダウンロードします。Unity 2019.4.22f1 のインストール時に Visual Studio 2019 を含めます。マニュアルへのリンク:https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
    2. https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64 からMeshMixer v.3.5.0をダウンロードすると、マニュアルへのリンクが https://help.autodesk.com/view/MSHMXR/2019/ENU/
    3. https://download.slicer.org/ から3DSlicer v.5.6.2をダウンロードすると、マニュアルへのリンクは https://slicer.readthedocs.io/en/latest/
    4. Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal をダウンロードすると、マニュアルへのリンクは https://help.autodesk.com/view/fusion360/ENU/
    5. https://bambulab.com/en/download/studio からBambu Studio v. 01.09.07.52をダウンロードすると、マニュアルへのリンクは https://wiki.bambulab.com/en/studio-handy

2. カスタム赤外線マーカーの設計と印刷

  1. 以下で説明するように、3Dデザインソフトウェアで赤外線マーカーを設計します。
    1. 3D コンピュータ支援設計(CAD)ソフトウェア( 材料表を参照)を開き、新しいファイルを作成します。
    2. 「ソリッド」(SOLID) タブを選択し、「スケッチを作成」(Create Sketch) をクリックして、赤外線マーカーの新しいデザインのスケッチを開始します。
    3. 中心 直径円を押して、直径3mmの小さな円を3つまたは4つ追加します。これらの円はネジの取り付けポイントとして機能します。
    4. 三角形の頂点を反対側の辺の中点に接続して、赤外線マーカーの中心点を計算します。[ 線] を押して、片側から円の点まで線を引いてすべての円を接続します。
    5. 中心点に赤外線マーカーのベースとして円を作成し、中心直径円を使用します。3 点の長方形を使用して、中心の円を 3 つまたは 4 つの小さな円のそれぞれに接続する長方形を描画します。
    6. 円形の底面と長方形を 2 mm の厚さに押し出し、小さな円を 5 mm の厚さに押し出します。
    7. ISOメトリックプロファイル(例:M3 × 0.5、6g、右手)を使用して3つの円錐のそれぞれにねじを追加し、 作成 を押してからスレッドを押してから 、6.4 mmの赤外線反射球を収容します。
    8. 3D プリントまたはエクスポート機能を使用して、モデルをオブジェクト (OBJ) ファイルとしてエクスポートします。
    9. 3D CAD ソフトウェア内で、[ 測定]を選択して、中心点を相関させた赤外線反射球の XYZ 座標を測定します。図形の中心点を相関させて、円の中心点の位置を測定します。これらの座標は、手順 4.1.2 で使用します。
  2. 以下で説明するように 3D マーカーを印刷します。
    1. エクスポートされた光造形(.STL)ファイルをシーンにドラッグして3Dプリンターに適したソフトウェアに挿入します( 材料 表を参照)。
    2. [ 品質] > [層の高さ] を押して、層の高さ (赤外線反射球の糸の不正確な印刷を避けるために、0.08 mm が可能な限り最小の層の高さ) などのスライス パラメータを設定します。サポート( Support)>構造体の有効化(Enable Struct)を押して、デザインにサポートを追加します。
    3. [すべてスライス]をクリックしてスライスファイルを3Dプリンターにエクスポートし、[すべてのスライスファイルをエクスポート]をクリックしてファイルをエクスポートし、ポリ乳酸フィラメント(PLAなど、材料表を参照)を使用して3Dモデルを印刷します。

3. 腎臓の3D患者特有モデルの準備

  1. モデルのセグメンテーション
    1. 3Dセグメンテーションソフトウェア( 材料表を参照)を開き、DICOMファイルのインポートを使用して患者のMRI / CTデータをインポートします。
    2. セグメントエディタに移動し、適切なソースボリュームを選択し、Addをクリックして新しいセグメンテーションを作成します。
    3. イメージングモダリティに基づいて手動または半自動のセグメンテーションを選択します。
    4. 手動でセグメンテーションする場合は、ペイントと消去ツールを使用して、各スライスの腫瘍と周囲の関連構造をセグメント化します。
    5. 半自動セグメンテーションの場合は、特定の構造に適切なしきい値範囲を持つしきい値や、無関係な構造をセグメント化するためのはさみなどのオプションの使用を検討してください。
    6. [データ] 画面で、[ 作成されたセグメンテーション ] を選択し、右クリックして [ 表示セグメントをモデルにエクスポート ] ボタンに移動します。画面の右側で「目」オプションが選択されていることを確認します。
    7. [保存]をクリックしてモデルの STL ファイルをエクスポートし、ファイルを として保存します。STL ファイル。
  2. 患者固有のモデルの後処理
    1. STL ファイルをメッシュ エディタに読み込み( 材料表を参照)、 3D モデル> 編集を選択して三角形の数を減らし、3D モデルの視覚的側面を変形せずに三角形を減らす割合だけ減らし、[ 承認]を押します。
    2. さらに検証するために、ターゲット ポイントがホログラフィック アプリケーションの 3D モデル内で視覚的に表現されていることを確認します。Add spheres を押して、3D モデルに配置します。
    3. [ ファイル] > [エクスポート] を押して、3D モデルを OBJ ファイル形式にエクスポートします。モデルを選択して 3D モデルに約 100,000 個のポリゴンがあることを確認し、[ 編集] > [削減] を押してポリゴンを縮小します。ポリゴン数が多いほど、グラフィックス プロセッシング ユニットからの操作が必要になるため、シーン内のポリゴンの数を減らすと、レンダリング時間を大幅に短縮できます。

4. ホログラフィックアプリケーションの準備

  1. 以下の説明に従ってIRTrackingOrgans_HoloLensプロジェクトを設定します。
    1. ゲーム開発ソフトウェアを起動し ( 材料表を参照)、IRTrackingOrgans_HoloLens プロジェクトをインポートして開きます。
    2. テキストエディタを使用してJavaScript Object Notation(JSON)ファイルをデフォルトの形式に従って調整し、手順2.1.10で測定した座標に基づいてカスタム赤外線マーカーを実装します。JSON ファイルは Assets/StreamingAssets に保存されます。
    3. DINO Unityタブに移動し、 ToolManager>ResearchModeController>JSONファイル と 親 変換を選択し、オブジェクト の作成とJSON設定の適用をクリックします。
    4. 仮想赤外線マーカー 3D モデルを、手順 1.1 で作成したアセットとしてインポートします。
    5. 仮想赤外線マーカー 3D モデルをシーン内のスポーンマーカーの位置に変換するには、モデルを選択し、インスペクターウィンドウで変換座標を変更します。
    6. 患者固有の 3D モデルを選択してシーンにドラッグして、シーンに挿入します。
    7. 赤外線マーカーが3Dモデルの表面に接触するように、患者の3Dモデルを正しい場所に変換します。赤外線マーカーを 3D オブジェクトの中心近くに配置して、レバー効果による不正確さを最小限に抑えます。
  2. 患者選択メニューでシーンを接続する
    1. 実用化や複数症例の選択には、メニュー画面のボタンに患者シーンをつなげます。 [アセット] > [シーン] > [メニュー] シーンに移動します。
    2. [階層] ウィンドウで、[ NearMenu4x2 ] と [ButtonCollection ] に移動し、関連するボタンに移動します。
    3. [インスペクター] ウィンドウで、[ 基本イベント] に移動し、[MenuScript.LoadScene] に患者シーンの名前を入力します。
  3. HMD を初めてデプロイするための準備
    注: このセクションは、アプリケーションを初めて展開する場合にのみ必要です。
    1. HMD( 材料表を参照)デバイスにログインし、デバイスを研究モードに設定します。「設定」 >「アップデートとセキュリティ」>「開発者向け」に移動し>開発者向け機能とデバイス検出をオンにします。
    2. HMD を PC (Wi-Fi または USB-C) にペアリングします。初めて接続する場合は、次の手順に従います。開発者タブで HMD の IP アドレスを見つけ、Web ブラウザーに IP アドレスを入力してデバイス ポータルに接続し、PIN を生成して PIN を入力してデバイスをペアリングします。
  4. アプリケーションをビルドして HMD にデプロイする
    1. [ファイル] > [ビルド設定] に移動し、次の順序でシーンを追加して、シーンをビルドに追加します。メニュー > [開いているシーンの追加] を押して、シーンを追跡します。
    2. ユニバーサル Windows プラットフォーム、ターゲット デバイス HoloLens、アーキテクチャ x64 を使用してプロジェクトをビルドします。 [ビルド] をクリックし、ビルド マップを選択します。
    3. Visual Studio 2019 でビルド ファイル (.sln) を開き、プラットフォームを ARM64 に変更します。次に、ソリューション エクスプローラーで .sln ファイルを 右クリックして [プロパティ] を開き、[デバッグ] 内で [マシン名] に HMD の IP アドレスを入力します。
    4. [デバッグ] > [デバッグせずに開始] を選択して、アプリケーションを HMD にデプロイします。
    5. HMD を起動し、ホログラフィック アプリケーションを開きます。その後、患者のメニュー画面に移動し、 適切なケース を選択して、ホログラフィックの視覚化とガイダンスを開始します。

5. 可動臓器のホログラフィック可視化の検証

  1. 半変形ファントム印刷
    1. リアルな解剖学的構造を持つ腎臓ファントムの3Dモデルを作成または取得します。
    2. 3D モデルを 3D CAD モデリング ソフトウェアにインポートし、[穴タイプ] : [シンプル]、[穴タップ タイプ] 設定で [ソ リッド > > 穴の作成 > を使用して、5 つのレジストレーション ピボット ポイントをモデルの側面に統合します。
    3. 穴の開いたシリンダーを3Dモデルに統合して、EM基準センサーを固定し、さらなる検証手順を行います。
      1. [中心直径円]を使用して、直径 2.8 mm の円と内側の円を含むスケッチを作成します。外側の円を16.5mm押し出します。
      2. [ 修正]>[結合]>[3D モデルと円柱を選択]>[結合]>[OK]で円柱を結合します。
    4. エクスポートまたは3Dプリント機能を使用して、3Dモデルをエクスポートします。
    5. TPUなどのフレキシブルまたはセミフレキシブルフィラメント( 材料 表を参照)を使用して、ステップ2.2で説明した手順に従って腎臓ファントムを印刷します。
  2. EMトラッキングシステムを使用した3Dスライサーのセットアップ
    1. 3D-SlicerでEMシステムをセットアップするには、広範な3D SlicerとSlicerIGTのチュートリアル(https://www.slicerigt.org/wp/user-tutorial/)を参照してください。
      メモ: プロトコルのこのセクションでは、3DSlicer のセットアップ、EM トラッキング構成、および接続が十分に理解され、正しく設定されていることを前提としています。
    2. EMトラッキングシステムのフィールドジェネレータ( 材料表を参照)をファントムの真下に配置します。電磁場の不均一性を避けるために、環境からすべての強磁性体を除去します。
    3. EMセンサー( 材料表を参照)とEMポインター( 材料 表を参照)をEMトラッキングシステムに接続します。これらのツールの変換が 3DSlicer で正確に視覚化されていることを確認します。
    4. EM基準センサー(NDI Aurora 6DOFケーブルツールなど)を接着剤でシリンダーに固定して、3Dモデルに取り付けます。
    5. 3D スライサーで、ピボット ポイントを含む 3D モデルをインポートし、 基準登録ウィザード > コントロール ポイントの配置を使用してランドマーク ポイントをデジタルで割り当てます。
    6. EMポインタで現実のランドマークポイントをピンポイントで特定し、コントロール ポイントを配置 して3DSlicerに登録することでランドマーク登録を行います。 Updateを押して、剛体線形レジストレーション変換を計算します。
    7. 登録後、3Dモデルに登録変換を適用して、3DモデルとEM参照センサーとの間のリンクを確立します。その後、3Dモデルが物理的に移動されると、3DSlicerのデジタルモデルも移動する必要があります。したがって、動きを観察してこれを視覚的に確認します。
  3. ホログラフィック検証
    1. デバイスを起動し、手順 4.4.5 のホログラフィック アプリケーションを開きます。その後、正しい患者3Dモデルに移動し、これも3DSlicerで視覚化されます。
    2. 術前計画で視覚化されたように、取り付けられた 6.4 mm 赤外線マーカー ( 材料表を参照) を使用して、接着剤を使用して赤外線マーカーを正しい場所に固定します。
    3. EM ポインターを使用して、ホログラフィック視覚化に基づいてターゲット ポイントをデジタルでピンポイントで特定します。EMセンサー座標のセットを保存します。
    4. 配置されたランドマークと比較してターゲットランドマークを見つける際の誤差を計算して、ホログラフィックビジュアライゼーションを定量的に検証します。

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

腎臓ファントムを使用して、臓器追跡用の赤外線追跡システムの性能を実証し、移動する臓器でのホログラフィック検証セットアップを検証しました。完全なワークフローの概要を 図 1 に示します。

まず、3DSlicerの閾値ツールを使用して、MRIデータに基づいて腎臓を半自動でセグメント化しました。得られた3Dモデルをエクスポートし、3D CADソフトウェアにインポートして、ポリゴン数を減らしました。2番目のモデルが保存され、球ツールを使用して5つのターゲットポイントがこのモデルに統合されました (図2)。このモデルは、ホログラフィックディスプレイの技術的検証に使用されました。ターゲット ポイントのないモデルの最初のバージョンは、Autodesk Fusion に読み込まれました。このモデルには5つのピボットポイントが統合され、EMセンサーを容易にするためにシリンダーが統合されました。3D スライス ソフトウェアを使用して、3D モデルを 3D プリント用に準備しました。印刷密度が8%のTPUを使用して、最小限の柔軟性の腎臓表面を作成しました。

標準化された赤外線マーカーが設計され、3D プリントされ、赤外線反射球 (直径 6.4 mm) が取り付けられました。この赤外線マーカーから、赤外線マーカーの座標を中心点との相関関係で測定しました。ゲーム開発ソフトウェアアプリケーション内に、赤外線マーカーの座標を含むJSONファイルがインポートされました。次に、検証目的でターゲットポイントを含む腎臓の 3D モデルがインポートされました。また、可視化の目的で、赤外線マーカーモデルをインポートし、JSONファイルで実装したポイントの位置に変換しました。3Dモデルを赤外線マーカーの中心に変換し(図3)、追加のシェーダーを適用しました。患者メニューのシーンを統合した後、アプリケーションをHMDに展開しました。

IRマーカーの配置に基づいて、HMDを使用して小児腹部ファントム内の腎臓にホログラフィック3Dモデルを視覚化します (図4)。 追跡速度は11.6Hzでした。ただし、距離が 60 cm を超えると、HMD は赤外線マーカーを追跡する機能を失います。第二に、赤外線マーキング追跡の継続的な追跡とノイズにより、ホログラフィックオーバーレイがちらつき、視覚化が不正確になります。

検証の目的で、EM追跡システムはPlusサーバーを介して3Dスライサーに接続されました。追跡のためにファントム腎臓にEMセンサーを配置しました(図2)。ポイントベースのレジストレーション後、3Dモデルは中央値0.59mmの精度でレジストレーションされ、ホログラフィック精度を検証するための正確な方法であることが証明されました(図5)。 ポイントローカリゼーション誤差の中央値は、3 人の外科医からの入力に基づいて 8.74 mm (四分位範囲: 6.38 - 10.85) でした (表 1)。

このAR追跡および視覚化システムの実装には、約45〜60分に及ぶプロトコルが含まれます。2 年の経験を持つ経験豊富な技術医が、プロトコル全体の手順を 1 回実行して、プロトコルの個々のステップの期間を決定しました。特に、特定のステップは一度だけ実行する必要があります。各患者にとって重要なステップには、セグメンテーション、ゲーム開発ソフトウェアへのモデル統合、およびシーン構成が含まれます。患者固有の症例における解剖学的構造のセグメント化には、複数の解剖学的構造が関係するため、比較的多くの時間が必要ですが、腎実質と腫瘍のセグメント化は 30 分以内に完了できます。セグメント化された3Dモデルをアプリケーションに統合し、赤外線マーカーに位置合わせするには、約5分の手動調整が必要です。正しいシーンを接続するのに5分もかかりません。ゲーム開発プロジェクトのビルド時間はハードウェアの仕様によって異なりますが、通常は約 3 分かかり、その後 HoloLens 2 へのデプロイには約 10 分かかります。全体として、検証セットアップを除いて、このプロトコルは、前臨床環境で臓器追跡を移動する方法を示しています。

figure-results-1
図1:ワークフローの概略図。 ワークフローには、術前段階、ホログラフィック段階、術中段階など、ファントム設定で患者ごとに必要なステップが表示されます。術前段階は、術前の医療画像のセグメント化 (ステップ 3 を参照) で構成されます。ホログラフィックアプリケーションの準備は、3Dモデル上の赤外線マーカーの配置を仮想的に計画することで構成されます(ステップ4を参照)。術中段階では、外科医は正しい患者を選択し、ホログラフィックの視覚化と継続的な追跡のために赤外線マーカーを固定することができます。 この図の拡大版を表示するには、ここをクリックしてください。

figure-results-2
図2:検証方法論で使用される腎臓ファントムの概要。 左:腎臓の3Dホログラムとターゲットポイント、および赤外線マーカーの仮想配置。中央:EMセンサーとレジストレーション用のピボットポイントを内蔵した3Dファントム。右:検証手順に使用される赤外線マーカーとEMセンサー用のシリンダーを備えた3Dプリントされたファントム。 この図の拡大版を表示するには、ここをクリックしてください。

figure-results-3
図3:ゲーム開発ソフトウェアでのホログラフィックアプリケーションの準備。 腎臓モデルは赤外線マーカーに変換されます。次に、シェーダーが腎臓とターゲットポイントに適用されます。 この図の拡大版を表示するには、ここをクリックしてください。

figure-results-4
図4:ファントム実験のホログラフィックビジュアライゼーション。 左:腎臓の赤外線マーカーの配置。右:ターゲットポイントを正しい順序(1から5)でホログラフィックで視覚化します。ホログラフィック視覚化の変位は、赤外線マーカー追跡のジッターによって引き起こされます。 この図の拡大版を表示するには、ここをクリックしてください。

figure-results-5
図5:移動する臓器のホログラフィック視覚化のためのEM追跡検証プロトコルからのセットアップ。 緑、赤、青は、検証に必要なEMツールの変換を視覚化します。黄色と緑は、ヘッドマウントディスプレイ(HMD)に関する変換を視覚化します。 この図の拡大版を表示するには、ここをクリックしてください。

参加者測定GT-X(mm)GT-Y(mm)GT-Z(mm)ポイント-X(mm)ポイント-Y(mm)ポイントZ(mm)PLE (mm)
外科医11-67.027.88297.50-76.728.97295.499.97
2-46.774.78249.67-55.71-0.26243.6111.91
3-3.21-12.36244.46-9.99-3.03244.8311.54
4-15.061.16273.72-20.002.71272.705.27
5-39.005.40281.25-46.826.91277.758.70
外科医 21-67.027.88297.50-63.608.02292.126.38
2-46.774.78249.67-45.942.73246.983.48
3-3.21-12.36244.46-5.43-10.70244.272.78
4-15.061.16273.72-11.870.80267.517.00
5-39.005.40281.25-35.545.82273.288.70
外科医 31-67.027.88297.50-62.977.87287.4310.85
2-46.774.78249.67-44.59-0.42242.708.96
3-3.21-12.36244.462.23-20.32253.4813.20
4-15.061.16273.72-10.731.33266.148.74
5-39.005.40281.25-34.955.93271.7410.35

表1: 各測定値について、ターゲットランドマークのグラウンドトゥルース(GT)座標、対応するポイント位置座標、およびすべての外科医に対して測定されたPLEが提供されます。

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

提示されたプロトコルは、ファントム設定での腫瘍や臓器の移動の検証を含む、リアルタイムの臓器追跡とホログラフィック視覚化へのアプローチを概説しています。HMD による赤外線マーカーベースの追跡を活用したこの方法は、可動臓器の操作中に正しい解剖学的ホログラフィック オーバーレイをより適切に維持できる可能性があります。この方法は腎臓の追跡に応用されているにもかかわらず、セグメンテーションプロトコルの調整を最小限に抑えて、肝臓や肺の開腹手術など、他の臨床分野でも検討できる可能性があります。第二に、赤外線マーカーは腹腔鏡手術などのさまざまな外科技術で使用される可能性があります。このような場合、腹腔鏡画像上で赤外線反射ステッカーを検出して、臓器、道具、解剖学的ランドマークを追跡することができます。ただし、この技術を他の臨床分野や外科技術に適用すると、標的臓器の変形性のばらつきや、視野の制限などの技術的制限によりエラーが生じる可能性があり、前臨床実験での検証が必要です。

プロトコルのステップ 1 は、主に必要なハードウェアおよびソフトウェア ツールのセットアップに重点を置いています。このセットアップには多数のアプリケーションと手順が必要なため、下流での展開の問題を回避するには、必要な拡張機能を含め、すべてのソフトウェア パッケージが正しくインストールされていることが重要です。ゲーム開発ソフトウェアと統合開発環境の組み合わせは重要ですが、ソフトウェアのバージョンが異なると問題が発生することは予想されません。

ステップ 2 では、カスタマイズされた赤外線マーカーを作成するプロセスについて説明します。このステップは、トラッキングが他のアプリケーションに利用される場合に特に重要になります。赤外線マーカーの形状を柔軟に変更できるため、さまざまな前臨床用途への潜在的な適合性が保証されます。さらに、ユーザーはさまざまな設計オプションを検討して、臓器の表面への赤外線マーカーの密着性を向上させ、赤外線マーカーの追跡精度を高めることができます。さらに、複数の赤外線マーカーの直径をテストすると、60 cm を超える距離での検出が向上します。

ステップ3では、医用画像に基づく患者固有の3Dモデリングについて説明します。腎臓と腫瘍の正確なセグメンテーションは、手術ガイダンスの精度に直接影響するため、非常に重要です。セグメンテーションが不十分だと、手術の精度を損なう誤解を招く視覚化が生じる可能性があります19。第二に、このステップは最も時間がかかります。全自動セグメンテーション方法を統合することで、プロトコルを迅速化し、正確な解剖学的セグメンテーションを確保しながら、手動および半自動調整の必要性を減らすことができます20。ポリゴン数を最適化することは、最適な AR レンダリング パフォーマンスを実現するために非常に重要です。この最適化が実行されない場合、HMD のパフォーマンスが大幅に低下します。

手順 4 では、DINO-DLL の実装に続いて、ホログラフィック アプリケーションの構成の概要を示します。重要な側面の 1 つは、手動のレジストレーション精度に影響を与えるため、赤外線マーカーの位置とホログラフィック解剖学的モデルの間の適切な位置合わせです。特に、赤外線マーカーの中心から離れた場所での不正確さを防ぐために、レバー効果を最小限に抑える必要があります。さらなる改善には、追加の登録方法の実装が含まれる可能性があります。さらに、現在のシステムは、文献21と一致する連続視覚化の許容可能な追跡速度を示しています。第三に、さらなる改善には、赤外線マーカー追跡データのノイズを低減し、ホログラフィック視覚化のジッターを排除するためのカルマンフィルターの実装が含まれる必要があります。

ステップ5では、EMトラッキングを利用したホログラフィック検証手法を提供します。このプロトコルは、可動臓器のホログラフィック精度の定量的評価を提供するため、ファントム設定でのホログラムの精度を検証するのに役立ちます。ここでの重要なステップは、半変形可能な 3D プリントされたファントム内に EM 追跡センサーを正確に統合することです。ユーザーは、EMセンサーの正確なキャリブレーションと3Dスライサーでのランドマーク登録を確実に行う必要があります。検証エラーが発生した場合は、再登録または金属物体の除去により、検証の精度が向上する可能性があります。臨床的実現可能性をさらに検証するために、 ex vivo 臓器を使用して、手術組織22をより正確にシミュレートすることができます。

このプロトコルは、臓器追跡のための AR ソリューションを実装し、ファントム実験でこれらのシステムを検証することを目指す研究者にとって包括的なガイドとして機能します。さらに、特に臓器を動かすためのAR方法の検証のために、さまざまな臨床シナリオで簡単に利用できる、広く適用可能な検証セットアップを提供します。ホログラフィック アプリケーションの展開が複雑であることを考えると、このフレームワークは概念的な AR ベースのソリューションから前臨床検証への移行を容易にします。

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

著者らは開示するものは何もない。

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

オープンなDINO-DLLリポジトリに基づいて、HoloLens 2を使用して赤外線マーカー追跡を確立するための専門知識とサポートを提供してくれたHisham Iqbalに感謝します。

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
3Dスライサー(v5.6.2)スライサー該当なし医用画像セグメンテーションソフトウェアであり、電磁追跡検証に必要です
6.4 mm (1/4 インチ) M3 マーカー赤外線マーカーオプティトラック該当なし追跡のためにマーカーに取り付ける必要がある赤外線反射球 
Autodesk Fusion 360(v2.0.21508)オートデスク該当なし赤外線マーカーやファントムを設計するためのCADソフトウェア
バンブスタジオ (v01.09.07.52)バンブラボ該当なしBambu 3Dプリンター用の3Dプリントスライスソフトウェア
バンブ X1 カーボンバンブラボ該当なし赤外線マーカーやファントムモデルに使用される3Dプリンター
HoloLens 2マイクロソフト該当なしARビジュアライゼーションのための拡張現実ヘッドマウントディスプレイ
IRTrackingOrgans_HoloLens オープンソース該当なしIRマーカートラッキングをサポートするUnityベースのアプリケーション
メッシュミキサー (v3.5.0)オートデスク該当なしメッシュ編集とポリゴン削減に使用
NDIオーロラノーザンデジタル株式会社該当なし検証用電磁追跡システム
NDI Aurora 6DOF ケーブル ツールノーザンデジタル株式会社該当なし幻肢器官の動きを記録するセンサー
NDI オーロラ 6DOF プローブノーザンデジタル株式会社該当なしファントム上のランドマークの場所を識別するために使用
ポリ乳酸フィラメントあらゆるメーカー該当なし赤外線マーカーなどの硬質部品を印刷するためのフィラメント
熱可塑性ポリウレタンフィラメントあらゆるメーカー該当なし変形可能な腎臓ファントムを印刷するためのセミフレキシブルフィラメント
Unity Hub(v3.11.1)とUnity(v2019.4.22f1)Unity テクノロジー該当なしARアプリケーション開発・展開のためのゲーム開発ソフトウェア
ビジュアル スタジオ 2019マイクロソフト該当なしUnity の統合とデプロイに必要な IDE

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Bortot, B., et al. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).
  2. Liu, Q., Luo, D., Cai, S., Li, Q., Li, X. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).
  3. Cost, N. G., et al. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).
  4. Taghavi, K., Sarnacki, S., Blanc, T., Boyer, O., Heloury, Y. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).
  5. Mezger, U., Jendrewski, C., Bartels, M. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).
  6. Herrlich, M., et al. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).
  7. Portnoy, Y., et al. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).
  8. Meulstee, J. W., et al. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).
  9. Glas, H. H., et al. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).
  10. Fitski, M., et al. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).
  11. van der Zee, J. M., et al. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).
  12. Fida, B., Cutolo, F., di Franco, G., Ferrari, M., Ferrari, V. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).
  13. Moreta-Martinez, R., et al. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).
  14. van Doormaal, T. P. C., van Doormaal, J. A. M., Mensink, T. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).
  15. Zhao, Z., et al. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).
  16. Doughty, M., Ghugre, N. R., Wright, G. A. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).
  17. Vávra, P., et al. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).
  18. Iqbal, H., Baena, F. R. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).
  19. Zhao, W., Jiang, D., Queralta, J. P., Westerlund, T. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).
  20. Elloumi, N., et al. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).
  21. von Haxthausen, F., Moreta-Martinez, R., Pose Díez de la Lastra, A., Pascau, J., Ernst, F. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).
  22. Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery. Haouchine, N., et al. 2014 IEEE Int Conf Robotics Automat, , 4121-4126 (2014).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Infrared TrackingSoft Tissue NavigationHolographic Head Mounted DisplayAugmented Reality SurgeryOrgan TrackingElectromagnetic Tracking3D Kidney PhantomPatient Specific 3D ModelsInfrared MarkersPreclinical Validation

Related Articles