ホログラフィックヘッドマウントディスプレイと前臨床検証による軟部組織ナビゲーションのための赤外線追跡のための技術的アプローチ
September 2nd, 2025
このプロトコルは、自由に動くファントム(臓器など)の赤外線マーカー追跡と、拡張現実を使用したホログラフィック視覚化を実装するためのガイドを提供します。さらに、自由に動くファントムの電磁追跡を使用したホログラフィックナビゲーションシステムの前臨床検証のセットアップについても概説します。
プリンセス マキシマ小児腫瘍学センターでのこの研究の範囲は、拡張現実システムの開発と検証です。このシステムは、動く臓器のホログラムを正確に位置合わせする必要があります。現在の実験課題の1つは、ホログラムが移動する臓器のリアルタイム位置と正確に位置合わせされていることを検証することです。
現在、拡張現実検証技術は、骨などの剛性のある解剖学的構造に対してのみ説明されています。ただし、私たちのプロトコルには、臓器を動かすための拡張現実の検証にも使用できるという利点があります。まず、3D コンピュータ支援設計ソフトウェアを開き、新しいファイルを作成します。
[ソリッド]タブを選択し、[スケッチを作成]をクリックして、赤外線マーカーの新しい設計を開始します。[中心直径の円]を押して、直径3ミリメートルの小さな円を3つまたは4つ追加します。[線分] ツールを使用して、三角形の頂点を反対側の中点に接続し、円を結ぶ線を描画して中心点を計算します。
中心点に、中心直径の円を使用して円を描画し、2 点の長方形ツールを使用して、この中心の円と小さい円をそれぞれ接続する長方形を描画します。中央の円形ベースと接続長方形を 2 ミリメートルの厚さに押し出します。小さい円を5ミリメートルの厚さに押し出します。
[作成]を押してから[スレッド]を選択し、ISO メートルプロファイルを使用して 3 つの円錐にスレッドを追加し、6.4 ミリメートルの赤外線反射球にフィットします。3D プリントまたはエクスポート機能を使用して、最終モデルをオブジェクト ファイルとしてエクスポートします。3D コンピュータ支援設計ソフトウェア内で、[測定] を選択して、中心点を基準にした赤外線反射球の X、Y、Z 座標を測定します。
各小さな円の中心点の位置を、図形全体の中心に相関させて測定します。ゲーム開発ソフトウェアを起動します。IRTrackingOrgans_HoloLensプロジェクトファイルをインポートし、プロジェクトを開きます。
テキストエディタを使用して、Assets または StreamingAssets フォルダに保存されている JavaScript Object Notation ファイルを開きます。ファイルを調整して、以前に記録された座標を使用し、デフォルトの形式に従ってカスタム赤外線マーカーを定義します。DINO Unity タブで、ToolManager を選択し、ResearchModeController をクリックし、次に JSON ファイルと親変換をクリックし、オブジェクトの作成 JSON 設定の適用 をクリックします。
作成した3D赤外線マーカーモデルをインポートします。患者固有の 3D モデルを選択し、インスペクターウィンドウでその変換座標を変更して、シーン内のスポーンされたマーカーの位置に一致させます。次に、患者固有の 3D モデルをシーンにドラッグして挿入します。
患者の3Dモデルを変換して、赤外線マーカーをその表面に合わせます。赤外線マーカーをモデルの中心近くに配置して、レバー効果による位置誤差を減らします。次に、患者シーンをメニュー画面のボタンに接続して、複数のケースを選択できるようにします。
[アセット]、[シーン]、[メニュー シーン] に移動します。[階層] ウィンドウで、[NearMenu4x2]、[ButtonCollection] の順に移動して、関連するボタンを選択します。[インスペクター] ウィンドウで、[基本イベント] に移動し、[MenuScript] の下にあります。
LoadScene に、患者シーンの名前を入力します。リアルな解剖学的構造を持つ腎臓ファントムの3Dモデルを作成または取得します。3D モデルを 3D CAD モデリング ソフトウェアにインポートします。
次に、Solid、Create、および Hole 関数を使用して、モデルの側面にある 5 つのレジストレーション ピボット ポイントを統合します。[穴タイプ]を[シンプル]に、[穴タップタイプ]を[シンプル]、[ドリルポイント]を[角度]、[高さ]を 0.5 ミリメートル、[直径]を 4.0 ミリメートルに設定します。電磁基準センサーを固定するには、穴のあるシリンダーを作成し、それを腎臓モデルに統合します。
新しいスケッチを開始し、[中心直径円]を使用して、直径 2.8 ミリメートルの円と内側の円を描画します。外側の円を16.5ミリメートル押し出します。次に、[変更]に移動し、次に[結合]に移動します。
3D 腎臓モデルと円柱の両方を選択し、[結合] を選択し、[OK] をクリックして確定します。次に、エクスポートまたは3Dプリント機能を使用して、最終的な統合モデルをエクスポートします。次に、熱可塑性ポリウレタンなどのフレキシブルまたはセミフレキシブルフィラメントを使用して、前述の手順に従って腎臓ファントムを印刷します。電磁追跡システムのフィールドジェネレーターを、印刷された腎臓ファントムの真下に配置します。
電磁場の不均一性を防ぐために、周囲の環境からすべての強磁性体を取り除きます。次に、電磁センサーと電磁ポインターを追跡システムに接続します。電磁基準センサーを接着剤を使用してシリンダー内にしっかりと固定し、3Dモデルに取り付けます。
3D スライサーで、ピボット ポイントを含む 3D 腎臓モデルをインポートします。基準登録ウィザードを使用します。[コントロール ポイントの配置] を選択し、登録ランドマークをデジタルで割り当てます。
3D スライサーでランドマーク登録を実行するには、電磁ポインターを使用して物理的なランドマーク ポイントをピンポイントで特定します。[各物理的な場所にコントロールポイントを配置]を押して、ソフトウェアに登録します。次に、Updateを押して剛体線形レジストレーション変換を計算します。
次に、計算されたレジストレーション変換を 3D モデルに適用して、電磁基準センサーにリンクします。物理モデルを移動し、3D スライサーのデジタル バージョンがその動きに追従することを確認します。ホログラフィック ディスプレイ デバイスを起動し、前に構成したホログラフィック アプリケーションを開きます。
次に、現在 3D スライサーで視覚化されている正しい患者固有の 3D モデルに移動します。次に、接着剤を使用して赤外線マーカーを指定された場所に取り付け、術前の計画に従って取り付けられた 6.4 ミリメートルの赤外線反射球が所定の位置にあることを確認します。電磁ポインターを使用して、ホログラフィック視覚化を通して見えるターゲットポイントをデジタルで識別します。
結果のEMセンサー座標のセットを保存します。保存したターゲット座標と実際に配置されたランドマークを比較して誤差を計算し、ホログラフィック視覚化の精度を検証します。すべての参加者において、ポイントローカリゼーション誤差 (PLE) の中央値は 8.74 ミリメートルを示し、個々の測定値は 2.78 から 13.20 ミリメートルの範囲でした。
Surgeon 2 は、2.78 ミリメートルと 3.48 ミリメートルの 2 つの最も正確な位置特定を含む、一貫して最も低い PLE 測定値を達成しました。最大の局在誤差は、外科医 3 による 3 回目の測定で観察され、PLE は 13.20 ミリメートルでした。このプロトコルは、他の人がホログラフィック プロジェクトを展開し、前臨床環境で拡張現実システムを正確に検証するのに役立ちます。
私たちの外科研究グループは、複数の小児外科症例の自動ホログラフィック追跡を間もなく開始します。可動臓器は、機械学習アルゴリズムと RGB カメラ フィードに基づいて追跡されます。
概要
このプロトコルは、自由に動くファントムと拡張現実を使用したホログラフィック視覚化のための赤外線マーカー追跡の実装に関する包括的なガイドを提供します。また、電磁追跡を用いたホログラフィックナビゲーションシステムの臨床前検証のセットアップも詳述しています。
主要な研究要素
科学分野
- 神経科学
- 拡張現実
- 電磁追跡
背景
- 医療用途のための拡張現実システムの開発。
- 動く臓器とホログラムの位置合わせにおける課題。
- 既存の検証技術は主に固定構造に焦点を当てています。
- 動的な解剖学モデルに適用可能なプロトコルの必要性。
研究目的
- 動く臓器のための拡張現実の検証。
- ホログラフィックナビゲーションのための信頼性の高い追跡システムの作成。
- 医療画像検査の臨床前検証方法の強化。
使用方法
- 赤外線マーカー設計のための3D CADモデリング。
- 電磁追跡とホログラフィックディスプレイの統合。
- 3D Slicerを使用したランドマーク登録。
- 正確な追跡のための患者固有の3Dモデルの作成。
主要な結果
- 赤外線マーカーの成功した設計と実装。
- 動く臓器モデルとホログラムの正確な位置合わせ。
- リアルタイムの動作分析による追跡システムの検証。
- 臨床前設定でのプロトコルの有効性の実証。
結論
- このプロトコルは拡張現実を使用した動く臓器の効果的な追跡を可能にします。
- 動的な解剖学的視覚化における将来の研究の基礎を提供します。
- このアプローチによって臨床前検証技術の強化が達成されます。
よくある質問
Executive Industry Relevance
Reliable intraoperative tracking of free-moving soft tissues is a critical challenge for surgical navigation and AR-guided interventions. This protocol establishes a validated workflow for integrating real-time infrared tracking with holographic overlays, enabling quantitative assessment of spatial accuracy in dynamic preclinical models. The approach supports predictive confidence in surgical navigation technologies and informs translational development for next-generation image-guided procedures.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables quantitative hypothesis testing of AR-guided navigation accuracy in dynamic tissue models.
- Supports mechanistic de-risking by validating overlay precision for moving anatomical targets.
- Facilitates functional assessment of tracking technologies prior to clinical translation.
Screening & Assay Development
- Establishes reproducible, quantitative validation protocols for AR navigation systems using phantom models.
- Standardizes measurement of localization error to benchmark system performance.
- Prepares validated tracking workflows for downstream integration in surgical device development.
Translational & Preclinical Research
- Aligns preclinical validation with disease-relevant, semi-deformable organ models for translational continuity.
- Enables risk-adjusted advancement of AR navigation platforms based on quantitative accuracy metrics.
- Supports biomarker-aligned validation of spatial tracking in anatomically realistic settings.
Pipeline & Workflow Integration
This protocol bridges early discovery, preclinical validation, and translational development for AR-guided surgical navigation technologies.
- Discovery Biology: Provides a framework for hypothesis-driven testing of tracking and overlay accuracy in moving tissue models.
- Screening: Delivers standardized, quantitative readouts of localization error for system benchmarking.
- Analytics: Outputs precise spatial error metrics (e.g., Point Localization Error) to compare operator and system performance.
- Translational Research: Connects preclinical validation to clinical readiness by using anatomically relevant phantoms and quantitative endpoints.
- Enterprise Reuse: Offers a reusable validation methodology for diverse AR navigation and tracking platforms.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence in AR navigation accuracy for dynamic surgical environments.
- Operational Value: Standardizes validation workflows and enables reproducible, quantitative assessment across teams.
- Strategic Value: Informs go/no-go decisions for AR platform advancement based on robust preclinical data.
- Portfolio Impact: Supports risk-adjusted prioritization of navigation technologies with validated performance metrics.
Implementation Considerations
- Requires expertise in 3D modeling, AR application development, and quantitative validation protocols.
- Needs access to 3D CAD software, holographic head-mounted displays, and electromagnetic tracking systems.
- Demands cross-team standardization of phantom design, marker integration, and measurement procedures.
- Adaptation to different organ models or surgical contexts may require protocol customization.
- Accuracy is influenced by operator skill, marker placement, and environmental electromagnetic conditions.
