拡張現実と3Dプリンティングを組み合わせてスマートフォンに患者モデルを表示

このプロトコルは、経験の浅いユーザーに、自分のスマートフォンアプリの構築を通じて医療分野に拡張現実ソリューションをもたらすツールを提供します。この方法は、拡張現実と3D印刷を組み合わせることで、3Dプリントされたリファレンスマーカーの上に基づいてデータを基に作成された3Dモデルを素早く簡単に視覚化できます。この技術は、3Dプリントされた参照を患者に厳密に取り付けることができるあらゆる医療シナリオに適用することができる。

ターゲットと患者を改善することができるデータローカリゼーションの基礎から作成された視覚的な3Dモデルの可視化 このプロトコルは、医療分野での拡張現実の使用を支援するために、医療画像やソフトウェア開発の予備知識を持たないユーザーのために特別に設計されています。患者の解剖学の3Dモデルを作成するには、最初に医療画像ファイルを3Dスライサーソフトウェアウィンドウに追跡し、[OK]をクリックします。患者の解剖学を分割するには、3Dスライサーのセグメントエディタモジュールに移動します。セグメンテーションアイテムは、モジュールの入力時に自動的に作成されます。

マスターボリュームセクションで目的のボリュームを選択し、イメージの下を右クリックして[追加]を選択してセグメントを作成します。効果パネルで、ターゲットに最も便利なツールを選択し、患者の医療画像をセグメント化します。セグメンテーションを 3D モデル ファイル形式でエクスポートするには、セグメンテーション モジュールを開きます。

[エクスポート/インポート モデルおよびラベルマップ]で、[エクスポート]および[モデル]を選択し、[エクスポート]をクリックして、セグメント化された領域から 3D モデルを作成します。保存をクリックし、保存する要素を選択します。次に、3D モデルのファイル形式を OBJ に変更します。

セグメンテーションを繰り返して、異なる解剖学的領域の追加の3Dモデルを作成することができます。拡張現実マーカーに関する任意の位置での 3D 患者モデルの位置指定については、AR Health モデル位置モジュールを開き、視覚化モードを選択します。[マーカー モデルのロード] をクリックしてこのオプションのマーカーをロードし、省略記号ボタンをクリックして保存した 3D モデルのパスを選択し、モデルをロードして 3D スライサーにモデルをロードします。

[完了]をクリックし、マーカー内のすべてのモデルを中央に配置します。スライド バーを使用して、マーカーに対する 3D モデルの位置、方向、およびスケーリングを調整します。次に、ファイルを保存するパスを選択し、[モデルを保存]をクリックして、この位置にモデルを保存します。

拡張現実マーカーと 3D バイオモデルを任意の位置に結合するには、AR Health モデル位置モジュールを開き、初期化セクションで登録モードを選択します。[マーカー モデルのロード] をクリックしてこのオプションのマーカーをロードし、3D モデルが立方体マーカーの支持構造と交差するまで移動し、必要に応じてマーカー ベースの高さを変更します。この位置にモデルを保存するには、ファイルを保存するパスを選択し、[モデルを保存]をクリックします。

解剖モデルが大きすぎる場合は、メッシュミキサーソフトウェアでキューブマーカーモデルのバイオモデルと支持構造をロードします。オブジェクト ブラウザ ウィンドウで両方のモデルを選択してモデルを結合し、編集メニューのプレーン カット ツールを使用して、3D プリントされないモデルの不要なセクションを削除します。3D プリントするモデルを保存するには、ファイルを選択してエクスポートし、目的の形式を選択します。

最終的な拡張現実アプリケーションに必要な物理モデルを 3D 印刷するには、3D 印刷ソフトウェアで、TwoColorCuebMarker_whiteの白色の素材を選択します。obj ファイルとTwoColorCubeMarker_whiteの黒色のマテリアル。obj ファイル。

次に、デュアル押出機3Dプリンタを使用して、小さなレイヤーの高さで高品質モードで黒と白で立方体マーカーを3Dプリントします。3D モデルを含む Unity Engine でスマートフォン アプリを設計するには、Vuforia デベロッパーを開いてアカウントを作成します。無償開発ライセンス キーを取得するには、[開発キーの取得] を選択し、ライセンス マネージャーのメニューでキーを選択してコピーします。

スマートフォンを設定するには、Unity バージョン 2019 アプリケーションで、ファイル メニューのビルド設定で、デバイスに適したプラットフォームを選択します。Vuforia をプロジェクトに入れられるようにするには、編集、プロジェクト設定、プレーヤー設定、XR 設定を選択し、Vuforia 拡張現実サポートのラベルの付いたチェックボックスをオンにします。拡張現実カメラを作成するには、メニューバー、ゲームオブジェクト、Vuforiaエンジン、ARカメラを選択し、プロンプトが表示されたらVuforiaコンポーネントをインポートします。

Vuforia の構成設定に Vuforia ライセンス キーを追加するには、リソース フォルダーを選択し、Vuforia の構成をクリックして、ライセンス キーをアプリ のライセンス キー セクションに貼り付けます。Vuforiaがマーカーを検出するために必要なファイルを含むVuforiaターゲットファイルをUnityにインポートし、メニューバー、ゲームオブジェクト、Vuforiaエンジン、マルチ画像を選択してVuforiaマルチターゲットを作成します。マルチ ターゲットをクリックして検出に使用するマーカーの種類を選択し、マルチ ターゲットの動作のデータベース オプションで[ARHealth_3dPrintedCube_30x30x30] を選択します。

マルチターゲットの動作の[マルチターゲット]オプションで、マーカーに応じて[2色キューブマーカー]または[ステッカーキューブマーカー]を選択します。3D モデルをモデル フォルダにドラッグし、マルチターゲット アイテムの下にフォルダをドラッグします。モデルは Unity 3D ビュー シーンに表示されます。

3D モデルの色を変更するには、新しいマテリアルを作成し、新しいマテリアルをモデルに割り当てます。Web カメラが利用可能な場合は、[再生] をクリックして、コンピューター上でアプリケーションをテストします。マーカーが Web カメラに表示されている場合は、マーカーが検出され、3D モデルがシーンに表示されます。

Android スマートフォンをアプリ開発に使用する場合は、Unity でビルド設定を選択し、リストから接続された電話機を選択します。その後、apk拡張子を付けてファイルを保存し、プロセスを終了させます。アプリが iOS デバイスに展開される場合は、ビルド設定でファイルを選択し、ファイルを保存します。

アプリを視覚化するには、スマートフォンでアプリを開き、スマートフォンのカメラを使用して、最低40センチメートルの距離でアプリ内からマーカーを見ます。アプリがマーカーを検出すると、以前に作成した3Dモデルが、手順中に定義された正確な位置にスマートフォン画面に表示されます。実証された方法を用いて、遠位脚肉腫および腫瘍に罹患した患者からの罹患した脛骨および脛骨のこの部分を、患者のCTスキャンからセグメント化した。

セグメンテーションツールを使用して、骨に1つのバイオモデルを作成し、腫瘍に対して1つのバイオモデルを作成しました。視覚化モードでは、モデルはマーカーの上のフェーズに中央揃えされていました。登録モードでは、マーカーアダプタを脛刺に配置し、脛部の小さな部分を3Dマーカーアダプタで3Dプリントするように選択しました。

ポリ乳酸は、3Dプリントマーカー、マーカーホルダーベース、骨切片を作成するために使用できます。ここでは、マーカーがビジュアライゼーションモード3Dプリントベースにアタッチされ、ここでは登録モード3Dプリントバイオモデルで添付ファイルが表示されます。この表現は、以前に定義されたように、ホログラムがキューブの上部に正確に配置された視覚化モードでアプリがどのように動作するかを示しています。

登録モードでは、完全なボーンモデルは、骨部位のマーカーの明確で現実的な視覚化を用いて、3Dプリントされたセクションの上に配置することができます。拡張現実を使用して重要な患者情報を視覚化するには、3Dプリンタやスマートフォンへのアクセスだけでなく、自由に利用できるいくつかのソフトウェアツールが必要です。この手順は、医療画像から得られる任意のモデルに適用することができる。

その使用は、針の挿入の放射線療法の位置のような他の介入に拡張することができる。私たちは今、この開発の応用を筋形外科手術や整形外科手術を含む新しい臨床分野に拡大しています。私たちの最初の研究は有望であり、外科医のフィードバックは非常に肯定的です。