このコンテンツを表示するには、JoVEへの購読が必要です。 または、無料トライアルをお申し込みください。

方法論記事

拡張現実(AR)を用いた経カテーテル的大動脈弁置換術における自動手術

1.5K 回視聴

⸱

DOI:

10.3791/67096

⸱

2024年8月9日

 ,  , 
1School of Electronics Engineering, Vellore Institute of Technology, Vellore

この記事について

サマリー

この記事では、拡張現実(AR)ベースの3D再構成に基づく自動手術モジュールの設計と実装について説明します。このシステムは、外科医が再構築された特徴を検査し、手術の手の動きをあたかも近くで手術を行っているかのように再現できるようにすることで、遠隔手術を可能にします。

要約

拡張現実(AR)は、医療用途で高い需要があります。この論文の目的は、経カテーテル大動脈弁置換術 (TAVR) に AR を使用した自動手術を提供することです。TAVRは、開心術の代替医療処置です。TAVRは、カテーテルを使用して負傷した弁を新しい弁に交換します。既存のモデルでは、遠隔指導が行われていますが、ARによる手術の自動化は行われていません。この記事では、手術環境での画像キャプチャを自動化するために、モーターに接続された空間的に整列したカメラを展開しました。カメラは、カテーテルテストベッドとともに患者の心臓の2D高解像度画像を追跡します。これらのキャプチャされた画像は、モバイルアプリを使用して、心臓病学の専門家である遠隔外科医にアップロードされます。この画像は、2D画像トラッキングからの3D再構成に利用されます。これは、ラップトップのエミュレーターのように HoloLens に表示されます。外科医は、回転やスケーリングなどの追加の変換機能を使用して、3D再構築された画像をリモートで検査できます。これらの変換機能は、手のジェスチャによって有効になります。外科医のガイダンスは手術環境に送信され、リアルタイムのシナリオでプロセスが自動化されます。手術野のカテーテルテストベッドは、遠隔外科医の手のジェスチャーガイダンスによって制御されます。開発した試作モデルは、ARによる遠隔手術指導の有効性を実証しています。

概要

ARは、3Dモデルを現実世界の環境に重ね合わせることができます。ARに向けた技術開発は、教育1、医療2、ものづくり3、エンターテインメント4など、多くの分野でパラダイムシフトを起こしています。AR技術は、超高信頼性の低遅延通信とともに、医療分野での必然的な役割を証明しています。人体解剖学の学習段階から外科的指導まで、ARを利用したソフトウェア5,6とハードウェアを使用して学習段階を視覚化できます。ARは、外科環境7,8の医療従事者に重要で信頼性の高いソリューションを提供します。

大動脈弁狭窄症は、人類に最も多く見られる心臓弁膜症です9。この病気の根本的な原因は、貧しい食生活と日常生活の不規則なルーチンです。この疾患の症状と結果は、心臓弁の狭窄とそれに続く血流の減少です。この問題は、人間の心臓に損傷が生じる前に対処する必要があります。したがって、心臓は血流を処理するために過度の負担がかかります。したがって、損傷が発生する前に、手術を行う必要がありますが、これは最近の技術開発により、TAVR手順を使用して行うこともできます。この手順は、患者の心臓やその他の体の部分の状態に基づいて採用できます。このTAVR10,11では、カテーテルを挿入して心臓の損傷した弁を交換します。しかし、カテーテルの位置12をバルブと交換するために配置することは、施術者にとって面倒な作業である。このアイデアから、AR13,14 に基づく自動手術モデルを設計することになりました。これにより、外科医は置換プロセス中に弁を正確に配置できます。さらに、手術は、遠隔地からキャプチャされた外科医の動きをロボットアームにマッピングするモーションマッピングアルゴリズムによって実行できます。

既存の作品15、16、17では、TAVR18 の手順の視覚化が透視法を通じて監視されている。したがって、心臓弁を分析することは困難であり、交換場所を見つけるのは面倒です。これにより、カテーテルを人間の心臓に配置する際の障壁が設定されます。さらに、リモートモーションは手術野にマッピングされ、プロセスが自動化されます。しかし、この研究ギャップを克服するために、AR支援技術を用いたロボットによる弁置換術の自動化を提案します。

このプロトコルは、すべての手術環境に適用できる汎用モデルです。作業の初期段階では、手術環境全体の2D画像が、最大自由度の最大の空間分解能でキャプチャされます。これは、3D再構成19 の目的に十分な画像がキャプチャされ、続いてハンドジェスチャトラッキング20によるモーションマッピングが続くことを意味する。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

プロトコル

1.手術環境

  1. 図 1 に示すように、手術環境を設計します。物体を運ぶプラッター、ロボットアーム、2つの側面にぶら下がったアームがあり、1つはカメラのプレースホルダーを保持し、もう1つはバランスをとるための白い背景を持つように環境にあることを確認してください。
  2. ステップ 2.1 から 2.10 で説明したように、ライブ手術環境のスナップショット用と、ステップ 3.1 から 3.4 で説明したように、360° 監視をサポートする回転メカニズムを制御するための 2 つのドライバーを開発します。
  3. 上記の 2 つのモジュールを実装する前に、外科医の HoloLens エミュレーターとして機能するモバイル デバイスとラップトップの Bluetooth を有効にします。
  4. デバイスをペアリングして、中断のない画像伝送を実現します。

2. 2つの吊り下げアームを制御するためのドライバーのセットアップ

  1. 吊り下げアームがステッピングモーターによって制御されていることを確認 ステッピングモーター 図2 に示すような配置で、360°の完璧な回転を実現します。
  2. TB 6600ドライバーを使用してモーターをマイクロコントローラーボードに接続します。モーターを動作させるには、ブラウザからマイコンIDEをインストールします。
  3. [ ダウンロード ]ボタンをクリックして、ソフトウェアをダウンロードします。次に、マイクロコントローラIDEで、[ ファイル]>[新しいスケッチを開く ]に移動してコードを記述します。
  4. マイクロコントローラーボードを接続して、専用の接続ポート(COM 4など)を介して新しいスケッチとインターフェースするようにしてください。COMポートを確認し、マイクロコントローラボードが表示されていることを確認します。
  5. ステッピングモータードライバーTB6600のハードウェアスイッチ設定を確認してください。電流が2Aになるように設定し、SW4をONにし、SW5とSW6をOFFに設定することで実現できることを確認してください。
  6. SW1、SW2、およびSW3のスイッチ位置が、要件に従って回転ステップを達成するためにマイクロステップが1/8ステップになるように設定されていることを確認します。TB6600の設定がSW1 OFF、SW2 ON、およびSW3 OFFであることを確認してください。
  7. RTC 3231をマイクロコントローラに接続して、実際のグローバル時刻同期を実現します。回転ステップサイズが12°であること、およびモーターステップの増加がリアルタイムユニット、つまりRTCモジュールから読み取られた秒の数が奇数の場合にのみトリガーされることを確認してください。
  8. マイクロコントローラボードの5VピンをRTC VCCに接続し、マイクロコントローラのGNDをRTCのGNDに接続します。
  9. RTCのSCLピンをA0ピンに、SDAをマイコンのA1ピンに接続します。このモジュールは、12°のステップサイズを確保でき、1回転で30ステップを行います。ステップの増分が奇数秒ごとに発生することを確認します。このソフトウェアモジュールにステッピングモーター21を駆動させます。
  10. GitHub ページ (https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR) で入手できるコードを実行して、セットアップが正しく機能していることを確認します。
  11. Android Studioをダウンロードして、自動カメラアプリを開発します。システム要件が満たされていることを確認してから、Webサイトからソフトウェアをダウンロードします。

3. クライアントモジュールとして、モバイルベースの現場監視・画像伝送用ドライバを開発

  1. Androidオペレーティングシステムで、特に秒が奇数の場合に2秒ごとにスナップショットを撮ることができるカメラアプリケーションを開発します。
  2. 携帯電話をシステムに接続します。Android Studio で [New] > [New Project ] をクリックし、[ Empty Views Activity] を選択します。 [次へ ] をクリックして、https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR から入手できる Android コードを作成します。
  3. アプリが画像を自動的にキャプチャし、一貫してリモート デバイスに送信することを確認します。
  4. スナップショットを撮影した直後に、モバイルアプリからペアリングされたデバイス、つまり遠隔外科医のシステムにBluetooth経由でスナップショットを送信します。
    注: セクション 2 と 3 で説明したモジュールが、偶数秒ごとに 1 つ、奇数秒ごとに 1 つが時間同期して実行されていることを確認してください。

4. 監視画像を受信して処理するクライアントモジュールの開発

  1. グラフィカル・ユーザー・インターフェースであるサーバー・モジュールを開きます。
  2. テキストフィールドに VVID ポート番号を入力します。デフォルト値は 94f39d29 7d6d 437d 973b fba39e49d4ee です。
  3. [ソケットの作成] をクリックして、ソケットを作成してバインドします。[接続]をクリックして、モバイルアプリとの接続を確立します。
  4. キャプチャをクリックして、シーンの監視画像をキャプチャし、ローカルフォルダに保存します
  5. フィールド フォルダ名にローカル フォルダ名を入力します (記載されているデフォルト名以外にする必要がある場合)。

5. ロボットアームの操作

  1. クライアントモジュールにロボットアームも含めるようにします。腕の付け根、肩、肘、手首、指が回転するように腕を設計します。
  2. MG 996Rサーボがベース、肩、肘の回転運動を制御するために使用されていることを確認してください。SG 90サーボモーターを使用して、肘と指の回転運動を制御していることを確認します。
  3. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR で指定されたコードをマイクロコントローラIDEでコンパイルし、遠隔外科医から受信したコマンドに基づいてロボットアームを駆動します。

拡張現実のための6. 3D再構築

  1. 一度に 2 つの画像をローカル フォルダーから 1 つずつ順番に読み取って、それらの間のオーバーラップの可能性 (画像が近接して収集されるため、連続する画像間にオーバーラップが発生します) を取得します。
  2. Directional Intensified Feature Description の要件に従って、Tertiary Filtering22 (DITF) アルゴリズムを使用して Tertiary フィルターを設計し、勾配と向きを取得します。
  3. 図3に示すように、DITFメソッド22を使用して特徴を抽出します。
  4. SFM23 を使用して、収集したフィーチャから 3D 画像を再構築します。

7.外科医の位置での手のジェスチャー認識

  1. 外科医は、手のジェスチャーベースの回転と再構築された特徴のズームイン/ズームアウトを提供することにより、あらゆる視点から環境を視覚化できるようにすることで、3D再構築画像の特徴を検査することを容易にします。
  2. 外科医の親指の先端と右手の人差し指の間の距離を正規化し、対応する回転角度にマッピングします。正規化は、最小距離が0°に対応し、最大距離が180°に対応するようにします。
  3. ハンドジェスチャーコントロールをBluetooth経由で遠隔手術環境に送信し、オブジェクトプラッターの回転により、3D再構築された形状が外科医の側で回転するときに、オブジェクトのプラッターがその軸を中心に回転します。
  4. 外科医の左手の先端と親指の間の距離を見つけて、ロボットアームの指の動きを制御します。
  5. 外科医の左手の親指の先端と人差し指の間の仮想的なx-y接地面に対する空間距離から仰角を測定して、仰角を決定します。この角度を、ロボット アームが x-y 平面で作成できる仰角にマップします。
  6. 外科医の手が仮想のy-z平面の手と作る方位角を見つけます。これらの角度は、手のジェスチャベースの認識によって識別されます。
  7. 距離、仰角、方位角をマッピングして、ロボットの指の動きと腕の回転を制御します。これらはどちらも仰角と方位角に対応します。
  8. 外科医に、ズームと回転によって再構築された特徴を検査させます。外科医がロボットアームにコマンドを送信して、遠隔地から手術を行うことができます。
  9. 手術コマンドが、文字列の同時発生から始まり、プラッターの回転とロボットアームコントローラーを制御するための値が続くシーケンスの制御文字列として送信されることを確認してください。[θb, θs, θe, θw, θf] を、ロボットアームの基部、肩、肘、手首、および指に対応する制御信号に対応する値で構成されるベクトルの角度とします。
    注:GitHubリンクには、手術現場でハンドジェスチャ制御を有効にするためのコードが記載されています。https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

結果

プロトコルは、心臓ファントムモデルでテストされました。 図2 は、空間的に分散したカメラを使用した術野のライブ監視に期待されるセットアップを示しています。 図 2 に示すように、分散カメラは、フィールドの空間分解能を向上させ、効果的な 3D 再構成に役立ちます。ただし、これらのカメラをさまざまな空間場所に物理的に配置するには、複雑さが伴います。そこで、セットアップ設計を最適化し、TB6600ドライバーによって駆動されるNEMAモーターによって回転する空間的に自己指向のカメラ配置のソリューションを考え出しました。この構造は実現可能であり、モデルに実装されており、 同じことが図 1 に示されています。

図 1 では、カメラの自動スナップショットとそれに続く Bluetooth プロトコルによる送信は、Android コードによって制御されています。こ...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

ディスカッション

既存の研究15では、X線およびCTスキャンを検査して、心臓内のカテーテルの位置を特定する。しかし、AR TAVRの置換は、3D再構成を使用した自動モデルの実装により、TAVR18の外科的処置に新たな可能性を確立します。プロトコルのセクションで述べたように、この作業には設計するための5つの段階があります。前回の研究22で提案したセクション6で言及したDITF22の第1段階は、モデルを医療用途に組み込む方法で強化されています。3D再構築の第2段階は、2Dポイントから3Dモデルを構築するという困難な作業です。モデルを検証するために、さまざまな入力画像を使用してモデルをテストしました。SFM23は、画像の再構築に採用されています。画像の対応は、キャリブレーションマトリックスとともにDITF22を使用して測定されます。次の段階は、手のジェスチャートラッキングです。...

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

開示事項

著者は、利益相反を宣言しません。

謝辞

著者らは、この研究に対する資金提供がないことを認めています。

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
アンドロイドIDEソフトウェアhttps://developer.android.com/studioソフトウェアは、このリンクからダウンロードできます
ArduinoボードArdunio UnoArdunio Uno
arduinoソフトウェアソフトウェアを処理するための https://www.arduino.cc/en/software。ソフトウェアは、このリンクからダウンロードできます
人間の心臓ファントムモデル生物学実験装置メーカーおよび輸出業者B071YBLX2V(8B-ZB2Q-H3MS-1)心臓の深い分析に3つの部分を備えた軽量モデル。
モバイルホルダー謙虚なユニバーサルモノポッドホルダーB07S9KNGVS手術現場でモバイルを運ぶために
pycharmIDEソフトウェアhttps://www.jetbrains.com/pycharm/ソフトウェアはこのリンクからダウンロードできます
ロボットアームPrinted-botsB08R2JLKYM(P0-E2UT-JSOU)アームは制御を通じて制御することができます signal.it アクセスする自由度が5つあります。
サーボモーターKollmorgen Co-Engineers MotorsMG-966R高トルクサーボモーター、サーボパルス 500 〜 2500マイクロ秒 (µs)、周波数は50Hzから333Hzです。
サーボモーターKollmorgen Co-Engineers SG-90Rサーボには、1.8kg-cmから2.5kg-cmの荷重がかかるモーターSG-90Rが装着できます。
ステッピングモーター28BYJ-4828BYJ-48ステッピングモーター、5V DC、100 Hz周波数、トルク1200 Gf.cm
ステッピングモーターNema 23Nemaステパーモーター、9V - 42 V DC、100Hz周波数
マイクロコントローラ

参考文献

  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223(2024).
  3. Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664(2024).
  4. Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
  5. Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
  6. Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618(2020).
  7. Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02(2023).
  8. Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
  9. Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604(2024).
  10. Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
  11. Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
  12. Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
  13. Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
  14. Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
  15. de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
  16. Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569(2023).
  17. Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483(2023).
  18. Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
  19. Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529(2023).
  20. Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838(2023).
  21. Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
  22. Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311(2023).
  23. Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366(2022).
  24. Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
  25. Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).

アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。

再版と許可

さらに記事を探す

拡張現実手術遠隔手術指導3D再構成ロボットアーム制御ハンドジェスチャー制御リアルタイム同期特徴抽出カテーテルテストベッド遠隔診療手術
拡張現実(AR)を用いた経カテーテル的大動脈弁置換術における自動手術
お問い合わせ
図書館に推薦する

プライバシー

利用規約

ポリシー

著作権 © 2026 MyJoVE Corporation. 無断転載を禁じます。