この記事では、拡張現実(AR)ベースの3D再構成に基づく自動手術モジュールの設計と実装について説明します。このシステムは、外科医が再構築された特徴を検査し、手術の手の動きをあたかも近くで手術を行っているかのように再現できるようにすることで、遠隔手術を可能にします。
Method Article
この記事では、拡張現実(AR)ベースの3D再構成に基づく自動手術モジュールの設計と実装について説明します。このシステムは、外科医が再構築された特徴を検査し、手術の手の動きをあたかも近くで手術を行っているかのように再現できるようにすることで、遠隔手術を可能にします。
拡張現実(AR)は、医療用途で高い需要があります。この論文の目的は、経カテーテル大動脈弁置換術 (TAVR) に AR を使用した自動手術を提供することです。TAVRは、開心術の代替医療処置です。TAVRは、カテーテルを使用して負傷した弁を新しい弁に交換します。既存のモデルでは、遠隔指導が行われていますが、ARによる手術の自動化は行われていません。この記事では、手術環境での画像キャプチャを自動化するために、モーターに接続された空間的に整列したカメラを展開しました。カメラは、カテーテルテストベッドとともに患者の心臓の2D高解像度画像を追跡します。これらのキャプチャされた画像は、モバイルアプリを使用して、心臓病学の専門家である遠隔外科医にアップロードされます。この画像は、2D画像トラッキングからの3D再構成に利用されます。これは、ラップトップのエミュレーターのように HoloLens に表示されます。外科医は、回転やスケーリングなどの追加の変換機能を使用して、3D再構築された画像をリモートで検査できます。これらの変換機能は、手のジェスチャによって有効になります。外科医のガイダンスは手術環境に送信され、リアルタイムのシナリオでプロセスが自動化されます。手術野のカテーテルテストベッドは、遠隔外科医の手のジェスチャーガイダンスによって制御されます。開発した試作モデルは、ARによる遠隔手術指導の有効性を実証しています。
ARは、3Dモデルを現実世界の環境に重ね合わせることができます。ARに向けた技術開発は、教育1、医療2、ものづくり3、エンターテインメント4など、多くの分野でパラダイムシフトを起こしています。AR技術は、超高信頼性の低遅延通信とともに、医療分野での必然的な役割を証明しています。人体解剖学の学習段階から外科的指導まで、ARを利用したソフトウェア5,6とハードウェアを使用して学習段階を視覚化できます。ARは、外科環境7,8の医療従事者に重要で信頼性の高いソリューションを提供します。
大動脈弁狭窄症は、人類に最も多く見られる心臓弁膜症です9。この病気の根本的な原因は、貧しい食生活と日常生活の不規則なルーチンです。この疾患の症状と結果は、心臓弁の狭窄とそれに続く血流の減少です。この問題は、人間の心臓に損傷が生じる前に対処する必要があります。したがって、心臓は血流を処理するために過度の負担がかかります。したがって、損傷が発生する前に、手術を行う必要がありますが、これは最近の技術開発により、TAVR手順を使用して行うこともできます。この手順は、患者の心臓やその他の体の部分の状態に基づいて採用できます。このTAVR10,11では、カテーテルを挿入して心臓の損傷した弁を交換します。しかし、カテーテルの位置12をバルブと交換するために配置することは、施術者にとって面倒な作業である。このアイデアから、AR13,14 に基づく自動手術モデルを設計することになりました。これにより、外科医は置換プロセス中に弁を正確に配置できます。さらに、手術は、遠隔地からキャプチャされた外科医の動きをロボットアームにマッピングするモーションマッピングアルゴリズムによって実行できます。
既存の作品15、16、17では、TAVR18 の手順の視覚化が透視法を通じて監視されている。したがって、心臓弁を分析することは困難であり、交換場所を見つけるのは面倒です。これにより、カテーテルを人間の心臓に配置する際の障壁が設定されます。さらに、リモートモーションは手術野にマッピングされ、プロセスが自動化されます。しかし、この研究ギャップを克服するために、AR支援技術を用いたロボットによる弁置換術の自動化を提案します。
このプロトコルは、すべての手術環境に適用できる汎用モデルです。作業の初期段階では、手術環境全体の2D画像が、最大自由度の最大の空間分解能でキャプチャされます。これは、3D再構成19 の目的に十分な画像がキャプチャされ、続いてハンドジェスチャトラッキング20によるモーションマッピングが続くことを意味する。
1.手術環境
2. 2つの吊り下げアームを制御するためのドライバーのセットアップ
3. クライアントモジュールとして、モバイルベースの現場監視・画像伝送用ドライバを開発
4. 監視画像を受信して処理するクライアントモジュールの開発
5. ロボットアームの操作
拡張現実のための6. 3D再構築
7.外科医の位置での手のジェスチャー認識
プロトコルは、心臓ファントムモデルでテストされました。 図2 は、空間的に分散したカメラを使用した術野のライブ監視に期待されるセットアップを示しています。 図 2 に示すように、分散カメラは、フィールドの空間分解能を向上させ、効果的な 3D 再構成に役立ちます。ただし、これらのカメラをさまざまな空間場所に物理的に配置するには、複雑さが伴います。そこで、セットアップ設計を最適化し、TB6600ドライバーによって駆動されるNEMAモーターによって回転する空間的に自己指向のカメラ配置のソリューションを考え出しました。この構造は実現可能であり、モデルに実装されており、 同じことが図 1 に示されています。
図 1 では、カメラの自動スナップショットとそれに続く Bluetooth プロトコルによる送信は、Android コードによって制御されています。このモジュールは、セクション 3 で述べたように、キャプチャが奇数秒ごとに 1 回行われ、その送信が偶数秒ごとに 1 回行われるように構成されています。NEMAモーターとインターフェースするマイクロコントローラモジュールは、1秒に1回、構造物を回転させるため、ぼやけのない写真撮影に十分な時間が保証されます。つまり、合計30枚の写真が360°回転して撮影され、Bluetoothを使用して送信されます。
また、 図1には、手術環境のDITF記述子の3D再構成ビューが示されています。これらの記述子ベースの再構成は、手の動きマッピングを通じてズームと回転によって外科医によって検査できることに注意する必要があります。また、これらの動きは手術環境に送られて手術を模倣し、カテーテルを実際のフィールドに挿入できるようにします。モーションマッピングは、ロボットパーツ(ベース、肩、肘、手首、グリッパー、指)を制御するために6つの異なる角度にマッピングされるように行われます。これらの角度は、ベクトル形式で [θb, θs, θe, θw, θf] として表されます。与えられたベクトルでは、値 θpは、人間のオブジェクトのプラッターを回転させるモーション マッピングに対応します。同じ θpは、HoloLens エミュレーターに表示される記述子の向きを外科医の側にも向けるために使用されます。
図3は、3D再構成に不可欠なステップであるファントムモデルのDITF機能を示しています。抽出された特徴に基づいて、対応が画像マッチングで識別されます。参照画像と45°回転のさまざまな結果との対応関係を図4に示します。異なる色との対応は、画像の表示方向が異なる場合でも、類似した特徴を識別して一致させることの有効性を明確に示しています。 図5にはモーションマッピングの精度が含まれており、2本の指の間の距離が短い場合、精度が高いことを示しています。しかし、指と指の距離が長くなると、精度は低下し始めます。
一方、ARではモデルがデータを処理するのにかかる時間が重要です。したがって、このパラメータは、提案されたモデルの検証のために含まれており、画像を処理するための時間遅延が測定され、その結果は、Oriented FAST and rotated BRIEF(ORB)24 およびBoosted Efficient Binary Local Image Descriptor(BEBLID)25などの既存のアルゴリズムで検証されます。その結果、DITFは、 図6に示すように、レイテンシの点でORBやBEBRIDなどの既存のモデルを上回っていることがわかります。それに加えて、3D再構成モデルは再構成誤差で検証され、 図7 に示す図はヒストグラムが狭いことを示しており、再構成誤差が最小限であることを意味します。これは、提案されたアルゴリズムの再構築が検証および検証されていることを示しています。 図8 は、提案モデルの3D再構成の出力を示しています。これは視覚化の明瞭さを反映しており、画像の定量的結果もプロットを使用して検証されます。これらの結果は、提案モデルが回転変換で必要なすべての特徴を抽出し、3Dモデルを再構築したことを証明しています。したがって、遠隔地の専門家は、手術野を正確に視覚化し、制御することができます。

図1:拡張現実(AR)を使用した経カテーテル大動脈弁置換術自動手術のためのハードウェアセットアップの実装(A)ライブモニタリングシステムを備えた手術フィールド。(b)拡張現実ベースの視覚化。この図の拡大版を表示するには、ここをクリックしてください。

図2:手術環境の予想モデル。 示されているモデルには、空間的に分散したカメラセンサーを使用した手術環境のライブ監視が装備されています。 この図の拡大版を表示するには、ここをクリックしてください。

図3:手術テストベッドに置かれた人間の心臓のモデルと、特徴記述子アルゴリズムを使用して抽出された特徴。 (A)入力心ファントムモデル。(B)心ファントムモデルの三次フィルタリング特徴抽出を使用した指向性強化特徴の記述。 この図の拡大版を表示するには、ここをクリックしてください。

図4:2つの画像特徴間の特徴マッチング (A)心ファントムモデルの三次フィルタリング特徴抽出を使用した方向強化特徴の説明。(B)45°回転心ファントムモデルの三次フィルタリング特徴抽出を使用した指向性強化特徴の説明。線は、2つの異なる向きでの類似した画像の特徴間の対応を示しています。線の色は、選択したさまざまなフィーチャを示します。 この図の拡大版を表示するには、ここをクリックしてください。

図5:手のジェスチャートラッキングの精度。 この図は、精度の割合を示しています。サンプル番号(N)は500に選択されます。モーションマッピングは500回行われ、その中から正しいマップの数が見つかります。次に、精度は、正しいマッピングとサンプルの総数との間の比率として計算されます。 この図の拡大版を表示するには、ここをクリックしてください。

図6:Oriented FASTと回転BRIEFおよびBoosted Efficient Binary Local Image Descriptor Algorithmによる三次フィルタリングを使用した、指向性強度のある特徴記述のレイテンシ。レイテンシ (画像から特徴を抽出するのにかかる時間) がプロットされます。Nを500に選択したのは、時間遅延の計算が500回以上行われてから平均されることを意味します。この手順は、3つのアルゴリズムに対して行われ、プロットされます。この図の拡大版を表示するには、ここをクリックしてください。

図7:提案モデルの再構成誤差分布。 再構築誤差とは、その特徴から再構築された3D画像と元の画像との間の誤差です。エラープロットは、特定のイベントの発生回数を示すヒストグラムです。エラーが 0 の場合、カウントは最大になり、どちらの側でも減衰します。これは望ましい結果です。この図は、ヒストグラムの分散(正規密度)が小さいため、平均(0)からの誤差がどちらの方向にもあまり広がっていないことを示しています。 この図の拡大版を表示するには、ここをクリックしてください。

図8:心臓モデルの3D再構成。 各色付きのドットは、対応するフィーチャから 3D 再構築されたポイントを示します。現時点では、フィーチャ再構築アルゴリズムによって色が正規化され、それによって他のフィーチャが色付けされます。 この図の拡大版を表示するには、ここをクリックしてください。
既存の研究15では、X線およびCTスキャンを検査して、心臓内のカテーテルの位置を特定する。しかし、AR TAVRの置換は、3D再構成を使用した自動モデルの実装により、TAVR18の外科的処置に新たな可能性を確立します。プロトコルのセクションで述べたように、この作業には設計するための5つの段階があります。前回の研究22で提案したセクション6で言及したDITF22の第1段階は、モデルを医療用途に組み込む方法で強化されています。3D再構築の第2段階は、2Dポイントから3Dモデルを構築するという困難な作業です。モデルを検証するために、さまざまな入力画像を使用してモデルをテストしました。SFM23は、画像の再構築に採用されています。画像の対応は、キャリブレーションマトリックスとともにDITF22を使用して測定されます。次の段階は、手のジェスチャートラッキングです。3D再構成におけるハンドジェスチャコントロールのインターフェースも、リアルタイムでは難しい作業です。スケーリングコントロールと回転のバリエーションは、リモートの専門家が3Dモデルに簡単にアクセスできるように、手のジェスチャーで埋め込まれています。第 4 段階はモバイル アプリの作成で、自動画像キャプチャのセクション 3 で説明しています。このアプリは、データを3Dモデルとしてリモートエキスパートにロードします。最終段階はハードウェアのセットアップで、図1に示すように、損傷した心臓の弁を交換するためにカテーテルを自動的に挿入するロボットアームを備えた心臓ファントムモデルを使用してデモンストレーションされます。
開発した手法は、拡張現実(AR)と特徴抽出を用いて、手術環境の現場監視から遠隔手術を行うことを目指すものである。この記事で提案されている重要な貢献は、私たちの知る限りでは文献には見られません。開発された手法は、特徴量から3D画像を再構成するための低遅延です。また、この方法では、再構築された特徴と元の画像との間の誤差が非常に小さくなっています。この遅延とエラーを それぞれ図 6 と 図 7 に示します。また、この図は、他のアルゴリズム、すなわちORB24 とBEBLID25 が提案手法よりも標準以下であることを示しています。
この手法の開発で直面した課題は、モバイルアプリとリモートサーバー間のBluetoothプロトコルベースの伝送です。シーンのキャプチャと送信は2秒ごとに完了する必要があるため、超高速通信が必要でした。多くの場合、ソケットが壊れてしまい、スムーズな処理のために多くの例外処理と並列ルーチン管理が必要でした。それに加えて、メソッドの開発と実装中にいくつかの問題に直面しました。
ただし、それらを解決するためのトラブルシューティング手法がいくつかあります。Bluetooth通信では、正しいチャネルまたはVVIDポート番号を選択する必要があります。また、先に進む前に、両端のBluetoothデバイスの切り替えを確認する必要があります。マイクロプロセッサによるロボットアームと吊り下げ回転アームの駆動ルーチンについては、シリアル通信用のポート番号を確保する必要があります。NEMAとサーボモーターを考慮して、モータードライバーの接続を適切に確保する必要があります。適切に行われないと、ドライバーへの接続が間違っても、NEMAモーターは望ましくない方法で回転します。NEMAモーターの2つのコイルのリード線を適切に識別する必要があります。そうしないと、ドライバーとの接続が望ましくない方法で回転したり、モーターが損傷したりする可能性があります。重さ約1kgの回転アームの吊り下げを支えるカプラーの設計は、課題でした。そこで、モーターの軸に直径1mmの穴を開けました。モバイルデバイスの重量を含め、アームの両側のバランスをとることも課題です。そうしないと、構造物が地面を引きずり、モーターシャフトから構造物が引き裂かれたり引き下げられたりする可能性があります。ロボットアームのベース、肩、肘、手首、および指に適切にねじ込む必要があります。そうしないと、回転してウェイトを持ち上げたときにパーツが落下する可能性があります。2つのモジュールの並列実行は、適切なPython環境を設定し、スムーズな作業のために異なるスレッドを並列に実行することで対処する必要があります。
その結果、提案された自動TAVR18 モデルは、ARでの外科的ガイダンスに有効な方法であると結論付けられています。この提案されたモデルは、医療専門家の指導に従って、このプロトタイプを医療分野のあらゆる手術に柔軟に適用できます。学習ベースのモデルは、3D再構成を改善する可能性があります。3Dモデルを再構築するには、良好な照明画像を持つ複数のビューを入力として指定する必要があります。ただし、これは将来対処できます。 また、将来的には、5G通信をベースとした伝送を開発して、低遅延で超高信頼性の通信を確保し、ミスレスでスムーズな運用を実現したいと考えています。また、現在使用しているエミュレータではなく、ARデバイスを自社で開発したいと考えています。これにより、ライブの手術環境での3Dモデルの視覚化を向上させることができます。
著者は、利益相反を宣言しません。
著者らは、この研究に対する資金提供がないことを認めています。
| Name | Company | Catalog Number | Comments |
|---|---|---|---|
| アンドロイド | IDEソフトウェア | https://developer.android.com/studio | ソフトウェアは、このリンクからダウンロードできます |
| Arduinoボード | Ardunio Uno | Ardunio Uno | |
| arduinoソフトウェア | ソフトウェア | を処理するための https://www.arduino.cc/en/software。 | ソフトウェアは、このリンクからダウンロードできます |
| 人間の心臓ファントムモデル | 生物学実験装置メーカーおよび輸出業者 | B071YBLX2V(8B-ZB2Q-H3MS-1) | 心臓の深い分析に3つの部分を備えた軽量モデル。 |
| モバイルホルダー | 謙虚なユニバーサルモノポッドホルダー | B07S9KNGVS | 手術現場でモバイルを運ぶために |
| pycharm | IDEソフトウェア | https://www.jetbrains.com/pycharm/ | ソフトウェアはこのリンクからダウンロードできます |
| ロボットアーム | Printed-bots | B08R2JLKYM(P0-E2UT-JSOU) | アームは制御を通じて制御することができます signal.it アクセスする自由度が5つあります。 |
| サーボモーター | Kollmorgen Co-Engineers Motors | MG-966R | 高トルクサーボモーター、サーボパルス 500 〜 2500マイクロ秒 (µs)、周波数は50Hzから333Hzです。 |
| サーボモーター | Kollmorgen Co-Engineers | SG-90Rサーボには、1.8kg-cmから2.5kg-cmの荷重がかかるモーターSG-90Rが装着できます。 | |
| ステッピング | モーター28BYJ-48 | 28BYJ-48 | ステッピングモーター、5V DC、100 Hz周波数、トルク1200 Gf.cm |
| ステッピング | モーターNema 23 | Nema | ステパーモーター、9V - 42 V DC、100Hz周波数 |
Request permission to reuse the text or figures of this JoVE article
Request Permission