Name: 拡張現実(AR)を用いた経カテーテル的大動脈弁置換術における自動手術 (動画) | JoVE Journal
Uploaded: 2024-08-09T14:25:00.000+00:00
Duration: 7 min 46 s
Description: 学ぶ拡張現実とロボティクスを用いた自動遠隔手術システム。リアルタイム3D再構成と特徴抽出により、外科医の視覚化と精密制御を向上させ、低遅延通信で手術精度を高める革新的アプローチです。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

著者らは、この研究に対する資金提供がないことを認めています。

1.手術環境
<ol><li>図 1 に示すように、手術環境を設計します。物体を運ぶプラッター、ロボットアーム、2つの側面にぶら下がったアームがあり、1つはカメラのプレースホルダーを保持し、もう1つはバランスをとるための白い背景を持つように環境にあることを確認してください。</li>
	<li>ステップ 2.1 から 2.10 で説明したように、ライブ手術環境のスナップショット用と、ステップ 3.1 から 3.4 で説明したように、360° 監視をサポートする回転メカニズムを制御するための 2 つのドライバーを開発します。</li>
	<li>上記の 2 つのモジュールを実装する前に、外科医の HoloLens エミュレーターとして機能するモバイル デバイスとラップトップの Bluetooth を有効にします。</li>
	<li>デバイスをペアリングして、中断のない画像伝送を実現します。</li>
</ol>2. 2つの吊り下げアームを制御するためのドライバーのセットアップ
<ol><li>吊り下げアームがステッピングモーターによって制御されていることを確認 ステッピングモーター 図2 に示すような配置で、360°の完璧な回転を実現します。</li>
	<li>TB 6600ドライバーを使用してモーターをマイクロコントローラーボードに接続します。モーターを動作させるには、ブラウザからマイコンIDEをインストールします。</li>
	<li>[ ダウンロード ]ボタンをクリックして、ソフトウェアをダウンロードします。次に、マイクロコントローラIDEで、[ ファイル]>[新しいスケッチを開く ]に移動してコードを記述します。</li>
	<li>マイクロコントローラーボードを接続して、専用の接続ポート(COM 4など)を介して新しいスケッチとインターフェースするようにしてください。COMポートを確認し、マイクロコントローラボードが表示されていることを確認します。</li>
	<li>ステッピングモータードライバーTB6600のハードウェアスイッチ設定を確認してください。電流が2Aになるように設定し、SW4をONにし、SW5とSW6をOFFに設定することで実現できることを確認してください。</li>
	<li>SW1、SW2、およびSW3のスイッチ位置が、要件に従って回転ステップを達成するためにマイクロステップが1/8ステップになるように設定されていることを確認します。TB6600の設定がSW1 OFF、SW2 ON、およびSW3 OFFであることを確認してください。</li>
	<li>RTC 3231をマイクロコントローラに接続して、実際のグローバル時刻同期を実現します。回転ステップサイズが12°であること、およびモーターステップの増加がリアルタイムユニット、つまりRTCモジュールから読み取られた秒の数が奇数の場合にのみトリガーされることを確認してください。</li>
	<li>マイクロコントローラボードの5VピンをRTC VCCに接続し、マイクロコントローラのGNDをRTCのGNDに接続します。</li>
	<li>RTCのSCLピンをA0ピンに、SDAをマイコンのA1ピンに接続します。このモジュールは、12°のステップサイズを確保でき、1回転で30ステップを行います。ステップの増分が奇数秒ごとに発生することを確認します。このソフトウェアモジュールにステッピングモーター21を駆動させます。</li>
	<li>GitHub ページ (https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR) で入手できるコードを実行して、セットアップが正しく機能していることを確認します。</li>
	<li>Android Studioをダウンロードして、自動カメラアプリを開発します。システム要件が満たされていることを確認してから、Webサイトからソフトウェアをダウンロードします。</li>
</ol>3. クライアントモジュールとして、モバイルベースの現場監視・画像伝送用ドライバを開発
<ol><li>Androidオペレーティングシステムで、特に秒が奇数の場合に2秒ごとにスナップショットを撮ることができるカメラアプリケーションを開発します。</li>
	<li>携帯電話をシステムに接続します。Android Studio で [New] > [New Project ] をクリックし、[ Empty Views Activity] を選択します。 [次へ ] をクリックして、https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR から入手できる Android コードを作成します。</li>
	<li>アプリが画像を自動的にキャプチャし、一貫してリモート デバイスに送信することを確認します。</li>
	<li>スナップショットを撮影した直後に、モバイルアプリからペアリングされたデバイス、つまり遠隔外科医のシステムにBluetooth経由でスナップショットを送信します。 注: セクション 2 と 3 で説明したモジュールが、偶数秒ごとに 1 つ、奇数秒ごとに 1 つが時間同期して実行されていることを確認してください。</li>
</ol>4. 監視画像を受信して処理するクライアントモジュールの開発
<ol><li>グラフィカル・ユーザー・インターフェースであるサーバー・モジュールを開きます。</li>
	<li>テキストフィールドに VVID ポート番号を入力します。デフォルト値は 94f39d29 7d6d 437d 973b fba39e49d4ee です。</li>
	<li>[ソケットの作成] をクリックして、ソケットを作成してバインドします。[接続]をクリックして、モバイルアプリとの接続を確立します。</li>
	<li>キャプチャをクリックして、シーンの監視画像をキャプチャし、ローカルフォルダに保存します</li>
	<li>フィールド フォルダ名にローカル フォルダ名を入力します (記載されているデフォルト名以外にする必要がある場合)。</li>
</ol>5. ロボットアームの操作
<ol><li>クライアントモジュールにロボットアームも含めるようにします。腕の付け根、肩、肘、手首、指が回転するように腕を設計します。</li>
	<li>MG 996Rサーボがベース、肩、肘の回転運動を制御するために使用されていることを確認してください。SG 90サーボモーターを使用して、肘と指の回転運動を制御していることを確認します。</li>
	<li>https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR で指定されたコードをマイクロコントローラIDEでコンパイルし、遠隔外科医から受信したコマンドに基づいてロボットアームを駆動します。</li>
</ol>拡張現実のための6. 3D再構築
<ol><li>一度に 2 つの画像をローカル フォルダーから 1 つずつ順番に読み取って、それらの間のオーバーラップの可能性 (画像が近接して収集されるため、連続する画像間にオーバーラップが発生します) を取得します。</li>
	<li>Directional Intensified Feature Description の要件に従って、Tertiary Filtering22 (DITF) アルゴリズムを使用して Tertiary フィルターを設計し、勾配と向きを取得します。</li>
	<li>図3に示すように、DITFメソッド22を使用して特徴を抽出します。</li>
	<li>SFM23 を使用して、収集したフィーチャから 3D 画像を再構築します。</li>
</ol>7.外科医の位置での手のジェスチャー認識
<ol><li>外科医は、手のジェスチャーベースの回転と再構築された特徴のズームイン/ズームアウトを提供することにより、あらゆる視点から環境を視覚化できるようにすることで、3D再構築画像の特徴を検査することを容易にします。</li>
	<li>外科医の親指の先端と右手の人差し指の間の距離を正規化し、対応する回転角度にマッピングします。正規化は、最小距離が0°に対応し、最大距離が180°に対応するようにします。</li>
	<li>ハンドジェスチャーコントロールをBluetooth経由で遠隔手術環境に送信し、オブジェクトプラッターの回転により、3D再構築された形状が外科医の側で回転するときに、オブジェクトのプラッターがその軸を中心に回転します。</li>
	<li>外科医の左手の先端と親指の間の距離を見つけて、ロボットアームの指の動きを制御します。</li>
	<li>外科医の左手の親指の先端と人差し指の間の仮想的なx-y接地面に対する空間距離から仰角を測定して、仰角を決定します。この角度を、ロボット アームが x-y 平面で作成できる仰角にマップします。</li>
	<li>外科医の手が仮想のy-z平面の手と作る方位角を見つけます。これらの角度は、手のジェスチャベースの認識によって識別されます。</li>
	<li>距離、仰角、方位角をマッピングして、ロボットの指の動きと腕の回転を制御します。これらはどちらも仰角と方位角に対応します。</li>
	<li>外科医に、ズームと回転によって再構築された特徴を検査させます。外科医がロボットアームにコマンドを送信して、遠隔地から手術を行うことができます。</li>
	<li>手術コマンドが、文字列の同時発生から始まり、プラッターの回転とロボットアームコントローラーを制御するための値が続くシーケンスの制御文字列として送信されることを確認してください。[θb, θs, θe, θw, θf] を、ロボットアームの基部、肩、肘、手首、および指に対応する制御信号に対応する値で構成されるベクトルの角度とします。 注:GitHubリンクには、手術現場でハンドジェスチャ制御を有効にするためのコードが記載されています。https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR。</li>
</ol>

リモートAR支援手術のための最適化された3D再構成とモーションマッピング

<ol><li>Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Smartphone-based+augmented+reality+patient+education+in+radiation+oncology%5BTitle%5D)+AND+%22Tech+Innov+Patient+Supp+Radiation+Oncol%22%5BJournal%5D)">Smartphone-based augmented reality patient education in radiation oncology.</a> Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).</li>
<li>Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+3D+visualization-based+augmented+reality+application+for+brain+tumor+segmentation%5BTitle%5D)+AND+%22Comput+Anim+Virtual+Worlds%22%5BJournal%5D)">A 3D visualization-based augmented reality application for brain tumor segmentation.</a> Comput Anim Virtual Worlds. 35 (1), e2223(2024).</li>
<li>Xia, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+and+indoor+positioning+based+mobile+production+monitoring+system+to+support+workers+with+human-in-the-loop%5BTitle%5D)+AND+%22Robotic+Comput+Integ+Manufac%22%5BJournal%5D)">Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop.</a> Robotic Comput Integ Manufac. 86, 102664(2024).</li>
<li>Preece, C., Skandalis, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Time+to+imagine+an+escape%3A+investigating+the+consumer+timework+at+play+in+augmented+reality%5BTitle%5D)+AND+%22Eur+J+Market%22%5BJournal%5D)">Time to imagine an escape: investigating the consumer timework at play in augmented reality.</a> Eur J Market. 58, 92-118 (2024).</li>
<li>Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+augmented+reality+in+surgical+training%3A+a+systematic+review%5BTitle%5D)+AND+%22Surg+Innov%22%5BJournal%5D)">The role of augmented reality in surgical training: a systematic review.</a> Surg Innov. 30, 366-382 (2023).</li>
<li>Moreta-Martinez, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Combining+augmented+reality+and+3D+printing+to+display+patient+models+on+a+smartphone%5BTitle%5D)+AND+%22J+Vis+Exp%22%5BJournal%5D)">Combining augmented reality and 3D printing to display patient models on a smartphone.</a> J Vis Exp. (155), 60618(2020).</li>
<li>Ma, L., Huang, T., Wang, J., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Visualization%2C+registration+and+tracking+techniques+for+augmented+reality+guided+surgery%3A+a+review%5BTitle%5D)+AND+%22Phys+Med+Biol%22%5BJournal%5D)">Visualization, registration and tracking techniques for augmented reality guided surgery: a review.</a> Phys Med Biol. 68, 04TR02(2023).</li>
<li>Hofman, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((First-in-human+real-time+ai-assisted+instrument+deocclusion+during+augmented+reality+robotic+surgery%5BTitle%5D)+AND+%22Healthc+Technol+Lett%22%5BJournal%5D)">First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery.</a> Healthc Technol Lett. 11 (2-3), 33-39 (2023).</li>
<li>Thiene, G., Rizzo, S., Basso, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bicuspid+aortic+valve%3A+The+most+frequent+and+not+so+benign+congenital+heart+disease%5BTitle%5D)+AND+%22Cardiovasc+Pathol%22%5BJournal%5D)">Bicuspid aortic valve: The most frequent and not so benign congenital heart disease.</a> Cardiovasc Pathol. 70, 107604(2024).</li>
<li>Mack, M. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Transcatheter+aortic-valve+replacement+in+low-risk+patients+at+five+years%5BTitle%5D)+AND+%22New+Engl+J+Med%22%5BJournal%5D)">Transcatheter aortic-valve replacement in low-risk patients at five years.</a> New Engl J Med. 389, 1949-1960 (2023).</li>
<li>Vitanova, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Aortic+valve+versus+root+surgery+after+failed+transcatheter+aortic+valve+replacement%5BTitle%5D)+AND+%22J+Thorac+Cardiovas+Surg%22%5BJournal%5D)">Aortic valve versus root surgery after failed transcatheter aortic valve replacement.</a> J Thorac Cardiovas Surg. 166, 1418-1430 (2023).</li>
<li>Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3d+visualisation+of+navigation+catheters+for+endovascular+procedures+using+a+3d+hub+and+fiber+optic+realshape+technology%3A+phantom+study+results%5BTitle%5D)+AND+%22EJVES+Vascular+Forum%22%5BJournal%5D)">3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results.</a> EJVES Vascular Forum. 59, 24-30 (2023).</li>
<li>Faris, H., Harfouche, C., Bandle, J., Wisbach, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Surgical+tele-mentoring+using+a+robotic+platform%3A+initial+experience+in+a+military+institution%5BTitle%5D)+AND+%22Surg+Endosc%22%5BJournal%5D)">Surgical tele-mentoring using a robotic platform: initial experience in a military institution.</a> Surg Endosc. 37, 9159-9166 (2023).</li>
<li>Fitzgerald, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mentoring+approaches+in+a+safe+surgery+program+in+tanzania%3A+Lessons+learned+during+covid-19+and+recommendations+for+the+future%5BTitle%5D)+AND+%22Surg+Open+Sci%22%5BJournal%5D)">Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future.</a> Surg Open Sci. 14, 109-113 (2023).</li>
<li>de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Catheter+navigation+support+for+mechanical+thrombectomy+guidance%3A+3d%2F2d+multimodal+catheter-based+registration+with+no+contrast+dye+fluoroscopy%5BTitle%5D)+AND+%22Int+J+Comput+Assist+Radiol+Surg%22%5BJournal%5D)">Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy.</a> Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).</li>
<li>Tang, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multiple+catheter+tips+tracking+method+in+x-ray+fluoroscopy+images+by+a+new+lightweight+segmentation+network+and+bayesian+filtering%5BTitle%5D)+AND+%22Int+J+Med+Robotics+Comput+Assist+Surg%22%5BJournal%5D)">A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering.</a> Int J Med Robotics Comput Assist Surg. 19, e2569(2023).</li>
<li>Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+machine+learning-based+roll+angle+prediction+for+intracardiac+echocardiography+catheter+during+bi-plane+fluoroscopy%5BTitle%5D)+AND+%22Appl+Sci%22%5BJournal%5D)">A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy.</a> Appl Sci. 13, 3483(2023).</li>
<li>Thourani, V. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Survival+after+surgical+aortic+valve+replacement+in+low-risk+patients%3A+a+contemporary+trial+benchmark%5BTitle%5D)+AND+%22Ann+Thorac+Surg%22%5BJournal%5D)">Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark.</a> Ann Thorac Surg. 117, 106-112 (2024).</li>
<li>Domínguez-Velasco, C. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+simulation+as+training+model+of+ventricular+puncture%3A+Evidence+in+the+improvement+of+the+quality+of+punctures%5BTitle%5D)+AND+%22Int+J+Med+Robotics+Comput+Assist+Surg%22%5BJournal%5D)">Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures.</a> Int J Med Robotics Comput Assist Surg. 19, e2529(2023).</li>
<li>Wang, Q., Xie, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Arias%3A+An+ar-based+interactive+advertising+system%5BTitle%5D)+AND+%22Plos+One%22%5BJournal%5D)">Arias: An ar-based interactive advertising system.</a> Plos One. 18, e0285838(2023).</li>
<li>Ji, F., Chong, F., Wang, F., Bai, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+platform+for+the+unmanned+mining+process+in+underground+mines%5BTitle%5D)+AND+%22Mining%2CMetal+Explor%22%5BJournal%5D)">Augmented reality platform for the unmanned mining process in underground mines.</a> Mining,Metal Explor. 39 (2), 385-395 (2022).</li>
<li>Indhumathi, S., Clement, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Directional+intensified+feature+description+using+tertiary+filtering+for+augmented+reality+tracking%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Directional intensified feature description using tertiary filtering for augmented reality tracking.</a> Sci Rep. 13, 20311(2023).</li>
<li>Gao, L., Zhao, Y., Han, J., Liu, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+multi-view+3D+reconstruction+technology+based+on+SFM%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Research on multi-view 3D reconstruction technology based on SFM.</a> Sensors. 22 (12), 4366(2022).</li>
<li>Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BEBLID%3A+Boosted+efficient+binary+local+image+descriptor%5BTitle%5D)+AND+%22Pattern+Recog+Lett%22%5BJournal%5D)">BEBLID: Boosted efficient binary local image descriptor.</a> Pattern Recog Lett. 133, 366-372 (2020).</li>
<li>Borman, R. I., Harjoko, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Improved+ORB+algorithm+through+feature+point+optimization+and+Gaussian+pyramid%5BTitle%5D)+AND+%22Int+J+Adv+Comp+Sci+Appl%22%5BJournal%5D)">Improved ORB algorithm through feature point optimization and Gaussian pyramid.</a> Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).</li>
</ol>

著者は、利益相反を宣言しません。

既存の研究15では、X線およびCTスキャンを検査して、心臓内のカテーテルの位置を特定する。しかし、AR TAVRの置換は、3D再構成を使用した自動モデルの実装により、TAVR18の外科的処置に新たな可能性を確立します。プロトコルのセクションで述べたように、この作業には設計するための5つの段階があります。前回の研究22で提案したセクション6で言及したDITF22の第1段階は、モデルを医療用途に組み込む方法で強化されています。3D再構築の第2段階は、2Dポイントから3Dモデルを構築するという困難な作業です。モデルを検証するために、さまざまな入力画像を使用してモデルをテストしました。SFM23は、画像の再構築に採用されています。画像の対応は、キャリブレーションマトリックスとともにDITF22を使用して測定されます。次の段階は、手のジェスチャートラッキングです。3D再構成におけるハンドジェスチャコントロールのインターフェースも、リアルタイムでは難しい作業です。スケーリングコントロールと回転のバリエーションは、リモートの専門家が3Dモデルに簡単にアクセスできるように、手のジェスチャーで埋め込まれています。第 4 段階はモバイル アプリの作成で、自動画像キャプチャのセクション 3 で説明しています。このアプリは、データを3Dモデルとしてリモートエキスパートにロードします。最終段階はハードウェアのセットアップで、図1に示すように、損傷した心臓の弁を交換するためにカテーテルを自動的に挿入するロボットアームを備えた心臓ファントムモデルを使用してデモンストレーションされます。
開発した手法は、拡張現実(AR)と特徴抽出を用いて、手術環境の現場監視から遠隔手術を行うことを目指すものである。この記事で提案されている重要な貢献は、私たちの知る限りでは文献には見られません。開発された手法は、特徴量から3D画像を再構成するための低遅延です。また、この方法では、再構築された特徴と元の画像との間の誤差が非常に小さくなっています。この遅延とエラーを それぞれ図 6 と 図 7 に示します。また、この図は、他のアルゴリズム、すなわちORB24 とBEBLID25 が提案手法よりも標準以下であることを示しています。
 
この手法の開発で直面した課題は、モバイルアプリとリモートサーバー間のBluetoothプロトコルベースの伝送です。シーンのキャプチャと送信は2秒ごとに完了する必要があるため、超高速通信が必要でした。多くの場合、ソケットが壊れてしまい、スムーズな処理のために多くの例外処理と並列ルーチン管理が必要でした。それに加えて、メソッドの開発と実装中にいくつかの問題に直面しました。
ただし、それらを解決するためのトラブルシューティング手法がいくつかあります。Bluetooth通信では、正しいチャネルまたはVVIDポート番号を選択する必要があります。また、先に進む前に、両端のBluetoothデバイスの切り替えを確認する必要があります。マイクロプロセッサによるロボットアームと吊り下げ回転アームの駆動ルーチンについては、シリアル通信用のポート番号を確保する必要があります。NEMAとサーボモーターを考慮して、モータードライバーの接続を適切に確保する必要があります。適切に行われないと、ドライバーへの接続が間違っても、NEMAモーターは望ましくない方法で回転します。NEMAモーターの2つのコイルのリード線を適切に識別する必要があります。そうしないと、ドライバーとの接続が望ましくない方法で回転したり、モーターが損傷したりする可能性があります。重さ約1kgの回転アームの吊り下げを支えるカプラーの設計は、課題でした。そこで、モーターの軸に直径1mmの穴を開けました。モバイルデバイスの重量を含め、アームの両側のバランスをとることも課題です。そうしないと、構造物が地面を引きずり、モーターシャフトから構造物が引き裂かれたり引き下げられたりする可能性があります。ロボットアームのベース、肩、肘、手首、および指に適切にねじ込む必要があります。そうしないと、回転してウェイトを持ち上げたときにパーツが落下する可能性があります。2つのモジュールの並列実行は、適切なPython環境を設定し、スムーズな作業のために異なるスレッドを並列に実行することで対処する必要があります。
その結果、提案された自動TAVR18 モデルは、ARでの外科的ガイダンスに有効な方法であると結論付けられています。この提案されたモデルは、医療専門家の指導に従って、このプロトタイプを医療分野のあらゆる手術に柔軟に適用できます。学習ベースのモデルは、3D再構成を改善する可能性があります。3Dモデルを再構築するには、良好な照明画像を持つ複数のビューを入力として指定する必要があります。ただし、これは将来対処できます。 また、将来的には、5G通信をベースとした伝送を開発して、低遅延で超高信頼性の通信を確保し、ミスレスでスムーズな運用を実現したいと考えています。また、現在使用しているエミュレータではなく、ARデバイスを自社で開発したいと考えています。これにより、ライブの手術環境での3Dモデルの視覚化を向上させることができます。

ARは、3Dモデルを現実世界の環境に重ね合わせることができます。ARに向けた技術開発は、教育1、医療2、ものづくり3、エンターテインメント4など、多くの分野でパラダイムシフトを起こしています。AR技術は、超高信頼性の低遅延通信とともに、医療分野での必然的な役割を証明しています。人体解剖学の学習段階から外科的指導まで、ARを利用したソフトウェア5,6とハードウェアを使用して学習段階を視覚化できます。ARは、外科環境7,8の医療従事者に重要で信頼性の高いソリューションを提供します。
大動脈弁狭窄症は、人類に最も多く見られる心臓弁膜症です9。この病気の根本的な原因は、貧しい食生活と日常生活の不規則なルーチンです。この疾患の症状と結果は、心臓弁の狭窄とそれに続く血流の減少です。この問題は、人間の心臓に損傷が生じる前に対処する必要があります。したがって、心臓は血流を処理するために過度の負担がかかります。したがって、損傷が発生する前に、手術を行う必要がありますが、これは最近の技術開発により、TAVR手順を使用して行うこともできます。この手順は、患者の心臓やその他の体の部分の状態に基づいて採用できます。このTAVR10,11では、カテーテルを挿入して心臓の損傷した弁を交換します。しかし、カテーテルの位置12をバルブと交換するために配置することは、施術者にとって面倒な作業である。このアイデアから、AR13,14 に基づく自動手術モデルを設計することになりました。これにより、外科医は置換プロセス中に弁を正確に配置できます。さらに、手術は、遠隔地からキャプチャされた外科医の動きをロボットアームにマッピングするモーションマッピングアルゴリズムによって実行できます。
既存の作品15、16、17では、TAVR18 の手順の視覚化が透視法を通じて監視されている。したがって、心臓弁を分析することは困難であり、交換場所を見つけるのは面倒です。これにより、カテーテルを人間の心臓に配置する際の障壁が設定されます。さらに、リモートモーションは手術野にマッピングされ、プロセスが自動化されます。しかし、この研究ギャップを克服するために、AR支援技術を用いたロボットによる弁置換術の自動化を提案します。
このプロトコルは、すべての手術環境に適用できる汎用モデルです。作業の初期段階では、手術環境全体の2D画像が、最大自由度の最大の空間分解能でキャプチャされます。これは、3D再構成19 の目的に十分な画像がキャプチャされ、続いてハンドジェスチャトラッキング20によるモーションマッピングが続くことを意味する。

<table><tbody><tr><td>アンドロイド</td><td>IDEソフトウェア</td><td>https://developer.android.com/studio</td><td>ソフトウェアは、このリンクからダウンロードできます</td></tr><tr><td>Arduinoボード</td><td>Ardunio Uno</td><td>Ardunio Uno</td>マイクロコントローラ <td></td></tr><tr><td>arduinoソフトウェア</td><td>ソフトウェア</td><td>を処理するための https://www.arduino.cc/en/software。</td><td>ソフトウェアは、このリンクからダウンロードできます</td></tr><tr><td>人間の心臓ファントムモデル</td><td>生物学実験装置メーカーおよび輸出業者</td><td>B071YBLX2V(8B-ZB2Q-H3MS-1)</td><td>心臓の深い分析に3つの部分を備えた軽量モデル。</td></tr><tr><td>モバイルホルダー</td><td>謙虚なユニバーサルモノポッドホルダー</td><td>B07S9KNGVS</td><td>手術現場でモバイルを運ぶために</td></tr><tr><td>pycharm</td><td>IDEソフトウェア</td><td>https://www.jetbrains.com/pycharm/</td> <td>ソフトウェアはこのリンクからダウンロードできます</td></tr><tr><td>ロボットアーム</td><td>Printed-bots</td><td>B08R2JLKYM(P0-E2UT-JSOU)</td><td>アームは制御を通じて制御することができます signal.it アクセスする自由度が5つあります。</td></tr><tr><td>サーボモーター</td><td>Kollmorgen Co-Engineers Motors</td><td>MG-966R</td><td>高トルクサーボモーター、サーボパルス 500 〜 2500マイクロ秒 (&micro;s)、周波数は50Hzから333Hzです。</td></tr><tr><td>サーボモーター</td><td>Kollmorgen Co-Engineers&nbsp;</td><td></td><td>SG-90Rサーボには、1.8kg-cmから2.5kg-cmの荷重がかかるモーターSG-90Rが装着できます。</td></tr><tr><td>ステッピング</td><td>モーター28BYJ-48</td><td>28BYJ-48</td><td>ステッピングモーター、5V DC、100 Hz周波数、トルク1200 Gf.cm</td></tr><tr><td>ステッピング</td><td>モーターNema 23</td><td>Nema</td><td>ステパーモーター、9V - 42 V DC、100Hz周波数</td></tr></tbody></table>

拡張現実(ar)を用いた経カテーテル的大動脈弁置換術における自動手術

Automatic Surgery in Transcatheter Aortic Valve Replacement Using Augmented Reality

拡張現実(AR)は、医療用途で高い需要があります。この論文の目的は、経カテーテル大動脈弁置換術 (TAVR) に AR を使用した自動手術を提供することです。TAVRは、開心術の代替医療処置です。TAVRは、カテーテルを使用して負傷した弁を新しい弁に交換します。既存のモデルでは、遠隔指導が行われていますが、ARによる手術の自動化は行われていません。この記事では、手術環境での画像キャプチャを自動化するために、モーターに接続された空間的に整列したカメラを展開しました。カメラは、カテーテルテストベッドとともに患者の心臓の2D高解像度画像を追跡します。これらのキャプチャされた画像は、モバイルアプリを使用して、心臓病学の専門家である遠隔外科医にアップロードされます。この画像は、2D画像トラッキングからの3D再構成に利用されます。これは、ラップトップのエミュレーターのように HoloLens に表示されます。外科医は、回転やスケーリングなどの追加の変換機能を使用して、3D再構築された画像をリモートで検査できます。これらの変換機能は、手のジェスチャによって有効になります。外科医のガイダンスは手術環境に送信され、リアルタイムのシナリオでプロセスが自動化されます。手術野のカテーテルテストベッドは、遠隔外科医の手のジェスチャーガイダンスによって制御されます。開発した試作モデルは、ARによる遠隔手術指導の有効性を実証しています。

プロトコルは、心臓ファントムモデルでテストされました。 図2 は、空間的に分散したカメラを使用した術野のライブ監視に期待されるセットアップを示しています。 図 2 に示すように、分散カメラは、フィールドの空間分解能を向上させ、効果的な 3D 再構成に役立ちます。ただし、これらのカメラをさまざまな空間場所に物理的に配置するには、複雑さが伴います。そこで、セットアップ設計を最適化し、TB6600ドライバーによって駆動されるNEMAモーターによって回転する空間的に自己指向のカメラ配置のソリューションを考え出しました。この構造は実現可能であり、モデルに実装されており、 同じことが図 1 に示されています。
図 1 では、カメラの自動スナップショットとそれに続く Bluetooth プロトコルによる送信は、Android コードによって制御されています。このモジュールは、セクション 3 で述べたように、キャプチャが奇数秒ごとに 1 回行われ、その送信が偶数秒ごとに 1 回行われるように構成されています。NEMAモーターとインターフェースするマイクロコントローラモジュールは、1秒に1回、構造物を回転させるため、ぼやけのない写真撮影に十分な時間が保証されます。つまり、合計30枚の写真が360°回転して撮影され、Bluetoothを使用して送信されます。
また、 図1には、手術環境のDITF記述子の3D再構成ビューが示されています。これらの記述子ベースの再構成は、手の動きマッピングを通じてズームと回転によって外科医によって検査できることに注意する必要があります。また、これらの動きは手術環境に送られて手術を模倣し、カテーテルを実際のフィールドに挿入できるようにします。モーションマッピングは、ロボットパーツ(ベース、肩、肘、手首、グリッパー、指)を制御するために6つの異なる角度にマッピングされるように行われます。これらの角度は、ベクトル形式で [θb, θs, θe, θw, θf] として表されます。与えられたベクトルでは、値 θpは、人間のオブジェクトのプラッターを回転させるモーション マッピングに対応します。同じ θpは、HoloLens エミュレーターに表示される記述子の向きを外科医の側にも向けるために使用されます。
図3は、3D再構成に不可欠なステップであるファントムモデルのDITF機能を示しています。抽出された特徴に基づいて、対応が画像マッチングで識別されます。参照画像と45°回転のさまざまな結果との対応関係を図4に示します。異なる色との対応は、画像の表示方向が異なる場合でも、類似した特徴を識別して一致させることの有効性を明確に示しています。 図5にはモーションマッピングの精度が含まれており、2本の指の間の距離が短い場合、精度が高いことを示しています。しかし、指と指の距離が長くなると、精度は低下し始めます。
一方、ARではモデルがデータを処理するのにかかる時間が重要です。したがって、このパラメータは、提案されたモデルの検証のために含まれており、画像を処理するための時間遅延が測定され、その結果は、Oriented FAST and rotated BRIEF(ORB)24 およびBoosted Efficient Binary Local Image Descriptor(BEBLID)25などの既存のアルゴリズムで検証されます。その結果、DITFは、 図6に示すように、レイテンシの点でORBやBEBRIDなどの既存のモデルを上回っていることがわかります。それに加えて、3D再構成モデルは再構成誤差で検証され、 図7 に示す図はヒストグラムが狭いことを示しており、再構成誤差が最小限であることを意味します。これは、提案されたアルゴリズムの再構築が検証および検証されていることを示しています。 図8 は、提案モデルの3D再構成の出力を示しています。これは視覚化の明瞭さを反映しており、画像の定量的結果もプロットを使用して検証されます。これらの結果は、提案モデルが回転変換で必要なすべての特徴を抽出し、3Dモデルを再構築したことを証明しています。したがって、遠隔地の専門家は、手術野を正確に視覚化し、制御することができます。
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/67096/67096fig01.jpg"> 図1:拡張現実(AR)を使用した経カテーテル大動脈弁置換術自動手術のためのハードウェアセットアップの実装(A)ライブモニタリングシステムを備えた手術フィールド。(b)拡張現実ベースの視覚化。<a href="https://www.jove.com/files/ftp_upload/67096/67096fig01large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/67096/67096fig02.jpg"> 図2:手術環境の予想モデル。 示されているモデルには、空間的に分散したカメラセンサーを使用した手術環境のライブ監視が装備されています。 <a href="https://www.jove.com/files/ftp_upload/67096/67096fig02large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/67096/67096fig03.jpg"> 図3:手術テストベッドに置かれた人間の心臓のモデルと、特徴記述子アルゴリズムを使用して抽出された特徴。 (A)入力心ファントムモデル。(B)心ファントムモデルの三次フィルタリング特徴抽出を使用した指向性強化特徴の記述。 <a href="https://www.jove.com/files/ftp_upload/67096/67096fig03large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/67096/67096fig04.jpg"> 図4:2つの画像特徴間の特徴マッチング (A)心ファントムモデルの三次フィルタリング特徴抽出を使用した方向強化特徴の説明。(B)45°回転心ファントムモデルの三次フィルタリング特徴抽出を使用した指向性強化特徴の説明。線は、2つの異なる向きでの類似した画像の特徴間の対応を示しています。線の色は、選択したさまざまなフィーチャを示します。 <a href="https://www.jove.com/files/ftp_upload/67096/67096fig04large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/67096/67096fig05.jpg"> 図5:手のジェスチャートラッキングの精度。 この図は、精度の割合を示しています。サンプル番号(N)は500に選択されます。モーションマッピングは500回行われ、その中から正しいマップの数が見つかります。次に、精度は、正しいマッピングとサンプルの総数との間の比率として計算されます。 <a href="https://www.jove.com/files/ftp_upload/67096/67096fig05large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/67096/67096fig06.jpg"> 図6:Oriented FASTと回転BRIEFおよびBoosted Efficient Binary Local Image Descriptor Algorithmによる三次フィルタリングを使用した、指向性強度のある特徴記述のレイテンシ。レイテンシ (画像から特徴を抽出するのにかかる時間) がプロットされます。Nを500に選択したのは、時間遅延の計算が500回以上行われてから平均されることを意味します。この手順は、3つのアルゴリズムに対して行われ、プロットされます。<a href="https://www.jove.com/files/ftp_upload/67096/67096fig06large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/67096/67096fig07.jpg"> 図7:提案モデルの再構成誤差分布。 再構築誤差とは、その特徴から再構築された3D画像と元の画像との間の誤差です。エラープロットは、特定のイベントの発生回数を示すヒストグラムです。エラーが 0 の場合、カウントは最大になり、どちらの側でも減衰します。これは望ましい結果です。この図は、ヒストグラムの分散(正規密度)が小さいため、平均(0)からの誤差がどちらの方向にもあまり広がっていないことを示しています。 <a href="https://www.jove.com/files/ftp_upload/67096/67096fig07large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 8" class="xfigimg" src="/files/ftp_upload/67096/67096fig08.jpg"> 図8:心臓モデルの3D再構成。 各色付きのドットは、対応するフィーチャから 3D 再構築されたポイントを示します。現時点では、フィーチャ再構築アルゴリズムによって色が正規化され、それによって他のフィーチャが色付けされます。 <a href="https://www.jove.com/files/ftp_upload/67096/67096fig08large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>

この記事では、拡張現実(AR)ベースの3D再構成に基づく自動手術モジュールの設計と実装について説明します。このシステムは、外科医が再構築された特徴を検査し、手術の手の動きをあたかも近くで手術を行っているかのように再現できるようにすることで、遠隔手術を可能にします。

拡張現実(AR)を用いた経カテーテル的大動脈弁置換術における自動手術

Augmented Reality (AR) is in high demand in medical applications. The aim of the paper is to provide automatic surgery using AR for the Transcatheter ...

automatic-surgery-transcatheter-aortic-valve-replacement-using

Research

JoVE Journal

Medicine

医学

本研究の目的は、大腿経カテーテル大動脈弁留置術 (TAVI) 中 (XR) リアルタイム x 線透視と事前介入の CT データの画像融合 (IF)...

経カテーテル大動脈弁留置中画像融合 3次元 CT 血管造影 x 線透視との登録を改善

拡張現実技術は、大腿骨頭の骨壊死のためのコア減圧に適用され、この手術手順のリアルタイム可視化を実現した。この方法は、コア減圧の安全性と精度を効果的に向上させることができる。...

大腿骨頭の骨壊死のための拡張現実ナビゲーションガイドコア減圧

遠隔操作ロボットシステム支援経皮経腸骨-経仙骨スクリュー固定は実行可能な技術です。スクリューチャネルは、ロボットアームの優れた動きの自由度と安定性により、高精度で実装できます。...

遠隔操作ロボットシステム支援経皮的経腸骨-経仙骨スクリュー固定技術

血管内治療の進歩により、複雑な開腹手術は、弁置換術や動脈瘤修復などの低侵襲オプションに取って代わられました。この論文では、3次元(3D)モデリングとバーチャルリアリティを使用して、神経インターベンションカテーテル検査ラボの手順計画のためのCアームの位置決め、角度測定、およびロードマップの生成を支援し、手順時間を最小化することを提案しています。...

画像とバーチャルリアリティを使用した精密手術のための患者固有のアプローチの先駆者

経大腿経カテーテル大動脈弁移植中の二次アクセスのための上肢アプローチは、二次アクセス部位関連の出血合併症の減少と関連しており、長時間のペーシングを必要とする患者の動員までの時間を短縮します。このプロトコルは、上肢アプローチの広範な概要を提供し、オペレーターがこの方法論を採用する際のガイドを行うことを目的としています。...

経大腿経カテーテル大動脈弁移植における二次アクセスのための上肢アプローチ

組織工学心臓弁における新組織形成および狭窄の開発の基礎となる細胞および分子メカニズムを理解するためには、異所性心臓弁移植のマウスモデルを開発した。肺動脈心臓弁は異所心臓移植技術を用いてレシピエントに移植した。...

異心臓移植のマウスモデルを用いた肺動脈弁の移植

ステントレス大動脈異種移植による大動脈弁の大動脈置換術は、小動脈の根が小さい患者では実行可能な選択肢である。近位縫合線および冠状動脈吻合の管理に重点を置いて、ステントレス大動脈異種移植片の全ルート移植のための技術を説明し、その限界および代替選択肢について論じる。...

小型大動脈瘤患者におけるステントレス大動脈異種移植による全大動脈弁置換術

弁温存大動脈基部置換患者の大動脈弁を維持するという利点があります。これまで報告された技術の複雑さは、心臓外科医の限られた数の使用を制限します。このプロトコルは順を追って記述する心臓外科医の大きい数によって再現可能な標準化された手法。...

弁温存大動脈の大動脈弁再置換術の標準化された技術のルート交換

このプロトコルの目的は、右前のミニ開胸して中心部大動脈送血法の低侵襲大動脈弁置換術のテクニックの詳細に説明することです。この手法が潜在的患者の快適性を高める、術後合併症を減らすことによって、滞在期間、グローバル...

技術と最小限のアクセス大動脈弁置換のミニ開胸右前の患者選択基準

乳癌関連リンパ浮腫は乳癌の生存者に多く、その診断および定量化のためのガイドラインは広く採用されていない。ここでは、乳がん患者の上肢容積を定義、定量、比較するための信頼性と費用対効果の高いプロトコルを紹介します。...

乳癌関連リンパ浮腫予後診断における拡張現実ツールの統合

学ぶ拡張現実とロボティクスを用いた自動遠隔手術システム。リアルタイム3D再構成と特徴抽出により、外科医の視覚化と精密制御を向上させ、低遅延通信で手術精度を高める革新的アプローチです。

拡張現実(AR)を用いた経カテーテル的大動脈弁置換術における自動手術

さらに動画を探す