インドシアニングリーンガイド腹腔鏡胆嚢摘出術における肝臓蛍光のリアルタイム除去のための新しい二重モーダル深層学習アプローチ

サマリー

本プロトコルは、インドシアニングリーンガイド腹腔鏡下胆嚢摘出術(ICGLC)におけるリアルタイム肝蛍光除去のための二重モーダル深層学習アプローチを提示します。

要約

インドシアニングリーンガイド腹腔鏡胆嚢摘出術(ICGLC)は胆道の可視化を改善しますが、肝蛍光汚染によって解剖学的構造が妨げられることが多いです。本研究は、ICGLC手順中に肝蛍光汚染をリアルタイムで検出・除去する新しいデュアルモーダル深層学習フレームワークの開発と評価を目指しています。選択的ICGLCを受けた48人の患者から、33,123件のデュアルモダリティ手術フレームのデータセットを構築しました。蛍光画像と白光画像は融合され注釈付きで行われました。複数のディープラーニングモデルが比較され、DeepLabV3ベースのミッドフュージョンネットワークが選ばれました。形態学的後処理および段階的訓練戦略が導入され、セグメンテーションの精度と一般化可能性が向上しました。提案されたモデルは最終テストセットでダイス係数0.838、リコール率0.863を記録しました。主観的評価では、10人の上級外科医が一貫してAI処理動画をより鮮明に評価し、胆管の可視化が著しく改善し、視覚疲労も減少したと評価しました。このモデルは1フレームあたり0.018秒のリアルタイム性能を示しました。本研究は、ICGLCにおける肝蛍光除去のための初のリアルタイムAIソリューションを提示します。二重モーダルの深層学習モデルは視覚の明瞭さを大幅に向上させ、手術の安全性、運用効率、トレーニング効果の向上の可能性を秘めています。今後の前向き研究が、手術結果への臨床的影響を評価する必要があります。

概要

胆汁結石症は広く見られる消化器系の疾患であり、世界的にさまざまな集団で一貫して高い発症率を示しており、世界人口の4%以上に影響を及ぼしています(1,2,3,4)。腹腔鏡下胆嚢摘出術(LC)は、術中外傷が最小限で、術後痛みが軽度で、良好な美容効果、短期間の入院5^、6、⁷といった利点から、胆石症治療の「ゴールドスタンダード」として広く認められています。アメリカ合衆国だけでも、一般外科医は年間75万件から100万件のLC手術を行っています。しかし、LCの合併症率は従来の開腹手術を上回^り、胆管損傷(BDI)などの重篤合併症の発生率は2倍から3^倍に上が^{っています。}研究によると、腹腔鏡手術中のBDIは解剖学的解離段階の技術的な誤りに起因することが多いとされ、特に解剖学的誤認(最大85%)が顕著で、総胆管(CBD)に関する誤判断や右後肝管の解剖学的差異が含まれることが多い^11,12。

現代の手術合併症の発生率を減らすために、安全性の批判的視点(CVS)、術中胆管造影、近赤外蛍光(NIRF^{)技術など}、高度な手法と先進技術が開発されています^5,8。CVSは、膀胱構造5^、13、14の同定方法としてますます標準的と見なされており、膀胱皮三角の結合組織を除去し、胆嚢下部3分の1を嚢胞板から剥離することで、嚢胞管および嚢胞動脈を明確に見せることで、腹腔鏡下胆嚢摘出術¹¹における血管損傷や胆道損傷を防ぐ^{ことができます。15}歳。

インドシアニングリーン(ICG)を用いたリアルタイム術中NIRF胆管造影も、2008年に臨床報告されたもう一つの実証済み解決策^です。ICGは肝臓のみで代謝され、血漿タンパク質に結合し、近赤^外線照射時に約830 nmのピーク光波長を放出します。この特性により、肝腫瘍や胆道系の可視化が可能となり、手術の安全性向上や^{手術時間短縮}に有望な応用が示^{されています。}CVSとNIRFの併用とCVS単独の比較研究では、肥満患者および重度炎症の症例に対して手術時間短縮だけでなくBDIの発生率も低減する効果が示されました^21,22。しかし、臨床応用にはいくつかの制約があり、さまざまな^{画像装置の使用}や、遅延ICG注射や過剰な肝組織吸収により肝蛍光強度が高くなり視野を汚染し、重要な胆^道系画像を遮ることがあります。もし補助技術を術中に適用して肝蛍光汚染を除去しつつ、正しい胆道蛍光画像を維持できれば、手術視界を最適化し、手術の安全性と滑らかさをさらに高めることができるでしょう。

人工知能(AI)技術は蛍光の最適化に有望なツールです。医療画像および外科手術におけるAIは近年研究のホットスポットとなっており、数多くの技術的ブレークスルーと臨床応用を達成しています^。既存のAIディープラーニング技術の腹腔鏡手術映像への応用は、しばしば白光単一モダリティに基づいており、反回喉頭神経、腎縁、血管、胆嚢などの解剖学的ランドマークの認識が含まれていました 28,29,30,31.現在、蛍光補助LCにおける肝臓蛍光汚染のリアルタイム除去に関する研究は不足しています。産業界で広く応用されているデュアルモーダル画像セグメンテーションは、このギャップを埋めるのに役立つかもしれません。本研究は、ICGLCシナリオにおけるデュアルモーダル画像セグメンテーションの応用を探り、過剰な肝蛍光のリアルタイム動的認識および遮蔽のためのトレーニング手法の開発と検証を目指します。

プロトコル

本研究に含まれるすべての手術映像は、北京協和医科大学病院で選択的ICGガイド下腹腔鏡胆嚢摘出術(ICGLC)を受けた患者から取得されました。この研究は関連する倫理委員会によって承認され、登録前にすべての参加者からインフォームド・コンセントが取得されました。

1. データ準備と画像注釈

1. 2022年から2024年にかけて北京協和医科大学病院でICGLCを受けた48人の患者の手術映像を遡って収集しました。
   注:本研究に含まれた患者は、手術20分前に0.5mgのICGを静脈注射されました。
2. 一般外科医に指示し、カロ三角の重要な解剖ステップを含むすべての手術映像と切除部分を確認しさせてください。76本の外科用ビデオクリップを手動で選び、カロトの三角形の解剖に焦点を当ててください。各クリップから蛍光および白色光のイメージングチャネルを抽出します。RGBチャンネルに沿ってそれらを連結します。
3. 冗長性を最小限に抑えるために、8:1の比率でフレームをサンプリングし、解像度を1920 × 1080から960×540にダウンスケールし、画像をカスタム注釈プラットフォームにインポートします。
4. 一般外科医に肝臓蛍光輪郭を手動で描画し、上級外科医の監督による注釈品質を確保します。

2. モデル評価指標

1. 指定されたテストデータセットに基づき、標準的なコンピュータビジョン指標(精度、リコール率、ダイス係数など)を用いてモデルのセグメンテーション性能を評価します。
2. 推論中の計算負荷を測定することでリアルタイムのパフォーマンスを評価します。
   1. Python/C標準ライブラリの時間モジュールを使って推論時間を測定してください。
   2. データ読み込み前に time.perf_counter() を呼び出して開始タイムスタンプを記録します。
   3. モデルが予測結果を生成した後、終了タイムスタンプを取得するために再度 time.perf_counter() を呼び出します。
   4. 終了タイムスタンプと開始タイムスタンプの差を、単一のサンプルの推論時間として定義します。
   5. この手順をテストデータセット内の各サンプルで繰り返し、すべてのサンプルの平均推論時間を計算して全体のモデル推論遅延を表します。
   6. 対応する手続きをまとめた以下の疑似コードを参照してください。
      Inference_time = 0 かつ ind = 0 を初期化します
      Xをテストセットの記憶経路、モデルを推論モデルとします。
      Xの各x_pathに対して:
      CPUとGPUの同期
      Start_timestamp = time.perf_counter() # 開始タイムスタンプ
      x = load(x_path) # データロード
      Y = model(x) # モデル推論
      CPUとGPUの同期
      End_timestamp = time.perf_counter() # 終了タイムスタンプ
      Inference_time +=(end_timestamp - start_timestamp)
      インド += 1
      終わり
      Inference_time = Inference_time / ind # 平均推論時間
3. 肝および胆道蛍光認識を主な目標とし、手術視野内の肝領域を検出し、対応する白光情報を置き換えることで、肝蛍光による干渉を最小限に抑えます。
4. Intersection over Union (IoU) を使ってモデルの予測精度を定量化します。
   注:交差点(IoU)は、予測正領域とグラウンドトゥルース正領域の重なり領域内のピクセル数と、予測領域と正領域の合計ピクセル数の比率として定義されます。
5. True TruthのIoUが指定された閾値を超える場合、その予測をTrue Positive(TP)と定義します。そうでなければ偽陰性(FN)と分類してください。
6. 対応する注釈のない予測されたセグメンテーションは偽陽性(FP)としてマークしてください。
7. 予測結果とグラウンドトゥルースラベル間の交差点(IoU)を計算した後、外科画像における蛍光信号の拡散性と低コントラストの性質を考慮し、IoUの閾値を0.1に設定しました。
8. 評価指標を次のように定義し計算します:
   
   
   

3. 形態学的後処理

1. 1920×1080から960×540解像度までの肝および胆道蛍光フレームを補間法、特にバイリニア補間法を用いてダウンサンプリングします。
2. 幅に沿ってゼロパディングを適用し、960 × 544 の全ゼロ行列を生成し、現在の画像をその中に中央に配置することで、最終入力次元を960 × 544にします。
3. 白光画像と蛍光画像をチャネル次元に沿って連結し、対応する行列をPyTorchフレームワークで構築したテンソル内に順番に保存し、モデルに入力します。
4. ノイズの多い予測を減らし境界品質を精緻化するために、初期のセグメンテーション出力に対して形態学的な開閉操作を行い、偽ノイズをフィルタリングし、エッジの境界線分を改善する。
5. まず、予測されたマスク³²の小さなスパイクやエッジアーチファクトを除去するための開口操作から始めます。
6. その後、孤立した穴や断片化された領域を除去するクロージング手術を行います。
7. 両操作に25×25の構造化カーネルを用い、器官境界の効果的な精緻化とセグメンテーションノイズの低減を確保しましょう。

4. トレーニング環境とハイパーパラメータ

1. モデルを単一のNVIDIA A100 Tensor Core GPUで訓練します。
2. バッチサイズを16に設定してください。
3. ImageNet³³ の事前学習済み重みを使ってエンコーダ(バックボーン)を初期化し、移転学習を活用し収束を加速させます。
4. 大規模な画像分割タスクにおける堅牢性とノイズの多い勾配を軽減する能力を持つ確率的勾配降下(SGD)³⁴ 最適化器を活用してください。
5. 初期学習率を0.01に設定し、多項式減衰戦略を適用して学習率を徐々に下げます。下限は0.0001です。
6. 最終モデルを得るために合計5万回の反復を継続してトレーニングを続けてください。

5. 三段階モデルトレーニング

1. モデル選択フェーズでは、DeeplabV3³⁵、DLinkNet34³⁶、U-Net³⁷を含むデュアルモーダリティ入力を用いた複数のセグメンテーションモデルを比較します。セグメンテーションの精度と計算効率に基づいて最適なモデルを選択します。
2. アルゴリズム構造最適化フェーズでは、ネットワーク内のさまざまな特徴融合位置を調査し、ホワイトライトおよび蛍光データの最も効果的な統合戦略を決定します。
3. 一般化および臨床検証段階では、段階的なデータ拡張技術を適用してモデルの堅牢性を高めます。最終モデルを臨床シナリオで検証し、その現実世界での適用性を評価すること。

6. 外科用ビデオ処理

1. 胆道の総胆管(CBD)および嚢胞管を含む胆道解剖学の術中ICG蛍光可視化を描いたビデオセグメントを抽出します。
2. 最適なモデルを用いて選ばれた動画をリアルタイムで処理します。リアルタイムの計算性能を評価するために、フレームあたりの平均処理時間を計算します。

7. 肝蛍光汚染除去

1. ICGLC手技中にリアルタイムで肝蛍光汚染を検出・抑制するためにモデルを適用します。
2. 胆管の効率的な同定を促進するために、胆道構造の可視化を確実にしておくこと。
3. 器具の閉塞やカメラの動きなど、一般的な術中の課題にもかかわらず、汚染抑制性能を維持しましょう。

8. 映像品質の臨床評価

1. 外部機関から10名の上級一般外科医を募集し、AI処理動画の効果を評価する。
2. 各外科医にオリジナルおよびAI強化ビデオクリップの両方を提供し、5つのあらかじめ定められた評価基準に基づく主観的評価アンケートに記入するよう指示します。

結果

本研究では、2022年から2024年にかけて北京協和医科病院一般外科で選択的インドシアニングリーン腹腔鏡胆嚢摘出術(ICGLC)を受けた合計48名の患者が遡及的に登録されました。全患者は手術20分前に0.5mgのインドシアニングリーン静脈注射を受けました。術後の病理検査で、すべての症例が結石性胆嚢炎と診断されました。

手動でセグメンテーションと選択を行った結果、合計76本のビデオクリップが取得されました。各クリップごとに、蛍光および白光イメージングチャネルがRGBチャンネルに沿って連結されていました。フレームサンプリングは8:1の比率で行われ、33,123フレームの融合蛍光・白色光フレームからなる二重モーダル外科用ビデオデータセットが得られました。データセットは3つの実験段階に対応する3つのサブセットにランダムに分割されました。各フェーズ内で、データはさらにトレーニングセットとテストセットに4:1の比率で分割されました。

現代の人気アルゴリズムにおけるデュアル...

ディスカッション

本研究は、ICGLC手術における重要な課題である肝蛍光汚染の特定とマスキングにAIディープラーニングを活用しました。NIRFを用いた外科医は、肝蛍光が視覚疲労を引き起こし、胆^{道画像診断}を複雑にすると報告することが多いです。コンピュータビジョン技術を応用することで、本研究はこれらの問題を緩和し、ICGLCでよく見られる合併症であるBDIの発生率を潜在的に減らすことを目指しました。モデルの単一フレーム処理における推論時間は約0.018秒で、これは約56フレーム毎秒(fps)に相当し、24fpsのビデオ標準を上回っています。

Patrick A. Boland³⁹やNiall P. Hardy ^37,38などの先行研究では、主に蛍光イメージングでAIを用いて腫瘍悪性分化の強度-時間曲線を解析してきましたが、本研...

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
4K蛍光イメージングコンソール	杭州康済医療機器有限公司	KJ-EP4K-01	3つのイメージングモードを提供します:白色光、蛍光、融合蛍光;AIモジュールの拡張サポート
4K蛍光カメラ	杭州康済医療機器有限公司	KJ-EC-4K	マルチ機能ボタン設定を備えた完全デジタルカメラ;ビデオ録画、写真撮影、蛍光モード切り替えのサポート
冷光源システム	杭州康済医療機器有限公司	KJ-CLS-1	蛍光波長808 nmのLED冷光源および蛍光LED光源
NVIDIA A100 テンソルコア	NVIDIAコーポレーション	900-21001-0020-100	GPU