流体浸漬胎児鏡光学歪み校正のための医療用滅菌可能なターゲット

サマリー

この記事では、内視鏡介入中の内視鏡の周術期の流体浸漬校正のための滅菌可能なカスタムカメラ光学歪み校正ターゲットの設計と開発について説明します。

要約

私たちは、GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) プロジェクトの文脈内で、流体浸漬内視鏡で使用するためのキャリブレーションターゲットを開発しました。このプロジェクトの目的の 1 つは、二分脊椎や双子間輸血症候群などの先天性先天性欠損症の治療における術中使用のための新しいリアルタイム画像処理方法を設計することです。開発されたターゲットは、数分以内に内視鏡の無菌性保持光学歪みキャリブレーションを可能にします。良好な光学歪みのキャリブレーションと補正は、放射状歪みなどの望ましくない影響を軽減するために重要です。これは、胎児手術中の既存の内視鏡技術を使用した正確なイメージングを妨げるだけでなく、取得した画像がリアルタイムモザイクなどの非常に有用な画像コンピューティングアプリケーションには適しなくなってしまいます。この論文では、臨床セットアップでの使用に適した手頃な価格で滅菌可能なキャリブレーションターゲットを作成するための新しい製造方法を提案します。この方法では、サンドブラスト加工されたステンレス鋼板をレーザーカットしてキャリブレーションパターンをエッチングします。このターゲットは、コンピュータビジョンコミュニティで人気のある最先端のソフトウェアライブラリであるOpenCVが提供するカメラキャリブレーションモジュールを使用して検証されました。

概要

カメラキャリブレーションは集中^3、2、1年にわたって研究されているコンピュータビジョンの分野ではよく知られている問題です。カメラキャリブレーション手順の重要なステップは、サブピクセル精度でカメラ画像からの既知のジオメトリとの点の格子を抽出することにより、歪モデルのパラメータ、ならびに固有のカメラパラメータを推定することです。黒と白の正方形を特徴チェッカーボードパターンで較正ターゲットは、一般的にこの目的のために使用されます。円形のブロブは、代替パターン^4、5、6を提供^しています。

近年では、このような胎児上のツイン・ツー・ツイン輸血症候群（TTTS）の治療として、胎児手術の手順については、手術ナビゲーション技術の開発への関心が高まってきました> ^{7、8、9、10。}胎児鏡の視野（ すなわち、胎児の外科手術に使用される内視鏡）は、非常に限られているように、外部の追跡を使用することなく、胎盤脈管構造をマッピングするための方法は、TTTS手術^{11、12、13を}補助するために提案されています。 fetoscopic画像内の光学的歪みは、視覚情報抽出¹¹に依存しているこれらの計算モザイク法に悪影響を与えます。したがって、光学的歪み補償が介入中にリアルタイムで行うことができるように、周囲に、作動fetoscopesを較正するためのコスト効率と高速ツールの満たされていない必要性が存在します。

胎児鏡は介入中羊水中に浸漬されているという事実は、Aとの屈折率差にIRおよび羊水は胎児手術の手順に適さない古典的で空気カメラキャリブレーション方法をレンダリングします。気中のカメラパラメータから流体に浸漬カメラパラメータを推定することは困難な作業であり、流体に浸漬キャリブレーションターゲット¹⁴の少なくとも1つの画像を必要とします。また、周術期には、流体に浸漬fetoscopicカメラキャリブレーションは、手術室で許可された材料上の殺菌の要件と制限のため、現在は非現実的です。これらの理由に、光学歪みを内視鏡を較正することは、典型的に現在の臨床ワークフローの一部ではありません。この原稿での作業は、非対称円のパターンを特色に滅菌可能で実用的な光学歪みのキャリブレーションターゲットを設計し、製造することにより、このカメラキャリブレーションギャップを埋めるための試みです。以前は、Wengert ら。較正ターゲットとして酸化アルミニウム板を搭載カスタム校正装置を作製しました。彼らのメタODは、しかし、唯一の彼らは^15を開発したカスタムキャリブレーション・アルゴリズムと連携して動作します。

プロトコル

1.ターゲットの製作

1. サンドブラスト
   1. 1.2 mmの厚さの316ステンレス鋼板を準備します。鉛筆や爪を使用して、定規の助けを借りてシートに40ミリメートル×40ミリメートルの正方形を描画します。
   2. マニュアル金属カッターを使用して描かれた正方形をカットします。注意！指を見ます。
   3. サンプルの角や辺を丸めるために、ファイルを使用します。注意！彼らは非常に鋭いです。注意してください。
   4. ステンレス鋼板よりもサイズが若干大きくまっすぐな木製や金属ブロックを準備します。その上にカット紙を置きます。サンドブラスト中にサンプルを曲げないようにするためにこれを行います。
   5. 内部ブラスト室にアセンブリを配置します。集塵装置を使用し、しっかりと内部ブラスト室を密封することを忘れないでください。それ以外の場合は、砂が処理中に敷き詰めます。目を保護するための安全ゴーグルを着用します。
   6. 垂直ブラストガンを置き、少なくとも4〜5センチメートル離れて金属の表面から。足のCONTRを適用しますサンドブラスト用のオール。サンプルを変形させることができ、高圧の砂の流れとして、バイスを用いて、（1〜2センチメートル厚）木片にサンプルを置きます。サンドブラスト時には、木片の端または別のバイスを使用してしっかりとサンプルを保持します。
   7. 両側に刻まキャリブレーションパターンを有することが望ましい場合は、他の側にサンドブラストを繰り返します。
2. レーザパターニング
   1. 図1に示すように、非対称の円のパターンを設計します。
   2. CADソフトウェアまたは別の適切なプログラミング言語を使用して、いずれかの設計の図面交換形式（DXF）ファイルを準備します。
      注：便宜上、本論文で述べた設計のためのDXFファイルを生成することができますPythonアプリケーションは、コンパクトなGUIアプリケーション¹⁶の一部として提供されます。
   3. レーザー切断ソフトウェアにDXFファイルをインポートします。
   4. 背景エッチングのための次のパラメータを設定します。レーザーパワー：40％、スキャン速度：80センチメートル/ sで、周波数：4,000Hzから、パスの数：1。
   5. パターンをエッチングするため、次のパラメータを設定します。レーザーパワー：40％、スキャン速度2.1センチメートル/秒、周波数：4,000Hzから、パスの数：1。
   6. 作業プラットフォームにサンプルを入れて、ソフトウェアを使用して切断パターンを揃えます。
   7. レーザーカットを実行した後、アルコールに浸漬することにより、サンプルをきれいに。彼らは通常、望ましくない残留物を残すように、任意のワイプを使用しないでください。
3. 殺菌
   1. 滅菌パッケージ内で滅菌サンプルをラップし、滅菌器（オートクレーブ）に挿入します。
   2. オートクレーブに水（ない蒸留水）を追加し、ターゲットを滅菌するために、ユーザーのガイド/製造元の推奨に従ってください。

2.周術期のキャリブレーション

1. 較正ソフトウェア
   1. GitHubの¹⁶に設けられた「endocal「内視鏡キャリブレーションソフトウェアパッケージをインストールします（その中のREADMEファイルの指示に従ってください）。
      注：このソフトウェアは簡単に使用できる便利なアプリケーションでOpenCVのカメラキャリブレーションモジュール^17をラップ^します。提供されたアプリケーションは、2つのモードで動作します。オンラインとオフライン。オンラインモードでは、互換性のあるフレームグラバーハードウェアから直接ビデオストリームを取得します。オフラインモードでは、負荷内視鏡画像のためのいずれかの動画ファイルや画像ファイルとして保存したビデオフレームの数のフォルダから可能になります。サポートされているハードウェアおよびこの2つのモードを使用する方法の詳細な手順については、READMEを参照してください。
2. 内視鏡映像取得
   注：（上記のように）以下の手順は、オンライン校正のためですが、彼らはまた、オフラインでキャリブレーションにも適用可能です。
   1. このような小壺のように、無菌の流体容器にキャリブレーションターゲットを置きます。
   2. 目標液または類似の滅菌物質で容器を満たします。
      注：例えば、fetoscopic proceでデュレス、目標液は羊水です。羊水の光学特性は生理食塩水^18、19と同様であるため、滅菌生理食塩水は、胎児鏡を較正するために使用することができます。
   3. 所望のように、内視鏡のズームやシャープネスを調整します。
   4. 流体中に内視鏡を浸し、内視鏡は、後に使用される解剖学からの距離に類似したキャリブレーションターゲットからの距離でそれを保持します。
   5. キャリブレーションアプリケーションを起動し、カメラの取得を開始します。
   6. カメラのビュー内の全キャリブレーションパターンを維持しながら、異なるビューのためにわずかに内視鏡の先端を移動します。最適なパフォーマンスを得るために、内視鏡の円形ビュー内のキャリブレーションパターンの周りに楕円形の凡例を保ちます。
      注： 図3に見られるように、キャリブレーションのために使用できるビデオフレームは、仮想パターンのオーバーレイで示されています。
   7. アックイキャリブレーションのために必要な内視鏡カメラ・ビューの少なくとも最小数（endocalウィンドウに示されるように）再。
      注：endocalの現在のバージョンは、キャリブレーションのために少なくとも10の内視鏡カメラビュー、キャリブレーション誤差が最小で、安定したパターン^20に従うように見えるビューのヒューリスティックに選択された番号が必要です。
   8. endocalウィンドウに示されているように、これまでに取得された画像を使用してキャリブレーション処理を開始するために、キャリブレーションキーを押します。
3. キャリブレーション・パラメータを保存し、使用して
   1. プレスYAML中の得られた較正パラメータを保存するために指示されたキャリブレーションキー（「YAMLはマークアップ言語ではありません^」）21を提出^します 。
   2. OpenCVのカメラキャリブレーションモジュール¹⁷で説明したようにグループカメラ行列と歪み係数に較正パラメータ。
      注：キャリブレーションを実行した後、キャリブレーションアプリケーションは自動的に元の内視鏡画像の右に歪み補正された画像を表示します。
   3. 純粋な可視化のための、または^11をモザイクリアルタイム胎盤のためのfetoscopic手順の間に、歪み補正後のビデオフィードを使用してください。

結果

我々は、その設計図1に示されているサンドブラストステンレス鋼の金属シート上に非対称の円のパターンをエッチングすることにより滅菌較正ターゲットを作成しました。一緒に胎児鏡とアクションでこの較正ターゲットを示す例示的なセットアップは、図2に示されています。レーザーエッチングソフトウェアにこの設計を養うために、カスタムアプリケーションは、Pythonプログラミング言語¹⁶で実装されました。設計パターンを作成する反復金属シートの平行線をエッチングすることを含みます。パターンが最終的に一貫性のある色を持つためには、これらの線間の距離は、レーザビームの幅未満でなければならない（ 図1の挿入図を参照）の値がヴィオリーノ（Laservall）レーザーカッターのために45μmである-これ。

栄>図1：非対称円の3行11グリッドを搭載し刻まれたパターンのデザイン。挿入図：ズームアップ非対称円のグリッドの眺め。線間の距離は、（レーザビーム幅に等しい）が45μmであり、各円は、1mmの直径を有します。他のサイズも同様にグリッドを使用することができるが、これは、ビューの胎児鏡の分野に対して最適であることが見出されました。 この図の拡大版をご覧になるにはこちらをクリックしてください。

図2：使用中のキャリブレーションターゲットと模範セットアップ。水浸胎児鏡の先端は右のキャリブレーションターゲットに向けられています。左側にはスケール情報を提供するために、英国のペニーです。"ターゲット=" _空白 ">この図の拡大版をご覧になるにはこちらをクリックしてください。

製造されたキャリブレーションターゲットが位置次に予め定義された非対称の円形グリッドにソートされるOpenCVの¹⁷と内視鏡のビデオストリームにおける円形パターンの検出を可能にする（ 図3参照）。既知のグリッド幾何形状に関連して、この情報を使用して、内部カメラパラメータを推定することができます。これらは、カメラ行列と歪み係数が含まれます。カメラ行列は、焦点距離と2次元画像平面のx軸とy軸に沿って光学中心から成ります。歪み係数はブラウンコンラディモデル³に基づいています。この作業のために、唯一の放射状の歪みパラメータを推定したことに注意してください。実用的な例と理論の簡単な説明については、OpenCVのカメラキャリブレーションモジュールのWebページを参照してください 17とMATLABカメラキャリブレーションツールボックス^22。カメラキャリブレーション手順の詳細については、張さんの作品²⁰でご利用いただけます。 endocalソフトウェアリポジトリは、製造されたキャリブレーションターゲット¹⁶の10、内視鏡のビューのサンプルデータセットを備えています。このデータセットを使用して、0.28ピクセル（最小：0.16、最大0.45）の平均再投影誤差のキャリブレーションを得ました。これはWengert らによって報告された0.25ピクセルに匹敵します。自分のカスタムキャリブレーション・アルゴリズム^15を使用して。 ¹⁸モザイク胎盤のために使用される内視鏡カメラを較正するための¹⁵の方法を使用する場合、同じ研究グループは、しかしながら、より最近の論文で0.6画素の再投影誤差を報告しました。

図3：キャリブレーションパターンのリアルタイム検出。検出されたキャリブレーションパターンを搭載し、キャリブレーションアプリケーション¹⁶からのスクリーンショットは、OpenCVの¹⁷から仮想現実可視化を使用して、ライブビデオストリームにオーバーレイ。キャリブレーションパターンの検出された各列が異なる色で強調されていることに注意してください。検出された円は、既知の幾何学的形状に関連して、カメラパラメータを計算するために使用されます。 この図の拡大版をご覧になるにはこちらをクリックしてください。

推定されたカメラパラメータは、光学歪補正のために使用されます。光学歪みが線が曲線として表示されるよう胎児鏡を使用して見た図4は 、長方形のチェス盤のパターンを示しています。行がdistortiで正常に見えることに注意してください上の補正された画像。

図4：光学歪み補正。歪み補正後の画像と市松模様（左）（右）から胎児鏡の記録からのライブ映像をフィーチャーしたキャリブレーションアプリケーション¹⁶からのスクリーンショット。 3つの例示的な線は軌道が直線的である別のコーナーからそれぞれ、両方の画像に描かれています。光学的歪みに、これらの行は、元の胎児鏡画像の曲線として表示されます。 この図の拡大版をご覧になるにはこちらをクリックしてください。

ディスカッション

生の金属面が目立つことは不可能円が検出されるようにすること、内視鏡の光を反射するので、サンドブラストは、製造プロセスにおける重要なステップです。それも肉眼で円を区別することは困難である（ 図5参照）。示さターゲットの表面がすでにレーザーでエッチングしたことに注意してください。しかしながら、これは、光の反射を減少させません。

図5：なしサンドブラストでのキャリブレーションターゲットが適用されます。左側の内視鏡ビューから見られるように、材料表面上の内視鏡の光からのグレアが（ちょうど大きな反射の南東に円がある）でも、円を区別する肉眼のためにそれを困難にしています。このターゲット（ すなわち、「バックグラウンド」）の表面は既にエッチングが、これではありませんされたことに注意してくださいサンドブラストの不在に役立ちます。 この図の拡大版をご覧になるにはこちらをクリックしてください。

パターンエッチングの前に、試料全体の表面をエッチングすることも重要です。これは、サンドブラスト処理表面は、多くの鏡面反射を持っているので、ブロブ検出を妨害、（ 図6を参照）が必要です。

図6：なしエッチングで表面をサンドブラスト。生の金属表面ほど顕著ではないが、（黄色の矢印で強調されているそのうちのいくつか）が比較的小さい鏡面反射がまだ続くからブロブ検出を防止するのに十分であるので、何のキャリブレーションは、このターゲットを用いて実行することはできません。ARGET = "_空白">この図の拡大版をご覧になるにはこちらをクリックしてください。

異なる速度でレーザーを適用すると、別の背景色を与えます。背景色は、円と背景とのコントラストが重要な役割を果たしています。したがって、最適な背景色を決定するために重要です。この目的のために、丸付きプレートが作成された別の背景（ 図7参照 ）のセットに対してエッチング。背景はOpenCVのカメラキャリブレーションモジュール¹⁷で使用されているOpenCVの²³の特徴検出モジュールを用いて試験しました。それは、医療デバイスのための診療所で使用される最も一般的かつ信頼性の高い物質であるように、この作業では、ターゲットは、ステンレス鋼で作られました。この材料は、高価な堅牢、かつ殺菌することは容易ではない、自由に利用可能です。他の材料は、潜在的に、アルミニウム又はヨウ素添加金属として、較正ターゲットを使用することができるが、これはSCOPあります今後の作業の電子。

図7：レーザーでエッチング異なる背景色のパレットを搭載ステンレス鋼板。実用的な実験は、色ブロブ対背景コントラスト²³の観点で最適な結果を与えるバックグラウンドを決定するためにOpenCVの特徴検出モジュールと組み合わせて実施されました。左側の内視鏡ビューは、プレートを示しています。適度な背景色（ すなわち、最も暗いと最も軽いものことを他のもの）は、このパレットでは、より良いブロブ検出をもたらします。 この図の拡大版をご覧になるにはこちらをクリックしてください。

この作業の利点の1つは、作製対象を使用してキャリブレーションを行うこと2-3分かかることです。努力のほとんどが行きますESは手動でキャリブレーションパターンのまともなビューを取得するために内視鏡を安定化します。特注の内視鏡保持具を使用して順番に大幅較正時間を短縮する可能性があり、手動安定化の必要性を排除することができます。

ビデオ1：ビデオは、光学歪み校正がendocalソフトウェアと共に開発較正ターゲットを用いて行うことができる方法を示します。 このビデオを見るにはこちらをクリックしてください。 （ダウンロードするには、右クリックします。）

Wengert らの仕事に比べて我々の仕事の利点。 ^{図15は、OpenCV}のカメラキャリブレーションモジュール^17は、任意^の変更またはカスタムパラメを必要とせずに、キャリブレーションのためのものであるとして使用され得ることですterization。 OpenCVのは、十分に確立されたと手入れの行き届いたソフトウェアパッケージであり、それは書き込み、カスタムソフトウェアを維持する必要がなくなり使用して、コンピュータビジョンのコミュニティで非常に人気がありますので。読者の便宜のために、コンパクトなGUIアプリケーションは、読者が簡単にインストールして、新しいキャリブレーションターゲットをテストするために使用できる^16を 、提供されています。 Wengert らに比べて我々の方法の一つの欠点。 ^15は 、すべて^のブロブの検出を必要としないように、その方法は、パターンの閉塞に対してよりロバストであるということです。

最初は、チェッカーボードパターンとキャリブレーションターゲットがこの仕事のために作製しました。ただし、キャリブレーションターゲットのこのタイプは、市松模様の正方形の隅を検出することの難しさに起因する実験に不適切であることが判明しました。コーナー検出は、ヒストグラムベースの画像2値化（OpenCVのソースコード^24を参照）に依存します。このインプ図6に示すものと同様に、部分的に起因する鏡面反射に、私たちの市松模様で保証されませんでした明るさと暗さの正方形、間に明確な色のコントラストの必要性があります。このような鏡面反射はあっても、バックグラウンドのエッチング後に存在しています。しかしながら、円の検出は、この欠点に敏感であると思われます。

現在の設定では、キャリブレーションターゲットの唯一の垂直ビューは成功したブロブの検出を可能にします。これは、斜めの角度でブロブ検出を妨げるターゲット表面からの鏡面反射によるものです。我々は、潜在的に行わ校正²⁰の品質を向上させることができ角の広い範囲でのビューの取得を可能にするために、標的の向上に努めています。

リアルタイムで胎盤は、以前に^11を提案^したパイプライン、トランスの計算をモザイク画像対をマッピング形成が検出成功と機能のグループ化に依存しています。光学的歪みは、他の一方で、剛性のジオメトリを持つフィーチャのグループが画像間で異なる出現させます。その結果、この差は得られる画像のモザイクのドリフトを引き起こす計算変換の不正確さにつながります。最も顕著な光学歪みがエッジに向かって存在しているので、内視鏡画像は、現在彼らの最も内側の領域に切り取られます。光学的歪みのための良好な補正は、潜在的にモザイク処理に各画像の大部分の組み込みを可能にするであろう。この方法の利点は、2つある。まず、潜在的に、画像変換の計算を改善する、各画像内の検出された特徴の数を増加させます。第二に、それは短時間で再構成する全体目標の解剖学的表面を可能にするであろう。

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
1.2 mm 金属板 316 グレード、40 mm x 40 mm
水容器 少なくとも 50 mm x 50 mm x 30 mm
A 滅菌パッケージ
生理食塩水
手動金属カッター
角
を切り上げるためのヤスリ50 mm x 50 mm、厚さ
(望ましいが必須ではない)
サンドブラストマシン
GUIアプリケーションで、パターン			https://github.com/gift-surg/endocal
PC
レーザーカッター
オートクレーブ
内視鏡校正ソフトウェア			:https://github.com/gift-surg/endocal
Endoscope
OpenCVカメラ校正モジュール			http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html
安全ゴーグル
白衣
定規とマーカー
ほこりの除去と清掃

10 mm以上の木製または金属ブロックで.dxfファイルを作成しますGitHubののためのアルコール(できればエタノール)