Introduction
カメラキャリブレーションは集中3、2、1年にわたって研究されているコンピュータビジョンの分野ではよく知られている問題です。カメラキャリブレーション手順の重要なステップは、サブピクセル精度でカメラ画像からの既知のジオメトリとの点の格子を抽出することにより、歪モデルのパラメータ、ならびに固有のカメラパラメータを推定することです。黒と白の正方形を特徴チェッカーボードパターンで較正ターゲットは、一般的にこの目的のために使用されます。円形のブロブは、代替パターン4、5、6を提供しています。
近年では、このような胎児上のツイン・ツー・ツイン輸血症候群（TTTS）の治療として、胎児手術の手順については、手術ナビゲーション技術の開発への関心が高まってきました> 7、8、9、10。胎児鏡の視野（ すなわち、胎児の外科手術に使用される内視鏡）は、非常に限られているように、外部の追跡を使用することなく、胎盤脈管構造をマッピングするための方法は、TTTS手術11、12、13を補助するために提案されています。 fetoscopic画像内の光学的歪みは、視覚情報抽出11に依存しているこれらの計算モザイク法に悪影響を与えます。したがって、光学的歪み補償が介入中にリアルタイムで行うことができるように、周囲に、作動fetoscopesを較正するためのコスト効率と高速ツールの満たされていない必要性が存在します。
胎児鏡は介入中羊水中に浸漬されているという事実は、Aとの屈折率差にIRおよび羊水は胎児手術の手順に適さない古典的で空気カメラキャリブレーション方法をレンダリングします。気中のカメラパラメータから流体に浸漬カメラパラメータを推定することは困難な作業であり、流体に浸漬キャリブレーションターゲット14の少なくとも1つの画像を必要とします。また、周術期には、流体に浸漬fetoscopicカメラキャリブレーションは、手術室で許可された材料上の殺菌の要件と制限のため、現在は非現実的です。これらの理由に、光学歪みを内視鏡を較正することは、典型的に現在の臨床ワークフローの一部ではありません。この原稿での作業は、非対称円のパターンを特色に滅菌可能で実用的な光学歪みのキャリブレーションターゲットを設計し、製造することにより、このカメラキャリブレーションギャップを埋めるための試みです。以前は、Wengert ら。較正ターゲットとして酸化アルミニウム板を搭載カスタム校正装置を作製しました。彼らのメタODは、しかし、唯一の彼らは15を開発したカスタムキャリブレーション・アルゴリズムと連携して動作します。
Protocol
1.ターゲットの製作
- サンドブラスト
- 1.2 mmの厚さの316ステンレス鋼板を準備します。鉛筆や爪を使用して、定規の助けを借りてシートに40ミリメートル×40ミリメートルの正方形を描画します。
- マニュアル金属カッターを使用して描かれた正方形をカットします。注意！指を見ます。
- サンプルの角や辺を丸めるために、ファイルを使用します。注意！彼らは非常に鋭いです。注意してください。
- ステンレス鋼板よりもサイズが若干大きくまっすぐな木製や金属ブロックを準備します。その上にカット紙を置きます。サンドブラスト中にサンプルを曲げないようにするためにこれを行います。
- 内部ブラスト室にアセンブリを配置します。集塵装置を使用し、しっかりと内部ブラスト室を密封することを忘れないでください。それ以外の場合は、砂が処理中に敷き詰めます。目を保護するための安全ゴーグルを着用します。
- 垂直ブラストガンを置き、少なくとも4〜5センチメートル離れて金属の表面から。足のCONTRを適用しますサンドブラスト用のオール。サンプルを変形させることができ、高圧の砂の流れとして、バイスを用いて、（1〜2センチメートル厚）木片にサンプルを置きます。サンドブラスト時には、木片の端または別のバイスを使用してしっかりとサンプルを保持します。
- 両側に刻まキャリブレーションパターンを有することが望ましい場合は、他の側にサンドブラストを繰り返します。
- レーザパターニング
- 図1に示すように、非対称の円のパターンを設計します。
- CADソフトウェアまたは別の適切なプログラミング言語を使用して、いずれかの設計の図面交換形式（DXF）ファイルを準備します。
注：便宜上、本論文で述べた設計のためのDXFファイルを生成することができますPythonアプリケーションは、コンパクトなGUIアプリケーション16の一部として提供されます。 - レーザー切断ソフトウェアにDXFファイルをインポートします。
- 背景エッチングのための次のパラメータを設定します。レーザーパワー：40％、スキャン速度：80センチメートル/ sで、周波数：4,000Hzから、パスの数：1。
- パターンをエッチングするため、次のパラメータを設定します。レーザーパワー：40％、スキャン速度2.1センチメートル/秒、周波数：4,000Hzから、パスの数：1。
- 作業プラットフォームにサンプルを入れて、ソフトウェアを使用して切断パターンを揃えます。
- レーザーカットを実行した後、アルコールに浸漬することにより、サンプルをきれいに。彼らは通常、望ましくない残留物を残すように、任意のワイプを使用しないでください。
- 殺菌
- 滅菌パッケージ内で滅菌サンプルをラップし、滅菌器（オートクレーブ）に挿入します。
- オートクレーブに水（ない蒸留水）を追加し、ターゲットを滅菌するために、ユーザーのガイド/製造元の推奨に従ってください。
2.周術期のキャリブレーション
- 較正ソフトウェア
- GitHubの16に設けられた「endocal「内視鏡キャリブレーションソフトウェアパッケージをインストールします（その中のREADMEファイルの指示に従ってください）。
注：このソフトウェアは簡単に使用できる便利なアプリケーションでOpenCVのカメラキャリブレーションモジュール17をラップします。提供されたアプリケーションは、2つのモードで動作します。オンラインとオフライン。オンラインモードでは、互換性のあるフレームグラバーハードウェアから直接ビデオストリームを取得します。オフラインモードでは、負荷内視鏡画像のためのいずれかの動画ファイルや画像ファイルとして保存したビデオフレームの数のフォルダから可能になります。サポートされているハードウェアおよびこの2つのモードを使用する方法の詳細な手順については、READMEを参照してください。
- GitHubの16に設けられた「endocal「内視鏡キャリブレーションソフトウェアパッケージをインストールします（その中のREADMEファイルの指示に従ってください）。
- 内視鏡映像取得
注：（上記のように）以下の手順は、オンライン校正のためですが、彼らはまた、オフラインでキャリブレーションにも適用可能です。- このような小壺のように、無菌の流体容器にキャリブレーションターゲットを置きます。
- 目標液または類似の滅菌物質で容器を満たします。
注：例えば、fetoscopic proceでデュレス、目標液は羊水です。羊水の光学特性は生理食塩水18、19と同様であるため、滅菌生理食塩水は、胎児鏡を較正するために使用することができます。 - 所望のように、内視鏡のズームやシャープネスを調整します。
- 流体中に内視鏡を浸し、内視鏡は、後に使用される解剖学からの距離に類似したキャリブレーションターゲットからの距離でそれを保持します。
- キャリブレーションアプリケーションを起動し、カメラの取得を開始します。
- カメラのビュー内の全キャリブレーションパターンを維持しながら、異なるビューのためにわずかに内視鏡の先端を移動します。最適なパフォーマンスを得るために、内視鏡の円形ビュー内のキャリブレーションパターンの周りに楕円形の凡例を保ちます。
注： 図3に見られるように、キャリブレーションのために使用できるビデオフレームは、仮想パターンのオーバーレイで示されています。 - アックイキャリブレーションのために必要な内視鏡カメラ・ビューの少なくとも最小数（endocalウィンドウに示されるように）再。
注：endocalの現在のバージョンは、キャリブレーションのために少なくとも10の内視鏡カメラビュー、キャリブレーション誤差が最小で、安定したパターン20に従うように見えるビューのヒューリスティックに選択された番号が必要です。 - endocalウィンドウに示されているように、これまでに取得された画像を使用してキャリブレーション処理を開始するために、キャリブレーションキーを押します。
- キャリブレーション・パラメータを保存し、使用して
- プレスYAML中の得られた較正パラメータを保存するために指示されたキャリブレーションキー（「YAMLはマークアップ言語ではありません」）21を提出します 。
- OpenCVのカメラキャリブレーションモジュール17で説明したようにグループカメラ行列と歪み係数に較正パラメータ。
注：キャリブレーションを実行した後、キャリブレーションアプリケーションは自動的に元の内視鏡画像の右に歪み補正された画像を表示します。 - 純粋な可視化のための、または11をモザイクリアルタイム胎盤のためのfetoscopic手順の間に、歪み補正後のビデオフィードを使用してください。
Representative Results
我々は、その設計図1に示されているサンドブラストステンレス鋼の金属シート上に非対称の円のパターンをエッチングすることにより滅菌較正ターゲットを作成しました。一緒に胎児鏡とアクションでこの較正ターゲットを示す例示的なセットアップは、図2に示されています。レーザーエッチングソフトウェアにこの設計を養うために、カスタムアプリケーションは、Pythonプログラミング言語16で実装されました。設計パターンを作成する反復金属シートの平行線をエッチングすることを含みます。パターンが最終的に一貫性のある色を持つためには、これらの線間の距離は、レーザビームの幅未満でなければならない（ 図1の挿入図を参照）の値がヴィオリーノ（Laservall）レーザーカッターのために45μmである-これ。
図2：使用中のキャリブレーションターゲットと模範セットアップ。水浸胎児鏡の先端は右のキャリブレーションターゲットに向けられています。左側にはスケール情報を提供するために、英国のペニーです。"ターゲット=" _空白 ">この図の拡大版をご覧になるにはこちらをクリックしてください。
製造されたキャリブレーションターゲットが位置次に予め定義された非対称の円形グリッドにソートされるOpenCVの17と内視鏡のビデオストリームにおける円形パターンの検出を可能にする（ 図3参照）。既知のグリッド幾何形状に関連して、この情報を使用して、内部カメラパラメータを推定することができます。これらは、カメラ行列と歪み係数が含まれます。カメラ行列は、焦点距離と2次元画像平面のx軸とy軸に沿って光学中心から成ります。歪み係数はブラウンコンラディモデル3に基づいています。この作業のために、唯一の放射状の歪みパラメータを推定したことに注意してください。実用的な例と理論の簡単な説明については、OpenCVのカメラキャリブレーションモジュールのWebページを参照してください<SUPクラス= "外部参照"> 17とMATLABカメラキャリブレーションツールボックス22。カメラキャリブレーション手順の詳細については、張さんの作品20でご利用いただけます。 endocalソフトウェアリポジトリは、製造されたキャリブレーションターゲット16の10、内視鏡のビューのサンプルデータセットを備えています。このデータセットを使用して、0.28ピクセル（最小：0.16、最大0.45）の平均再投影誤差のキャリブレーションを得ました。これはWengert らによって報告された0.25ピクセルに匹敵します。自分のカスタムキャリブレーション・アルゴリズム15を使用して。 18モザイク胎盤のために使用される内視鏡カメラを較正するための15の方法を使用する場合、同じ研究グループは、しかしながら、より最近の論文で0.6画素の再投影誤差を報告しました。
推定されたカメラパラメータは、光学歪補正のために使用されます。光学歪みが線が曲線として表示されるよう胎児鏡を使用して見た図4は 、長方形のチェス盤のパターンを示しています。行がdistortiで正常に見えることに注意してください上の補正された画像。
図4：光学歪み補正。歪み補正後の画像と市松模様（左）（右）から胎児鏡の記録からのライブ映像をフィーチャーしたキャリブレーションアプリケーション16からのスクリーンショット。 3つの例示的な線は軌道が直線的である別のコーナーからそれぞれ、両方の画像に描かれています。光学的歪みに、これらの行は、元の胎児鏡画像の曲線として表示されます。 この図の拡大版をご覧になるにはこちらをクリックしてください。
Discussion
生の金属面が目立つことは不可能円が検出されるようにすること、内視鏡の光を反射するので、サンドブラストは、製造プロセスにおける重要なステップです。それも肉眼で円を区別することは困難である（ 図5参照）。示さターゲットの表面がすでにレーザーでエッチングしたことに注意してください。しかしながら、これは、光の反射を減少させません。
図5：なしサンドブラストでのキャリブレーションターゲットが適用されます。左側の内視鏡ビューから見られるように、材料表面上の内視鏡の光からのグレアが（ちょうど大きな反射の南東に円がある）でも、円を区別する肉眼のためにそれを困難にしています。このターゲット（ すなわち、「バックグラウンド」）の表面は既にエッチングが、これではありませんされたことに注意してくださいサンドブラストの不在に役立ちます。 この図の拡大版をご覧になるにはこちらをクリックしてください。
パターンエッチングの前に、試料全体の表面をエッチングすることも重要です。これは、サンドブラスト処理表面は、多くの鏡面反射を持っているので、ブロブ検出を妨害、（ 図6を参照）が必要です。
図6：なしエッチングで表面をサンドブラスト。生の金属表面ほど顕著ではないが、（黄色の矢印で強調されているそのうちのいくつか）が比較的小さい鏡面反射がまだ続くからブロブ検出を防止するのに十分であるので、何のキャリブレーションは、このターゲットを用いて実行することはできません。ARGET = "_空白">この図の拡大版をご覧になるにはこちらをクリックしてください。
異なる速度でレーザーを適用すると、別の背景色を与えます。背景色は、円と背景とのコントラストが重要な役割を果たしています。したがって、最適な背景色を決定するために重要です。この目的のために、丸付きプレートが作成された別の背景（ 図7参照 ）のセットに対してエッチング。背景はOpenCVのカメラキャリブレーションモジュール17で使用されているOpenCVの23の特徴検出モジュールを用いて試験しました。それは、医療デバイスのための診療所で使用される最も一般的かつ信頼性の高い物質であるように、この作業では、ターゲットは、ステンレス鋼で作られました。この材料は、高価な堅牢、かつ殺菌することは容易ではない、自由に利用可能です。他の材料は、潜在的に、アルミニウム又はヨウ素添加金属として、較正ターゲットを使用することができるが、これはSCOPあります今後の作業の電子。
図7：レーザーでエッチング異なる背景色のパレットを搭載ステンレス鋼板。実用的な実験は、色ブロブ対背景コントラスト23の観点で最適な結果を与えるバックグラウンドを決定するためにOpenCVの特徴検出モジュールと組み合わせて実施されました。左側の内視鏡ビューは、プレートを示しています。適度な背景色（ すなわち、最も暗いと最も軽いものことを他のもの）は、このパレットでは、より良いブロブ検出をもたらします。 この図の拡大版をご覧になるにはこちらをクリックしてください。
この作業の利点の1つは、作製対象を使用してキャリブレーションを行うこと2-3分かかることです。努力のほとんどが行きますESは手動でキャリブレーションパターンのまともなビューを取得するために内視鏡を安定化します。特注の内視鏡保持具を使用して順番に大幅較正時間を短縮する可能性があり、手動安定化の必要性を排除することができます。
ビデオ1：ビデオは、光学歪み校正がendocalソフトウェアと共に開発較正ターゲットを用いて行うことができる方法を示します。 このビデオを見るにはこちらをクリックしてください。 （ダウンロードするには、右クリックします。）
Wengert らの仕事に比べて我々の仕事の利点。 図15は、OpenCVのカメラキャリブレーションモジュール17は、任意の変更またはカスタムパラメを必要とせずに、キャリブレーションのためのものであるとして使用され得ることですterization。 OpenCVのは、十分に確立されたと手入れの行き届いたソフトウェアパッケージであり、それは書き込み、カスタムソフトウェアを維持する必要がなくなり使用して、コンピュータビジョンのコミュニティで非常に人気がありますので。読者の便宜のために、コンパクトなGUIアプリケーションは、読者が簡単にインストールして、新しいキャリブレーションターゲットをテストするために使用できる16を 、提供されています。 Wengert らに比べて我々の方法の一つの欠点。 15は 、すべてのブロブの検出を必要としないように、その方法は、パターンの閉塞に対してよりロバストであるということです。
最初は、チェッカーボードパターンとキャリブレーションターゲットがこの仕事のために作製しました。ただし、キャリブレーションターゲットのこのタイプは、市松模様の正方形の隅を検出することの難しさに起因する実験に不適切であることが判明しました。コーナー検出は、ヒストグラムベースの画像2値化（OpenCVのソースコード24を参照）に依存します。このインプ図6に示すものと同様に、部分的に起因する鏡面反射に、私たちの市松模様で保証されませんでした明るさと暗さの正方形、間に明確な色のコントラストの必要性があります。このような鏡面反射はあっても、バックグラウンドのエッチング後に存在しています。しかしながら、円の検出は、この欠点に敏感であると思われます。
現在の設定では、キャリブレーションターゲットの唯一の垂直ビューは成功したブロブの検出を可能にします。これは、斜めの角度でブロブ検出を妨げるターゲット表面からの鏡面反射によるものです。我々は、潜在的に行わ校正20の品質を向上させることができ角の広い範囲でのビューの取得を可能にするために、標的の向上に努めています。
リアルタイムで胎盤は、以前に11を提案したパイプライン、トランスの計算をモザイク画像対をマッピング形成が検出成功と機能のグループ化に依存しています。光学的歪みは、他の一方で、剛性のジオメトリを持つフィーチャのグループが画像間で異なる出現させます。その結果、この差は得られる画像のモザイクのドリフトを引き起こす計算変換の不正確さにつながります。最も顕著な光学歪みがエッジに向かって存在しているので、内視鏡画像は、現在彼らの最も内側の領域に切り取られます。光学的歪みのための良好な補正は、潜在的にモザイク処理に各画像の大部分の組み込みを可能にするであろう。この方法の利点は、2つある。まず、潜在的に、画像変換の計算を改善する、各画像内の検出された特徴の数を増加させます。第二に、それは短時間で再構成する全体目標の解剖学的表面を可能にするであろう。
Materials
| Name | Company | Catalog Number | Comments |
| 1.2 mm Metal sheet 316 Grade, 40 mm by 40 mm | |||
| Water container at least 50 mm by 50 mm by 30 mm | |||
| A sterilization package | |||
| Saline water | |||
| Manual metal cutter | |||
| A file to round up the corners | |||
| A wooden or metal block 50 mm by 50 mm at least 10 mm thick | |||
| A vice (desirable but not required) | |||
| Sand Blasting machine | |||
| GUI application to create .dxf file with the pattern | https://github.com/gift-surg/endocal | ||
| PC | |||
| Laser Cutter | |||
| Autoclave | |||
| An endoscope calibration software | from GitHub: https://github.com/gift-surg/endocal | ||
| Endoscope | |||
| OpenCV camera calibration module | http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html | ||
| Safety goggles | |||
| A lab coat | |||
| A ruler and a marker | |||
| Alcohol (preferably ethanol) for dust removal and cleaning |
References
- Zhang, Z., Matsushita, Y., Ma, Y. Camera calibration with lens distortion from low-rank textures. CVPR 2011 IEEE Conference on Computer Vision and Pattern Recognition, Washington, D.C., USA, , IEEE Computer Society. 2321-2328 (2011).
- Devernay, F., Faugeras, O. D. Automatic calibration and removal of distortion from scenes of structured environments. SPIE's 1995 International Symposium on Optical Science, Engineering, and Instrumentation. 62-72 International Society for Optics and Photonics, , International Society for Optics and Photonics. 62-72 (1995).
- Duane, C. B. Close-range camera calibration. Photogramm. Eng. 37 (8), 855-866 (1971).
- Mallon, J., Whelan, P. F. Which pattern? biasing aspects of planar calibration patterns and detection methods. Pattern recognition letters. 28 (8), 921-930 (2007).
- Balletti, C., Guerra, F., Tsioukas, V., Vernier, P. Calibration of Action Cameras for Photogrammetric Purposes. Sensors. 14 (9), 17471-17490 (2014).
- Heikkila, J. Geometric camera calibration using circular control points. IEEE Transactions on pattern analysis and machine intelligence. 22 (10), 1066-1077 (2000).
- Deprest, J. A., et al. Fetal surgery is a clinical reality. Seminars in fetal and neonatal medicine. 15 (1), Elsevier. 58-67 (2009).
- Watanabe, M., Flake, A. W. Fetal surgery: Progress and perspectives. Advances in pediatrics. 57 (1), 353-372 (2010).
- Lewi, L., Deprest, J., Hecher, K. The vascular anastomoses in monochorionic twin pregnancies and their clinical consequences. American journal of obstetrics and gynecology. 208 (1), 19-30 (2013).
- Yamashita, H., et al. Miniature bending manipulator for fetoscopic intrauterine laser therapy to treat twin-to-twin transfusion syndrome. Surgical Endoscopy. 22 (2), 430-435 (2008).
- Daga, P., et al. Real-time mosaicing of fetoscopic videos using SIFT. Proc. SPIE 9786, Medical Imaging 2016: Image-Guided Procedures, Robotic Interventions, and Modeling. 97861R. , International Society for Optics and Photonics. (2016).
- Yang, L., et al. Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model. The International Journal of Medical Robotics and Computer Assisted Surgery. 11 (2), 223-234 (2015).
- Liao, H., et al. Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery. Minimally invasive therapy & allied technologies. 18 (6), 332-340 (2009).
- Chadebecq, F., et al. Practical Dry Calibration With Medium Adaptation For Fluid-Immersed Endoscopy. Hamlyn Symposium on Medical Robotics, , (2015).
- Wengert, C., Reeff, M., Cattin, P. C., Székely, G., et al. Bildverarbeitung für die Medizin 2006: Algorithmen Systeme Anwendungen. Proceedings des Workshops vom 19. - 21. März 2006 in Hamburg. Handels, H., et al. , Springer. Berlin Heidelberg. 419-423 (2006).
- Shakir, D. I. Compact GUI application for optical distortion calibration of endoscopes. , Available from: https://github.com/gift-surg/endocal (2016).
- Camera calibration With OpenCV. , Available from: http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html (2016).
- Reeff, M., Gerhard, F., Cattin, P. C., Székely, G. Mosaicing of endoscopic placenta images. , Citeseer. (2011).
- Steigman, S. A., Kunisaki, S. M., Wilkins-Haug, L., Takoudes, T. C., Fauza, D. O. Optical properties of human amniotic fluid: implications for videofetoscopic surgery. Fetal diagnosis and therapy. 27 (2), 87-90 (2009).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- Evans, C. C. The Official YAML Web Site. , Available from: http://yaml.org (2016).
- Bouguet, J. -Y. Camera Calibration Toolbox for Matlab. , Available from: http://www.vision.caltech.edu/bouguetj/calib_doc/ (2015).
- Common Interfaces of Feature Detectors. , Available from: http://docs.opencv.org/2.4/modules/features2d/doc/common_interfaces_of_feature_detectors.html (2016).
- Open Source Computer Vision Library. , Available from: https://github.com/opencv/opencv (2016).
