Name: デジタル干渉縞投影技術と高分解能、高速、三次元ビデオ画像 (動画) | JoVE Journal
Uploaded: 2013-12-03T13:10:00.000+00:00
Duration: 11 min 34 s
Description: 学ぶデジタル干渉縞投影技術による高分解能・高速三次元ビデオ撮影法。DLPプロジェクターと高速カメラを用いてリアルタイムで30万点以上の3Dデータを取得し、心臓の動態や表情解析など医療・エンターテインメント分野への応用可能性を示す。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

この研究は、10年以上前に始まった努力の積み重ねでした。 張さんはストーニーブルック大学の大学院生でした。アイオワ州立大学のチームの現在および以前の学生は、このテクノロジーを今日の場所に進歩させるために多大な貢献をしてきました。この研究は、プロジェクト番号CMMI 1150711で全米科学財団とウィリアム・アンド・バージニア・ビンガー財団が部分的に後援しました。

1. システム構成
システムの概略図を図1に示します。
<ol>
	<li>投影用のフリンジ パターンを生成します。 これらは、MATLAB、OpenCV、QTなどの画像プログラミング環境を使用して、事前に十分に準備することができます。18の3ステップ位相シフトアルゴリズムに従ってパターンを構築します。位相オフセットが互いに 2π/3 ずれた 3 つのイメージを作成します。バイナリ デフォーカスの場合は、ディザリング手法を使用して、19 で説明されているように、黒と白のピクセルのみを使用して正弦波パターンを生成します。</li>
	<li>デジタル光処理プロジェクターを選択します。 高速バイナリー・デフォーカス・システムには、ALP High Speed モジュールを搭載した DLP LightCommander のような、より高速で特殊なプロジェクターが必要です。フリンジ画像を投影するには、必ずバイナリまたはモノクロ設定を使用してください。画像値は純粋にオンまたはオフであるため、非線形性の調整は必要ありません。プロジェクターのソフトウェアプログラムを利用して、位相シフトのパターンをアップロードします。</li>
	<li>カメラを選択します。システムに適したキャプチャレートの白黒CCDまたはCMOSカメラを選択します。カラーカメラは色を必要とせず、カラーカメラは非線形性とガンマ調整が必要なため、3Dキャプチャにはカラーカメラを使用しないでください。カメラは、各3Dビデオフレームのフリンジ画像のセット全体をキャプチャする必要があることに注意してください。高品質の正弦波システムには、プロジェクターとカメラ間の正確な同期が必要です。バイナリーデフォーカスシステムの場合、この要件はより緩和されています20。</li>
	<li>必要な最大範囲 (x, y) と、プロジェクタから対象物までの距離 (d0) を決定します。 アプリケーションに適した範囲を選択しますが、光学的な境界効果を減らすために、領域が対象よりわずかに大きいことを確認してください。プロジェクターの光出力は錐台であるため、この (x, y) の範囲は d0 を駆動します。目的の(x、y)範囲が見つかるまで、大きな平らな投影面に対してプロジェクターを動かし、巻尺でd0を測定します。</li>
	<li>適切な焦点距離のカメラレンズを選択します。 カメラのセンサー サイズを使用して、距離 d0 の視野が目的のイメージング範囲 (x、y) と同じになるように焦点距離を見つけます。</li>
	<li>プロジェクタとカメラの間の分離距離を決定します。ここでは、ノイズとシャドウイングの間でトレードオフが発生します。これらのコンポーネント間の角度が大きいと、フィーチャ ポイント間の三角測量はより明確になりますが、カメラの視点からは影に埋もれてしまうフィーチャが多くなります。角度が小さいと、三角測量が難しくなり、結果のノイズが増加します。通常、10〜15°が良い妥協点です。</li>
</ol>
2. システムキャリブレーション
この基準面の校正は、システムにとって最も簡単でアクセスしやすい校正方法です。したがって、それは始めるのに最適です。より正確なキャリブレーション方法は、特定の正弦波16およびバイナリデフォーカス17アプリケーションの文献に記載されています。精度を最大限に高めるには、データキャプチャの直前にキャリブレーションを実行する必要があります。キャリブレーション後、カメラとプロジェクターを互いにずらさないでください。
<ol>
	<li>プロジェクターのフォーカス/ピントをぼかします。 投影レンズの焦点を慎重に取り戻し、撮像面のパターンが高品質の正弦波のようになります。これには、データ品質の調査(セクション4)とレンズの調整の反復プロセスが必要になる場合があります。</li>
	<li>参照平面のフリンジ画像をキャプチャします。プロジェクターの焦点面とカメラの視野に平らなホワイトボードを置きます。厚さ3/16インチ(5 mm)の白いフォームコアボードは、システムに面する表面が光沢がないか、著しく傷や破れがない限り、うまく機能します。データ処理ステップのために、このボードのフリンジ画像を記録して保存します。</li>
	<li>既知の寸法の参照オブジェクトのフリンジ画像をキャプチャします。このステップでは、硬質フォームキューブが簡単な例の 1 つです。キューブを1/16インチ(1.5 mm)の白い粘着フォームの正方形で覆い、拡散させます。カメラの視野内のカメラの焦点面に配置し、処理ステップのフリンジ画像を記録します。</li>
</ol>
3. データ取得
<ol>
	<li>オブジェクトを配置するか、被写体をカメラの焦点面に座るように促します。 人間の被験者の場合は、プロジェクターの光が明るい場合があることを警告します。被写体の後ろに黒い布の背景を使用して、無関係な環境を隠すことができます。</li>
	<li>カメラの絞りを調整して、光レベルを最適化します。 サンプルのフリンジ画像は、できるだけ明るくする必要がありますが、飽和しないようにする必要があります。暗い画像にはノイズが多すぎますが、画像内の飽和領域(最大輝度の重要な領域)は、飽和領域の詳細が失われます。</li>
	<li>必要なフレーム数をキャプチャします。 被写体とキャリブレーションデータセットの両方でキャプチャされたすべての画像を保持するのに十分な大きさのハードドライブを必ず持参してください。と .OBJファイル形式では、30 Hzで1分間、640 x 480の解像度で記録された3Dビデオは、50 GBを超える可能性があります。</li>
</ol>
4. データの解析と可視化
社内のGUIなど、速度に最適化されたソフトウェアを使用すると、このステップはデータキャプチャ中に実行できます。リアルタイム処理により、ユーザーは結果のデータがアプリケーションにとって望ましいかどうかを即座に検出し、必要に応じて調整できます。ただし、後処理はより柔軟で精度が高くなる可能性があります。また、後処理は実装がはるかに簡単で、開始するのに最適な場所です。
<ol>
	<li>キャリブレーション データと被験者データの両方についてラップされた位相を計算します。 18 の 3 ステップ位相シフト アルゴリズムでは、位相は余弦関数内の点の位置を表します。3つの方程式と3つの未知数があるため、各点の位相についてステップ1.1でフリンジ画像を生成するために使用した方程式を解くことができます。arctangent 関数のため、計算された位相は (-π, π];したがって、これは「ラップフェーズ」と呼ばれます。処理速度を向上させるために、21で説明した高速フェーズラッピングアルゴリズムを開発しました。</li>
	<li>フェーズマップをアンラップします。位相内の 2π ジャンプを検出し、2π の倍数を加算または減算してそれらを削除する位相アンラッピング アルゴリズムを採用します。以前のシステムでは、22の高速アルゴリズムを使用して、位相を堅牢かつ迅速にアンラップしました。このビデオでは、15で説明した、異なる周波数で3つの位相シフトパターンの追加セットを使用する多重周波数手法を示します。3 つの各セットのラップされた位相マップを組み合わせて、1 つのアンラップされた位相マップを堅牢に生成できます。この手法により、深度範囲が広がり、バイナリ デフォーカスで正確なキャプチャが可能になります。</li>
	<li>オプション: 2D テクスチャを計算します。隣接する 3 つのフリンジ イメージのセットを平均化すると、フリンジ ストライプが色あせ、2D テクスチャ マップが生成されます。これは、必要に応じて視覚化中に3Dデータにマッピングできます。</li>
	<li>アンラップされた位相マップを深度に変換します。 23で説明したように、キャリブレーションキューブの深さは、キャリブレーションキューブの位相マップと参照平面の位相マップの差として計算できます。この計算された深さを既知の深さと比較して、正しい深さスケーリング係数 c0 を計算します。次に、被験者の位相から参照平面位相を減算し、その結果に c0 を掛けて、被験者の深度を計算します。</li>
	<li>X 座標と Y 座標を計算します。 スケーリング係数 c0 をキャリブレーション キューブの深度マップに適用します。ピクセル単位の立方体次元から xy 平面の既知の立方体次元への変換係数 ρ を求めます。被験者データのピクセル数に ρ を掛けて、x 座標と y 座標を計算します。</li>
	<li>データを視覚化します。個々のフレームは、社内形式で保存して、簡単な MATLAB コードで表示したり、.OBJ形式で、Blenderなどの商用3Dモデリングプログラムで表示してください。各フレームのデータは大量であるため、これらのアプリケーションは一部のコンピューターで動作が遅くなる可能性があります。応答性を向上させたり、ライブ ビデオ表示を行ったりするには、OpenGL や Direct3D などのコンピューター グラフィックス ライブラリを使用してソフトウェアを記述します。このソフトウェアは、グラフィックス プロセッシング ユニット (GPU) を利用して、アンラップされたフェーズから x、y、z 座標を迅速に生成し、三角形メッシュを形成し、照明法線を計算し、結果を表示できます。GPUを使用して、フレームあたり約300,000ポイントで最大30Hzのライブ3Dデータ視覚化を実現しました。</li>
</ol>

<ol><li>Salvi, J., Fernandez, S., Pribanic, T., Llado, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+state+of+the+art+in+structured+light+patterns+for+surface+profilometry%5BTitle%5D)+AND+%22Patt.+Recogn%22%5BJournal%5D)">A state of the art in structured light patterns for surface profilometry.</a> Patt. Recogn. 43, 2666-2680 (2010).</li>
<li>Gorthi, S. S., Rastogi, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fringe+projection+techniques%3A+Whither+we+are%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Fringe projection techniques: Whither we are.</a> Opt. Laser Eng. 48 (2), 133-140 (2010).</li>
<li>Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+progresses+on+real-time+3-D+shape+measurement+using+digital+fringe+projection+techniques%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Recent progresses on real-time 3-D shape measurement using digital fringe projection techniques.</a> Opt. Laser Eng. 48 (2), 149-158 (2010).</li>
<li>Su, X., Zhang, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Dynamic+3-D+shape+measurement+method%3A+A+review%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Dynamic 3-D shape measurement method: A review.</a> Opt. Laser Eng. 48 (2), 191-204 (2010).</li>
<li>Geng, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Structured-light+3D+surface+imaging%3A+a+tutorial%5BTitle%5D)+AND+%22Adv.+Opt.+Photonics%22%5BJournal%5D)">Structured-light 3D surface imaging: a tutorial.</a> Adv. Opt. Photonics. 3 (2), 128-160 (2011).</li>
<li>Zhang, S., Yau, S. -T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-resolution%2C+real-time+3-D+absolute+coordinate+measurement+based+on+a+phase-shifting+method%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">High-resolution, real-time 3-D absolute coordinate measurement based on a phase-shifting method.</a> Opt. Express. 14 (7), 2644-2649 (2006).</li>
<li>Zhang, S., Royer, D., Yau, S. -T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((GPU-assisted+high-resolution%2C+real-time+3-D+shape+measurement%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">GPU-assisted high-resolution, real-time 3-D shape measurement.</a> Opt. Express. 14 (20), 9120-9129 (2006).</li>
<li>Lei, S., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Flexible+3-D+shape+measurement+using+projector+defocusing%5BTitle%5D)+AND+%22Opt.+Lett%22%5BJournal%5D)">Flexible 3-D shape measurement using projector defocusing.</a> Opt. Lett. 34 (20), 3080-3082 (2009).</li>
<li>Mehta, R. P., Zhang, S., Hadlock, T. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Novel+3-D+video+for+quantification+of+facial+movement%5BTitle%5D)+AND+%22Otolaryngol.+Head+Neck+Surg%22%5BJournal%5D)">Novel 3-D video for quantification of facial movement.</a> Otolaryngol. Head Neck Surg. 138 (4), 468-472 (2008).</li>
<li>Wang, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High+resolution+acquisition%2C+learning+and+transfer+of+dynamic+3D+facial+expressions%5BTitle%5D)+AND+%22Comput.+Graph.+Forum%22%5BJournal%5D)">High resolution acquisition, learning and transfer of dynamic 3D facial expressions.</a> Comput. Graph. Forum. 23 (3), (2004).</li>
<li>Laughner, J. I., Zhang, S., Li, H., Efimov, I. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mapping+cardiac+surface+mechanics+with+structured+light+imaging%5BTitle%5D)+AND+%22Am.+J.+Physiol.+Heart+Circ.+Physiol%22%5BJournal%5D)">Mapping cardiac surface mechanics with structured light imaging.</a> Am. J. Physiol. Heart Circ. Physiol. , in press (2012).</li>
<li>Ekstrand, L., Wang, Y., Karpinsky, N., Zhang, S. Superfast 3D profilometry with digital fringe projection and phase-shifting techniques. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aEkstrand%2C+L+%22Handbook+of+3-D+machine+vision%3A+Optical+metrology+and+imaging%22">Handbook of 3-D machine vision: Optical metrology and imaging</a>. , Taylor & Francis. Boca Raton, FL. (2012).</li>
<li>Zhang, S., Huang, P. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-resolution+real-time+three-dimensional+shape+measurement%5BTitle%5D)+AND+%22Opt.+Eng%22%5BJournal%5D)">High-resolution real-time three-dimensional shape measurement.</a> Opt. Eng. 45 (12), 123-601 (2006).</li>
<li>Li, Y., Zhao, C., Qian, Y., Wang, H., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-speed+and+dense+three-dimensional+surface+acquisition+using+defocused+binary+patterns+for+spatially+isolated+objects%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">High-speed and dense three-dimensional surface acquisition using defocused binary patterns for spatially isolated objects.</a> Opt. Express. 18, 21-635 (2010).</li>
<li>Wang, Y., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Superfast+multifrequency+phase-shifting+technique+with+optimal+pulse+width+modulation%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">Superfast multifrequency phase-shifting technique with optimal pulse width modulation.</a> Opt. Express. 19 (6), 5143-5148 (2011).</li>
<li>Zhang, S., Huang, P. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Novel+method+for+structured+light+system+calibration%5BTitle%5D)+AND+%22Opt.+Eng%22%5BJournal%5D)">Novel method for structured light system calibration.</a> Opt. Eng. 45 (8), 083601(2006).</li>
<li>Merner, L., Wang, Y., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Accurate+calibration+for+3D+shape+measurement+system+using+a+binary+defocusing+technique%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Accurate calibration for 3D shape measurement system using a binary defocusing technique.</a> Opt. Laser Eng. 51 (5), 514-519 (2013).</li>
<li><a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Optical+Shop+Testing%22">Optical Shop Testing</a>. Malacara, D. , 3rd, John Wiley and Sons. New York. (2007).</li>
<li>Wang, Y., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three-dimensional+shape+measurement+with+binary+dithered+patterns%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Three-dimensional shape measurement with binary dithered patterns.</a> Appl. Opt. 51 (27), 6631-6636 (2012).</li>
<li>Ekstrand, L., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Autoexposure+for+three-dimensional+shape+measurement+with+a+digital-light-processing+projector%5BTitle%5D)+AND+%22Opt.+Eng%22%5BJournal%5D)">Autoexposure for three-dimensional shape measurement with a digital-light-processing projector.</a> Opt. Eng. 50 (12), 123-603 (2011).</li>
<li>Huang, P. S., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast+three-step+phase-shifting+algorithm%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Fast three-step phase-shifting algorithm.</a> Appl. Opt. 45 (21), 5086-5091 (2006).</li>
<li>Zhang, S., Li, X., Yau, S. -T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multilevel+quality-guided+phase+unwrapping+algorithm+for+real-time+3-D+shape+reconstruction%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Multilevel quality-guided phase unwrapping algorithm for real-time 3-D shape reconstruction.</a> Appl. Opt. 46 (1), 50-57 (2007).</li>
<li>Xu, Y., Ekstrand, L., Dai, J., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Phase+error+compensation+for+3-D+shape+measurement+with+projector+defocusing%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Phase error compensation for 3-D shape measurement with projector defocusing.</a> Appl. Opt. 50 (18), 2572-2581 (2011).</li>
</ol>

著者には競合する金銭的利益はありません。

この高解像度、リアルタイム、超高速の3Dビデオイメージング技術は、生物科学から工学実践に至るまで、数多くの多様な科学分野に利益をもたらす可能性のあるプラットフォーム技術です。生物医学用途には、顔の動きや臓器表面の精密測定が含まれます。その他のアプリケーションには、歪んだ表面の特徴を検出する3D自動品質管理が含まれます。3D 強化ビデオ会議。映画やビデオゲームの顔の特徴の詳細なデジタル化。構造の設計と解析のための緻密で迅速な変形測定。流体表面の特性評価。多くの生物学的および工学的アプリケーション(ウサギの心臓の鼓動、流体衝撃波など )では、エイリアシングアーティファクトなしで特徴を正しく解決するために、バイナリ焦点デフォーカスシステムの超高速イメージングレートが必要です。
しかし、この技術の普及には多くの課題が残っています。従来の DFP 技術では、プロジェクタに 8 ビットのグレースケール正弦波フリンジ パターンを表示する必要がありました。この手法の速度は、プロジェクタのリフレッシュ レート (通常は 120 Hz) によって制限されます。この速度は、顔の表情などのスロー モーション キャプチャには十分です。ただし、 より高速なキャプチャー・レートを必要とするアプリケーションは数多く存在します。
バイナリデフォーカス技術により、この速度制限が緩和され、超高速3Dビデオイメージングシステムの作成に成功しました。しかし、このシステムには2つの欠点があります。1つ目は、DLP Discoveryプラットフォームのような高価なプロジェクターと、Vision Research Phantom v9.1のような高価な高速ビデオカメラを必要とすることです。2つ目は、2乗バイナリパターンの焦点ぼけによって正弦波パターンを生成するため、 バイナリ デフォーカス技術では、従来の DFP 技術と同じ品質の正弦波縞を生成することが難しく、深度測定範囲が狭くなります (詳細な説明については、23 を参照)。最近の調査では、ディザリングされたバイナリ正弦波パターンが深度測定範囲の制限を大幅に軽減できることが示されています19.将来の研究は、バイナリ焦点デフォーカスのメリットを維持しながら、残りの問題を克服することに焦点を当てます。
もう 1 つの課題は、高速で高解像度の 3D ビデオ イメージング システムによって生成される大量のデータを圧縮して保存することです。非圧縮の 3D ビデオは、非圧縮の 2D ビデオよりも大幅に大きくなります。たとえば、30 Hz で 640 x 480 の解像度で 1 分間録画された 3D ビデオの場合、.OBJのファイルサイズは50GBを超える可能性があり、保存が非常に困難です。3D動画圧縮分野ではほとんど進歩が見られていないため、今後もこの点に注力していきます。

デジタルフリンジプロジェクション(DFP)技術は、同じシーンの異なる角度での2つのビュー間の相関と三角測量に基づいており、ステレオビジョンを実現するために人間の目と脳が採用するのと同じ原理です。ただし、ステレオベースの方法とは異なり、DFPはデジタルビデオプロジェクタを使用してカメラの1つを置き換えます1。プロジェクターは、既知の正弦波パターンをオブジェクトにすばやく投影し、オブジェクトの表面がカメラのビューで歪むようにします。このような位相差の異なる3つの歪んだパターン(フリンジ画像)を解析し、三角測量によって奥行きを求めることができます。既知のパターンを使用すると、対応点を特定するという困難な計算問題が解消され、カメラの解像度で深度測定値をキャプチャできます。たとえば、576 x 576 のカメラを使用すると、この手法では 331,776 ポイントをキャプチャできます。これにより、DFPシステムは、人間の感情における顔の筋肉の動きなど、非常に細かい詳細を測定できます。
静的または準静的なイベントに対する3D光学イメージング技術は、過去数十年にわたって広く研究され、ビデオゲームデザイン、アニメーション、映画、ミュージックビデオ、バーチャルリアリティ、遠隔手術、および多くのエンジニアリング分野で大きな成功を収めています5。3Dプロフィロメトリー技術は数多く存在しますが、それらは表面接触法と表面非接触法の2つのカテゴリに分類できます。三次元測定機(CMM)と原子間力顕微鏡(AFM)はどちらも、高精度の3Dプロファイルを得るためには、測定面との接触が必要です。この要件により、連絡方法の速度に厳しい制限が課せられます。スキャンごとに数千ポイントのkHz測定速度に達することはできません。
表面非接触技術は、通常、光三角測量法(ステレオビジョン、時空ステレオ、構造化光など)を利用します。既知のパターンをオブジェクトに積極的に投影することにより、構造化光技術を使用して、強い局所的なテクスチャ変動なしに表面を測定できます1。フリンジ解析は、正弦波構造化パターン (フリンジ パターンとも呼ばれます) を使用する構造化光手法の特別なグループです。これらのパターンは、既知の方法でポイントごとに連続的に変化する強度を持つため、構造化光技術をプロジェクターピクセル解像度からカメラピクセル解像度12にブーストします。最近では、フリンジ解析技術が高解像度の3Dイメージングを実現するのに役立ちました。
デジタル フリンジ プロジェクション (DFP) 手法では、デジタル ビデオ プロジェクターを使用して正弦波フリンジ パターンを生成します。この手法は、低コスト、高速、開発の簡易性というメリットがあり、過去10年間は非常に活発な研究分野でした。DFPおよび類似のデジタルストラクチャードライト技術の最近の開発は、1-5にまとめられています。高速アプリケーションを実現するためには、基本的な動作メカニズムを持つデジタル光処理(DLP)プロジェクターが望ましいです。この手法の速度と柔軟性により、40 Hz 13 で 3D ビデオを取得し、その後 60 Hz 6,7 で 3D ビデオを取得することができました。
それにもかかわらず、従来のDFP技術には基本的な速度制限が存在します。DLP プロジェクターは、最大 リフレッシュ レート (通常は 120 Hz) でのみ 8 ビット カラー イメージを交換できます。従来のフリンジパターンは8ビットのグレースケール画像であるため、そのうちの3つを赤、緑、青のカラーチャネルとして1つのカラー画像にエンコードできます。プロジェクタは、リフレッシュレート(通常は360 Hz)の3倍で各チャネル(したがって各フリンジパターン)を交換します。しかし、各3Dビデオフレームには3つのフリンジパターンが必要であるため、3Dビデオキャプチャの最大レートは依然としてリフレッシュレート(120Hz)3,14のみです。このハードウェアの制限を打破するために、私たちはバイナリデフォーカス8を使用する修正DFP技術を発明しました。この手法では、8 ビットのグレースケール フリンジ パターンの代わりに、コンピューターで生成された 1 ビットのバイナリ構造化パターンを使用します。これらのパターンは、プロジェクター レンズを使用して焦点がぼけられ、DFP の擬似正弦波パターンになります。DLPプロジェクタは、8ビットのグレースケール画像よりも桁違いに高速にバイナリ画像を表示できるため、バイナリデフォーカス技術により、従来のDFP技術15と同じ解像度で数十キロヘルツの3Dビデオイメージング速度が可能になります。
次のプロトコルの全体的な目標は、バイナリ焦点取り 3 ステップ位相シフト DFP システムの基本的な実装と操作を実証することです。まず、プロトコルは必要なコンポーネントの選択と統合をカバーします。次に、システムのキャリブレーションの最も簡単でアクセスしやすい方法について説明します。より複雑な校正方法は、特定のアプリケーション16,17の文献に記載されています。次に、このプロトコルでは、システムを使用した3Dビデオキャプチャの手順と、フリンジ画像を視覚化された3D測定値に変換するプロセスに焦点を当てます。最後に、リアルタイムおよび高速システムの代表的な結果をいくつか紹介します。

<table><tbody><tr><td colspan="4">材料や設備は使用していません。</td></tr></tbody></table>

デジタル干渉縞投影技術と高分解能、高速、三次元ビデオ画像

High-resolution, High-speed, Three-dimensional Video Imaging with Digital Fringe Projection Techniques

デジタル フリンジ プロジェクション (DFP) 技術は、動的に変化するサーフェスの高密度な 3D 測定を提供します。人間の目や脳と同様に、DFP は、同じシーンの異なる角度の 2 つのビューで一致するポイント間の三角測量を使用して深度を計算します。ただし、ステレオ ベースの方法とは異なり、DFP はデジタル ビデオ プロジェクタを使用してカメラの 1 つを置き換えます 1.プロジェクターは、既知の正弦波パターンを被写体に迅速に投影し、被写体の表面はカメラの視野内でこれらのパターンを歪めます。カメラからの 3 つの歪んだパターン (フリンジ画像) を使用して、三角測量を使用して深度を計算できます。
他の 3D 測定方法とは異なり、DFP 技術は、より高速で、機器コストが低く、柔軟性が高く、開発が容易になる傾向があるシステムにつながります。DFP システムは、カメラと同じ測定解像度も達成できます。このため、DFP やその他のデジタル構造化光技術は、最近、集中的な研究の焦点となっています (1-5 に要約されています).グラフィックス処理ユニットであるDFPと最適化されたアルゴリズムを活用して、フレームあたり300,000を超える測定ポイントに対して30Hzの3Dビデオデータを取得、再構成、および表示できるシステムを開発しました6,7。バイナリデフォーカスDFP法は、さらに高速化を実現できます8。
さまざまなアプリケーションがDFP技術の恩恵を受けることができます。私たちの共同研究者は、顔面機能解析9、顔面アニメーション10、心臓力学研究11、流体表面測定など、当社のシステムを使用しています。このビデオでは、DFP 技術の基礎を学び、バイナリ デフォーカス DFP システムの設計と操作について説明します。

図1にシステムの概略図を示します。本ビデオで使用している高速バイナリデフォーカシングシステムは、Logic PD社製DLP LightCommanderプロジェクターとPhantom v9.1 CMOSカメラで構成されています。
図2は、人間の顔を撮影した3Dリアルタイムシステムのシングルフレームを示しています。このシステムでは640 x 480のカメラを使用しています。前述の既知の正弦波パターンを用いることで、640 x 480 = 307,200回の測定が可能となり、非常に微細な詳細を記録するのに十分な解像度が得られます。
図 3 は、人間の表情を 3D で 60 Hz で測定した例を示しています。ここでは、ビデオシーケンスから選択した 4 つのフレームにより、微細な詳細幾何学の動的な変化を捉えるリアルタイムシステムの能力が明確に示されています。
図4は、リアルタイム・バイナリデフォーカス3Dビデオシステムと併用して使用されるライブ可視化ソフトウェアを示しています。被写体を3D撮影したビデオが、右側のコンピューターモニターにリアルタイムで表示されています。このソフトウェアは、OpenGLライブラリ、GLSL、およびQTを用いてC++で記述されました。使用されているコンピューターはLenovo製ノートパソコンです。
図5は、新しく開発した超高速バイナリデフォーカスシステムを用いた、生きたウサギの心臓の測定による3Dフレームを示しています。このシステムは、576 x 576の画像解像度で、667 Hzの速度で3Dフレームを記録できます。動きに起因するアーティファクトなしに心臓表面を測定するためには、超高速のレートが必要です。この心臓測定研究は、ワシントン大学セントルイス校のIgor Efimov教授との共同研究によるものです（詳細は11を参照してください）。なお、ウサギは人道的に安楽死させられており、画像は心臓がまだ拍動している間に撮影されました。
<img alt="投影方程式を含む構造化照明イメージングの図。プロジェクターとカメラのセットアップによりパターンを解析する。" fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig1highres.jpg" src="/files/ftp_upload/50421/50421fig1.jpg" data-altupdatedat="1787630408000" data-alt="図 1"> 
図 1. 3Dビデオイメージングシステムのレイアウト。 本システムでは、高速DLPプロジェクターを用いて、3枚のバイナリディザリング位相シフト画像を被写体に連続して高速に投影する。深度計算のため、高速CMOSカメラを使用してこれら3枚のフリンジ画像を順次キャプチャする。
<img alt="3D顔再構築プロセス、メッシュ可視化、デジタルモデリング技術、人類学的研究。" fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig2highres.jpg" src="/files/ftp_upload/50421/50421fig2.jpg" data-altupdatedat="1787630408000" data-alt="図2"> 
図2. 640 x 480の解像度で測定された人間の顔の3D計測データ。微細な詳細が示されている。 左から順に、ジオメトリと完全に整合して同時にキャプチャされたテクスチャ、ジオメトリのシェーディング表示、点の密度を示すワイヤーフレーム表示、鼻領域の拡大図、および眼領域の拡大図を示す。
<img alt="3D表情モーフィング、デジタル変換、視覚分析、シーケンス図。" fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig3highres.jpg" src="/files/ftp_upload/50421/50421fig3.jpg" data-altupdatedat="1787630408000" data-alt="図3"> 
図3. 表情形成の3Dビデオから抽出した4つの代表的なフレーム。 ビデオは60 Hz、解像度640 x 480でキャプチャされた。これらのフレームは、女性がニュートラルな表情から笑顔に移行する際の顔の幾何学的変化を強調している。
<img alt="リアルタイムの結果を表示している、光学スキャンと3Dイメージング実験による顔認識セットアップ。" fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig4highres.jpg" src="/files/ftp_upload/50421/50421fig4.jpg" data-altupdatedat="1787630408000" data-alt="図4"> 
図4. ライブ3Dビデオのキャプチャ、処理、およびレンダリング。3D測定値が、被験者の右側にあるコンピュータ画面にリアルタイムで表示されている。
<img alt="3D心臓モデル。医療画像解析のための異なる回転ビューを示す図。" fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig5highres.jpg" src="/files/ftp_upload/50421/50421fig5.jpg" data-altupdatedat="1787630408000" data-alt="図 5"> 
図 5. 超高速3Dビデオイメージングシステムによる生きたウサギ心臓のキャプチャ。心臓は約 200 beats/min で拍動しています。3Dキャプチャレートは 166 Hz で、画像解像度は 576 x 576 でした。詳細は11を参照してください。

このビデオでは、動的に変化する表面の高密度な 3D 測定を提供するデジタル フリンジ投影技術の基礎について説明します。また、これらの手法に基づく高速バイナリ デフォーカス システムの設計と操作も示しています。

Digital fringe projection (DFP) techniques provide dense 3D measurements of dynamically changing surfaces.&#160;Like the human eyes and brain, DFP uses ...

この手順の全体的な目的は、リアルタイム以上の速度で高解像度の3Dビデオをキャプチャすることです。これは、まずデジタルライトプロセッシングプロジェクターを使用して、正弦波縞パターンの画像を被写体に高速で投影することで達成されます。高い精度を得るために、3つの位相がずれたコサインパターンを順に投影します。別の視点からこれらの画像を撮影するためにカメラを使用します。次のステップは、3枚のフリンジパターン画像の各セットからラップ位相を算出することです。これは、アークタンジェント関数と画像の輝度値を用いて行われます。次に、アークタンジェント関数によって生じる2πの不連続性を除去するために、位相のアンラップを行います。最終ステップは、被写体のアンラップ済み位相から深さを取得することです。これは、被写体と校正平面のアンラップ済み位相マップの差分であり、参照物体を用いて得られた定数によって適切にスケール変換および平行移動させたものです。最終的に、得られたデータフレームはグラフィックスソフトウェアを用いて表示することができます。レーザースキャンなどの既存の他の手法に対する本手法の主な利点は、高解像度と高速性の両立が可能である点です。既知の正弦波パターンを被写体に投影するため、576 × 576 画素のカメラを使用した場合、各ピクセルに対して3Dデータポイントを取得することができます。1フレームあたり30万点以上の3Dデータポイントを抽出することが可能です。この手法は、表情の形成や心臓表面の鼓動のキャプチャなど、医療分野への応用の可能性がありますが、その他の多くの研究分野にも適用できます。映画やビデオゲームで利用される高解像度のフェイシャルモーションキャプチャや、ビデオ会議の高度な手法への活用が可能です。また、製造環境における欠陥の検出に使用することも可能です。この手法の視覚的なデモンストレーションは、校正として極めて重要です。システムの視覚的な経年変化やその測定方法のため、処理手順の習得は困難です。問題を検出する最も単純かつ容易な方法は、習熟した視覚検査を用いることです。最初のステップは、投影する干渉縞パターンを生成することです。これらは、ここではmatlabという画像プログラミング環境を用いて事前に作成します。このビデオでは、バイナリパターンの使用に焦点を当てます。デフォーカスされたバイナリパターンを作成するには、ディザリング技術を用いて、純粋な黒と白のピクセルのみで正弦波パターンを生成します。3ステップ位相シフトアルゴリズムの指示に従い、互いに2π/3ずつ位相をずらした3つのパターン画像を作成してください。このデモンストレーションでは、より急峻な深さの変化を捉えることができるマルチ周波数法のために、さらに3セットずつ2組のデータを作成します。次に、単色設定が可能な高速DLP（デジタルライトプロセッシング）プロジェクターを選択します。プロジェクターに付属のソフトウェアを使用して、位相シフト用の画像をアップロードしてください。次に、システムの適切なキャプチャレートを持つ白黒のC、CD、またはCOSカメラを選択します。プロジェクターを物体から配置すべき距離を算出するために、カメラが各ビデオフレームにつき一連のフリンジ画像すべてをキャプチャする必要があることに留意してください。画像の垂直および水平方向の範囲が、研究対象の物体よりもわずかに大きくなるように、大きな平面に対してプロジェクターを移動させます。プロジェクターから壁までの距離を測定します。この距離における目的の視野とカメラセンサーサイズを用いて、レンズの焦点距離を算出してください。最後の構成ステップは、プロジェクターとカメラの間に大きな角度を設けた際の、両コンポーネント間の角分離を決定することです。特徴点間の三角測量は明白ですが、特徴点が増えるほど影に隠れて消失しやすくなります。角度が小さいと三角測量が困難になり、結果にノイズが増加します。一般的に、10〜15度が適切な妥協点となります。キャリブレーションはデータキャプチャの直前に行うのが最適です。バイナリデフォーカスシステムの場合、結像面でのパターンが高品質な正弦波に似るまで、投影レンズをデフォーカスさせます。これには、テストデータの確認とレンズの調整を繰り返す反復的なプロセスが必要になる場合があります。フリンジがぼやけて一体化している場合は、プロジェクターのデフォーカスが強すぎます。パターンの中にドットが見える場合は、プロジェクターのフォーカスが合いすぎています。次に、カメラとプロジェクターの両方の視野内に平らなホワイトボードを設置します。1枚目の干渉縞画像をボード上に投影します。次に、それをカメラで撮影し、残りの干渉縞画像についても同様に投影して記録します。これらの干渉縞画像は、データ処理ステップで使用するため、キャリブレーション面としてラベルを付けて保存します。次に、寸法が既知の物体をシステムの視野内に配置します。ここでは、拡散反射性の粘着フォームの正方形で覆われた剛性フォームキューブを使用します。キューブに対して、同様のフリンジ画像の一連を投影します。それぞれをカメラでキャプチャします。キャプチャした画像は、キャリブレーションキューブとしてラベルを付け、処理ステップのために保存します。データを収集します。被験者をカメラの焦点面に配置し、被験者にフリンジ画像を投影してキャプチャします。高速での正確なモーションキャプチャには、通常、高速撮影が必要です。人間の目にはフリンジのみが見えます。時間的干渉法において、撮影した画像を使用してカメラの絞り調整を行います。光レベルを最適化するために、干渉縞画像は飽和しない範囲で、できるだけ明るくする必要があります。次のステップはデータの後処理です。3ステップ位相シフトアルゴリズムにおいて、位相は正弦波パターン内における点の位置を決定する余弦関数の引数となります。フリンジ画像から各点のこの位相を決定するためのアルゴリズムが実装されており、ここで算出されたラップ位相は、ある一定の範囲内に収まります。負のPIからPIまで、このアルゴリズムをキャリブレーション平面、キューブ、および被験者データに適用します。次に、別のアルゴリズムを用いて位相マップをアンラップし、位相跳躍点において2πを加算または減算します。多周波数法では、各周波数のラップされた位相マップを統合して、単一のアンラップされた位相マップを作成します。この時点で、キャリブレーション工程を再確認することが重要です。キャリブレーション平面の位相マップの中心から水平断面を取り出します。バルクプロファイルを削除して、位相誤差の推定値を得ます。投影パターンが集光しすぎている場合、誤差が大きくなります。必要に応じてプロジェクターレンズを調整し、誤差を許容範囲内に収めてください。マイナス0.1から0.1ラジアンです。次に、3番目のアルゴリズムでキャリブレーションキューブの深さを算出します。これは、キャリブレーションキューブと基準面の位相マップの差分です。これにより、スケール係数が決定されます。被写体の位相マップから参照面の位相マップを差し引き、スケール係数を適用することで、被写体の深さを求めます。これで、MATLABやその他の3Dグラフィックソフトウェアで可視化するためのデータを保存することが可能になります。この技術により、微細な詳細まで明らかにするのに十分な解像度で、人間の顔の高速度3次元リアルタイムイメージングが可能になります。左側の3つの画像セットは、2D表示、テクスチャ、オーバーレイ、シェーディング、ライティング、およびワイヤーフレームモードで表示された顔全体です。中央は、鼻領域を拡大したワイヤーフレームビューです。右側の点の密度は、目の周囲の領域を拡大したものであることに留意してください。これらの画像は、正弦波縞パターンを用いて作成されました。ここでは、笑顔が形成される様子を3Dビデオで示しています。ビデオは60 Hz、解像度640×480で撮影され、正弦波縞パターンが使用されました。ライブでの3Dビデオ撮影、処理、およびレンダリングが可能です。本ビデオでは、3D測定結果がコンピュータ画面上に30 Hzで表示されています。本手法の能力を示す最後の例として、生存したウサギの心臓の3Dビデオイメージングを示します。バイナリデフォーカスを用いることで、心拍数は毎分約200拍でした。3Dキャプチャレートは166 hertzで、解像度は576×576でした。モーションアーティファクトを防ぐために、高速での処理が必要でした。キャリブレーションを習得すれば、適切に行うことでデータキャプチャとデータ処理を数時間で完了させることができます。速度を重視して設計された処理ソフトウェアを用いることで、開発後には非常に多くのプロセッサーの結果をコンピュータ画面上にリアルタイムで表示することが可能です。この手法は、心臓表面力学分野の研究者が、高解像度3Dビデオデータを用いて拍動するウサギの心臓の動的な表面形状を調査するための道を開きました。このビデオを視聴することで、高解像度・高速3Dビデオシステムの設計および操作方法に関する基礎的な理解を深めることができます。特に、集束バイナリパターンを用いたデジタルフリンジ投影の概念と、参照平面キャリブレーション法について習熟することが期待されます。また、良好なアンラップ位相マップと不良なアンラップ位相マップの違いを識別できる必要があります。

high-resolution-high-speed-three-dimensional-video-imaging-with

Research

JoVE Journal

Engineering

工学

非破壊ボリュームの可視化は、最も効率的ではX線マイクロコンピュータ断層撮影（CT）となっている断層の技術によって達成することができます。...

の高分解能3次元イメージング生体外</emマイクロCTによる>生物試料

カスタム、リアルタイムの走査型共焦点イメージングシステムの完全な構造が記載されている。容易にビデオレートの顕微鏡とmicroendoscopyに使用することができるこのシステムは、コストのほんの一部で、標準的な商用共焦点システムを使用してアクセスできませんイメージングジオメトリとアプリケーションの配列が可能になります。...

ビデオレートでスキャニング共焦点顕微鏡とMicroendoscopy

Lensfree光トモグラフィーは、&lt;1μmの空間分解能を提供して三次元顕微鏡技術である×&lt;1ミクロン×15〜100ミリメートルの大型イメージングボリューム上のそれぞれx、yおよびz次元において&lt;3μmの...

マルチアングル照明とピクセル超高解像度を採用しLensfreeオンチップ·トモグラフィー顕微鏡

弱散乱物体の三次元位置が一意的に標準的な顕微鏡に軽微な改変を伴うデジタルインラインホログラフィック顕微鏡法（DIHM）を用いて同定することができる。当社のソフトウェアは、微細な位相物体の3次元位置と形状を得るためにレイリー·ゾンマーフェルトバックプロパゲーションと相まって、簡単な画像処理、ヒューリスティックを使用しています。...

弱散乱被験者のデジタルインラインホログラフィ顕微鏡（DIHM）

光の回折限界を克服するための方法が提示される。光学的反復Gerchberg-Saxtonのアルゴリズムを用いて位相回復、及び第1ステップの繰り返しが続くイメージングシステムシフト：この方法は、二段階プロセスを含む。合成的に増加したレンズ口径より高い撮像分解能が得られる、移動方向に沿って生成される。...

可動プラットホームからの撮像のための時間多重超解像技術

生細胞内の動的タンパク質に関する時空間的な情報は、生物学を理解するために非常に重要です。高速3D構造化照明顕微鏡(f3D-SIM)と呼ばれる超解像顕微鏡の一種は、細菌の細胞動態Zリングに関するユニークな情報、つまりそのビーズ状の外観とリング内のFtsZの急速なダイナミクスの両方を明らかにします。...

高速3D-構造化照明顕微鏡（F3D-SIM）を使用したライブ細菌における細胞質分裂のZリングの超解像イメージング

四次元（4D）画像化は、脊椎動物の神経末端を生体内エンドソームの2種類のうちの挙動および相互作用を研究するために利用される。これらの小さな構造の移動は、例えばエンドソーム融合およびエキソサイトーシスなどのイベントの確認を可能にする、三次元を特徴としている。...

4次元蛍光イメージングと住んでいる神経末端におけるエンドソームダイナミクスの可視化

私たちは、MEMSデバイスの検査および特徴付けのためにコンパクトな反射デジタルホログラフィックシステム（CDHM）を提示します。自然の幾何学的な倍率を提供発散入力波を用いたレンズレス設計が実証されています。静的および動的の両方の研究が提示されています。...

MEMS検査および特性評価のためのコンパクトなレンズレスデジタルホログラフィック顕微鏡

私たちは、マウス胚の3次元(3D)画像を取得するための高解像度の顕微鏡法を用いた詳細なプロトコルを記述します。この改良されたプロトコルは、蛍光色素の浸透性を高めるために改良された組織調製法を利用しているため、小さな標本と大きな標本の両方の形態測定分析が可能になります。...

高解像度落射顕微鏡を用いた3次元画像の迅速な取得

高解像度のクーロン爆発イメージングセットアップを使用して、分子回転波パケットのリアルタイムムービーを作成するためのプロトコルを提示します。...

レーザー駆動の超高速分子回転のダイレクトイメージング

我々は、動的ホログラフィック3Dの製造のための超微細な銀ハロゲン化ホログラフィックエマルジョンで、同じ明るさ、透明性、および均質な色を示す超現実的なフルカラーアナログホログラムのセットを記録するためのプロトコルを提示します表示。...

移動ホログラムディスプレイで使用するための超現実的なフルカラーアナログホログラムの記録

学ぶデジタル干渉縞投影技術による高分解能・高速三次元ビデオ撮影法。DLPプロジェクターと高速カメラを用いてリアルタイムで30万点以上の3Dデータを取得し、心臓の動態や表情解析など医療・エンターテインメント分野への応用可能性を示す。

デジタル干渉縞投影技術と高分解能、高速、三次元ビデオ画像

さらに動画を探す