デジタル干渉縞投影技術と高分解能、高速、三次元ビデオ画像

Summary

このビデオでは、動的に変化する表面の高密度な 3D 測定を提供するデジタル フリンジ投影技術の基礎について説明します。また、これらの手法に基づく高速バイナリ デフォーカス システムの設計と操作も示しています。

Abstract

デジタル フリンジ プロジェクション (DFP) 技術は、動的に変化するサーフェスの高密度な 3D 測定を提供します。人間の目や脳と同様に、DFP は、同じシーンの異なる角度の 2 つのビューで一致するポイント間の三角測量を使用して深度を計算します。ただし、ステレオ ベースの方法とは異なり、DFP はデジタル ビデオ プロジェクタを使用してカメラの 1 つを置き換えます 1.プロジェクターは、既知の正弦波パターンを被写体に迅速に投影し、被写体の表面はカメラの視野内でこれらのパターンを歪めます。カメラからの 3 つの歪んだパターン (フリンジ画像) を使用して、三角測量を使用して深度を計算できます。

他の 3D 測定方法とは異なり、DFP 技術は、より高速で、機器コストが低く、柔軟性が高く、開発が容易になる傾向があるシステムにつながります。DFP システムは、カメラと同じ測定解像度も達成できます。このため、DFP やその他のデジタル構造化光技術は、最近、集中的な研究の焦点となっています (^1-5 に要約されています).グラフィックス処理ユニットであるDFPと最適化されたアルゴリズムを活用して、フレームあたり300,000を超える測定ポイントに対して30Hzの3Dビデオデータを取得、再構成、および表示できるシステムを開発しました^6,7。バイナリデフォーカスDFP法は、さらに高速化を実現できます⁸。

さまざまなアプリケーションがDFP技術の恩恵を受けることができます。私たちの共同研究者は、顔面機能解析⁹、顔面アニメーション¹⁰、心臓力学研究¹¹、流体表面測定など、当社のシステムを使用しています。このビデオでは、DFP 技術の基礎を学び、バイナリ デフォーカス DFP システムの設計と操作について説明します。

Introduction

デジタルフリンジプロジェクション(DFP)技術は、同じシーンの異なる角度での2つのビュー間の相関と三角測量に基づいており、ステレオビジョンを実現するために人間の目と脳が採用するのと同じ原理です。ただし、ステレオベースの方法とは異なり、DFPはデジタルビデオプロジェクタを使用してカメラの1つを置き換えます¹。プロジェクターは、既知の正弦波パターンをオブジェクトにすばやく投影し、オブジェクトの表面がカメラのビューで歪むようにします。このような位相差の異なる3つの歪んだパターン(フリンジ画像)を解析し、三角測量によって奥行きを求めることができます。既知のパターンを使用すると、対応点を特定するという困難な計算問題が解消され、カメラの解像度で深度測定値をキャプチャできます。たとえば、576 x 576 のカメラを使用すると、この手法では 331,776 ポイントをキャプチャできます。これにより、DFPシステムは、人間の感情における顔の筋肉の動きなど、非常に細かい詳細を測定できます。

静的または準静的なイベントに対する3D光学イメージング技術は、過去数十年にわたって広く研究され、ビデオゲームデザイン、アニメーション、映画、ミュージックビデオ、バーチャルリアリティ、遠隔手術、および多くのエンジニアリング分野で大きな成功を収めています⁵。3Dプロフィロメトリー技術は数多く存在しますが、それらは表面接触法と表面非接触法の2つのカテゴリに分類できます。三次元測定機(CMM)と原子間力顕微鏡(AFM)はどちらも、高精度の3Dプロファイルを得るためには、測定面との接触が必要です。この要件により、連絡方法の速度に厳しい制限が課せられます。スキャンごとに数千ポイントのkHz測定速度に達することはできません。

表面非接触技術は、通常、光三角測量法(ステレオビジョン、時空ステレオ、構造化光など)を利用します。既知のパターンをオブジェクトに積極的に投影することにより、構造化光技術を使用して、強い局所的なテクスチャ変動なしに表面を測定できます¹。フリンジ解析は、正弦波構造化パターン (フリンジ パターンとも呼ばれます) を使用する構造化光手法の特別なグループです。これらのパターンは、既知の方法でポイントごとに連続的に変化する強度を持つため、構造化光技術をプロジェクターピクセル解像度からカメラピクセル解像度¹²にブーストします。最近では、フリンジ解析技術が高解像度の3Dイメージングを実現するのに役立ちました。

デジタル フリンジ プロジェクション (DFP) 手法では、デジタル ビデオ プロジェクターを使用して正弦波フリンジ パターンを生成します。この手法は、低コスト、高速、開発の簡易性というメリットがあり、過去10年間は非常に活発な研究分野でした。DFPおよび類似のデジタルストラクチャードライト技術の最近の開発は、^1-5にまとめられています。高速アプリケーションを実現するためには、基本的な動作メカニズムを持つデジタル光処理(DLP)プロジェクターが望ましいです。この手法の速度と柔軟性により、40 Hz ¹³ で 3D ビデオを取得し、その後 60 Hz ^6,7 で 3D ビデオを取得することができました。

それにもかかわらず、従来のDFP技術には基本的な速度制限が存在します。DLP プロジェクターは、最大 リフレッシュ レート (通常は 120 Hz) でのみ 8 ビット カラー イメージを交換できます。従来のフリンジパターンは8ビットのグレースケール画像であるため、そのうちの3つを赤、緑、青のカラーチャネルとして1つのカラー画像にエンコードできます。プロジェクタは、リフレッシュレート(通常は360 Hz)の3倍で各チャネル(したがって各フリンジパターン)を交換します。しかし、各3Dビデオフレームには3つのフリンジパターンが必要であるため、3Dビデオキャプチャの最大レートは依然としてリフレッシュレート(120Hz)^3,14のみです。このハードウェアの制限を打破するために、私たちはバイナリ^{デフォーカス8}を使用する修正DFP技術を発明しました。この手法では、8 ビットのグレースケール フリンジ パターンの代わりに、コンピューターで生成された 1 ビットのバイナリ構造化パターンを使用します。これらのパターンは、プロジェクター レンズを使用して焦点がぼけられ、DFP の擬似正弦波パターンになります。DLPプロジェクタは、8ビットのグレースケール画像よりも桁違いに高速にバイナリ画像を表示できるため、バイナリデフォーカス技術により、従来のDFP技術¹⁵と同じ解像度で数十キロヘルツの3Dビデオイメージング速度が可能になります。

次のプロトコルの全体的な目標は、バイナリ焦点取り 3 ステップ位相シフト DFP システムの基本的な実装と操作を実証することです。まず、プロトコルは必要なコンポーネントの選択と統合をカバーします。次に、システムのキャリブレーションの最も簡単でアクセスしやすい方法について説明します。より複雑な校正方法は、特定のアプリケーション^16,17の文献に記載されています。次に、このプロトコルでは、システムを使用した3Dビデオキャプチャの手順と、フリンジ画像を視覚化された3D測定値に変換するプロセスに焦点を当てます。最後に、リアルタイムおよび高速システムの代表的な結果をいくつか紹介します。

Protocol

1. システム構成

システムの概略図を図1に示します。

1. 投影用のフリンジ パターンを生成します。 これらは、MATLAB、OpenCV、QTなどの画像プログラミング環境を使用して、事前に十分に準備することができます。¹⁸の3ステップ位相シフトアルゴリズムに従ってパターンを構築します。位相オフセットが互いに 2π/3 ずれた 3 つのイメージを作成します。バイナリ デフォーカスの場合は、ディザリング手法を使用して、¹⁹ で説明されているように、黒と白のピクセルのみを使用して正弦波パターンを生成します。
2. デジタル光処理プロジェクターを選択します。 高速バイナリー・デフォーカス・システムには、ALP High Speed モジュールを搭載した DLP LightCommander のような、より高速で特殊なプロジェクターが必要です。フリンジ画像を投影するには、必ずバイナリまたはモノクロ設定を使用してください。画像値は純粋にオンまたはオフであるため、非線形性の調整は必要ありません。プロジェクターのソフトウェアプログラムを利用して、位相シフトのパターンをアップロードします。
3. カメラを選択します。システムに適したキャプチャレートの白黒CCDまたはCMOSカメラを選択します。カラーカメラは色を必要とせず、カラーカメラは非線形性とガンマ調整が必要なため、3Dキャプチャにはカラーカメラを使用しないでください。カメラは、各3Dビデオフレームのフリンジ画像のセット全体をキャプチャする必要があることに注意してください。高品質の正弦波システムには、プロジェクターとカメラ間の正確な同期が必要です。バイナリーデフォーカスシステムの場合、この要件はより緩和されています²⁰。
4. 必要な最大範囲 (x, y) と、プロジェクタから対象物までの距離 (d₀) を決定します。 アプリケーションに適した範囲を選択しますが、光学的な境界効果を減らすために、領域が対象よりわずかに大きいことを確認してください。プロジェクターの光出力は錐台であるため、この (x, y) の範囲は d₀ を駆動します。目的の(x、y)範囲が見つかるまで、大きな平らな投影面に対してプロジェクターを動かし、巻尺で_d0を測定します。
5. 適切な焦点距離のカメラレンズを選択します。 カメラのセンサー サイズを使用して、距離 d₀ の視野が目的のイメージング範囲 (x、y) と同じになるように焦点距離を見つけます。
6. プロジェクタとカメラの間の分離距離を決定します。ここでは、ノイズとシャドウイングの間でトレードオフが発生します。これらのコンポーネント間の角度が大きいと、フィーチャ ポイント間の三角測量はより明確になりますが、カメラの視点からは影に埋もれてしまうフィーチャが多くなります。角度が小さいと、三角測量が難しくなり、結果のノイズが増加します。通常、10〜15°が良い妥協点です。

2. システムキャリブレーション

この基準面の校正は、システムにとって最も簡単でアクセスしやすい校正方法です。したがって、それは始めるのに最適です。より正確なキャリブレーション方法は、特定の正弦波¹⁶およびバイナリデフォーカス¹⁷アプリケーションの文献に記載されています。精度を最大限に高めるには、データキャプチャの直前にキャリブレーションを実行する必要があります。キャリブレーション後、カメラとプロジェクターを互いにずらさないでください。

1. プロジェクターのフォーカス/ピントをぼかします。 投影レンズの焦点を慎重に取り戻し、撮像面のパターンが高品質の正弦波のようになります。これには、データ品質の調査(セクション4)とレンズの調整の反復プロセスが必要になる場合があります。
2. 参照平面のフリンジ画像をキャプチャします。プロジェクターの焦点面とカメラの視野に平らなホワイトボードを置きます。厚さ3/16インチ(5 mm)の白いフォームコアボードは、システムに面する表面が光沢がないか、著しく傷や破れがない限り、うまく機能します。データ処理ステップのために、このボードのフリンジ画像を記録して保存します。
3. 既知の寸法の参照オブジェクトのフリンジ画像をキャプチャします。このステップでは、硬質フォームキューブが簡単な例の 1 つです。キューブを1/16インチ(1.5 mm)の白い粘着フォームの正方形で覆い、拡散させます。カメラの視野内のカメラの焦点面に配置し、処理ステップのフリンジ画像を記録します。

3. データ取得

1. オブジェクトを配置するか、被写体をカメラの焦点面に座るように促します。 人間の被験者の場合は、プロジェクターの光が明るい場合があることを警告します。被写体の後ろに黒い布の背景を使用して、無関係な環境を隠すことができます。
2. カメラの絞りを調整して、光レベルを最適化します。 サンプルのフリンジ画像は、できるだけ明るくする必要がありますが、飽和しないようにする必要があります。暗い画像にはノイズが多すぎますが、画像内の飽和領域(最大輝度の重要な領域)は、飽和領域の詳細が失われます。
3. 必要なフレーム数をキャプチャします。 被写体とキャリブレーションデータセットの両方でキャプチャされたすべての画像を保持するのに十分な大きさのハードドライブを必ず持参してください。と .OBJファイル形式では、30 Hzで1分間、640 x 480の解像度で記録された3Dビデオは、50 GBを超える可能性があります。

4. データの解析と可視化

社内のGUIなど、速度に最適化されたソフトウェアを使用すると、このステップはデータキャプチャ中に実行できます。リアルタイム処理により、ユーザーは結果のデータがアプリケーションにとって望ましいかどうかを即座に検出し、必要に応じて調整できます。ただし、後処理はより柔軟で精度が高くなる可能性があります。また、後処理は実装がはるかに簡単で、開始するのに最適な場所です。

1. キャリブレーション データと被験者データの両方についてラップされた位相を計算します。 ¹⁸ の 3 ステップ位相シフト アルゴリズムでは、位相は余弦関数内の点の位置を表します。3つの方程式と3つの未知数があるため、各点の位相についてステップ1.1でフリンジ画像を生成するために使用した方程式を解くことができます。arctangent 関数のため、計算された位相は (-π, π];したがって、これは「ラップフェーズ」と呼ばれます。処理速度を向上させるために、²¹で説明した高速フェーズラッピングアルゴリズムを開発しました。
2. フェーズマップをアンラップします。位相内の 2π ジャンプを検出し、2π の倍数を加算または減算してそれらを削除する位相アンラッピング アルゴリズムを採用します。以前のシステムでは^、22の高速アルゴリズムを使用して、位相を堅牢かつ迅速にアンラップしました。このビデオでは、¹⁵で説明した、異なる周波数で3つの位相シフトパターンの追加セットを使用する多重周波数手法を示します。3 つの各セットのラップされた位相マップを組み合わせて、1 つのアンラップされた位相マップを堅牢に生成できます。この手法により、深度範囲が広がり、バイナリ デフォーカスで正確なキャプチャが可能になります。
3. オプション: 2D テクスチャを計算します。隣接する 3 つのフリンジ イメージのセットを平均化すると、フリンジ ストライプが色あせ、2D テクスチャ マップが生成されます。これは、必要に応じて視覚化中に3Dデータにマッピングできます。
4. アンラップされた位相マップを深度に変換します。 ²³で説明したように、キャリブレーションキューブの深さは、キャリブレーションキューブの位相マップと参照平面の位相マップの差として計算できます。この計算された深さを既知の深さと比較して、正しい深さスケーリング係数 c₀ を計算します。次に、被験者の位相から参照平面位相を減算し、その結果に c₀ を掛けて、被験者の深度を計算します。
5. X 座標と Y 座標を計算します。 スケーリング係数 c₀ をキャリブレーション キューブの深度マップに適用します。ピクセル単位の立方体次元から xy 平面の既知の立方体次元への変換係数 ρ を求めます。被験者データのピクセル数に ρ を掛けて、x 座標と y 座標を計算します。
6. データを視覚化します。個々のフレームは、社内形式で保存して、簡単な MATLAB コードで表示したり、.OBJ形式で、Blenderなどの商用3Dモデリングプログラムで表示してください。各フレームのデータは大量であるため、これらのアプリケーションは一部のコンピューターで動作が遅くなる可能性があります。応答性を向上させたり、ライブ ビデオ表示を行ったりするには、OpenGL や Direct3D などのコンピューター グラフィックス ライブラリを使用してソフトウェアを記述します。このソフトウェアは、グラフィックス プロセッシング ユニット (GPU) を利用して、アンラップされたフェーズから x、y、z 座標を迅速に生成し、三角形メッシュを形成し、照明法線を計算し、結果を表示できます。GPUを使用して、フレームあたり約300,000ポイントで最大30Hzのライブ3Dデータ視覚化を実現しました。

Results

図 1 は、システムの概略図を示しています。このビデオの高速バイナリ焦点除去システムは、Logic PD DLP LightCommander プロジェクターと Phantom v9.1 CMOS カメラで構成されています。

図 2 は、3D リアルタイム システムからの人間の顔の 1 つのフレームを示しています。このシステムは 640 x 480 のカメラを使用しています。前述の既知の正弦波パターンのおかげで、640 x 480 = 307,200 回の測定値をキャプチャでき、非常に細かい詳細を記録するのに十分な解像度が得られます。

図3は、60Hzで3Dで人間の表情を測定する例を示しています。ここでは、ビデオシーケンスから選択された4つのフレームが、詳細なジオメトリのダイナミックな変化をキャプチャするリアルタイムシステムの能力を明確に示しています。

図 4 は、リアルタイム バイナリ デフォーカス 3D ビデオ システムと組み合わせて使用するライブ視覚化ソフトウェアを示しています。被写体の 3D キャプチャ ビデオは、被写体の右側のコンピューター モニターにリアルタイムで表示されます。このソフトウェアは、OpenGL ライブラリ、GLSL、および QT を使用して C++ で記述されています。使用されているコンピューターは Lenovo ラップトップです。

図 5 は、新開発の超高速バイナリ デフォーカス システムによるウサギの心臓のライブ測定からの 3D フレームを示しています。このシステムは、576 x 576 の画像解像度で 667 Hz の 3D フレームを記録できます。運動によるアーチファクトなしに心臓の表面を測定するには、超高速の速度が必要です。心臓測定の研究は、ワシントン大学セント校のイゴール・エフィモフ教授と共同で行われています。ルイ(詳細については¹¹を参照)。ウサギは人道的に殺され、画像は心臓がまだ鼓動しているときに撮影されたことに注意してください。

図 1.3Dビデオイメージングシステムのレイアウト。このシステムでは、高速DLPプロジェクターで3つのバイナリディザリング位相シフト画像を連続して被写体に投影します。高速CMOSカメラを使用して、3つのフリンジ画像を1つずつキャプチャし、深度を計算します。

図 2.640 x 480の解像度で人間の顔を3D測定し、細部まで鮮明に仕上げます。左から右に、ジオメトリと完全に位置合わせされた同時キャプチャ テクスチャ、ジオメトリのシェーディング ビュー、ポイントの密度を示すワイヤーフレーム ビュー、鼻領域のクローズアップ ビュー、および目の領域のクローズアップ ビューを示しています。

図 3.表情の形成を3D動画から選択した4つのフレーム。このビデオは 60 Hz で撮影され、解像度は 640 x 480 です。これらのフレームは、ニュートラルな表情から笑顔へと変化する女性の顔の幾何学的な変化を強調しています。

図 4.ライブ 3D ビデオのキャプチャ、処理、レンダリング。3D測定値は、被写体の右側にあるコンピューター画面にリアルタイムで表示されます。

図 5.超高速3Dビデオイメージングシステムで生きたウサギの心臓をキャプチャ。 心臓は約200拍/分で鼓動しています。3Dキャプチャレートは166Hzで、画像解像度は576 x 576でした。詳細については、¹¹を参照してください。

Discussion

この高解像度、リアルタイム、超高速の3Dビデオイメージング技術は、生物科学から工学実践に至るまで、数多くの多様な科学分野に利益をもたらす可能性のあるプラットフォーム技術です。生物医学用途には、顔の動きや臓器表面の精密測定が含まれます。その他のアプリケーションには、歪んだ表面の特徴を検出する3D自動品質管理が含まれます。3D 強化ビデオ会議。映画やビデオゲームの顔の特徴の詳細なデジタル化。構造の設計と解析のための緻密で迅速な変形測定。流体表面の特性評価。多くの生物学的および工学的アプリケーション(ウサギの心臓の鼓動、流体衝撃波など )では、エイリアシングアーティファクトなしで特徴を正しく解決するために、バイナリ焦点デフォーカスシステムの超高速イメージングレートが必要です。

しかし、この技術の普及には多くの課題が残っています。従来の DFP 技術では、プロジェクタに 8 ビットのグレースケール正弦波フリンジ パターンを表示する必要がありました。この手法の速度は、プロジェクタのリフレッシュ レート (通常は 120 Hz) によって制限されます。この速度は、顔の表情などのスロー モーション キャプチャには十分です。ただし、 より高速なキャプチャー・レートを必要とするアプリケーションは数多く存在します。

バイナリデフォーカス技術により、この速度制限が緩和され、超高速3Dビデオイメージングシステムの作成に成功しました。しかし、このシステムには2つの欠点があります。1つ目は、DLP Discoveryプラットフォームのような高価なプロジェクターと、Vision Research Phantom v9.1のような高価な高速ビデオカメラを必要とすることです。2つ目は、2乗バイナリパターンの焦点ぼけによって正弦波パターンを生成するため、 バイナリ デフォーカス技術では、従来の DFP 技術と同じ品質の正弦波縞を生成することが難しく、深度測定範囲が狭くなります (詳細な説明については、²³ を参照)。最近の調査では、ディザリングされたバイナリ正弦波パターンが深度測定範囲の制限を大幅に軽減できることが示されています¹⁹.将来の研究は、バイナリ焦点デフォーカスのメリットを維持しながら、残りの問題を克服することに焦点を当てます。

もう 1 つの課題は、高速で高解像度の 3D ビデオ イメージング システムによって生成される大量のデータを圧縮して保存することです。非圧縮の 3D ビデオは、非圧縮の 2D ビデオよりも大幅に大きくなります。たとえば、30 Hz で 640 x 480 の解像度で 1 分間録画された 3D ビデオの場合、.OBJのファイルサイズは50GBを超える可能性があり、保存が非常に困難です。3D動画圧縮分野ではほとんど進歩が見られていないため、今後もこの点に注力していきます。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
材料や設備は使用していません。