Method Article

디지털 프린지 프로젝션 기술을 사용한 고해상도, 고속, 3차원 비디오 이미징

DOI:

10.3791/50421

⸱

December 3rd, 2013

 ,  ,  , 
13D Machine Vision Laboratory, Department of Mechanical Engineering, Iowa State University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 비디오는 동적으로 변화하는 표면의 조밀한 3D 측정을 제공하는 디지털 프린지 프로젝션 기술의 기초를 설명합니다. 또한 이러한 기술을 기반으로 하는 고속 이진 디포커스 시스템의 설계 및 작동을 보여줍니다.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

디지털 프린지 프로젝션(DFP) 기법은 동적으로 변화하는 표면의 조밀한 3D 측정을 제공합니다. 사람의 눈과 뇌와 마찬가지로 DFP는 동일한 장면의 두 보기에서 서로 다른 각도에서 일치하는 점 간의 삼각 측량을 사용하여 깊이를 계산합니다. 그러나 스테레오 기반 방법과 달리 DFP는 디지털 비디오 프로젝터를 사용하여 카메라1 중 하나를 대체합니다.. 프로젝터는 알려진 사인파 패턴을 피사체에 빠르게 투사하고 피사체의 표면은 카메라의 시야에서 이러한 패턴을 왜곡합니다. 카메라의 세 가지 왜곡된 패턴(fringe 이미지)을 사용하여 삼각 측량을 사용하여 깊이를 계산할 수 있습니다.

다른 3D 측정 방법과 달리 DFP 기술은 더 빠르고, 장비 비용이 저렴하고, 더 유연하고, 개발하기 쉬운 시스템을 만듭니다. DFP 시스템은 카메라와 동일한 측정 해상도를 달성할 수도 있습니다. 이러한 이유로 DFP 및 기타 디지털 구조광 기술은 최근 집중적인 연구의 초점이 되고 있습니다(1-5에 요약되어 있음).). DFP, 그래픽 처리 장치 및 최적화된 알고리즘을 활용하여 프레임당 300,000개 이상의 측정 지점에 대해 30Hz 3D 비디오 데이터 수집, 재구성 및 표시가 가능한 시스템을 개발했습니다6,7. 이진 디포커스 DFP 방법은 훨씬 더 빠른 속도를 달성할 수 있습니다8.

다양한 애플리케이션에서 DFP 기술의 이점을 활용할 수 있습니다. 우리의 협력자들은 안면 기능 분석9, 안면 애니메이션10, 심장 역학 연구11 및 유체 표면 측정에 당사의 시스템을 사용했지만 다른 많은 잠재적 응용 분야가 존재합니다.이 비디오는 DFP 기술의 기초를 가르치고 이진 디포커스 DFP 시스템의 설계 및 작동을 설명합니다.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

디지털 프린지 프로젝션(DFP) 기술은 스테레오 비전을 얻기 위해 인간의 눈과 뇌가 사용하는 것과 동일한 원리인 동일한 장면을 다른 각도에서 보는 두 가지 보기 간의 상관 관계와 삼각 측량을 기반으로 합니다. 그러나, 스테레오 기반 방식과 달리, DFP는 디지털 비디오 프로젝터를 사용하여 카메라1 중 하나를 대체한다. 프로젝터는 알려진 사인파 패턴을 물체에 빠르게 투사하여 물체의 표면이 카메라의 시야에서 왜곡시킵니다. 서로 다른 위상 변이에서 세 개의 왜곡된 패턴(fringe 이미지)을 분석하여 삼각 측량을 통해 깊이를 검색할 수 있습니다. 알려진 패턴을 사용하면 대응 지점을 식별하는 어려운 계산 문제가 제거되어 카메라 해상도에서 깊이 측정을 캡처할 수 있습니다. 예를 들어 576 x 576 카메라를 사용하면 이 기술을 사용하여 331,776개의 포인트를 캡처할 수 있습니다. 이를 통해 DFP 시스템은 인간의 감정에서 안면 근육의 움직임과 같은 매우 미세한 세부 사항을 측정할 수 있습니다.

정적 또는 준정적 이벤트에 대한 3D 광학 이미징 기술은 지난 수십 년 동안 광범위하게 연구되어 왔으며 비디오 게임 디자인, 애니메이션, 영화, 뮤직 비디오, 가상 현실, 원격 수술 및 많은 엔지니어링 분야에서 큰 성공을 거두었습니다5. 수많은 3D 형상 측정 기술이 존재하지만 표면 접촉 방법과 표면 비접촉 방법의 두 가지 범주로 분류할 수 있습니다. 좌표 측정 기계(CMM)와 원자력 현미경(AFM)은 모두 높은 정확도로 3D 프로파일을 얻기 위해 측정 표면과의 접촉이 필요합니다. 이 요구 사항은 접촉 방법의 속도를 심각하게 제한합니다. 스캔당 수천 개의 포인트로 kHz 측정 속도에 도달할 수 없습니다.

표면 비접촉 기술은 일반적으로 광학 삼각 측량 방법(예: 스테레오 비전, 시공간 스테레오, 구조화된 광)을 사용합니다. 알려진 패턴을 물체에 적극적으로 투영함으로써 구조화 광 기술을 사용하여 강한 국소 질감 변화 없이 표면을 측정할 수 있습니다1. 프린지 분석은 정현파 구조 패턴(프린지 패턴이라고도 함)을 사용하는 구조화 조명 기술의 특별한 그룹입니다. 이러한 패턴은 알려진 방식으로 점마다 연속적으로 변하는 강도를 갖기 때문에 구조광 기술을 프로젝터 픽셀 해상도에서 카메라 픽셀 해상도12로 향상시킵니다. 최근에는 fringe 분석 기술이 고해상도 3D 이미징을 달성하는 데 중요한 역할을 했습니다.

DFP(Digital Fringe Projection) 기술은 디지털 비디오 프로젝터를 사용하여 사인파 프린지 패턴을 생성합니다. 이 기술은 저렴한 비용, 더 빠른 속도 및 개발의 단순성이라는 장점이 있으며 지난 10년 동안 매우 활발한 연구 분야였습니다. DFP 및 이와 유사한 디지털 구조광 기술의 최근 발전은1-5에 요약되어 있습니다. 고속 응용 분야를 달성하려면 기본적인 작동 메커니즘으로 인해 DLP(Digital Light Processing) 프로젝터가 선호됩니다. 이 기술의 속도와 유연성 덕분에 40Hz에서 3D 비디오를 얻을 수 있었고 13 나중에 60Hz에서 6,7을 얻을 수 있었습니다.

그럼에도 불구하고 기존 DFP 기술에는 기본적인 속도 제한이 있습니다. DLP 프로젝터는 최대 재생률(일반적으로 120Hz)에서 8비트 컬러 이미지만 스왑할 수 있습니다. 전통적인 fringe 패턴은 8비트 회색조 이미지이기 때문에 그 중 3개를 빨간색, 녹색 및 파란색 채널로 하나의 컬러 이미지로 인코딩할 수 있습니다. 프로젝터는 각 채널(및 각 fringe 패턴)을 재생률의 3배(일반적으로 360Hz)로 교체합니다. 그러나 각 3D 비디오 프레임에는 세 가지 프린지 패턴이 필요하기 때문에 3D 비디오 캡처의 최대 속도는 여전히 재생률(120Hz)3,14에 불과합니다. 이 하드웨어 제한을 극복하기 위해 Google은 바이너리 디포커스8을 사용하는 수정된 DFP 기술을 발명했습니다. 8비트 회색조 fringe 패턴 대신 이 기술은 컴퓨터에서 생성된 1비트 이진 구조 패턴을 사용합니다. 이러한 패턴은 프로젝터 렌즈를 사용하여 초점이 흐려져 DFP에 대한 유사 사인파 패턴이 됩니다. DLP 프로젝터는 8비트 그레이스케일 이미지보다 더 빠르게 이진 이미지를 표시할 수 있기 때문에 이진 디포커스 기술은 기존 DFP 기술과 동일한 해상도로 수십 킬로헤르츠 3D 비디오 이미징 속도를 허용합니다15.

다음 프로토콜의 전반적인 목표는 바이너리 디포커스 3단계 위상 편이 DFP 시스템의 기본 구현 및 작동을 시연하는 것입니다. 첫째, 프로토콜은 필요한 구성 요소의 선택 및 통합을 다룹니다. 그런 다음 시스템에 대한 가장 간단하고 쉽게 액세스할 수 있는 교정 방법에 대해 설명합니다. 특정 응용 분야에 대한 문헌에서 보다 복잡한 교정 방법을 사용할 수 있습니다16,17. 그런 다음 프로토콜은 시스템을 사용한 3D 비디오 캡처 절차와 fringe 이미지를 시각화된 3D 측정으로 변환하는 프로세스에 중점을 둡니다. 마지막으로, 실시간 및 고속 시스템의 대표적인 결과를 제시하겠습니다.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. 시스템 구성

시스템의 개략도는 그림 1에 나와 있습니다.

  1. 투영을 위한 프린지 패턴을 생성합니다. MATLAB, OpenCV 또는 QT와 같은 이미지 프로그래밍 환경을 사용하여 미리 준비할 수 있습니다.18의 3단계 위상 이동 알고리즘에 따라 패턴을 구성합니다. 서로 2π/3씩 위상 오프셋이 이동된 세 개의 이미지를 만듭니다. 이진 디포커스의 경우,19에 설명된 대로 디더링 기법을 사용하여 검은색 및 흰색 픽셀만 사용하여 정현파 패턴을 생성합니다.
  2. 디지털 광 처리 프로젝터를 선택합니다. 고속 바이너리 디포커스 시스템에는 ALP 고속 모듈이 있는 DLP LightCommander와 같은 더 빠르고 전문화된 프로젝터가 필요합니다. 이진 또는 단색 설정을 사용하여 fringe 이미지를 투사해야 합니다. 이미지 값은 순전히 켜져 있거나 꺼져 있기 때문에 비선형성 조정이 필요하지 않습니다. 프로젝터의 소프트웨어 프로그램을 활용하여 위상 이동을 위한 패턴을 업로드합니다.
  3. 카메라를 선택합니다. 시스템에 적합한 캡처 속도를 가진 흑백 CCD 또는 CMOS 카메라를 선택하십시오. 색상은 필요하지 않고 컬러 카메라에는 비선형성 및 감마 조정이 필요하므로 3D 캡처를 위해 컬러 카메라를 사용하지 마십시오. 카메라는 각 3D 비디오 프레임에 대해 전체 fringe 이미지 세트를 캡처해야 합니다. 고품질 사인파 시스템은 프로젝터와 카메라 간의 정밀한 동기화가 필요합니다. 이진 디포커스 시스템의 경우 이 요구 사항이 더 완화됩니다20.
  4. 원하는 최대(x, y) 범위와 프로젝터에서 물체까지의 거리(d0)를 결정합니다. 응용 프로그램에 적합한 범위를 선택하되 광학 경계 효과를 줄이기 위해 영역이 피사체보다 약간 더 큰지 확인하십시오. 프로젝터의 광 출력은 절두체이기 때문에 이 (x, y) 범위는 d0을 구동합니다. 원하는 범위(x, y)를 찾을 때까지 프로젝터를 큰 평면 프로젝션 표면을 기준으로 이동한 다음 줄자로 d0을 측정합니다.
  5. 적절한 초점 거리의 카메라 렌즈를 선택하십시오. 카메라의 센서 크기를 사용하여 거리 d0에서의 시야가 원하는 이미징 범위(x, y)와 동일한 초점 거리를 찾습니다.
  6. 프로젝터와 카메라 사이의 이격 거리를 결정합니다. 여기서 노이즈와 섀도잉 사이에 트레이드 오프가 발생합니다. 이러한 구성 요소 사이의 큰 각도에서는 특징점 간의 삼각 측량이 더 분명하지만 카메라의 관점에서 그림자에 가려져 손실되는 기능이 더 많습니다. 각도가 작으면 삼각분할이 어려워져 결과의 노이즈가 증가합니다. 일반적으로 10-15°가 좋은 절충안입니다.

2. 시스템 캘리브레이션

이 기준면 보정은 시스템에 대한 가장 간단하고 쉽게 액세스할 수 있는 보정 방법입니다. 따라서 시작하는 것이 가장 좋습니다. 보다 정확한 보정 방법은 특정 정현파16 및 이진 디포커싱17 응용 분야에 대한 문헌에서 사용할 수 있습니다. 정확도를 극대화하려면 데이터 캡처 직전에 보정을 수행해야 합니다. 보정 후 카메라와 프로젝터가 서로에 비해 이동하지 않아야 합니다.

  1. 프로젝터의 초점을 맞추거나 초점을 해제합니다. 이미징 평면의 패턴이 고품질 정현파와 유사해질 때까지 프로젝션 렌즈의 초점을 조심스럽게 흐리게 합니다. 이를 위해서는 데이터 품질을 검사하고(섹션 4) 렌즈를 조정하는 반복적인 프로세스가 필요할 수 있습니다.
  2. 참조 평면의 언저리 이미지를 캡처합니다. 평평한 화이트 보드를 프로젝터의 초점면과 카메라의 시야에 놓습니다. 3/16인치(5mm) 두께의 흰색 폼 코어 보드는 시스템을 향한 표면이 광택이 있거나 크게 흠집이 있거나 찢어지지 않은 경우 잘 작동합니다. 데이터 처리 단계를 위해 이 보드의 fringe 이미지를 기록하고 저장합니다.
  3. 알려진 치수의 참조 객체의 fringe 이미지를 캡처합니다. 이 단계에서는 경질 폼 큐브가 하나의 간단한 예입니다. 큐브를 1/16인치(1.5mm) 흰색 접착 폼으로 정사각형으로 덮어 분산시킵니다. 카메라의 시야각에서 카메라의 초점면에 놓고 처리 단계를 위해 fringe 이미지를 기록합니다.

3. 데이터 수집

  1. 물체를 놓거나 피사체가 카메라의 초점면에 앉도록 합니다. 인간 피험자의 경우 프로젝터 조명이 밝을 수 있음을 경고하십시오. 피사체 뒤에 검은색 천 배경을 사용하여 외부 환경을 숨길 수 있습니다.
  2. 카메라 조리개를 조정하여 조명 수준을 최적화합니다. 샘플 fringe 이미지는 가능한 한 밝아야 하지만 채도가 높아서는 안 됩니다. 어두운 이미지에는 노이즈가 너무 많고 이미지의 채도 영역(최대 밝기의 중요한 영역)은 채도 영역의 세부 정보가 손실됩니다.
  3. 원하는 프레임 수를 캡처합니다. 피험자와 보정 데이터 세트 모두에 대해 캡처된 모든 이미지를 저장할 수 있을 만큼 충분히 큰 하드 드라이브를 가져와야 합니다. 를 사용하면 . OBJ 파일 형식, 30 x 640 해상도에서 1분 동안 480Hz로 녹화된 480D 비디오는 50GB를 초과할 수 있습니다.

4. 데이터 분석 및 시각화

사내 GUI와 같이 속도에 최적화된 소프트웨어를 사용하면 데이터 캡처 중에 이 단계를 수행할 수 있습니다. 실시간 처리를 통해 사용자는 결과 데이터가 애플리케이션에 적합한지 즉시 감지하고 필요한 경우 조정할 수 있습니다. 그러나 후처리는 더 유연하고 정확도가 높을 수 있습니다. 사후 처리는 구현하기가 훨씬 간단하고 시작하기에 가장 좋은 위치입니다.

  1. 보정 및 피험자 데이터 모두에 대해 래핑된 단계를 계산합니다. 18의 3단계 위상 이동 알고리즘에서 phase는 코사인 함수 내에서 점의 위치를 설명합니다. 3개의 방정식과 3개의 미지수가 있기 때문에 각 지점의 위상에 대해 1.1단계에서 fringe 이미지를 생성하는 데 사용된 방정식을 풀 수 있습니다. 아크탄젠트 함수로 인해 계산된 위상은 (-π, π] 범위 내에 있습니다. 따라서 이를 "래핑된 단계"라고 합니다. 처리 속도를 향상시키기 위해21에서 논의된 빠른 위상 래핑 알고리즘을 개발했습니다.
  2. 위상 맵의 래핑을 해제합니다. 위상에서 2π 점프를 감지하고 2π의 배수를 더하거나 빼서 제거하는 위상 언래핑 알고리즘을 채택합니다. 이전 시스템의22에서 빠른 알고리즘을 사용하여 위상을 강력하면서도 빠르게 해제했습니다. 이 비디오에서는15에 설명된 다중 주파수 기술을 시연하며, 이 기법은 서로 다른 주파수에서 3개의 위상 편이 패턴의 추가 세트를 사용합니다. 각 3개 세트의 래핑된 위상 맵을 결합하여 래핑되지 않은 단일 위상 맵을 강력하게 생성할 수 있습니다. 이 기술은 바이너리 디포커스로 정확한 캡처를 위해 깊이 범위를 증가시킵니다.
  3. 선택 사항: 2D 텍스처를 계산합니다. 인접한 세 개의 fringe 이미지 세트를 평균화하면 fringe stripes가 씻겨 나가고 2D 텍스처 맵이 생성됩니다. 원하는 경우 시각화 중에 3D 데이터에 매핑할 수 있습니다.
  4. 래핑되지 않은 위상 맵을 깊이로 변환합니다. 도 23에서 설명한 바와 같이, 교정 큐브에 대한 깊이는 교정 큐브 위상 맵과 기준 평면 위상 맵 간의 차이로 계산될 수 있습니다. 이 계산된 깊이를 알려진 깊이와 비교하여 올바른 깊이 배율 계수 c0을 계산합니다. 그런 다음 피험자의 위상에서 참조 평면 위상을 빼고 결과에 c0을 곱하여 피험자의 깊이를 계산합니다.
  5. x 좌표와 y 좌표를 계산합니다. 스케일링 계수 c0을 캘리브레이션 큐브 깊이 맵에 적용합니다. 픽셀 단위의 큐브 치수에서 xy 평면의 알려진 큐브 치수까지의 변환 계수 ρ를 결정합니다. 주제 데이터의 픽셀 수에 ρ를 곱하여 x 및 y 좌표를 계산합니다.
  6. 데이터를 시각화합니다. 개별 프레임은 사내 형식으로 저장하고 간단한 MATLAB 코드로 보거나 . OBJ 형식으로 만들고 Blender와 같은 상용 3D 모델링 프로그램으로 볼 수 있습니다. 각 프레임에 많은 양의 데이터가 있기 때문에 이러한 응용 프로그램은 일부 컴퓨터에서 느려질 수 있습니다. 응답성을 높이거나 라이브 비디오를 표시하려면 OpenGL 또는 Direct3D와 같은 컴퓨터 그래픽 라이브러리를 사용하여 소프트웨어를 작성하십시오. 이 소프트웨어는 GPU(그래픽 처리 장치)를 활용하여 래핑되지 않은 위상에서 x, y 및 z 좌표를 빠르게 생성하고, 삼각형 메시를 형성하고, 조명 법선을 계산하고, 결과를 표시할 수 있습니다. GPU를 사용하여 프레임당 약 300,000개의 포인트로 최대 30Hz의 라이브 3D 데이터 시각화를 달성했습니다.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

그림 1은 시스템의 회로도를 보여줍니다. 이 비디오의 고속 바이너리 디포커스 시스템은 Logic PD DLP LightCommander 프로젝터와 Phantom v9.1 CMOS 카메라로 구성됩니다.

그림 2는 3D 실시간 시스템의 사람 얼굴 단일 프레임을 보여줍니다. 이 시스템은 640 x 480 카메라를 사용합니다. 앞서 언급한 사인파 패턴 덕분에 640 x 480 = 307,200 측정값을 캡처할 수 있으며, 이는 매우 미세한 세부 사항을 기록하기에 충분한 해상도입니다.

그림 3은 60Hz에서 3D로 사람의 얼굴 표정을 측정하는 예를 보여줍니다. 비디오 시퀀스에서 선택된 4개의 프레임은 미세하고 상세한 지오메트리의 동적 변화를 포착하는 실시간 시스템의 능력을 명확하게 보여줍니다.

그림 4는 실시간 바이너리 디포커스 3D 비디오 시스템과 함께 사용되는 실시간 시각화 소프트웨어를 보여줍니다. 피사체의 3D 캡처 비디오는 그의 오른쪽에 있는 컴퓨터 모니터에 실시간으로 표시됩니다. 이 소프트웨어는 OpenGL 라이브러리, GLSL 및 QT를 사용하여 C++로 작성되었습니다. 사용된 컴퓨터는 Lenovo 노트북입니다.

그림 5는 새로 개발된 초고속 이진 디포커스 시스템을 사용한 살아있는 토끼 심장 측정의 3D 프레임을 보여줍니다. 이 시스템은 576 x 576의 이미지 해상도로 667Hz에서 3D 프레임을 기록할 수 있습니다. 움직임에 의한 인공물 없이 심장 표면을 측정하려면 초고속 속도가 필요합니다. 심장 측정 연구는 Washington University-St.의 Igor Efimov 교수와 공동으로 진행되었습니다. Louis (자세한 내용은11 참조); 토끼는 인도적으로 죽임을 당했으며, 이미지는 심장이 아직 뛰고 있을 때 촬영되었습니다.

figure-results-1
그림 1.3D 비디오 이미징 시스템의 레이아웃. 이 시스템에서 고속 DLP 프로젝터는 3개의 바이너리 디더링 위상 편이 이미지를 피사체에 빠르게 연속적으로 투사합니다.고속 CMOS 카메라는 깊이 계산을 위해 3개의 프린지 이미지를 하나씩 캡처하는 데 사용됩니다.

figure-results-2
그림 2.640 x 480 해상도에서 사람 얼굴을 3D로 측정하여 미세한 디테일을 보여줍니다. 왼쪽에서 오른쪽으로, 형상과 완벽하게 정렬된 동시에 캡처된 텍스처, 형상의 음영 뷰, 포인트의 밀도를 나타내는 와이어프레임 뷰, 코 영역의 클로즈업 뷰, 눈 영역의 클로즈업 뷰가 표시됩니다.

figure-results-3
그림 3.얼굴 표정의 형성을 3D 비디오에서 선택한 4개의 프레임.비디오는 640 x 480 해상도로 60Hz로 캡처되었습니다. 이 프레임은 중립적인 표정에서 미소로 바뀌는 여성의 얼굴의 기하학적 변화를 강조합니다.

figure-results-4
그림 4.라이브 3D 비디오 캡처, 처리 및 렌더링. 3D 측정값은 피사체 오른쪽에 있는 컴퓨터 화면에 실시간으로 표시됩니다.

figure-results-5
그림 5.초고속 3D 비디오 이미징 시스템으로 살아있는 토끼 심장을 캡처합니다. 심장은 약 200회/분으로 박동합니다. 3D 캡처 속도는 166Hz이고 이미지 해상도는 576 x 576이었습니다. 자세한 내용은11을 참조하십시오.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 고해상도, 실시간, 초고속 3D 비디오 이미징 기술은 생물학에서 공학 실무에 이르기까지 수많은 다양한 과학 분야에 잠재적으로 도움이 될 수 있는 플랫폼 기술입니다. 생의학 응용 분야에는 얼굴 움직임과 장기 표면의 정밀 측정이 포함됩니다. 다른 응용 분야로는 뒤틀린 표면 특징을 감지하는 3D 자동 품질 관리가 있습니다. 3D 강화 화상 회의; 영화 및 비디오 게임을 위한 얼굴 특징의 상세한 디지털화; 구조의 설계 및 분석을 위한 조밀하고 빠른 변형 측정; 및 유체 표면 특성화. 많은 생물학 및 공학 응용 분야(예: 토끼 심장의 박동, 유체 충격파)는 앨리어싱 아티팩트 없이 특징을 올바르게 해결하기 위해 바이너리 디포커스 시스템의 초고속 이미징 속도를 필요로 합니다.

그럼에도 불구하고 이 기술을 널리 채택하는 데는 많은 과제가 남아 있습니다. 기존의 DFP 기술에서는 프로젝터가 8비트 그레이스케일 정현파 프린지 패턴을 표시해야 합니다. 이 기술의 속도는 프로젝터의 재생 빈도(일반적으로 120Hz)에 의해 제한됩니다. 이 속도는 얼굴 표정과 같은 슬로우 모션 캡처에 충분합니다. 그러나 더 빠른 캡처 속도가 필요한 수많은 애플리케이션이 존재합니다.

바이너리 디포커싱 기술은 이러한 속도 제한을 완화하여 초고속 3D 비디오 이미징 시스템을 성공적으로 만들었습니다. 그러나 이 시스템에는 두 가지 단점이 있습니다. 첫째, DLP Discovery 플랫폼과 같은 고가의 프로젝터와 Vision Research Phantom v9.1과 같은 고가의 고속 비디오 카메라가 필요합니다. 둘째, 제곱 이진 패턴의 디포커스를 통해 정현파 패턴을 생성하기 때문에, 이진 디포커싱 기술은 기존 DFP 기술과 동일한 품질의 정현파 프린지를 생성하는 데 어려움이 있으며 깊이 측정 범위가 줄어듭니다(자세한 설명은23 참조). 최근 조사에 따르면 디더링된 이진 정현파 패턴은 깊이 측정 범위의 한계를 크게 완화할 수 있습니다19. 향후 연구는 이진 디포커싱의 장점을 유지하면서 나머지 문제를 극복하는 데 초점을 맞출 것입니다.

또 다른 과제는 고속, 고해상도 3D 비디오 이미징 시스템에서 생성된 대량의 데이터를 압축하고 저장하는 것입니다. 압축되지 않은 3D 비디오는 압축되지 않은 2D 비디오보다 훨씬 큽니다. 예를 들어, 640 x 480의 해상도에서 1분 동안 30Hz로 녹화된 3D 비디오의 경우 . OBJ 파일 크기가 50GB를 초과할 수 있어 저장이 매우 어렵습니다. 3D 비디오 압축 분야에서는 거의 진전이 없었기 때문에 앞으로도 이에 집중할 것입니다.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

저자는 경쟁하는 재정적 이해관계가 없습니다.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

이 연구는 10여 년 전 Dr. Zhang은 Stony Brook University의 대학원생이었습니다. 아이오와 주립 대학 팀의 현재 및 이전 학생들은 이 기술을 오늘날의 위치로 발전시키는 데 엄청난 기여를 했습니다. 이 작업은 프로젝트 번호 CMMI 1150711로 National Science Foundation과 William and Virginia Binger Foundation의 일부 후원을 받았습니다.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments

사용된 재료나 장비 없음.

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Salvi, J., Fernandez, S., Pribanic, T., Llado, X. A state of the art in structured light patterns for surface profilometry. Patt. Recogn. 43, 2666-2680 (2010).
  2. Gorthi, S. S., Rastogi, P. Fringe projection techniques: Whither we are. Opt. Laser Eng. 48 (2), 133-140 (2010).
  3. Zhang, S. Recent progresses on real-time 3-D shape measurement using digital fringe projection techniques. Opt. Laser Eng. 48 (2), 149-158 (2010).
  4. Su, X., Zhang, Q. Dynamic 3-D shape measurement method: A review. Opt. Laser Eng. 48 (2), 191-204 (2010).
  5. Geng, J. Structured-light 3D surface imaging: a tutorial. Adv. Opt. Photonics. 3 (2), 128-160 (2011).
  6. Zhang, S., Yau, S. -T. High-resolution, real-time 3-D absolute coordinate measurement based on a phase-shifting method. Opt. Express. 14 (7), 2644-2649 (2006).
  7. Zhang, S., Royer, D., Yau, S. -T. GPU-assisted high-resolution, real-time 3-D shape measurement. Opt. Express. 14 (20), 9120-9129 (2006).
  8. Lei, S., Zhang, S. Flexible 3-D shape measurement using projector defocusing. Opt. Lett. 34 (20), 3080-3082 (2009).
  9. Mehta, R. P., Zhang, S., Hadlock, T. A. Novel 3-D video for quantification of facial movement. Otolaryngol. Head Neck Surg. 138 (4), 468-472 (2008).
  10. Wang, Y., et al. High resolution acquisition, learning and transfer of dynamic 3D facial expressions. Comput. Graph. Forum. 23 (3), (2004).
  11. Laughner, J. I., Zhang, S., Li, H., Efimov, I. R. Mapping cardiac surface mechanics with structured light imaging. Am. J. Physiol. Heart Circ. Physiol. , in press (2012).
  12. Ekstrand, L., Wang, Y., Karpinsky, N., Zhang, S. Superfast 3D profilometry with digital fringe projection and phase-shifting techniques. Handbook of 3-D machine vision: Optical metrology and imaging. , Taylor & Francis. Boca Raton, FL. (2012).
  13. Zhang, S., Huang, P. S. High-resolution real-time three-dimensional shape measurement. Opt. Eng. 45 (12), 123-601 (2006).
  14. Li, Y., Zhao, C., Qian, Y., Wang, H., Jin, H. High-speed and dense three-dimensional surface acquisition using defocused binary patterns for spatially isolated objects. Opt. Express. 18, 21-635 (2010).
  15. Wang, Y., Zhang, S. Superfast multifrequency phase-shifting technique with optimal pulse width modulation. Opt. Express. 19 (6), 5143-5148 (2011).
  16. Zhang, S., Huang, P. S. Novel method for structured light system calibration. Opt. Eng. 45 (8), 083601(2006).
  17. Merner, L., Wang, Y., Zhang, S. Accurate calibration for 3D shape measurement system using a binary defocusing technique. Opt. Laser Eng. 51 (5), 514-519 (2013).
  18. Optical Shop Testing. Malacara, D. , 3rd, John Wiley and Sons. New York. (2007).
  19. Wang, Y., Zhang, S. Three-dimensional shape measurement with binary dithered patterns. Appl. Opt. 51 (27), 6631-6636 (2012).
  20. Ekstrand, L., Zhang, S. Autoexposure for three-dimensional shape measurement with a digital-light-processing projector. Opt. Eng. 50 (12), 123-603 (2011).
  21. Huang, P. S., Zhang, S. Fast three-step phase-shifting algorithm. Appl. Opt. 45 (21), 5086-5091 (2006).
  22. Zhang, S., Li, X., Yau, S. -T. Multilevel quality-guided phase unwrapping algorithm for real-time 3-D shape reconstruction. Appl. Opt. 46 (1), 50-57 (2007).
  23. Xu, Y., Ekstrand, L., Dai, J., Zhang, S. Phase error compensation for 3-D shape measurement with projector defocusing. Appl. Opt. 50 (18), 2572-2581 (2011).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Digital Fringe Projection3D Video ImagingPhase Shifting AlgorithmBinary DefocusingHigh Speed ImagingTriangulation MethodSurface MeasurementGraphics Processing UnitCalibration PlaneDepth Reconstruction

Related Articles