디지털 프린지 프로젝션 기술을 사용한 고해상도, 고속, 3차원 비디오 이미징

이 비디오는 동적으로 변화하는 표면의 조밀한 3D 측정을 제공하는 디지털 프린지 프로젝션 기술의 기초를 설명합니다. 또한 이러한 기술을 기반으로 하는 고속 이진 디포커스 시스템의 설계 및 작동을 보여줍니다.

이 절차의 전반적인 목표는 실시간 속도 이상의 속도로 고해상도 3D 비디오를 캡처하는 것입니다. 이는 먼저 디지털 광 처리 프로젝터를 사용하여 정현파 프린지 패턴 이미지를 고속으로 피사체에 투사함으로써 수행됩니다. 높은 정확도를 달성하기 위해 세 개의 이동된 코사인 패턴이 순서대로 투영됩니다.

카메라는 다른 시야각에서 이러한 이미지를 캡처하는 데 사용됩니다. 두 번째 단계는 세 개의 fringe pattern 이미지 각 세트에서 래핑된 위상을 계산하는 것입니다. 이 작업은 arc tangent 함수와 image intensity 값을 사용하여 수행됩니다.

다음으로, 위상을 풀어 아크 탄젠트 함수로 인해 발생하는 두 개의 파이 불연속성을 제거합니다. 마지막 단계는 피사체의 래핑되지 않은 단계에서 깊이를 검색하는 것입니다. 이것은 피사체의 래핑되지 않은 위상 맵과 참조 객체를 사용하여 찾은 상수에 의해 적절하게 확장되고 변환된 보정 평면 간의 차이입니다.

궁극적으로 결과 데이터 프레임은 그래픽 소프트웨어를 사용하여 표시할 수 있습니다. 레이저 스캐닝과 같은 다른 기존 방법에 비해 이 기술의 주요 장점은 고해상도와 고속을 모두 수행할 수 있다는 것입니다. 알려진 사인파 패턴이 피사체에 투영되기 때문에 5 76 x 5 76 카메라와 함께 사용되는 카메라의 각 픽셀에 대해 3D 데이터 포인트를 검색할 수 있습니다.

프레임당 300, 000개 이상의 3D 데이터 포인트를 검색할 수 있습니다. 이 방법은 얼굴 표정의 형성이나 심장 박동 표면을 캡처하는 것과 같은 잠재적인 의료 응용 분야가 있지만 다른 수많은 연구 분야에도 적용할 수 있습니다. 영화 및 비디오 게임에 사용하기 위한 고해상도 얼굴 모션 캡처 또는 향상된 화상 회의 방법을 가능하게 합니다.

또한 제조 환경에서 결함을 감지하는 데 사용할 수도 있습니다. 이 방법의 시각적 시연은 보정으로 매우 중요합니다. 처리 단계는 시스템의 시각적 수명과 측정 값으로 인해 배우기가 어렵습니다.

문제를 감지하는 가장 간단하고 쉬운 방법은 훈련된 육안 검사를 사용하는 것입니다. 첫 번째 단계는 프로젝션할 프린지 패턴을 생성하는 것입니다. 이것들은 여기 이미지 프로그래밍 환경인 matlab을 사용하여 미리 준비됩니다.

이 비디오는 이진 패턴의 사용에 중점을 둡니다. 초점이 맞지 않는 이진 패턴을 만들려면 디더링 기술을 사용하여 순수한 검은색 및 순수한 흰색 픽셀만 사용하여 사인파 패턴을 생성합니다. 3단계 위상 변이 알고리즘에서 요구하는 대로 3에 걸쳐 2pi씩 위상이 이동한 패턴의 3개 이미지를 만듭니다.

이 데모에서는 더 날카로운 깊이 변화를 포착할 수 있는 다중 주파수 기술을 위해 3개씩 두 개의 추가 세트가 생성됩니다. 그런 다음 단색 설정의 고속 디지털 광 처리 프로젝터를 선택합니다. 프로젝터와 함께 제공된 소프트웨어를 사용하여 위상 변이를 위해 이미지를 업로드하십시오.

이제 시스템에 적합한 캡처 속도를 가진 흑백 C, CD 또는 COS 카메라를 선택하십시오. 카메라는 프로젝터가 물체로부터 배치되어야 하는 거리를 찾기 위해 각 비디오 프레임에 대한 전체 fringe 이미지 세트를 캡처해야 합니다. 이미지의 수직 및 수평 범위가 연구할 물체보다 약간 클 때 프로젝터를 큰 평평한 표면에 상대적으로 이동합니다.

프로젝터와 벽까지의 거리를 측정합니다. 이 거리에서 원하는 시야와 카메라 센서 크기를 사용하여 렌즈의 초점 거리를 찾습니다. 마지막 구성 단계는 이러한 구성 요소 사이의 큰 각도에서 프로젝터와 카메라 사이의 각도 간격을 결정하는 것입니다.

특징점 간의 삼각측량은 분명하지만 더 많은 기능이 그림자에서 손실됩니다. 각도가 작으면 삼각분할이 어려워져 결과의 노이즈가 증가합니다. 일반적으로 10도에서 15도 정도가 좋은 절충안입니다.

데이터 캡처 직전에 보정을 수행하는 것이 가장 좋습니다. binary defocus system의 경우, 이미징 평면의 패턴이 고품질 정현파와 유사해질 때까지 프로젝션 렌즈의 초점을 해제합니다. 이를 위해서는 테스트 데이터를 검사하고 렌즈를 조정하는 반복적인 프로세스가 필요할 수 있습니다.

언저리가 함께 흐려지면 프로젝터의 초점이 너무 흐려진 것입니다. 패턴 내에 점이 보이면 프로젝터에 너무 초점이 맞춰진 것입니다. 이제 카메라와 프로젝터의 시야에 평평한 화이트보드를 놓습니다.

첫 번째 프린지 이미지를 보드에 투사합니다. 그런 다음 카메라 프로젝트로 캡처하고 나머지 fringe 이미지를 기록합니다. 같은 방식으로, 데이터 처리 단계를 위해 이러한 fringe 이미지를 저장하고 보정 평면으로 레이블을 지정합니다.

다음으로, 알려진 치수의 개체를 시스템의 시야에 배치합니다. 여기에서는 사각형의 확산 접착 폼으로 덮인 경질 폼 큐브가 사용됩니다. 동일한 계열의 fringe 이미지를 큐브에 투영합니다.

카메라로 각각을 캡처합니다. 처리 단계를 위해 캡처된 이미지를 저장하고 보정 큐브로 레이블을 지정합니다. 데이터를 수집하기 위해.

카메라의 초점면에 피사체를 배치하고, fringe 이미지를 피사체에 투사하고, 피사체를 캡처합니다. 고속에서 올바른 모션 캡처를 위해서는 일반적으로 속도가 필요합니다. 인간의 눈은 가장자리만 볼 수 있습니다.

시간적 간섭에서. 캡처된 이미지를 사용하여 카메라 조리개를 조정할 수 있습니다. 조도를 최적화하려면 fringe 이미지는 가능한 한 밝아야 하지만 채도가 높아서는 안 됩니다.

다음 단계는 데이터의 사후 처리입니다. 3단계 위상 변이 알고리즘에서 위상은 정현파 패턴 내에서 점의 위치를 결정하는 cosign 함수의 인수입니다. fringe 이미지의 각 지점에서 이 위상을 결정하기 위해 알고리즘이 구현되었으며, 이 계산된 래핑된 위상은 구간에 있습니다.

음수 PI 대 PI는 이 알고리즘을 보정 평면과 큐브 및 개체 데이터에 적용합니다. 그런 다음 위상 점프에서 두 개의 파이를 더하거나 빼기 위해 다른 알고리즘을 사용하여 위상 맵을 언래핑합니다.다중 주파수 기술에서는 각 주파수에 대해 래핑된 위상 맵을 결합하여 단일 래핑되지 않은 위상 맵을 생성하며, 이 시점에서 보정 단계를 다시 방문하는 것이 중요합니다. 캘리브레이션 플레인의 위상 맵 중심에서 수평 단면을 취합니다.

벌크 프로파일을 제거하여 위상 오류 추정치를 얻습니다. 프로젝션된 패턴에 너무 집중되어 있으면 오류가 커집니다. 범위 내에서 오류를 얻기 위해 필요에 따라 프로젝터 렌즈를 조정하십시오.

음수 0.1 - 0.1 라디안. 다음으로, 세 번째 알고리즘은 캘리브레이션 큐브의 깊이를 계산합니다. 이것이 캘리브레이션 큐브와 참조 평면 위상 맵의 차이점입니다.

이로부터 축척 계수가 결정됩니다. 피사체의 깊이는 피사체의 위상 맵에서 기준 평면의 위상 맵을 빼고 스케일 팩터를 적용하여 구합니다. 이제 MATLAB 또는 다른 3D 그래픽 소프트웨어에서 시각화하기 위해 데이터를 저장할 수 있습니다.

이 기술을 사용하면 미세한 디테일을 드러낼 수 있을 만큼 충분히 높은 해상도로 사람 얼굴의 3차원 이미징을 실시간으로 고속으로 수행할 수 있습니다. 왼쪽의 세 이미지 세트는 2D, 텍스처, 오버레이, 음영, 조명 및 와이어 프레임 모드로 표시되는 전체 얼굴입니다. 중앙에는 코 영역의 와이어 프레임 뷰 클로즈업이 있습니다.

오른쪽에 있는 점의 밀도는 눈 주변 영역의 근접 보기입니다. 이 이미지는 사인파 프린지 패턴을 사용하여 제작되었습니다. 여기에 보이는 것은 미소를 형성하는 3D 비디오입니다.

비디오는 640 x 480 해상도의 60 헤르츠에서 캡처되었으며 정현파 프린지 패턴이 사용되었습니다. 라이브 3D 비디오, 캡처, 처리 및 렌더링을 수행할 수 있습니다. 이 비디오에서 3D 측정값은 컴퓨터 화면에 30Hz로 표시됩니다.

이 방법의 기능에 대한 마지막 예로, 이것은 살아있는 토끼 심장의 3D 비디오 이미징을 보여줍니다. 바이너리 디포커스를 사용하여 심박수는 분당 약 200회였습니다. 3D 캡처 속도는 166Hz이며 해상도는 576 x 576이었습니다.

모션 아티팩트를 방지하기 위해 빠른 속도가 필요했습니다. 캘리브레이션을 마스터하면 적절하게 수행되면 몇 시간 내에 데이터 캡처 및 데이터 처리를 완료할 수 있습니다. 속도를 위해 설계된 처리 소프트웨어를 사용하면 개발 후 많은 프로세서 결과를 실시간으로 컴퓨터 화면에 표시 할 수 있습니다.

이 기술은 심장 표면 역학 분야의 연구자들이 고해상도 3D 비디오 데이터를 사용하여 박동하는 토끼 심장의 동적 표면 형상을 조사할 수 있는 길을 열었습니다. 이 비디오를 시청한 후에는 고해상도, 고속 3D 비디오 시스템을 설계하고 운영하는 방법에 대한 기본적인 이해를 갖게 될 것입니다. 특히, focused binary patterns 및 reference plane calibration 방법을 사용하는 digital fringe projection의 개념에 대해 잘 알고 있어야 합니다.

또한 좋은 페이즈 맵과 나쁜 언래핑되지 않은 페이즈 맵의 차이를 인식할 수 있어야 합니다.