멀티 카메라 라이트 필드 영상을 통해 3D 흐름 필드를 결정하는

Summary

유체 흐름의 범위에 대한 양적 입체 (3D) 영상을 수행하기위한 기법 제공됩니다. 라이트 필드 영상의 영역에서 개념을 사용하여, 우리는 이미지의 배열에서 3D 볼륨을 재구성. 우리 3D 결과는 속도 필드와 다중 상 기포 크기 분포를 포함하는 광범위한 걸쳐.

Abstract

유체 역학의 분야에서, 계산 제도의 해상도는 실험 방법을 능가하고 유체 흐름의 예측과 관찰 현상 사이의 격차를 확대하고 있습니다. 따라서, 필요가 문제의 범위에 대한 입체 (3D) 데이터 세트를 해결 할 수있는 접근 방법으로 존재합니다. 우리는 흐름 분야의 많은 종류의 양적 3D 이미징을 수행하기위한 새로운 기술을 제시한다. 3D 기술은 복잡한 속도 필드와 거품이 흐름을 조사 할 수 있습니다. 이러한 유형의 측정은 악기에 도전 다양한 제시한다. 예를 들어, 광학 조밀 거품 다상 흐름은 쉽게 관심의 볼륨의 내부 지역에 광 액세스를 occluding 거품으로 인해 기존의 비 침습적 유동 측정 기법으로 이미징 할 수 없습니다. 라이트 필드 이미징을 사용하여 우리는에도 불구하고, 때마다 예를 들어, 3D 입체지도를 재구성하는 카메라의 배열에 의해 캡처 된 이미지를 reparameterize 할 수 있습니다볼륨의 부분 occlusions. 기술은 3D 초점 스택이 여러 카메라에서 이미지를 결합하면 ¹ 포스트 캡처에 의해 생성된다 합성 개구 (SA) 환기 시켰을,로 알려진 알고리즘을 사용합니다. 라이트 필드 이미징은 각뿐만 아니라 가벼운 선에 대한 공간 정보의 캡처를 허용하고, 따라서 3D 장면을 재구성 할 수 있습니다. 양적 정보는 처리 알고리즘의 다양한 사용하여 3D reconstructions에서 추출 할 수 있습니다. 특히, 우리는 3D 입자 이미지 velocimetry (PIV)를 수행 3D 분야에서 거품을 추출하고 깜박 거리는 불꽃의 경계를 추적하기위한 가벼운 필드 이미징에 따라 측정 방법을 개발했습니다. 우리는 합성 보컬 폴드의 집합으로 통과 공기 흐름의 3DPIV을 수행하기위한 우리의 설치의 맥락에서 라이트 필드 이미징 방법론의 기초를 제시하고, 풍선 entraining 폭락 제트로 기술의 응용 프로그램의 대표 결과를 표시합니다.

Protocol

1. 3D 라이트 필드 이미징 설정

1. 측정 볼륨의 크기뿐만 아니라 공부중인 유체 유동 실험을 조사에 필요한 시간적 공간적 해상도를 결정함으로써 시작합니다.
2. 좋은 신호 대 노이즈 비율 (SNR) ^{1, 2} (PIV 하나의 예를 들어 픽셀 당 입자를 계산한다)를 refocused 이미지를 생성하는 데 필요한 카메라의 수를 확인하기 위해 실험에서 존재가 될 광학 농도를 측정. 여기에 제시된 합성 보컬 폴드와 3D SAPIV 실험의 경우, 우리는 8 대의 카메라를 사용하고 픽셀 당 0.05-0.1 입자 (PPP)의 시딩 밀도를 달성 할 것으로 기대합니다. 이 숫자 13 카메라 주변에 도달 수확 체감과 카메라의 증가와 함께 증가하고, SNR이 빠른 속도로 다섯 카메라 아래 줄어 듭니다.
3. 각 카메라가 서로 다른 시점에서 측정 볼륨을 볼 수 있도록 프레임에서 배열 구성에 카메라를 탑재합니다.
4. 데이터 캡처 및 볼 수있는 중앙 컴퓨터에 카메라를 연결합니다.
5. 원하는 배율 광학 작동 거리에 적합한 초점 길이와 렌즈를 선택합니다. 일반적으로, 고정 초점 거리 렌즈의 동일한 유형은 각 이미지의 유사한 배율을 생성하기 위해 각 카메라에 장착된다.
6. 측정 량의 중심에서 시각적 대상 (예 : 교정 그리드 등) 놓습니다.
7. 참조로 배열의 중심 카메라에서 이미지를 사용하여 원하는 배율을 달성하기 위해 더 가까이이나 더 측정 볼륨에서 전체 카메라 어레이 프레임을 이동합니다.
8. 다음 배열에서 나머지 카메라를 분리합니다. 간격이 멀리 떨어져 서로 카메라는 총 확인할 수있는 깊이 ^1의 비용으로 깊이 차원의 공간 해상도를 향상시킵니다. 참고 : (그림 1 참조) 카메라 방향으로 긍정적 인 Z-차원을 참조하는 깊이를 사용합니다. 의에 대한 깊이의 비율- 비행기 해상도가 약 주어집니다 , Z는 볼륨의 깊이이고, S _O는 볼륨의 전면에 카메라의 거리이며, D는 S _O로 카메라 간격의 비율입니다.
9. 측정 량의 중심에있는 시각적 대상이 약 각 카메라의 이미지에 중심되는 등 모든 카메라를 각도.
10. 각 카메라 렌즈에 완전히 열려있는 개구를 통해 시각적 대상의 각 카메라 초점을 맞 춥니 다.
11. 측정 볼륨의 뒷면에 교정 대상을 놓습니다. 대상은 각 카메라의 뷰에 있는지 확인하십시오, 그것은 다음 카메라 및 측정 볼륨 및 / 또는 카메라 간격 요구 사항 조정 (단계 1.7-1.8) 사이의 거리가 아닌 경우.
12. 대상은 각 카메라에 초점이 될 때까지 각 카메라의 조리개를 닫습니다.
13. 반복 t에서 대상으로 1.11-1.12 단계를측정 량의 그는 앞. 각 카메라가 조정 된 후 보정 목표는 2 그림과 유사 나타납니다.

2. 볼륨 조명 설치

1. 흐름 필드에 적용되는 특정 측정 방법에 따라 측정 볼륨을 조명에 적절한 방법을 결정합니다. 입자 이미지 velocimetry의 경우 (PIV) 레이저 볼륨이 사용됩니다.
2. 측정의 원하는 시간적 해상도를 달성 할 수 펄스 속도 레이저를 선택합니다. 레이저는 단일있을 수 ​​있습니다 시간이 해결을 위해 펄스 또는 더블 프레임 서 ³ 펄스.
3. 측정 볼륨을 포함하는 광 볼륨에 레이저 빔을 형성하는 광학 렌즈를 사용합니다.
4. PIV 측정 ³ 적합한 추적 입자와 씨앗 볼륨입니다. 유체의 입자의 농도는 원하는 공간 해상도를 달성 할 수있을만큼 충분히 주어져야하지만,에 SNR을 감소 할 수 있기 때문에 그렇게 큰 없습니다SA는 허용 수준 이하로 이미지를 refocused. 인용 발명 ^1은 달성 심는 밀도의 철저한 연구를 포함하지만, 일반적으로 픽셀 당 0.05-0.15 입자의 이미지 밀도 (PPP는) 8 이상의 카메라와 대부분의 실험에 적합합니다. 카메라의 고정 번호를 들어, 픽셀 당 입자는 더 큰 볼륨 깊이 치수에 대한 줄어 듭니다.

3. 카메라 배열 보정

1. 교정은 측정 량 전역의 여러 위치에서 교정 대상 (바둑판 격자를 예를 들어, 그림 2 참조) 각 카메라에 일련의 이미지를 포착해야합니다. 멀티 카메라 자체 보정 방법이나 이미지 정확하게 관심 분야를 통해 이동 알려진 교정 대상 중 : 첫째, 교정 두 가지 유형의 사이에 선택할 수 있습니다.
2. 측정 량의 기준 좌표 시스템을 설정합니다. 이 좌표 시스템은 종종 관련 F 방식으로 선택되어 있습니다또는 실험 (예를 들면 평면 판 등의 최첨단에서 발생하는, 실린더의 축 정렬). 여기 Z-축 (그림 1)을 따라 포인트에 정렬 XY 평면에서 우리의 격자를 배치하도록 선택했습니다.
3. 자체 보정 알고리즘 ^{4, 5} 조정 대상 위치가 정확하게 참조 좌표계에 위치하고 있으며 한 곳을 제외하고 임의의 수 멀티 카메라를 사용하는 경우. 이 정확하게 위치 타겟팅 보정 점의 위치를​​ 높은 정밀도로 알려져해야합니다. 각 카메라에서 그림 2와 유사한 각각의 위치에서 대상의 이미지를 캡처합니다.
4. 자체 보정 알고리즘 다중 카메라를 사용하지 않을 경우 조정 대상이 정확하게 참조 좌표계에서 대상의 방향은 높은 정확도로 알려져되는 등의 측정 볼륨에서 여러 위치에 배치해야합니다. 각 카메라에서, 각 위치에 대상의 이미지를 캡처합니다.
5. 각 이미지에 대한 각 카메라에서 대상에 포인트를 확인합니다. 자체 보정 들어, 모든 카메라에서 이미지의 포인트 correspondences가 ⁵ 필요하지만, 명시 적으로 참조 - 투 - 이미지 포인트 correspondences은 정확하게 자리 잡고 대상에 의해 생성되는 포인트가 필요합니다. 정확하게 통과 교정 방법에 대해 명시 적으로 참조 - 투 - 이미지 포인트 correspondences는 모든 카메라의 모든 포인트가 필요합니다.
6. 모든 카메라를 조정하려면 선택한 보정 알고리즘을 적용합니다. 여기 멀티 카메라 자체 보정 알고리즘 ^{4, 5} (오픈 소스 활용하도록 선택한 http://cmp.felk.cvut.cz/ ~ 스바보다 / SelfCal / )와 관심의 비행기에 비해 결과 카메라 위치가가 그림 3에 표시된.

4. 타이밍, 트리거링 및 데이터 수집

1. 양적, 시간이 해결 라이트 필드 영상은 C가 필요합니다ameras 및 조명 소스는 정확하게 관련 실험 일정에 자주 동기화 할 수 있습니다.
2. 외부 펄스 발생기는 카메라 노출과 조명 시퀀스를 실행하는 데 사용됩니다. 펄스 발생기에 적절한 타이밍 펄스 시퀀스를 프로그램. 음성 스크롤 실험, 우리는 레이저가 하나의 카메라 노출의 끝 부분에 가까운 펄스와 다음 ^(3)의 시작 근처에 상기 프레임 서 순서를 사용합니다.
3. 실험 이벤트에서 실행하는 경우, 적절한 신호를 생성하고 펄스 발생기에 입력되어 있는지 확인합니다.
4. 수동으로 실행하면, 펄스 생성기를 실행에 대한 조항을 확인하십시오.
5. 선택한 실행 방법을 통해 카메라 캡처 및 조명 시퀀스를 시작하여 실험 데이터 캡처를 시작합니다.
6. 멀티 카메라 조명 분야 이미징 실험과 관련된 데이터의 많은 양의를 인수 때, 사소한 소리이지만 좋은 명명 규칙은 CRU입니다cial. 이 명명 규칙을 개발할 때 데이터가 최종 분석에 캡쳐에서 사용하는 방법을 고려하는 것이 도움이됩니다.

5. 합성 개구 환기 시켰을

1. 우리는 지금 종합적으로 refocused 볼륨을 생성 할 이미지의 3D 초점 스택을 생성합니다. 첫째, refocused 볼륨에서 사용되는 초점 비행기와 전체 환기 시켰을 깊이 사이의 간격을 정의 ^{1, 7.} 일반적으로 초점 평면 간격이 절반 깊이 해상도로 설정되어 있으며 전체 환기 시켰을 깊이는 지역에 따라 적용되는보기 중복의 카메라 필드. 초점 비행기는 참조 좌표 시스템의 Z-축에 수직 될 것입니다.
2. 측정 량에 투영시 이미지에 적용 할 스케일을 정의합니다. 규모가되지 않도록하기 위해 RAW 이미지의 배율과 일치해야합니다상당한 오버 샘플링 또는 다시 투영 이미지의 아래에서 샘플링.
3. 각 카메라의 이미지 평면과 각 합성 초점 평면 사이의 변환을 설정합니다.
4. 이미지 ^{1, 7} 사이의 강도의 차이에 대한 배경 잡음을 제거하고 수용 할 수 있도록 이미지 전처리를 수행합니다.
5. 합성 초점 비행기로 Reproject 이미지는 규모와 재 샘플 이미지를 적용 할 수 있습니다. 일련의 내장 된 MATLAB 기능 (이미지 처리 도구 상자) 비행기 - 투 - 비행기 변환 주어진 작업을 처리 할 수 있습니다.
6. 각 합성 초점 평면에서 첨가제 또는 multiplicative SA의 환기 시켰을 알고리즘 ^{1, 7} 중 하나를 적용 할 수 있습니다. 3D SAPIV 응용 프로그램의 경우, 우리는 첨가제 SA (여기를 보컬 폴드에 적용)과 좋은 성공을 거두었습니다. 백라이트 버블 이미지, multiplicative SA 뛰어난 결과를 굴복했다. 수표는 재건이 예상대로 표시되는지 확인 보정 이미지 중 하나 비행기에 환기 시켰을을 적용 있습니다.

   6. 볼륨 사후 처리

   1. 빛 필드를 생성하여 볼륨에있는 원본 개체를 추정하려면 재건으로 알려진 처리 단계가 필요합니다. 여러 알고리즘은보다 복잡한 3D deconvolution ^8-7 그라디언트 기반의 초점 통계 ¹ 임계 값 단순 강도에 이르기까지 존재합니다. 응용 프로그램에 대한 적절한 복구 알고리즘을 선택합니다. PIV를 들어, 강도 임계 값 및 3D deconvolution 모두 성공을 거두었습니다. 우리는 초점 스택을 형성하려면 여기를 임계 값 강도를 사용합니다. 시간 1 (t _1)과 시간 2 (t _2)에서 두 초점 스택은 벡터 필드를 형성 할 수 간 상관 있습니다. 3D 라이트 필드 이미징 방법은 본질적으로 PIV의 정확도에 영향을 미칠 수있는 깊이 차원의 가늘고 긴 된 개체의 결과, 좋은 재건 알고리즘이 신장을 완화하려고 시도합니다.
   2. 재건 단계 후, 볼륨의 기능이나 전직해야 할 수도 있습니다크기의 측정을 할 수 있도록 tracted, 모양 등이 특징 추출에 사용되는 알고리즘이 다양하고 응용 프로그램 ^일곱에 따라 달라집니다 있습니다. 거품을 추출하려면 예를 들어, 거품 기능을 현지화하고 크기를 정의하는 수단이 필요합니다. PIV 어플리케이션의 경우, 우리는 명시 적으로 입자를 추출하지 않습니다이 단계는 생략 할 수 있습니다.
   3. 3D SAPIV 어플리케이션의 경우, 작은 심문 볼륨에 복구 볼륨을 분석하고 벡터 필드 ^{1, 3을} 측정 할 수있는 적절한 교차 상관 관계 기반 PIV 알고리즘을 적용 할 수 있습니다.

   maketform는 :지도와 resamples maketform의 변환에 따라 이미지 : 비행기 변환 & imtransform에 비행기를 생성합니다.

Representative Results

고품질의 원료 PIV 이미지가 검은 색 배경 (그림 4A)에 대한 고 대비와 함께 게재 균일하게 분산 입자가 포함되어 있습니다. 이미지에서 비 균일 조명을 보완하기 위해, 이미지 사전 처리는 밝은 영역을 제거 명암을 조정하고 모든 카메라 (그림 4B)에서 모든 이미지에 걸쳐 강도 histograms을 정상화하기 위해 수행 할 수 있습니다. 실험이 적절한 밀도로 놓는되어 정확한 측정이 수행되면, SA 이미지가 각각의 깊이 비행기 (그림 5)에 초점 입자에 노출됩니다 refocused. 측정 볼륨 시드 이상 인 경우, refocused 이미지의 SNR은 어려운 입자를 재구성 할 수있게 낮은 것입니다. SA 좋은 SNR과 이미지가 각각의 깊이 비행기에 초점 입자에 유지 thresholded 할 수 있습니다 refocused. 그림 6은 Z = -10.6 mm 깊이 평면에서 두 시간 단계에서 두 thresholded 이미지를 보여줍니다. thresholded VOlume 그런 다음 PIV ^3을 수행하기위한 입자의 적절한 숫자를 포함 심문 볼륨으로 해석된다. 파싱 ​​된 볼륨에 3DPIV 알고리즘을 적용하면 그림 7에 표시된 유체 속도 필드를 산출,이 경우, 유동 입력란은 모델 보컬의 배에 의해 유도 그입니다. 제트 외부 유동 필드의 속도는 따라서 거의 벡터가이 지역 밖에 볼 수 있습니다, 매우 작은 수 있습니다. t = 0 밀리 초에서 보컬 스크롤이 종료되고 필드에서 거의 속도는 존재합니다. t에서 제트에서 가장 큰 속도는 = 1 밀리 초에 긍정적 인 Y 방향으로 이동하고 t = 2-4 밀리 초에서 강도 감소시킨다. 분사 속도와주기를 줄여 t = 5 밀리 초에서 배 폐장이 반복됩니다. 이러한 이미지는 제시 각 속도 영역은 시간에 하나의 스냅 샷을 나타냅니다로 100 평균 이미지를 제시 많은 이전의 작가 ^9와 같은 부드러움이 없습니다. 참조 점으로, 이전 시뮬레이션 계산에 전형적인 오류를 표시했습니다D 속도는 PIV 알고리즘 자체 ¹ 오류가 포함 된 속도 구성 요소에 5~10%의 순서에 있어야, 우리가 사용하는 알고리즘 (MatPIV ¹¹ 3D에 적응)에이 오류가 큰 친척으로 알려져 있습니다 다른 코드입니다.

거품이 흐름은 빛 필드 영상의 3D 기능 혜택을 누릴 수 있습니다 과학적 관심의 또 다른 영역입니다. SA 기술은 유사 레이저 광이 같은 거품이 가장자리가 흰색 배경에 대한 어두운 게재 위치를 그림 8A에 표시된 것과 이미지에 결과하는 확산 흰색 백라이트로 대체됩니다 거품 유동 분야에 적용 할 수 있습니다. 자체 보정 후, SA 알고리즘의 multiplicative 변형은 그림 8B-D에 도시 된 바와 같이, 급격하게 거품의 깊이에 해당하는 등의 비행기에보기에서 흐리게 깊이 비행기에 초점을 거품으로 초점 스택을 창출하고 적용 할 수있는 ^7. 단순 임계 값이 없습니다거품 대신 고급 기능을 추출 알고리즘의 시리즈를 추출하기위한 적절한 방법은 ⁷ 상세로 활용하고 있습니다.

그림 1. 레이블을 사용하여 카메라와 보컬 폴드의 이미지와 시스템을 조정.

그림 2. 모든 8 대의 카메라에서 본 것처럼 Z = 0mm에서 보정 그리드.

그림 3. 멀티 카메라 자체 보정 출력에서 카메라 설정의 Topview. 카메라 1-8들은 일반적으로 볼 수 directio로, 숫자 및 서클과 자리 잡고 있습니다n은 선으로 표시. 원점 근처에 붉은 무늬 실제로 카메라에 3D 상대적으로 해본 각 Z 깊이에서 보정 그리드에서 400 + 포인트입니다.

그림 4. t _1과 t ₂ (A & B)에서 카메라 # 6에서 본 입자 필드의 RAW 이미지. 이후 동일 이미지 사전 처리 (C & D).

그림 5 왼쪽에서 오른쪽으로 :. 깊이 (가) Z = -5.9 mm, (b)는 -10.6의 mm 및 (c) -15.3 mm의 원료 refocused SAPIV 이미지.

그림 6. Thresho시간 단계 (A) t ₁ 및 Z = -10.6 mm의 (b)는 t _2에 lded 이미지.

그림 7. 6 시간 단계에 합성 보컬 폴드에 의해 생성 된 제트의 3 차원 벡터 필드입니다. 왼쪽은 전체 3D 속도 필드의 사시도를 보여줍니다. 각 항목 위에 표시로 XY와 yz의 비행기 인하는 보컬 배의 중심을 통해 이루어집니다.

그림 8 왼쪽에서 오른쪽으로 :. 카메라 배열에서 거품이 흐름 필드와 깊이에서 refocused 이미지 (b)는 Z = -10 mm, (C) 0 mm와 (D) 10 mm의 원료 이미지입니다.원은 Z = -10 mm 깊이 비행기에 자리 잡고 풍선을 강조, 다른 비행기에보기에서 사라집니다. 거품 실험의 세부 사항은 ^4에서 찾을 수 있습니다.

Discussion

몇 가지 단계 라이트 필드 이미징 실험의 적절한 실행을위한 중요합니다. 렌즈 선택과 카메라 게재 위치는주의 깊게 측정 볼륨 내에서의 해상도를 극대화하도록 선택해야합니다. SA의 환기 시켰을 알고리즘 정확한 보정없이 급격하게 초점을 맞춘 이미지를 생성하기 위해 실패합니다 같이 교정, 아마도 가장 중요한 단계입니다. 다행히도, 멀티 카메라 자기 교정 노력의 상대적으로 낮은 수준의 정확한 보정을 용이하게합니다. 이미지 처리 정도 이미지를 정상화 할 수는 있지만 관심과 배경의 객체 사이의 좋은 대조를 제공하는 모든 이미지에 균일 한 조명도 필요합니다.

객체를 이동 한 볼륨에 SA를 수행 할 때 타이밍도 중요합니다. 각 카메라가 동시에 이미지를 가져 실행되지 않을 경우, 이미지 재건은 분명히 정확합니다. 본 논문에서 실험 우리는 시간 순서을 활용그림 7의 hown.

3D 라이트 필드 이미징 응용 프로그램은 여기 공간적 해상도 트레이드 오프를 포함 제시했다. 예를 들어, 3D SAPIV 광학 조밀 한 입자 이미지에서 입자 볼륨을 재구성 할 수 있지만 입자 (잠재적으로 대형) 볼륨 전체에 분산되어 있습니다. 2D PIV를 들어, 입자는 얇은 시트를 통해 배포되며, 따라서 동일한 입자 밀도 이미지는 측정 량의 훨씬 더 큰 밀도에 해당합니다. 그럼에도 불구하고, 3D SAPIV 방법은 다른 3D PIV 방법 ¹ 훨씬 더 큰 심는 밀도 할 수 있습니다. 또 다른 잠재적 인 제한 고려 라이트 필드 이미징 방법과 관련된 비교적 큰 전산 강도이며 계산 복잡도는 단층-PIV ^{최대 10} 이미지 기반의 3D 재건 방법에 대한 일반적입니다.

이 실험을 위해 8 Photron SA3 시그마 105mm 매크로 렌즈가 장착 카메라와 Quantron을 사용IX 듀얼 다윈 ND : YLF 레이저 (532 nm의, 200 MJ). 카메라와 레이저는 버클리 핵공학 575 BNC 디지털 지연 / 펄스 발생기를 통해 함께 동기화되었습니다. 유체 흐름 Expancel 헬륨 채워진 유리 마이크로을 놓는되었습니다. 마이크로은 0.15 g / CC의 밀도를 70 μm의 평균 직경했다. 우리는 우리의 웹 사이트를 통해 학계에 본원에 사용 된 코드의 오픈 소스 버전 제공 http://www.3dsaimaging.com/을 우리는 사용자들에게 피드백을 제공하고 양적 라이트 필드 지역 사회를 위해 유용한 코드를 개선하고 공급에 참여하는 것이 좋습니다.