Name: De alta resolução, de alta velocidade, de imagens de vídeo tridimensional com Franja Digital Técnicas de Projeção (Vídeo) | JoVE Journal
Uploaded: 2013-12-03T13:10:00.000+00:00
Duration: 11 min 34 s
Description: Aprenda a capturar vídeo 3D de alta resolução em tempo real usando projeção de franjas digitais com sistema de desfoque binário. Este método permite obter mais de 300 mil pontos de dados por frame para aplicações em imagem médica e captura de movimento.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Esta pesquisa foi um esforço acumulado que começou há mais de 10 anos, quando o Dr. Zhang era um estudante de pós-graduação na Stony Brook University. Os alunos atuais e anteriores de nossa equipe na Iowa State University contribuíram tremendamente para o avanço dessa tecnologia até onde ela está hoje. Este trabalho foi parcialmente patrocinado pela National Science Foundation sob o número de projeto CMMI 1150711 e pela William and Virginia Binger Foundation.

1. Configuração do sistema
Um esquema do sistema é mostrado na Figura 1.
<ol>
	<li>Gere os padrões de franja para projeção. Eles podem ser preparados com bastante antecedência usando um ambiente de programação de imagens, como MATLAB, OpenCV ou QT. Construa os padrões de acordo com o algoritmo de mudança de fase de três etapas em18. Faça três imagens, deslocadas em deslocamento de fase uma da outra em 2π/3. Para desfocagem binária, use uma técnica de pontilhamento para gerar padrões senoidais usando apenas pixels pretos e brancos, conforme descrito em19.</li>
	<li>Selecione o projetor de processamento de luz digital. Um sistema de desfocagem binária de alta velocidade requer um projetor mais rápido e especializado, como o DLP LightCommander com módulo ALP High Speed. Certifique-se de usar a configuração binária ou monocromática para projetar as imagens de franja. Como os valores da imagem estão puramente ativados ou desativados, não são necessários ajustes de não linearidade. Utilize o programa de software do projetor para carregar os padrões de mudança de fase.</li>
	<li>Selecione a câmera. Escolha uma câmera CCD ou CMOS em preto e branco com a taxa de captura correta para o sistema. Evite câmeras coloridas para captura 3D, pois a cor não é necessária e as câmeras coloridas exigem ajustes de não linearidade e gama. Lembre-se de que a câmera precisará capturar todo o conjunto de imagens marginais para cada quadro de vídeo 3D. Sistemas senoidais de alta qualidade requerem sincronização precisa entre o projetor e a câmera; Para sistemas binários de desfocagem, esse requisito é mais relaxado20.</li>
	<li>Determine o alcance máximo desejado (x, y) e a distância do projetor ao objeto (d0). Escolha um intervalo que faça sentido para a aplicação, mas certifique-se de que a área seja um pouco maior que o assunto para reduzir quaisquer efeitos de limite óptico. Como a saída de luz de um projetor é um tronco, essa faixa (x, y) conduzirá d0. Mova o projetor em relação a uma grande superfície de projeção plana até que a faixa desejada (x, y) seja encontrada e, em seguida, meça d0 com uma fita métrica.</li>
	<li>Selecione a lente da câmera com a distância focal adequada. Usando o tamanho do sensor da câmera, encontre a distância focal de modo que o campo de visão na distância d0 seja igual ao alcance de imagem desejado (x, y).</li>
	<li>Determine a distância de separação entre o projetor e a câmera. Um trade-off ocorre aqui entre ruído e sombreamento. Em um grande ângulo entre esses componentes, a triangulação entre os pontos de recursos é mais óbvia, mas mais recursos se perdem na sombra da perspectiva da câmera. Em um ângulo pequeno, a triangulação torna-se difícil, aumentando o ruído nos resultados. Normalmente, 10-15° é um bom compromisso.</li>
</ol>
2. Calibração do sistema
Esta calibração do plano de referência é o método de calibração mais simples e acessível para o sistema. Portanto, é o melhor para começar. Métodos de calibração mais precisos estão disponíveis na literatura para aplicações específicas de desfocagem senoidal16 e binária17. Para máxima precisão, a calibração deve ser realizada imediatamente antes da captura de dados. Após a calibração, a câmera e o projetor não devem ser deslocados um em relação ao outro.
<ol>
	<li>Foque/desfoque o projetor. Desfoque cuidadosamente a lente de projeção até que os padrões no plano de imagem se assemelhem a sinusóides de alta qualidade. Isso pode exigir um processo iterativo de exame da qualidade dos dados (Seção 4) e ajuste da lente.</li>
	<li>Capture imagens de franja de um plano de referência. Coloque um quadro branco plano no plano focal do projetor e no campo de visão da câmera. Uma placa de núcleo de espuma branca de 3/16 pol (5 mm) de espessura funciona bem, desde que a superfície voltada para o sistema não seja brilhante ou significativamente manchada ou rasgada. Grave e salve imagens marginais desta placa para a etapa de processamento de dados.</li>
	<li>Capture imagens marginais de um objeto de referência de dimensões conhecidas. Para esta etapa, um cubo de espuma rígida é um exemplo simples. Cubra o cubo com quadrados de espuma adesiva branca de 1,5 mm (1/16 pol.) para torná-lo difuso. Coloque-o no plano focal da câmera no campo de visão da câmera e grave imagens marginais para a etapa de processamento.</li>
</ol>
3. Aquisição de dados
<ol>
	<li>Coloque o objeto ou convide o assunto a sentar-se no plano focal da câmera. Para um sujeito humano, avise-o de que a luz do projetor pode ser brilhante. Um pano de fundo de tecido preto pode ser usado atrás do assunto para esconder ambientes estranhos.</li>
	<li>Ajuste a abertura da câmera para otimizar o nível de luz. As imagens de franja de amostra devem ser o mais brilhantes possível, mas não saturadas. As imagens escuras terão muito ruído, enquanto as áreas saturadas (regiões significativas de brilho máximo) nas imagens resultarão na perda de detalhes na região saturada.</li>
	<li>Capture o número desejado de quadros. Certifique-se de trazer um disco rígido grande o suficiente para armazenar todas as imagens capturadas para o assunto e os conjuntos de dados de calibração. Com o . OBJ, um vídeo 3D gravado a 30 Hz por 1 min com resolução de 640 x 480 pode ter mais de 50 GB.</li>
</ol>
4. Análise e visualização de dados
Com software otimizado para velocidade, como nossa GUI interna, essa etapa pode ocorrer durante a captura de dados. O processamento em tempo real permite que o usuário detecte imediatamente se os dados resultantes são desejáveis para a aplicação e ajuste, se necessário. No entanto, o pós-processamento pode ser mais flexível e com maior precisão. O pós-processamento também é muito mais simples de implementar e o melhor lugar para começar.
<ol>
	<li>Calcule a fase encapsulada para os dados de calibração e assunto. No algoritmo de mudança de fase de três etapas em18, a fase descreve a posição de um ponto dentro da função cosseno. Como temos três equações e três incógnitas, podemos resolver as equações usadas para gerar as imagens marginais na etapa 1.1 para a fase em cada ponto. Por causa da função arctangente, a fase computada está no intervalo (-π, π]; por isso é chamado de "fase embrulhada". Para melhorar a velocidade de processamento, desenvolvemos um algoritmo de empacotamento de fase rápido que é discutido em21.</li>
	<li>Desembrulhe os mapas de fase. Adote um algoritmo de desdobramento de fase que detecte os saltos de 2π na fase e os remova adicionando ou subtraindo múltiplos de 2π. Usamos o algoritmo rápido em22 em sistemas anteriores para desembrulhar a fase de forma robusta e rápida. No vídeo, demonstramos a técnica de multifrequência descrita em15, que usa conjuntos adicionais de três padrões de mudança de fase em frequências diferentes. Os mapas de fase encapsulados de cada conjunto de três podem ser combinados para produzir de forma robusta um único mapa de fase desencapsulado. Essa técnica aumenta a faixa de profundidade para captura precisa com desfocagem binária.</li>
	<li>Opcional: calcule a textura 2D. A média de conjuntos de três imagens de franja vizinhas eliminará as listras de franja e gerará o mapa de textura 2D. Isso pode ser mapeado nos dados 3D durante a visualização, se desejado.</li>
	<li>Converta os mapas de fase desembrulhados em profundidade. Conforme descrito em23, a profundidade pode ser calculada para o cubo de calibração como a diferença entre o mapa de fase do cubo de calibração e o mapa de fase do plano de referência. Compare essa profundidade calculada com a profundidade conhecida para calcular o fator de escala de profundidade correto c0. Em seguida, calcule a profundidade do assunto subtraindo a fase do plano de referência da fase do assunto e multiplicando os resultados por c0.</li>
	<li>Calcule as coordenadas x e y. Aplique o fator de escala c0 ao mapa de profundidade do cubo de calibração. Determine o fator de conversão ρ das dimensões do cubo em pixels para as dimensões do cubo conhecidas no plano xy. Multiplique a contagem de pixels nos dados do assunto por ρ para calcular as coordenadas x e y.</li>
	<li>Visualize os dados. Os quadros individuais podem ser salvos em nosso formato interno e visualizados com um código MATLAB simples ou salvos em . OBJ e visualizado com um programa comercial de modelagem 3D, como o Blender. Devido à grande quantidade de dados em cada quadro, esses aplicativos podem ser lentos em alguns computadores. Para obter mais capacidade de resposta ou para exibição de vídeo ao vivo, escreva software usando uma biblioteca de gráficos de computador, como OpenGL ou Direct3D. Esse software pode aproveitar a GPU (unidade de processamento gráfico) para gerar rapidamente as coordenadas x, y e z da fase desencapsulada, formar uma malha triangular, calcular normais de iluminação e exibir os resultados. Usando a GPU, alcançamos visualização de dados 3D ao vivo de até 30 Hz com aproximadamente 300.000 pontos por quadro.</li>
</ol>

<ol><li>Salvi, J., Fernandez, S., Pribanic, T., Llado, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+state+of+the+art+in+structured+light+patterns+for+surface+profilometry%5BTitle%5D)+AND+%22Patt.+Recogn%22%5BJournal%5D)">A state of the art in structured light patterns for surface profilometry.</a> Patt. Recogn. 43, 2666-2680 (2010).</li>
<li>Gorthi, S. S., Rastogi, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fringe+projection+techniques%3A+Whither+we+are%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Fringe projection techniques: Whither we are.</a> Opt. Laser Eng. 48 (2), 133-140 (2010).</li>
<li>Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+progresses+on+real-time+3-D+shape+measurement+using+digital+fringe+projection+techniques%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Recent progresses on real-time 3-D shape measurement using digital fringe projection techniques.</a> Opt. Laser Eng. 48 (2), 149-158 (2010).</li>
<li>Su, X., Zhang, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Dynamic+3-D+shape+measurement+method%3A+A+review%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Dynamic 3-D shape measurement method: A review.</a> Opt. Laser Eng. 48 (2), 191-204 (2010).</li>
<li>Geng, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Structured-light+3D+surface+imaging%3A+a+tutorial%5BTitle%5D)+AND+%22Adv.+Opt.+Photonics%22%5BJournal%5D)">Structured-light 3D surface imaging: a tutorial.</a> Adv. Opt. Photonics. 3 (2), 128-160 (2011).</li>
<li>Zhang, S., Yau, S. -T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-resolution%2C+real-time+3-D+absolute+coordinate+measurement+based+on+a+phase-shifting+method%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">High-resolution, real-time 3-D absolute coordinate measurement based on a phase-shifting method.</a> Opt. Express. 14 (7), 2644-2649 (2006).</li>
<li>Zhang, S., Royer, D., Yau, S. -T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((GPU-assisted+high-resolution%2C+real-time+3-D+shape+measurement%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">GPU-assisted high-resolution, real-time 3-D shape measurement.</a> Opt. Express. 14 (20), 9120-9129 (2006).</li>
<li>Lei, S., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Flexible+3-D+shape+measurement+using+projector+defocusing%5BTitle%5D)+AND+%22Opt.+Lett%22%5BJournal%5D)">Flexible 3-D shape measurement using projector defocusing.</a> Opt. Lett. 34 (20), 3080-3082 (2009).</li>
<li>Mehta, R. P., Zhang, S., Hadlock, T. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Novel+3-D+video+for+quantification+of+facial+movement%5BTitle%5D)+AND+%22Otolaryngol.+Head+Neck+Surg%22%5BJournal%5D)">Novel 3-D video for quantification of facial movement.</a> Otolaryngol. Head Neck Surg. 138 (4), 468-472 (2008).</li>
<li>Wang, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High+resolution+acquisition%2C+learning+and+transfer+of+dynamic+3D+facial+expressions%5BTitle%5D)+AND+%22Comput.+Graph.+Forum%22%5BJournal%5D)">High resolution acquisition, learning and transfer of dynamic 3D facial expressions.</a> Comput. Graph. Forum. 23 (3), (2004).</li>
<li>Laughner, J. I., Zhang, S., Li, H., Efimov, I. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mapping+cardiac+surface+mechanics+with+structured+light+imaging%5BTitle%5D)+AND+%22Am.+J.+Physiol.+Heart+Circ.+Physiol%22%5BJournal%5D)">Mapping cardiac surface mechanics with structured light imaging.</a> Am. J. Physiol. Heart Circ. Physiol. , in press (2012).</li>
<li>Ekstrand, L., Wang, Y., Karpinsky, N., Zhang, S. Superfast 3D profilometry with digital fringe projection and phase-shifting techniques. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aEkstrand%2C+L+%22Handbook+of+3-D+machine+vision%3A+Optical+metrology+and+imaging%22">Handbook of 3-D machine vision: Optical metrology and imaging</a>. , Taylor & Francis. Boca Raton, FL. (2012).</li>
<li>Zhang, S., Huang, P. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-resolution+real-time+three-dimensional+shape+measurement%5BTitle%5D)+AND+%22Opt.+Eng%22%5BJournal%5D)">High-resolution real-time three-dimensional shape measurement.</a> Opt. Eng. 45 (12), 123-601 (2006).</li>
<li>Li, Y., Zhao, C., Qian, Y., Wang, H., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-speed+and+dense+three-dimensional+surface+acquisition+using+defocused+binary+patterns+for+spatially+isolated+objects%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">High-speed and dense three-dimensional surface acquisition using defocused binary patterns for spatially isolated objects.</a> Opt. Express. 18, 21-635 (2010).</li>
<li>Wang, Y., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Superfast+multifrequency+phase-shifting+technique+with+optimal+pulse+width+modulation%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">Superfast multifrequency phase-shifting technique with optimal pulse width modulation.</a> Opt. Express. 19 (6), 5143-5148 (2011).</li>
<li>Zhang, S., Huang, P. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Novel+method+for+structured+light+system+calibration%5BTitle%5D)+AND+%22Opt.+Eng%22%5BJournal%5D)">Novel method for structured light system calibration.</a> Opt. Eng. 45 (8), 083601(2006).</li>
<li>Merner, L., Wang, Y., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Accurate+calibration+for+3D+shape+measurement+system+using+a+binary+defocusing+technique%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Accurate calibration for 3D shape measurement system using a binary defocusing technique.</a> Opt. Laser Eng. 51 (5), 514-519 (2013).</li>
<li><a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Optical+Shop+Testing%22">Optical Shop Testing</a>. Malacara, D. , 3rd, John Wiley and Sons. New York. (2007).</li>
<li>Wang, Y., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three-dimensional+shape+measurement+with+binary+dithered+patterns%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Three-dimensional shape measurement with binary dithered patterns.</a> Appl. Opt. 51 (27), 6631-6636 (2012).</li>
<li>Ekstrand, L., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Autoexposure+for+three-dimensional+shape+measurement+with+a+digital-light-processing+projector%5BTitle%5D)+AND+%22Opt.+Eng%22%5BJournal%5D)">Autoexposure for three-dimensional shape measurement with a digital-light-processing projector.</a> Opt. Eng. 50 (12), 123-603 (2011).</li>
<li>Huang, P. S., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast+three-step+phase-shifting+algorithm%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Fast three-step phase-shifting algorithm.</a> Appl. Opt. 45 (21), 5086-5091 (2006).</li>
<li>Zhang, S., Li, X., Yau, S. -T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multilevel+quality-guided+phase+unwrapping+algorithm+for+real-time+3-D+shape+reconstruction%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Multilevel quality-guided phase unwrapping algorithm for real-time 3-D shape reconstruction.</a> Appl. Opt. 46 (1), 50-57 (2007).</li>
<li>Xu, Y., Ekstrand, L., Dai, J., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Phase+error+compensation+for+3-D+shape+measurement+with+projector+defocusing%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Phase error compensation for 3-D shape measurement with projector defocusing.</a> Appl. Opt. 50 (18), 2572-2581 (2011).</li>
</ol>

Os autores não têm interesses financeiros concorrentes.

Essa tecnologia de imagem de vídeo 3D de alta resolução, em tempo real a super-rápida, é uma tecnologia de plataforma que pode beneficiar vários e diversos campos científicos, desde a ciência biológica até a prática de engenharia. As aplicações biomédicas incluem medições de precisão de movimentos faciais e superfícies de órgãos. Outras aplicações incluem controle de qualidade automatizado 3D com detecção de características de superfície deformadas; videoconferência aprimorada em 3D; digitalização detalhada de características faciais para filmes e videogames; medições de deformação densa e rápida para o projeto e análise de estruturas; e caracterização de superfície de fluido. Muitas aplicações biológicas e de engenharia (por exemplo , corações de coelho batendo, ondas de choque de fluido) requerem as taxas de imagem super-rápidas de um sistema de desfocagem binário para resolver corretamente os recursos sem artefatos de aliasing.
No entanto, ainda existem muitos desafios para a adoção generalizada dessa tecnologia. A tecnologia DFP convencional exige que o projetor exiba padrões de franjas senoidais em tons de cinza de 8 bits. A velocidade dessa técnica é limitada pela taxa de atualização do projetor (normalmente 120 Hz). Essa velocidade é suficiente para captura em câmera lenta, como a de expressões faciais. Existem vários aplicativos que exigem taxas de captura mais rápidas.
A tecnologia de desfocagem binária relaxou essa limitação de velocidade e criamos com sucesso um sistema de imagem de vídeo 3D super-rápido. No entanto, esse sistema tem duas desvantagens: primeiro, requer um projetor caro, como a plataforma DLP Discovery, e uma câmera de vídeo de alta velocidade cara, como o Vision Research Phantom v9.1. Em segundo lugar, como gera padrões senoidais por meio da desfocagem de padrões binários quadrados, a técnica de desfocagem binária tem dificuldade em gerar franjas senoidais da mesma qualidade que a técnica DFP tradicional e uma faixa de medição de profundidade reduzida (para mais explicações, consulte23). Investigações recentes indicam que padrões senoidais binários pontilhados podem aliviar significativamente as limitações na faixa de medição de profundidade19. Pesquisas futuras se concentrarão em superar os problemas restantes, preservando os méritos da desfocagem binária.
Outro desafio é compactar e armazenar a grande quantidade de dados gerados por sistemas de imagem de vídeo 3D de alta velocidade e alta resolução. Os vídeos 3D não compactados são drasticamente maiores do que os vídeos 2D não compactados. Por exemplo, para um vídeo 3D gravado a 30 Hz por 1 minuto com uma resolução de 640 x 480, o . O tamanho do arquivo OBJ pode ser superior a 50 GB, tornando-o extremamente difícil de armazenar. Como pouco progresso foi feito no campo da compactação de vídeo 3D, continuaremos a nos concentrar nisso no futuro.

As técnicas de projeção digital de franjas (DFP) são baseadas na correlação e triangulação entre duas visões da mesma cena em ângulos diferentes, o mesmo princípio empregado pelos olhos e cérebro humanos para obter visão estéreo. No entanto, ao contrário de um método baseado em estéreo, o DFP usa um projetor de vídeo digital para substituir uma das câmeras1. O projetor projeta rapidamente um padrão senoidal conhecido no objeto que a superfície do objeto distorce na visão da câmera. Três desses padrões distorcidos (imagens de franja) em diferentes mudanças de fase um do outro podem ser analisados para recuperar a profundidade por meio de triangulação. O uso de um padrão conhecido elimina o difícil problema computacional de identificação de pontos de correspondência, permitindo a captura de medições de profundidade na resolução da câmera. Por exemplo, com uma câmera 576 x 576, a técnica pode capturar 331.776 pontos. Isso permite que os sistemas DFP meçam detalhes muito finos, como o movimento dos músculos faciais nas emoções humanas.
Técnicas de imagem óptica 3D para eventos estáticos ou quase-estáticos foram extensivamente estudadas nas últimas décadas e tiveram grande sucesso em design de videogames, animação, filmes, videoclipes, realidade virtual, telecirurgia e muitas disciplinas de engenharia5. Embora existam inúmeras técnicas de perfilometria 3D, elas podem ser classificadas em duas categorias: métodos de contato com a superfície e métodos sem contato com a superfície. Tanto a máquina de medição por coordenadas (CMM) quanto o microscópio de força atômica (AFM) requerem contato com a superfície de medição para obter perfis 3D com alta precisão. Este requisito impõe severas restrições à velocidade dos métodos de contato. Eles não podem atingir a velocidade de medição em kHz com milhares de pontos por varredura.
As técnicas de superfície sem contato normalmente utilizam métodos de triangulação óptica (por exemplo, visão estéreo, estéreo do espaço-tempo, luz estruturada). Ao projetar ativamente padrões conhecidos nos objetos, técnicas de luz estruturada podem ser usadas para medir superfícies sem fortes variações de textura local1. A análise de franja é um grupo especial de técnicas de luz estruturada que usa padrões estruturados senoidais (também conhecidos como padrões de franja). Como esses padrões têm intensidades que variam continuamente de ponto a ponto de maneira conhecida, eles aumentam as técnicas de luz estruturada da resolução de pixel do projetor para a resolução de pixel da câmera12. No passado recente, as técnicas de análise de franjas foram fundamentais para obter imagens 3D de alta resolução.
A técnica de projeção de franja digital (DFP) usa projetores de vídeo digital para gerar padrões de franjas senoidais. Essa técnica tem os méritos de menor custo, maior velocidade e simplicidade de desenvolvimento, e tem sido uma área de pesquisa muito ativa na última década. Desenvolvimentos recentes em DFP e técnicas semelhantes de luz estruturada digital estão resumidos em1-5. Para obter aplicações de alta velocidade, um projetor de processamento de luz digital (DLP) é preferível devido ao seu mecanismo de operação fundamental. A velocidade e flexibilidade desta técnica nos permitiu adquirir vídeo 3D a 40 Hz 13 e posteriormente a 60 Hz 6,7.
No entanto, existe um limite de velocidade fundamental para a técnica DFP tradicional. Um projetor DLP só pode trocar imagens coloridas de 8 bits em sua taxa de atualização máxima (normalmente 120 Hz). Como os padrões tradicionais de franja são imagens em tons de cinza de 8 bits, podemos codificar três deles em uma imagem colorida como os canais de cores vermelho, verde e azul. O projetor trocará cada canal (e, portanto, cada padrão de franja) a três vezes a taxa de atualização (normalmente 360 Hz). No entanto, como cada quadro de vídeo 3D requer três padrões marginais, a taxa máxima de captura de vídeo 3D ainda é apenas a taxa de atualização (120 Hz)3,14. Para superar essa limitação de hardware, inventamos uma técnica DFP modificada que usa desfocagem binária8. Em vez de padrões de franja em tons de cinza de 8 bits, essa técnica usa padrões estruturados binários de 1 bit gerados por computador. Esses padrões são desfocados usando a lente do projetor para se tornarem padrões pseudo-senoidais para DFP. Como os projetores DLP podem exibir imagens binárias em ordens de magnitude mais rápidas do que as imagens em tons de cinza de 8 bits, a tecnologia de desfocagem binária permite uma velocidade de imagem de vídeo 3D de dezenas de kilohertz com a mesma resolução que as técnicas convencionais de DFP15.
O objetivo geral do protocolo a seguir é demonstrar a implementação e operação básicas de um sistema DFP de mudança de fase de três etapas de desfocagem binária. Primeiro, o protocolo cobrirá a seleção e integração dos componentes necessários. Em seguida, discutirá o método de calibração mais simples e acessível para o sistema; Métodos de calibração mais complexos estão disponíveis na literatura para aplicações específicas16,17. O protocolo se concentrará no procedimento de captura de vídeo 3D com o sistema e no processo de conversão das imagens marginais em medições 3D visualizadas. Por fim, apresentaremos alguns resultados representativos de nossos sistemas em tempo real e de alta velocidade.

<table><tbody><tr><td colspan="4">Nenhum material ou equipamento usado.</td></tr></tbody></table>

de alta resolução, de alta velocidade, de imagens de vídeo tridimensional com franja digital técnicas de projeção

High-resolution, High-speed, Three-dimensional Video Imaging with Digital Fringe Projection Techniques

Projeção franja Digital (DFP) técnicas fornecer medições 3D densas de mudar dinamicamente as superfícies. Como os olhos humanos e cérebro, DFP usa a triangulação entre os pontos correspondentes em duas vistas da mesma cena em ângulos diferentes para calcular a profundidade. No entanto, ao contrário de um método baseado em estéreo, o DFP usa um projetor de vídeo digital para substituir uma das câmeras 1. O projetor rapidamente projeta um padrão sinusoidal conhecido no assunto, ea superfície do assunto distorce esses padrões no campo de visão da câmera. Três padrões distorcidos (imagens franja) da câmera pode ser usada para calcular a profundidade usando triangulação. Ao contrário de outros métodos de medição em 3D, técnicas de DFP levar a sistemas que tendem a ser mais rápido, mais baixo custo do equipamento, mais flexível e mais fácil de desenvolver. Sistemas DFP também pode alcançar a mesma resolução de medição como a câmera. Por esta razão, DFP e outras técnicas digitais de luz estruturada foram recentementefoco de intensa pesquisa (conforme resumido em 1-5). Aproveitando DFP, a unidade de processamento gráfico e algoritmos otimizados, temos desenvolvido um sistema capaz de aquisição de 30 Hz 3D vídeo dados, reconstrução e visualização de mais de 300.000 pontos de medição por quadro 6,7. Métodos desfoque DFP binários podem alcançar velocidades ainda maiores 8. Diversas aplicações podem se beneficiar de técnicas de DFP. Nossos colaboradores têm utilizado os nossos sistemas para análise da função facial 9, animação facial 10, estuda mecânica cardíaca de 11, e medições de superfície do fluido, mas existem muitas outras aplicações potenciais. Este vídeo vai ensinar os fundamentos das técnicas de DFP e ilustrar o projeto e operação de um sistema de DFP desfoque binário.

Figura 1 mostra o esquema do sistema. O sistema de desfoque binário de alta velocidade neste vídeo é composto por um projetor Logic PD DLP LightCommander e uma câmera CMOS Phantom v9.1.
Figura 2 apresenta um único quadro do nosso sistema 3D em tempo real de um rosto humano. Este sistema utiliza uma câmera de 640 x 480. Graças ao padrão sinusoidal conhecido mencionado anteriormente, podemos capturar 640 x 480 = 307.200 medições, uma resolução suficiente para registrar detalhes muito finos.
Figura 3 mostra um exemplo de medição de expressões faciais humanas em 3D a 60 Hz. Aqui, quatro quadros selecionados de uma sequência de vídeo demonstram claramente a capacidade do sistema em tempo real de capturar mudanças dinâmicas em geometria finamente detalhada.
Figura 4 demonstra o nosso software de visualização em tempo real utilizado em conjunto com o nosso sistema de vídeo 3D de desfoque binário em tempo real. O vídeo 3D capturado do sujeito é exibido em tempo real no monitor do computador à sua direita. Esse software foi escrito em C++ utilizando a biblioteca OpenGL, GLSL e QT. O computador utilizado é um laptop Lenovo.
Figura 5 mostra quadros 3D de medições realizadas em coração de coelho vivo com nosso novo sistema de desfoque binário super-rápido. Este sistema pode registrar quadros 3D a 667 Hz com uma resolução de imagem de 576 x 576. Uma taxa super-rápida é necessária para medir a superfície do coração sem artefatos induzidos por movimento. A pesquisa de medição do coração é realizada em colaboração com o Prof. Igor Efimov na Universidade de Washington-St. Louis (ver11 para mais detalhes); observe que o coelho foi humanamente sacrificado e que as imagens foram obtidas enquanto o coração ainda estava batendo.
<img alt="Diagrama de imagem de luz estruturada com equações de projeção; configuração projetor-câmera analisa padrões." fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig1highres.jpg" src="/files/ftp_upload/50421/50421fig1.jpg" data-altupdatedat="1787630408000" data-alt="Figure 1"> 
Figura 1. Disposição do sistema de imagem em vídeo 3D. Neste sistema, um projetor DLP de alta velocidade projeta três imagens binárias com ditherização e deslocamento de fase em rápida sucessão sobre o sujeito. Uma câmera CMOS de alta velocidade é utilizada para capturar as três imagens de franjas, uma a uma, para o cálculo da profundidade.
<img alt="Processo de reconstrução facial 3D; visualização de malha; técnica de modelagem digital; estudo antropométrico." fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig2highres.jpg" src="/files/ftp_upload/50421/50421fig2.jpg" data-altupdatedat="1787630408000" data-alt="Figure 2"> 
Figura 2. Medições 3D de um rosto humano com resolução de 640 x 480, revelando detalhes finos. Da esquerda para a direita: textura capturada simultaneamente e perfeitamente alinhada com a geometria, uma visualização sombreada da geometria, a visualização em wireframe mostrando a densidade dos pontos, uma ampliação da região do nariz e uma ampliação da região dos olhos.
<img alt="Mudança de expressão facial 3D, transformação digital, análise visual, diagrama de sequência." fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig3highres.jpg" src="/files/ftp_upload/50421/50421fig3.jpg" data-altupdatedat="1787630408000" data-alt="Figura 3"> 
Figura 3. Quatro quadros selecionados de um vídeo 3D da formação de uma expressão facial. O vídeo foi capturado a 60 Hz com uma resolução de 640 x 480. Esses quadros destacam as alterações geométricas no rosto da mulher enquanto ela passa de uma expressão neutra para um sorriso.
<img alt="Configuração de reconhecimento facial com varredura óptica e experimento de imagem 3D exibindo resultados em tempo real." fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig4highres.jpg" src="/files/ftp_upload/50421/50421fig4.jpg" data-altupdatedat="1787630408000" data-alt="Figure 4"> 
Figura 4. Captura, processamento e renderização de vídeo 3D em tempo real. As medições 3D são exibidas em tempo real na tela do computador à direita do sujeito.
<img alt="Modelos cardíacos tridimensionais; diagrama mostrando diferentes vistas rotacionais para análise de imagens médicas." fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig5highres.jpg" src="/files/ftp_upload/50421/50421fig5.jpg" data-altupdatedat="1787630408000" data-alt="Figure 5"> 
Figura 5. Captura de um coração de coelho vivo com nosso sistema super-rápido de imagem em vídeo 3D. O coração está batendo a aproximadamente 200 batimentos/min. A taxa de captura 3D foi de 166 Hz com uma resolução de imagem de 576 x 576. Veja11 para mais detalhes.

Este vídeo descreve os fundamentos das técnicas de projeção de franjas digitais, que fornecem medições 3D densas de superfícies que mudam dinamicamente. Ele também demonstra o projeto e a operação de um sistema de desfocagem binária de alta velocidade baseado nessas técnicas.

De alta resolução, de alta velocidade, de imagens de vídeo tridimensional com Franja Digital Técnicas de Projeção

Digital fringe projection (DFP) techniques provide dense 3D measurements of dynamically changing surfaces.&#160;Like the human eyes and brain, DFP uses ...

O objetivo geral deste procedimento é capturar vídeos tridimensionais de alta resolução na velocidade de tempo real ou superior. Isso é realizado projetando primeiramente imagens de padrões de frinjas senoidais sobre o sujeito em alta velocidade, utilizando um projetor de processamento digital de luz. Três padrões de cosseno deslocados são projetados em sequência para alcançar alta precisão.Uma câmera é usada para capturar essas imagens a partir de outro ângulo de visualização. O segundo passo é calcular a fase envolvida a partir de cada conjunto de três imagens de padrão de franjas. Isso é realizado utilizando a função arco tangente e os valores de intensidade da imagem.Em seguida, as fases são desenroladas para remover as descontinuidades de dois pi resultantes da função arco tangente. O passo final consiste em recuperar a profundidade a partir da fase desenrolada do sujeito. Isso corresponde à diferença entre os mapas de fase desenrolada do sujeito e do plano de calibração, devidamente escalada e transladada por constantes obtidas mediante um objeto de referência.No final, os quadros de dados resultantes podem ser exibidos usando software gráfico. A principal vantagem dessa técnica em comparação com outros métodos existentes, como a varredura a laser, é que ela é capaz de alcançar alta resolução e alta velocidade. Como padrões sinusoidais conhecidos são projetados sobre o objeto, um ponto de dados 3D pode ser recuperado para cada pixel da câmera utilizada, com uma câmera de 576 por 576 pixels.Podemos recuperar mais de 300.000 pontos de dados 3D por quadro. Embora este método tenha aplicações médicas potenciais, como capturar a formação de expressões faciais ou a superfície pulsante de um coração, ele também pode ser aplicado a diversas outras áreas de estudo. Permite a captura de movimento facial de alta resolução para uso em filmes e videogames, ou um método aprimorado de videoconferência.Ele também poderia ser usado para detectar defeitos em um ambiente de manufatura. A demonstração visual deste método é fundamental como uma calibração. Os passos de processamento são difíceis de aprender devido à idade visual do sistema e de suas medições.A maneira mais simples e fácil de detectar problemas é por meio de um exame visual treinado. O primeiro passo é gerar os padrões de franjas que serão projetados. Esses padrões são preparados previamente usando um ambiente de programação de imagens, neste caso, o matlab.Este vídeo irá focar no uso de padrões binários. Para produzir um padrão binário desfocado, utilize uma técnica de dithering para gerar padrões sinusoidais usando apenas pixels pretos puros e brancos puros. Crie três imagens do padrão deslocadas em fase uma em relação à outra por dois pi sobre três, conforme exigido pelo algoritmo de deslocamento de fase de três etapas.Nesta demonstração, dois conjuntos adicionais de três são produzidos para a técnica de múltipla frequência, que pode capturar mudanças mais nítidas em profundidade. Em seguida, selecione um projetor digital de alta velocidade com tecnologia de processamento de luz em configuração monocromática. Utilize o software fornecido com o projetor para carregar as imagens para o deslocamento de fase.Agora, escolha uma câmera preto e branco do tipo C, CD ou COS com a taxa de captura adequada para o sistema. Considere que a câmera precisará capturar todo o conjunto de imagens de franjas para cada quadro de vídeo, a fim de determinar a distância em que o projetor deve ser posicionado em relação ao objeto. Mova o projetor em relação a uma superfície plana grande quando a extensão vertical e horizontal da imagem for ligeiramente maior que o objeto a ser estudado.Meça a distância do projetor até a parede. Utilize o campo de visão desejado nessa distância e o tamanho do sensor da câmera para determinar a distância focal da lente. O último passo de configuração é determinar a separação angular entre o projetor e a câmera em um grande ângulo entre esses componentes.A triangulação entre pontos de característica é evidente, mas mais características se perdem na sombra. Em um ângulo pequeno, a triangulação torna-se difícil, aumentando o ruído nos resultados. Normalmente, de 10 a 15 graus é um bom compromisso.É melhor realizar a calibração logo antes da captura dos dados. Para um sistema de desfoque binário, desfoque a lente de projeção até que os padrões no plano de imagem se assemelhem a senoides de alta qualidade. Isso pode exigir um processo iterativo de análise de dados de teste e ajuste da lente.Se as franjas se misturarem, o projetor está muito desfocado. Se pontos forem visíveis dentro do padrão, o projetor está muito focado. Agora, coloque uma lousa branca plana nos campos de visão da câmera e do projetor.Projete a primeira das imagens de franjas na placa. Em seguida, capture-a com o projeto da câmera e registre as imagens de franjas restantes. Da mesma forma, salve essas imagens de franjas para a etapa de processamento de dados, rotulando-as como plano de calibração.Em seguida, posicione um objeto de dimensões conhecidas no campo de visão do sistema. Aqui, utiliza-se um cubo de espuma rígida coberto com quadrados de espuma adesiva difusa. Projete a mesma série de imagens de franjas sobre o cubo.Capturando cada um com a câmera. Salve as imagens capturadas para a etapa de processamento, rotulando-as como o cubo de calibração. Para coletar dados.Posicione o sujeito no plano focal da câmera, projete imagens de franjas sobre o sujeito e capture-as. Normalmente é necessária alta velocidade para uma captura de movimento correta em alta velocidade. O olho humano só consegue ver as franjas.Na interferência temporal. Utilize as imagens capturadas para auxiliar nos ajustes da abertura da câmera. Para otimizar o nível de luz, as imagens de franjas devem ser tão brilhantes quanto possível, mas sem saturação.O próximo passo é o pós-processamento dos dados. No algoritmo de deslocamento de fase de três etapas, a fase é o argumento da função cosseno que determina a posição de um ponto dentro do padrão sinusoidal. Um algoritmo foi implementado para determinar essa fase em cada ponto a partir das imagens de franjas; esta fase calculada, ou fase envolvida, encontra-se no intervalo.PI negativo a PI aplica este algoritmo ao plano e cubo de calibração e aos dados do sujeito. Em seguida, desenrole os mapas de fase usando outro algoritmo para adicionar ou subtrair dois pi nos saltos de fase. Na técnica de múltipla frequência, os mapas de fase envolvidos para cada frequência são combinados para gerar um único mapa de fase desenrolado; neste ponto, é importante revisitar a etapa de calibração. Obtenha uma seção transversal horizontal a partir do centro do mapa de fase do plano de calibração.Remova seu perfil principal para obter uma estimativa do erro de fase. Se o padrão projetado estiver muito focado, o erro será grande. Ajuste a lente do projetor conforme necessário para obter um erro dentro da faixa desejada.Negativo de 0,1 a 0,1 radianos. Em seguida, um terceiro algoritmo calcula a profundidade do cubo de calibração. Esta é a diferença entre os mapas de fase do cubo de calibração e do plano de referência.A partir disso, determina-se um fator de escala. A profundidade do objeto é obtida subtraindo o mapa de fase do plano de referência do mapa de fase do objeto e aplicando o fator de escala. Os dados agora podem ser salvos para visualização no MATLAB ou em outro software gráfico 3D.A técnica permite a aquisição em tempo real e alta velocidade de imagens tridimensionais de um rosto humano com resolução suficientemente alta para revelar detalhes finos. O conjunto de três imagens à esquerda mostra o rosto completo exibido em modos 2D, textura, sobreposição, sombreamento e iluminação, e modo de estrutura de arame. No centro, há um zoom da região do nariz em vista de estrutura de arame.Observe que a densidade de pontos à direita é uma vista ampliada da região ao redor do olho. Essas imagens foram produzidas usando padrões de franjas sinusoidais. Aqui é mostrado um vídeo 3D da formação de um sorriso.O vídeo foi capturado a 60 hertz com uma resolução de 640 por 480. Padrões de franjas sinusoidais foram utilizados. É possível realizar vídeo 3D em tempo real, com captura, processamento e renderização. Neste vídeo, as medições 3D são exibidas a 30 hertz na tela do computador.Como último exemplo das capacidades deste método, apresenta-se a imagem tridimensional em vídeo de um coração de coelho vivo. Utilizando desfoque binário, a frequência cardíaca foi de aproximadamente 200 batimentos por minuto. A taxa de captura 3D foi de 166 hertz, com uma resolução de 576 por 576.Uma alta velocidade era necessária para evitar artefatos de movimento. Uma vez dominada a calibração, a captura de dados e o processamento de dados podem ser realizados em algumas horas, se executados corretamente. Com um software de processamento projetado para velocidade, muitos, muitos resultados de processador podem ser exibidos na tela do computador em tempo real após seu desenvolvimento.Essa técnica abriu caminho para pesquisadores na área de mecânica da superfície cardíaca investigarem a geometria superficial dinâmica de um coração de coelho batendo, utilizando dados de vídeo 3D de alta resolução. Após assistir a este vídeo, você deverá ter uma compreensão básica de como projetar e operar um sistema de vídeo 3D de alta resolução e alta velocidade. Em particular, você deverá estar familiarizado com os conceitos por trás da projeção digital de franjas com padrões binários focados e o método de calibração do plano de referência.Você também deve ser capaz de reconhecer a diferença entre bons e maus mapas de fase sem envolver.

high-resolution-high-speed-three-dimensional-video-imaging-with

Research

JoVE Journal

Engineering

Engenharia

Não-destrutivos visualização volumétrica só pode ser alcançada através de técnicas de tomografia, dos quais o mais eficiente é o x-ray tomografia micro computadorizada (TC).

Imagens de alta resolução em 3D de Ex-Vivo Amostras Biológicas por Micro CT

A construção completa de um costume, sistema de imagens em tempo real confocal de varredura é descrito. Este sistema, que pode ser facilmente utilizado para vídeo-microscopia e taxa de microendoscopy, permite uma variedade de geometrias de imagem e aplicações que não sejam acessíveis usando o padrão comercial sistemas confocal, em uma fração do custo.

Vídeo taxa de microscopia de varredura confocal e Microendoscopy

Lensfree óptico tomografia é uma técnica de microscopia tridimensional que oferece uma resolução espacial de menos de 1 uM × menos de 1 uM × menos de 3 M em X, Y e dimensões Z, respectivamente, ao longo de um grande volume de imagiologia de 15-100...

Lensfree On-chip microscopia tomográfica Empregando Multi-ângulo de iluminação e Pixel Super-resolução

As localizações tridimensionais dos objectos fracamente espalhamento pode ser identificada exclusivamente com linha digital de microscopia holográfica (Dihm), que envolve uma modificação menor para um microscópio padrão. Nosso software utiliza uma heurística de imagens simples juntamente com Rayleigh-Sommerfeld back-propagação para ceder a posição tridimensional e geometria de um objeto fase microscópica.

Digital em linha Holographic Microscopy (Dihm) de Assuntos Fracamente de dispersão

Um método para superar o limite de difração óptica é apresentado. O método inclui um processo de duas etapas: fase de recuperação óptica usando algoritmo iterativo Gerchberg-Saxton, e deslocamento do sistema de imagem seguido pela repetição da primeira etapa. A sinteticamente aumento abertura da lente é gerado ao longo da direção do movimento, produzindo resolução de imagem superior.

Técnica Tempo Multiplexing Super Resolvendo for Imaging a partir de uma plataforma móvel

Informações espaço-temporais sobre proteínas dinâmicas dentro de células vivas são cruciais para a compreensão da biologia. Um tipo de microscopia de super-resolução chamada microscopia de iluminação rápida estruturada em 3D (f3D-SIM) revela informações únicas sobre o anel Z citocinético em bactérias: tanto sua aparência semelhante a um grânulo quanto a dinâmica rápida do FtsZ dentro do anel.

Super-resolution Imaging do Z Anel Cytokinetic em bactérias vivas Usando o Fast-estruturados 3D Iluminação Microscopy (F3D-SIM)

Quadridimensional (4D) de imagem é utilizada para estudar o comportamento e as interacções entre os dois tipos de endossomas em terminais nervosos vertebrado vivo. O movimento destas pequenas estruturas é caracterizado em três dimensões, permitindo a confirmação de eventos, tais como a fusão do endossoma e exocitose.

Visualização de endosome Dynamics em Viver terminais nervosos com quatro-dimensional imagens de fluorescência

Nós apresentamos um sistema holográfico digital compacta reflexão (CDHM) para inspeção e caracterização de dispositivos de MEMS. Um design de lente-less usando uma onda de entrada divergentes proporcionando ampliação geométrica natural é demonstrado. Ambos os estudos estáticos e dinâmicos são apresentados.

Compact Lens-less Digital Holographic Microscope de Inspeção MEMS e Caracterização

Descrevemos um protocolo detalhado usando microscopia episcópica de alta resolução para adquirir imagens tridimensionais (3D) de embriões de camundongos. Este protocolo aprimorado utiliza um método de preparação de tecido modificado para aumentar a penetração do corante fluorescente, permitindo assim a análise morfométrica de espécimes pequenos e grandes.

Rápida aquisição de imagens 3D usando de alta resolução episc Microscopia

Apresentamos um protocolo para criar um filme em tempo real de um pacote de onda rotacional molecular usando uma configuração de imagem de explosão de Coulomb de alta resolução.

Direct Imaging da Laser-driven Ultrafast rotação Molecular

Apresentamos um protocolo para gravar um conjunto de hologramas analógicos ultra-realistas em cores completas, mostrando o mesmo brilho, transparência e cores homogêneas, em emulsões holográficas holográficas de tecido de prata-halido ultra-fino para a fabricação de um 3D holográfico dinâmico Exibir.

Gravação de hologramas analógicos de cores completas ultra-realistas para uso em uma tela de holograma em movimento

Aprenda a capturar vídeo 3D de alta resolução em tempo real usando projeção de franjas digitais com sistema de desfoque binário. Este método permite obter mais de 300 mil pontos de dados por frame para aplicações em imagem médica e captura de movimento.

De alta resolução, de alta velocidade, de imagens de vídeo tridimensional com Franja Digital Técnicas de Projeção

Explorar mais vídeos