De alta resolução, de alta velocidade, de imagens de vídeo tridimensional com Franja Digital Técnicas de Projeção

Summary

Este vídeo descreve os fundamentos das técnicas de projeção de franjas digitais, que fornecem medições 3D densas de superfícies que mudam dinamicamente. Ele também demonstra o projeto e a operação de um sistema de desfocagem binária de alta velocidade baseado nessas técnicas.

Abstract

Projeção franja Digital (DFP) técnicas fornecer medições 3D densas de mudar dinamicamente as superfícies. Como os olhos humanos e cérebro, DFP usa a triangulação entre os pontos correspondentes em duas vistas da mesma cena em ângulos diferentes para calcular a profundidade. No entanto, ao contrário de um método baseado em estéreo, o DFP usa um projetor de vídeo digital para substituir uma das câmeras ^1. O projetor rapidamente projeta um padrão sinusoidal conhecido no assunto, ea superfície do assunto distorce esses padrões no campo de visão da câmera. Três padrões distorcidos (imagens franja) da câmera pode ser usada para calcular a profundidade usando triangulação.

Ao contrário de outros métodos de medição em 3D, técnicas de DFP levar a sistemas que tendem a ser mais rápido, mais baixo custo do equipamento, mais flexível e mais fácil de desenvolver. Sistemas DFP também pode alcançar a mesma resolução de medição como a câmera. Por esta razão, DFP e outras técnicas digitais de luz estruturada foram recentementefoco de intensa pesquisa (conforme resumido em ^1-5). Aproveitando DFP, a unidade de processamento gráfico e algoritmos otimizados, temos desenvolvido um sistema capaz de aquisição de 30 Hz 3D vídeo dados, reconstrução e visualização de mais de 300.000 pontos de medição por quadro ^6,7. Métodos desfoque DFP binários podem alcançar velocidades ainda maiores ^8.

Diversas aplicações podem se beneficiar de técnicas de DFP. Nossos colaboradores têm utilizado os nossos sistemas para análise da função facial ^9, animação facial ^10, estuda mecânica cardíaca ^{de 11,} e medições de superfície do fluido, mas existem muitas outras aplicações potenciais. Este vídeo vai ensinar os fundamentos das técnicas de DFP e ilustrar o projeto e operação de um sistema de DFP desfoque binário.

Introduction

As técnicas de projeção digital de franjas (DFP) são baseadas na correlação e triangulação entre duas visões da mesma cena em ângulos diferentes, o mesmo princípio empregado pelos olhos e cérebro humanos para obter visão estéreo. No entanto, ao contrário de um método baseado em estéreo, o DFP usa um projetor de vídeo digital para substituir uma das câmeras¹. O projetor projeta rapidamente um padrão senoidal conhecido no objeto que a superfície do objeto distorce na visão da câmera. Três desses padrões distorcidos (imagens de franja) em diferentes mudanças de fase um do outro podem ser analisados para recuperar a profundidade por meio de triangulação. O uso de um padrão conhecido elimina o difícil problema computacional de identificação de pontos de correspondência, permitindo a captura de medições de profundidade na resolução da câmera. Por exemplo, com uma câmera 576 x 576, a técnica pode capturar 331.776 pontos. Isso permite que os sistemas DFP meçam detalhes muito finos, como o movimento dos músculos faciais nas emoções humanas.

Técnicas de imagem óptica 3D para eventos estáticos ou quase-estáticos foram extensivamente estudadas nas últimas décadas e tiveram grande sucesso em design de videogames, animação, filmes, videoclipes, realidade virtual, telecirurgia e muitas disciplinas de engenharia⁵. Embora existam inúmeras técnicas de perfilometria 3D, elas podem ser classificadas em duas categorias: métodos de contato com a superfície e métodos sem contato com a superfície. Tanto a máquina de medição por coordenadas (CMM) quanto o microscópio de força atômica (AFM) requerem contato com a superfície de medição para obter perfis 3D com alta precisão. Este requisito impõe severas restrições à velocidade dos métodos de contato. Eles não podem atingir a velocidade de medição em kHz com milhares de pontos por varredura.

As técnicas de superfície sem contato normalmente utilizam métodos de triangulação óptica (por exemplo, visão estéreo, estéreo do espaço-tempo, luz estruturada). Ao projetar ativamente padrões conhecidos nos objetos, técnicas de luz estruturada podem ser usadas para medir superfícies sem fortes variações de textura local¹. A análise de franja é um grupo especial de técnicas de luz estruturada que usa padrões estruturados senoidais (também conhecidos como padrões de franja). Como esses padrões têm intensidades que variam continuamente de ponto a ponto de maneira conhecida, eles aumentam as técnicas de luz estruturada da resolução de pixel do projetor para a resolução de pixel da câmera¹². No passado recente, as técnicas de análise de franjas foram fundamentais para obter imagens 3D de alta resolução.

A técnica de projeção de franja digital (DFP) usa projetores de vídeo digital para gerar padrões de franjas senoidais. Essa técnica tem os méritos de menor custo, maior velocidade e simplicidade de desenvolvimento, e tem sido uma área de pesquisa muito ativa na última década. Desenvolvimentos recentes em DFP e técnicas semelhantes de luz estruturada digital estão resumidos em^1-5. Para obter aplicações de alta velocidade, um projetor de processamento de luz digital (DLP) é preferível devido ao seu mecanismo de operação fundamental. A velocidade e flexibilidade desta técnica nos permitiu adquirir vídeo 3D a 40 Hz ¹³ e posteriormente a 60 Hz ^6,7.

No entanto, existe um limite de velocidade fundamental para a técnica DFP tradicional. Um projetor DLP só pode trocar imagens coloridas de 8 bits em sua taxa de atualização máxima (normalmente 120 Hz). Como os padrões tradicionais de franja são imagens em tons de cinza de 8 bits, podemos codificar três deles em uma imagem colorida como os canais de cores vermelho, verde e azul. O projetor trocará cada canal (e, portanto, cada padrão de franja) a três vezes a taxa de atualização (normalmente 360 Hz). No entanto, como cada quadro de vídeo 3D requer três padrões marginais, a taxa máxima de captura de vídeo 3D ainda é apenas a taxa de atualização (120 Hz)^3,14. Para superar essa limitação de hardware, inventamos uma técnica DFP modificada que usa desfocagem binária⁸. Em vez de padrões de franja em tons de cinza de 8 bits, essa técnica usa padrões estruturados binários de 1 bit gerados por computador. Esses padrões são desfocados usando a lente do projetor para se tornarem padrões pseudo-senoidais para DFP. Como os projetores DLP podem exibir imagens binárias em ordens de magnitude mais rápidas do que as imagens em tons de cinza de 8 bits, a tecnologia de desfocagem binária permite uma velocidade de imagem de vídeo 3D de dezenas de kilohertz com a mesma resolução que as técnicas convencionais de DFP¹⁵.

O objetivo geral do protocolo a seguir é demonstrar a implementação e operação básicas de um sistema DFP de mudança de fase de três etapas de desfocagem binária. Primeiro, o protocolo cobrirá a seleção e integração dos componentes necessários. Em seguida, discutirá o método de calibração mais simples e acessível para o sistema; Métodos de calibração mais complexos estão disponíveis na literatura para aplicações específicas^16,17. O protocolo se concentrará no procedimento de captura de vídeo 3D com o sistema e no processo de conversão das imagens marginais em medições 3D visualizadas. Por fim, apresentaremos alguns resultados representativos de nossos sistemas em tempo real e de alta velocidade.

Protocol

1. Configuração do sistema

Um esquema do sistema é mostrado na Figura 1.

1. Gere os padrões de franja para projeção. Eles podem ser preparados com bastante antecedência usando um ambiente de programação de imagens, como MATLAB, OpenCV ou QT. Construa os padrões de acordo com o algoritmo de mudança de fase de três etapas em¹⁸. Faça três imagens, deslocadas em deslocamento de fase uma da outra em 2π/3. Para desfocagem binária, use uma técnica de pontilhamento para gerar padrões senoidais usando apenas pixels pretos e brancos, conforme descrito em¹⁹.
2. Selecione o projetor de processamento de luz digital. Um sistema de desfocagem binária de alta velocidade requer um projetor mais rápido e especializado, como o DLP LightCommander com módulo ALP High Speed. Certifique-se de usar a configuração binária ou monocromática para projetar as imagens de franja. Como os valores da imagem estão puramente ativados ou desativados, não são necessários ajustes de não linearidade. Utilize o programa de software do projetor para carregar os padrões de mudança de fase.
3. Selecione a câmera. Escolha uma câmera CCD ou CMOS em preto e branco com a taxa de captura correta para o sistema. Evite câmeras coloridas para captura 3D, pois a cor não é necessária e as câmeras coloridas exigem ajustes de não linearidade e gama. Lembre-se de que a câmera precisará capturar todo o conjunto de imagens marginais para cada quadro de vídeo 3D. Sistemas senoidais de alta qualidade requerem sincronização precisa entre o projetor e a câmera; Para sistemas binários de desfocagem, esse requisito é mais relaxado²⁰.
4. Determine o alcance máximo desejado (x, y) e a distância do projetor ao objeto (d₀). Escolha um intervalo que faça sentido para a aplicação, mas certifique-se de que a área seja um pouco maior que o assunto para reduzir quaisquer efeitos de limite óptico. Como a saída de luz de um projetor é um tronco, essa faixa (x, y) conduzirá d₀. Mova o projetor em relação a uma grande superfície de projeção plana até que a faixa desejada (x, y) seja encontrada e, em seguida, meça d₀ com uma fita métrica.
5. Selecione a lente da câmera com a distância focal adequada. Usando o tamanho do sensor da câmera, encontre a distância focal de modo que o campo de visão na distância d₀ seja igual ao alcance de imagem desejado (x, y).
6. Determine a distância de separação entre o projetor e a câmera. Um trade-off ocorre aqui entre ruído e sombreamento. Em um grande ângulo entre esses componentes, a triangulação entre os pontos de recursos é mais óbvia, mas mais recursos se perdem na sombra da perspectiva da câmera. Em um ângulo pequeno, a triangulação torna-se difícil, aumentando o ruído nos resultados. Normalmente, 10-15° é um bom compromisso.

2. Calibração do sistema

Esta calibração do plano de referência é o método de calibração mais simples e acessível para o sistema. Portanto, é o melhor para começar. Métodos de calibração mais precisos estão disponíveis na literatura para aplicações específicas de desfocagem senoidal¹⁶ e binária¹⁷. Para máxima precisão, a calibração deve ser realizada imediatamente antes da captura de dados. Após a calibração, a câmera e o projetor não devem ser deslocados um em relação ao outro.

1. Foque/desfoque o projetor. Desfoque cuidadosamente a lente de projeção até que os padrões no plano de imagem se assemelhem a sinusóides de alta qualidade. Isso pode exigir um processo iterativo de exame da qualidade dos dados (Seção 4) e ajuste da lente.
2. Capture imagens de franja de um plano de referência. Coloque um quadro branco plano no plano focal do projetor e no campo de visão da câmera. Uma placa de núcleo de espuma branca de 3/16 pol (5 mm) de espessura funciona bem, desde que a superfície voltada para o sistema não seja brilhante ou significativamente manchada ou rasgada. Grave e salve imagens marginais desta placa para a etapa de processamento de dados.
3. Capture imagens marginais de um objeto de referência de dimensões conhecidas. Para esta etapa, um cubo de espuma rígida é um exemplo simples. Cubra o cubo com quadrados de espuma adesiva branca de 1,5 mm (1/16 pol.) para torná-lo difuso. Coloque-o no plano focal da câmera no campo de visão da câmera e grave imagens marginais para a etapa de processamento.

3. Aquisição de dados

1. Coloque o objeto ou convide o assunto a sentar-se no plano focal da câmera. Para um sujeito humano, avise-o de que a luz do projetor pode ser brilhante. Um pano de fundo de tecido preto pode ser usado atrás do assunto para esconder ambientes estranhos.
2. Ajuste a abertura da câmera para otimizar o nível de luz. As imagens de franja de amostra devem ser o mais brilhantes possível, mas não saturadas. As imagens escuras terão muito ruído, enquanto as áreas saturadas (regiões significativas de brilho máximo) nas imagens resultarão na perda de detalhes na região saturada.
3. Capture o número desejado de quadros. Certifique-se de trazer um disco rígido grande o suficiente para armazenar todas as imagens capturadas para o assunto e os conjuntos de dados de calibração. Com o . OBJ, um vídeo 3D gravado a 30 Hz por 1 min com resolução de 640 x 480 pode ter mais de 50 GB.

4. Análise e visualização de dados

Com software otimizado para velocidade, como nossa GUI interna, essa etapa pode ocorrer durante a captura de dados. O processamento em tempo real permite que o usuário detecte imediatamente se os dados resultantes são desejáveis para a aplicação e ajuste, se necessário. No entanto, o pós-processamento pode ser mais flexível e com maior precisão. O pós-processamento também é muito mais simples de implementar e o melhor lugar para começar.

1. Calcule a fase encapsulada para os dados de calibração e assunto. No algoritmo de mudança de fase de três etapas em¹⁸, a fase descreve a posição de um ponto dentro da função cosseno. Como temos três equações e três incógnitas, podemos resolver as equações usadas para gerar as imagens marginais na etapa 1.1 para a fase em cada ponto. Por causa da função arctangente, a fase computada está no intervalo (-π, π]; por isso é chamado de "fase embrulhada". Para melhorar a velocidade de processamento, desenvolvemos um algoritmo de empacotamento de fase rápido que é discutido em²¹.
2. Desembrulhe os mapas de fase. Adote um algoritmo de desdobramento de fase que detecte os saltos de 2π na fase e os remova adicionando ou subtraindo múltiplos de 2π. Usamos o algoritmo rápido em²² em sistemas anteriores para desembrulhar a fase de forma robusta e rápida. No vídeo, demonstramos a técnica de multifrequência descrita em¹⁵, que usa conjuntos adicionais de três padrões de mudança de fase em frequências diferentes. Os mapas de fase encapsulados de cada conjunto de três podem ser combinados para produzir de forma robusta um único mapa de fase desencapsulado. Essa técnica aumenta a faixa de profundidade para captura precisa com desfocagem binária.
3. Opcional: calcule a textura 2D. A média de conjuntos de três imagens de franja vizinhas eliminará as listras de franja e gerará o mapa de textura 2D. Isso pode ser mapeado nos dados 3D durante a visualização, se desejado.
4. Converta os mapas de fase desembrulhados em profundidade. Conforme descrito em²³, a profundidade pode ser calculada para o cubo de calibração como a diferença entre o mapa de fase do cubo de calibração e o mapa de fase do plano de referência. Compare essa profundidade calculada com a profundidade conhecida para calcular o fator de escala de profundidade correto c₀. Em seguida, calcule a profundidade do assunto subtraindo a fase do plano de referência da fase do assunto e multiplicando os resultados por c₀.
5. Calcule as coordenadas x e y. Aplique o fator de escala c₀ ao mapa de profundidade do cubo de calibração. Determine o fator de conversão ρ das dimensões do cubo em pixels para as dimensões do cubo conhecidas no plano xy. Multiplique a contagem de pixels nos dados do assunto por ρ para calcular as coordenadas x e y.
6. Visualize os dados. Os quadros individuais podem ser salvos em nosso formato interno e visualizados com um código MATLAB simples ou salvos em . OBJ e visualizado com um programa comercial de modelagem 3D, como o Blender. Devido à grande quantidade de dados em cada quadro, esses aplicativos podem ser lentos em alguns computadores. Para obter mais capacidade de resposta ou para exibição de vídeo ao vivo, escreva software usando uma biblioteca de gráficos de computador, como OpenGL ou Direct3D. Esse software pode aproveitar a GPU (unidade de processamento gráfico) para gerar rapidamente as coordenadas x, y e z da fase desencapsulada, formar uma malha triangular, calcular normais de iluminação e exibir os resultados. Usando a GPU, alcançamos visualização de dados 3D ao vivo de até 30 Hz com aproximadamente 300.000 pontos por quadro.

Results

A Figura 1 mostra o esquema do sistema. O sistema de desfocagem binária de alta velocidade neste vídeo consiste em um projetor Logic PD DLP LightCommander e uma câmera Phantom v9.1 CMOS.

A Figura 2 apresenta um único quadro do nosso sistema 3D em tempo real de um rosto humano. Este sistema usa uma câmera de 640 x 480. Graças ao padrão senoidal conhecido acima mencionado, podemos capturar 640 x 480 = 307.200 medições, resolução suficiente para registrar detalhes muito finos.

A Figura 3 mostra um exemplo de medição de expressões faciais humanas em 3D a 60 Hz. Aqui, quatro quadros selecionados de uma sequência de vídeo demonstram claramente a capacidade do sistema em tempo real de capturar mudanças dinâmicas em geometria finamente detalhada.

A Figura 4 demonstra nosso software de visualização ao vivo usado em conjunto com nosso sistema de vídeo 3D de desfocagem binária em tempo real. O vídeo capturado em 3D do assunto é exibido em tempo real no monitor do computador à sua direita. Este software foi escrito em C++ usando a biblioteca OpenGL, GLSL e QT. O computador usado é um laptop Lenovo.

A Figura 5 mostra quadros 3D da medição do coração de coelho vivo com nosso sistema de desfocagem binário super-rápido recém-desenvolvido. Este sistema pode gravar quadros 3D a 667 Hz com uma resolução de imagem de 576 x 576. Uma taxa super-rápida é necessária para medir a superfície do coração sem artefatos induzidos por movimento. A pesquisa de medição do coração é em colaboração com o Prof. Igor Efimov, da Washington University-St. Luís (ver¹¹ para mais detalhes); Observe que o coelho foi morto humanamente e que as imagens foram tiradas enquanto o coração ainda estava batendo.

Figura 1.Layout do sistema de imagem de vídeo 3D. Neste sistema, um projetor DLP de alta velocidade projeta três imagens binárias pontilhadas com deslocamento de fase em rápida sucessão no assunto. Uma câmera CMOS de alta velocidade é usada para capturar as três imagens marginais uma a uma para calcular a profundidade.

Figura 2.Medições 3D de um rosto humano com uma resolução de 640 x 480, revelando detalhes finos. Da esquerda para a direita mostra a textura capturada simultaneamente perfeitamente alinhada com a geometria, uma visão sombreada da geometria, a vista de estrutura de arame representando a densidade dos pontos, uma vista de perto da área do nariz e uma vista de perto da região dos olhos.

Figura 3.Quatro quadros selecionados de vídeo 3D da formação de uma expressão facial.O vídeo foi capturado em 60 Hz com resolução de 640 x 480. Esses quadros destacam as mudanças geométricas no rosto da mulher à medida que ela passa de uma expressão neutra para um sorriso.

Figura 4.Captura, processamento e renderização de vídeo 3D ao vivo. As medições 3D são exibidas em tempo real na tela do computador à direita do assunto.

Figura 5.Capturando um coração de coelho vivo com nosso sistema de imagem de vídeo 3D super-rápido. O coração está batendo a aproximadamente 200 batimentos / min. A taxa de captura 3D foi de 166 Hz com uma resolução de imagem de 576 x 576. Consulte¹¹ para obter mais detalhes.

Discussion

Essa tecnologia de imagem de vídeo 3D de alta resolução, em tempo real a super-rápida, é uma tecnologia de plataforma que pode beneficiar vários e diversos campos científicos, desde a ciência biológica até a prática de engenharia. As aplicações biomédicas incluem medições de precisão de movimentos faciais e superfícies de órgãos. Outras aplicações incluem controle de qualidade automatizado 3D com detecção de características de superfície deformadas; videoconferência aprimorada em 3D; digitalização detalhada de características faciais para filmes e videogames; medições de deformação densa e rápida para o projeto e análise de estruturas; e caracterização de superfície de fluido. Muitas aplicações biológicas e de engenharia (por exemplo , corações de coelho batendo, ondas de choque de fluido) requerem as taxas de imagem super-rápidas de um sistema de desfocagem binário para resolver corretamente os recursos sem artefatos de aliasing.

No entanto, ainda existem muitos desafios para a adoção generalizada dessa tecnologia. A tecnologia DFP convencional exige que o projetor exiba padrões de franjas senoidais em tons de cinza de 8 bits. A velocidade dessa técnica é limitada pela taxa de atualização do projetor (normalmente 120 Hz). Essa velocidade é suficiente para captura em câmera lenta, como a de expressões faciais. Existem vários aplicativos que exigem taxas de captura mais rápidas.

A tecnologia de desfocagem binária relaxou essa limitação de velocidade e criamos com sucesso um sistema de imagem de vídeo 3D super-rápido. No entanto, esse sistema tem duas desvantagens: primeiro, requer um projetor caro, como a plataforma DLP Discovery, e uma câmera de vídeo de alta velocidade cara, como o Vision Research Phantom v9.1. Em segundo lugar, como gera padrões senoidais por meio da desfocagem de padrões binários quadrados, a técnica de desfocagem binária tem dificuldade em gerar franjas senoidais da mesma qualidade que a técnica DFP tradicional e uma faixa de medição de profundidade reduzida (para mais explicações, consulte²³). Investigações recentes indicam que padrões senoidais binários pontilhados podem aliviar significativamente as limitações na faixa de medição de profundidade¹⁹. Pesquisas futuras se concentrarão em superar os problemas restantes, preservando os méritos da desfocagem binária.

Outro desafio é compactar e armazenar a grande quantidade de dados gerados por sistemas de imagem de vídeo 3D de alta velocidade e alta resolução. Os vídeos 3D não compactados são drasticamente maiores do que os vídeos 2D não compactados. Por exemplo, para um vídeo 3D gravado a 30 Hz por 1 minuto com uma resolução de 640 x 480, o . O tamanho do arquivo OBJ pode ser superior a 50 GB, tornando-o extremamente difícil de armazenar. Como pouco progresso foi feito no campo da compactação de vídeo 3D, continuaremos a nos concentrar nisso no futuro.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Nenhum material ou equipamento usado.