De alta resolución, de alta velocidad, tridimensional de imágenes de vídeo con técnicas de proyección digital de Fringe

Summary

Este video describe los fundamentos de las técnicas digitales de proyección de franjas, que proporcionan densas mediciones 3D de superficies que cambian dinámicamente. También demuestra el diseño y funcionamiento de un sistema de desenfoque binario de alta velocidad basado en estas técnicas.

Abstract

Las técnicas de proyección digital de franjas (DFP) proporcionan densas mediciones 3D de superficies que cambian dinámicamente. Al igual que los ojos y el cerebro humanos, DFP utiliza la triangulación entre puntos coincidentes en dos vistas de la misma escena en diferentes ángulos para calcular la profundidad. Sin embargo, a diferencia de un método basado en estéreo, DFP utiliza un proyector de vídeo digital para sustituir una de las cámaras¹. El proyector proyecta rápidamente un patrón sinusoidal conocido en el sujeto, y la superficie del sujeto distorsiona estos patrones en el campo de visión de la cámara. Se pueden utilizar tres patrones distorsionados (imágenes marginales) de la cámara para calcular la profundidad mediante triangulación.

A diferencia de otros métodos de medición 3D, las técnicas DFP conducen a sistemas que tienden a ser más rápidos, de menor costo de equipo, más flexibles y más fáciles de desarrollar. Los sistemas DFP también pueden lograr la misma resolución de medición que la cámara. Por esta razón, la DFP y otras técnicas de luz estructurada digital han sido recientemente objeto de una intensa investigación (como se resume en^1-5). Aprovechando DFP, la unidad de procesamiento gráfico y algoritmos optimizados, hemos desarrollado un sistema capaz de adquirir, reconstruir y mostrar datos de vídeo 3D de 30 Hz para más de 300.000 puntos de medición por fotograma^6,7. Los métodos DFP de desenfoque binario pueden alcanzar velocidades aún mayores⁸.

Diversas aplicaciones pueden beneficiarse de las técnicas DFP. Nuestros colaboradores han utilizado nuestros sistemas para el análisis de la función facial⁹, la animación facial¹⁰, los estudios de mecánica cardíaca¹¹ y las mediciones de la superficie de los fluidos, pero existen muchas otras aplicaciones potenciales. Este vídeo enseñará los fundamentos de las técnicas de DFP e ilustrará el diseño y el funcionamiento de un sistema DFP de desenfoque binario.

Introduction

Las técnicas de proyección digital de franjas (DFP) se basan en la correlación y triangulación entre dos vistas de la misma escena en diferentes ángulos, el mismo principio empleado por los ojos y el cerebro humanos para lograr la visión estéreo. Sin embargo, a diferencia de un método basado en estéreo, DFP utiliza un proyector de vídeo digital para sustituir una de las cámaras¹. El proyector proyecta rápidamente un patrón sinusoidal conocido sobre el objeto que la superficie del objeto distorsiona a la vista de la cámara. Se pueden analizar tres de estos patrones distorsionados (imágenes marginales) en diferentes cambios de fase entre sí para recuperar la profundidad mediante triangulación. El uso de un patrón conocido elimina el difícil problema computacional de identificar los puntos de correspondencia, lo que permite la captura de mediciones de profundidad a la resolución de la cámara. Por ejemplo, con una cámara de 576 x 576, la técnica puede capturar 331.776 puntos. Esto permite a los sistemas DFP medir detalles muy finos, como el movimiento de los músculos faciales en las emociones humanas.

Las técnicas de imágenes ópticas 3D para eventos estáticos o cuasiestáticos han sido ampliamente estudiadas en las últimas décadas y han tenido un gran éxito en el diseño de videojuegos, animación, películas, videos musicales, realidad virtual, telecirugía y muchas disciplinas de ingeniería⁵. Aunque existen numerosas técnicas de perfilometría 3D, se pueden clasificar en dos categorías: métodos de contacto superficial y métodos sin contacto superficial. Tanto la máquina de medición de coordenadas (MMC) como el microscopio de fuerza atómica (AFM) requieren el contacto con la superficie de medición para obtener perfiles 3D con alta precisión. Este requisito impone severas restricciones a la velocidad de los métodos de contacto. No pueden alcanzar la velocidad de medición de kHz con miles de puntos por escaneo.

Las técnicas de superficie sin contacto suelen utilizar métodos de triangulación óptica (por ejemplo, visión estéreo, estéreo del espacio-tiempo, luz estructurada). Al proyectar activamente patrones conocidos en los objetos, las técnicas de luz estructurada se pueden utilizar para medir superficies sin^{fuertes variaciones de} textura local. El análisis de franjas es un grupo especial de técnicas de luz estructurada que utiliza patrones estructurados sinusoidales (también conocidos como patrones de franjas). Debido a que estos patrones tienen intensidades que varían continuamente de un punto a otro de una manera conocida, aumentan las técnicas de luz estructurada de la resolución de píxeles del proyector a la resolución de píxeles de la cámara¹². En el pasado reciente, las técnicas de análisis de franjas fueron fundamentales para lograr imágenes 3D de alta resolución.

La técnica de proyección digital de franjas (DFP) utiliza proyectores de vídeo digital para generar patrones de franjas sinusoidales. Esta técnica tiene los méritos de menor costo, mayor velocidad y simplicidad de desarrollo, y ha sido un área de investigación muy activa en la última década. Los desarrollos recientes en DFP y técnicas similares de luz estructurada digital se resumen en^1-5. Para lograr aplicaciones de alta velocidad, es preferible un proyector de procesamiento digital de luz (DLP) debido a su mecanismo de operación fundamental. La rapidez y flexibilidad de esta técnica nos ha permitido adquirir vídeo 3D a 40 Hz ¹³ y posteriormente a 60 Hz ^6,7.

Sin embargo, existe un límite de velocidad fundamental para la técnica DFP tradicional. Un proyector DLP solo puede intercambiar imágenes en color de 8 bits a su frecuencia de actualización máxima (normalmente 120 Hz). Dado que los patrones de franjas tradicionales son imágenes en escala de grises de 8 bits, podemos codificar tres de ellos en una imagen de color como los canales de color rojo, verde y azul. El proyector intercambiará cada canal (y, por lo tanto, cada patrón de franja) a tres veces la frecuencia de actualización (generalmente 360 Hz). Sin embargo, dado que cada fotograma de vídeo 3D requiere tres patrones de franja, la velocidad máxima de captura de vídeo 3D sigue siendo solo la frecuencia de actualización (120 Hz)^3,14. Para superar esta limitación de hardware, hemos inventado una técnica DFP modificada que utiliza el desenfoque binario⁸. En lugar de patrones de franjas en escala de grises de 8 bits, esta técnica utiliza patrones estructurados binarios de 1 bit generados por computadora. Estos patrones se desenfocan utilizando la lente del proyector para convertirse en patrones pseudosinusoidales para DFP. Debido a que los proyectores DLP pueden mostrar imágenes binarias en órdenes de magnitud más rápido que las imágenes en escala de grises de 8 bits, la tecnología de desenfoque binario permite una velocidad de imagen de video 3D de decenas de kilohercios con la misma resolución que las técnicas DFP convencionales¹⁵.

El objetivo general del siguiente protocolo es demostrar la implementación básica y el funcionamiento de un sistema DFP de desenfoque binario de tres pasos y cambio de fase. En primer lugar, el protocolo abarcará la selección e integración de los componentes necesarios. A continuación, se analizará el método de calibración más sencillo y de más fácil acceso para el sistema; En la literatura se dispone de métodos de calibración más complejos para aplicaciones específicas^16,17. A continuación, el protocolo se centrará en el procedimiento de captura de vídeo en 3D con el sistema y en el proceso de conversión de las imágenes marginales en mediciones 3D visualizadas. Por último, presentaremos algunos resultados representativos de nuestros sistemas en tiempo real y de alta velocidad.

Protocol

1. Configuración del sistema

En la Figura 1 se muestra un esquema del sistema.

1. Genere los patrones de franjas para la proyección. Estos se pueden preparar con mucha anticipación mediante el uso de un entorno de programación de imágenes como MATLAB, OpenCV o QT. Construya los patrones de acuerdo con el algoritmo de cambio de fase de tres pasos en¹⁸. Cree tres imágenes, desplazadas en un desplazamiento de fase entre sí de 2π/3. Para el desenfoque binario, utilice una técnica de tramado para generar patrones sinusoidales utilizando solo píxeles en blanco y negro, como se describe en¹⁹.
2. Seleccione el proyector de procesamiento de luz digital. Un sistema de desenfoque binario de alta velocidad requiere un proyector más rápido y especializado, como el DLP LightCommander con módulo de alta velocidad ALP. Asegúrese de utilizar la configuración binaria o monocromática para proyectar las imágenes marginales. Dado que los valores de la imagen están puramente activados o desactivados, no es necesario realizar ajustes de no linealidad. Utilice el programa de software del proyector para cargar los patrones para el cambio de fase.
3. Seleccione la cámara. Elija una cámara CCD o CMOS en blanco y negro con la velocidad de captura correcta para el sistema. Evite las cámaras a color para la captura en 3D, ya que el color no es necesario y las cámaras en color requieren ajustes de no linealidad y gamma. Ten en cuenta que la cámara tendrá que capturar todo el conjunto de imágenes marginales para cada fotograma de vídeo 3D. Los sistemas sinusoidales de alta calidad requieren una sincronización precisa entre el proyector y la cámara; En el caso de los sistemas de desenfoque binario, este requisito es más flexible²⁰.
4. Determine el rango máximo deseado (x, y) y la distancia desde el proyector hasta el objeto (d₀). Elija un rango que tenga sentido para la aplicación, pero asegúrese de que el área sea ligeramente mayor que el sujeto para reducir cualquier efecto de contorno óptico. Dado que la salida de luz de un proyector es un frustum, este rango (x, y) impulsará d₀. Mueva el proyector en relación con una superficie de proyección plana grande hasta encontrar el rango deseado (x, y) y, luego mida d₀ con una cinta métrica.
5. Seleccione la lente de la cámara con la distancia focal adecuada. Utilizando el tamaño del sensor de la cámara, encuentre la distancia focal tal que el campo de visión a la distancia d₀ sea el mismo que el rango de imagen deseado (x, y).
6. Determine la distancia de separación entre el proyector y la cámara. Aquí se produce una disyuntiva entre el ruido y el sombreado. En un ángulo grande entre estos componentes, la triangulación entre los puntos de las características es más obvia, pero más características se pierden en la sombra desde la perspectiva de la cámara. En un ángulo pequeño, la triangulación se vuelve difícil, lo que aumenta el ruido en los resultados. Por lo general, 10-15° es un buen compromiso.

2. Calibración del sistema

Esta calibración del plano de referencia es el método de calibración más simple y de más fácil acceso para el sistema. Por lo tanto, es el mejor para empezar. En la literatura se dispone de métodos de calibración más precisos para aplicaciones específicas de desenfoque sinusoidal¹⁶ y binario¹⁷. Para obtener la máxima precisión, la calibración debe realizarse justo antes de la captura de datos. Después de la calibración, la cámara y el proyector no deben desplazarse entre sí.

1. Enfoque/desenfoque del proyector. Desenfoque con cuidado la lente de proyección hasta que los patrones en el plano de imagen se asemejen a sinusoides de alta calidad. Esto puede requerir un proceso iterativo de examen de la calidad de los datos (Sección 4) y ajuste de la lente.
2. Capture imágenes marginales de un plano de referencia. Coloque una pizarra blanca plana en el plano focal del proyector y en el campo de visión de la cámara. Un tablero de núcleo de espuma blanca de 3/16 pulgadas (5 mm) de espesor funciona bien, siempre que la superficie que mira hacia el sistema no sea brillante o esté significativamente manchada o rasgada. Registre y guarde imágenes marginales de este tablero para el paso de procesamiento de datos.
3. Capture imágenes marginales de un objeto de referencia de dimensiones conocidas. Para este paso, un cubo de espuma rígida es un ejemplo sencillo. Cubre el cubo con cuadrados de espuma adhesiva blanca de 1,5 mm (1/16 de pulgada) para que se difunda. Colóquelo en el plano focal de la cámara en el campo de visión de la cámara y grabe imágenes marginales para el paso de procesamiento.

3. Adquisición de datos

1. Coloque el objeto o invite al sujeto a sentarse en el plano focal de la cámara. En el caso de un sujeto humano, adviértale que la luz del proyector puede ser brillante. Se puede usar un fondo de tela negra detrás del sujeto para ocultar entornos extraños.
2. Ajusta la apertura de la cámara para optimizar el nivel de luz. Las imágenes de muestra deben ser lo más brillantes posible, pero no saturadas. Las imágenes oscuras tendrán demasiado ruido, mientras que las áreas saturadas (regiones significativas de máximo brillo) en las imágenes darán como resultado la pérdida de detalles en la región saturada.
3. Capture el número deseado de fotogramas. Asegúrese de llevar un disco duro lo suficientemente grande como para contener todas las imágenes capturadas, tanto para el sujeto como para los conjuntos de datos de calibración. Con el archivo . OBJ, un vídeo 3D grabado a 30 Hz durante 1 minuto a una resolución de 640 x 480 podría ser superior a 50 GB.

4. Análisis y visualización de datos

Con un software optimizado para la velocidad, como nuestra interfaz gráfica de usuario interna, este paso puede tener lugar durante la captura de datos. El procesamiento en tiempo real permite al usuario detectar inmediatamente si los datos resultantes son deseables para la aplicación y ajustarlos si es necesario. Sin embargo, el posprocesamiento puede ser más flexible y de mayor precisión. El posprocesamiento también es mucho más sencillo de implementar y el mejor lugar para empezar.

1. Calcule la fase ajustada tanto para la calibración como para los datos del sujeto. En el algoritmo de cambio de fase de tres pasos en¹⁸, la fase describe la posición de un punto dentro de la función de coseno. Como tenemos tres ecuaciones y tres incógnitas, podemos resolver las ecuaciones utilizadas para generar las imágenes marginales en el paso 1.1 para la fase en cada punto. Debido a la función arcotangente, la fase calculada está en el rango (-π, π]; De ahí que se le llame "fase envuelta". Para mejorar la velocidad de procesamiento, desarrollamos un algoritmo de envoltura de fase rápida que se discute en²¹.
2. Desenvuelve los mapas de fases. Adopte un algoritmo de desajuste de fase que detecte los saltos de 2π en la fase y los elimine sumando o restando múltiplos de 2π. Hemos utilizado el algoritmo rápido en²² sistemas anteriores para desenvolver la fase de manera robusta pero rápida. En el video, demostramos la técnica multifrecuencia descrita en¹⁵, que utiliza conjuntos adicionales de tres patrones de cambio de fase a diferentes frecuencias. Los mapas de fase ajustados de cada conjunto de tres se pueden combinar para producir de forma robusta un único mapa de fase sin encapsular. Esta técnica aumenta el rango de profundidad para una captura precisa con desenfoque binario.
3. Opcional: Calcule la textura 2D. Al promediar conjuntos de tres imágenes de franjas vecinas, se eliminarán las franjas de franjas y se generará el mapa de texturas 2D. Esto se puede mapear a los datos 3D durante la visualización si se desea.
4. Convierta los mapas de fase sin encapsular en profundidad. Como se describe en²³, la profundidad se puede calcular para el cubo de calibración como la diferencia entre el mapa de fase del cubo de calibración y el mapa de fase del plano de referencia. Compare esta profundidad calculada con la profundidad conocida para calcular el factor de escala de profundidad correcto c₀. A continuación, calcula la profundidad del sujeto restando la fase del plano de referencia de la fase del sujeto y multiplicando los resultados por c₀.
5. Calcula las coordenadas x e y. Aplique el factor de escala c₀ al mapa de profundidad del cubo de calibración. Determine el factor de conversión ρ de las dimensiones del cubo en píxeles a las dimensiones conocidas del cubo en el plano xy. Multiplique el recuento de píxeles en los datos del sujeto por ρ para calcular las coordenadas x e y.
6. Visualiza los datos. Los fotogramas individuales se pueden guardar en nuestro formato interno y visualizarse con un simple código de MATLAB o guardarse en archivos . OBJ y visto con un programa comercial de modelado 3D como Blender. Debido a la gran cantidad de datos en cada fotograma, estas aplicaciones pueden ser lentas en algunos ordenadores. Para obtener una mayor capacidad de respuesta o para la visualización de vídeo en directo, escriba software utilizando una biblioteca de gráficos de ordenador como OpenGL o Direct3D. Este software puede aprovechar la unidad de procesamiento de gráficos (GPU) para generar rápidamente las coordenadas x, y y z a partir de la fase sin encapsular, formar una malla triangular, calcular las normales de iluminación y mostrar los resultados. Utilizando la GPU, hemos conseguido una visualización de datos 3D en directo de hasta 30 Hz con aproximadamente 300.000 puntos por fotograma.

Results

La figura 1 muestra el esquema del sistema. El sistema de desenfoque binario de alta velocidad en este video consta de un proyector Logic PD DLP LightCommander y una cámara CMOS Phantom v9.1.

La Figura 2 presenta un solo fotograma de nuestro sistema 3D en tiempo real de un rostro humano. Este sistema utiliza una cámara de 640 x 480. Gracias al patrón sinusoidal conocido antes mencionado, podemos capturar 640 x 480 = 307.200 mediciones, resolución suficiente para registrar detalles muy finos.

La figura 3 muestra un ejemplo de medición de expresiones faciales humanas en 3D a 60 Hz. Aquí, cuatro fotogramas seleccionados de una secuencia de vídeo demuestran claramente la capacidad del sistema en tiempo real para capturar cambios dinámicos en geometría finamente detallada.

La Figura 4 muestra nuestro software de visualización en vivo utilizado junto con nuestro sistema de video 3D de desenfoque binario en tiempo real. El video capturado en 3D del sujeto se muestra en tiempo real en el monitor de la computadora a su derecha. Este software fue escrito en C++ usando la biblioteca OpenGL, GLSL y QT. La computadora utilizada es una computadora portátil Lenovo.

La figura 5 muestra fotogramas 3D de la medición del corazón de conejo vivo con nuestro sistema de desenfoque binario superrápido recientemente desarrollado. Este sistema puede grabar fotogramas 3D a 667 Hz con una resolución de imagen de 576 x 576. Se requiere una frecuencia superrápida para medir la superficie del corazón sin artefactos inducidos por el movimiento. La investigación sobre la medición del corazón se realiza en colaboración con el profesor Igor Efimov de la Universidad de Washington-St. Louis (véase¹¹ para más detalles); Tenga en cuenta que el conejo fue sacrificado humanamente y que las imágenes fueron tomadas mientras el corazón aún latía.

Figura 1.Disposición del sistema de imagen de vídeo 3D. En este sistema, un proyector DLP de alta velocidad proyecta tres imágenes binarias difuminadas con desplazamiento de fase en rápida sucesión sobre el sujeto. Se utiliza una cámara CMOS de alta velocidad para capturar las tres imágenes marginales una por una para calcular la profundidad.

Figura 2.Mediciones en 3D de un rostro humano con una resolución de 640 x 480, que revelan detalles finos. De izquierda a derecha muestra la textura capturada simultáneamente perfectamente alineada con la geometría, una vista sombreada de la geometría, la vista de estructura alámbrica que representa la densidad de los puntos, una vista de cerca del área de la nariz y una vista de primer plano de la región del ojo.

Figura 3.Cuatro fotogramas seleccionados de vídeo 3D de la formación de una expresión facial.El video fue capturado a 60 Hz con una resolución de 640 x 480. Estos fotogramas resaltan los cambios geométricos en el rostro de la mujer a medida que pasa de una expresión neutra a una sonrisa.

Figura 4.Captura, procesamiento y renderizado de vídeo 3D en directo. Las mediciones 3D se muestran en tiempo real en la pantalla del ordenador a la derecha del sujeto.

Figura 5.Captura el corazón de un conejo vivo con nuestro sistema de imágenes de video 3D súper rápido. El corazón late a aproximadamente 200 latidos/min. La velocidad de captura 3D fue de 166 Hz con una resolución de imagen de 576 x 576. Véase¹¹ para más detalles.

Discussion

Esta tecnología de imágenes de video 3D de alta resolución, en tiempo real a ultrarrápida es una tecnología de plataforma que podría beneficiar a numerosos y diversos campos científicos que van desde la ciencia biológica hasta la práctica de la ingeniería. Las aplicaciones biomédicas incluyen mediciones de precisión de movimientos faciales y superficies de órganos. Otras aplicaciones incluyen control de calidad automatizado 3D con detección de características de superficie deformadas; videoconferencia mejorada en 3D; digitalización detallada de rasgos faciales para películas y videojuegos; mediciones de deformaciones densas y rápidas para el diseño y análisis de estructuras; y caracterización de la superficie de fluidos. Muchas aplicaciones biológicas y de ingeniería (por ejemplo, corazones de conejo latiendo, ondas de choque fluidas) requieren las velocidades de imagen ultrarrápidas de un sistema de desenfoque binario para resolver correctamente las características sin artefactos de aliasing.

Sin embargo, aún quedan muchos desafíos para la adopción generalizada de esta tecnología. La tecnología DFP convencional requiere que el proyector muestre patrones de franjas sinusoidales en escala de grises de 8 bits. La velocidad de esta técnica está limitada por la frecuencia de actualización del proyector (generalmente 120 Hz). Esta velocidad es suficiente para la captura en cámara lenta, como la de las expresiones faciales. Existen numerosas aplicaciones que requieren velocidades de captura más rápidas.

La tecnología de desenfoque binario ha relajado esta limitación de velocidad, y hemos creado con éxito un sistema de imágenes de video 3D súper rápido. Sin embargo, este sistema tiene dos inconvenientes. Primero, requiere un proyector costoso como la plataforma DLP Discovery y una costosa cámara de video de alta velocidad como la Vision Research Phantom v9.1. En segundo lugar, dado que genera patrones sinusoidales a través del desenfoque de patrones binarios al cuadrado, la técnica de desenfoque binario tiene dificultades para generar franjas sinusoidales de la misma calidad que la técnica DFP tradicional y un rango de medición de profundidad reducido (para una explicación más detallada, ver²³). Investigaciones recientes indican que los patrones sinusoidales binarios difuminados pueden aliviar significativamente las limitaciones en el rango de medición de profundidad¹⁹. La investigación futura se centrará en superar los problemas restantes mientras se preservan los méritos del desenfoque binario.

Otro desafío es comprimir y almacenar la gran cantidad de datos generados por los sistemas de imágenes de video 3D de alta velocidad y alta resolución. Los videos 3D sin comprimir son drásticamente más grandes que los videos 2D sin comprimir. Por ejemplo, para un video 3D grabado a 30 Hz durante 1 minuto a una resolución de 640 x 480, el archivo . El tamaño del archivo OBJ podría ser superior a 50 GB, lo que dificulta enormemente su almacenamiento. Dado que se ha avanzado poco en el campo de la compresión de vídeo 3D, seguiremos centrándonos en ello en el futuro.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
No se utilizan materiales ni equipos.