Imagerie vidéo tridimensionnelle haute résolution et haute vitesse avec techniques de projection numérique de franges

Summary

Cette vidéo décrit les principes fondamentaux des techniques de projection numérique de franges, qui fournissent des mesures 3D denses de surfaces changeantes dynamiquement. Elle démontre également la conception et le fonctionnement d’un système de défocalisation binaire à grande vitesse basé sur ces techniques.

Abstract

Les techniques de projection numérique de franges (DFP) fournissent des mesures 3D denses de surfaces changeantes de manière dynamique. Comme les yeux et le cerveau humains, la DFP utilise la triangulation entre les points correspondants de deux vues de la même scène sous des angles différents pour calculer la profondeur. Cependant, contrairement à une méthode stéréo, la DFP utilise un vidéoprojecteur numérique pour remplacer l’une des caméras¹. Le projecteur projette rapidement un motif sinusoïdal connu sur le sujet, et la surface du sujet déforme ces motifs dans le champ de vision de l’appareil photo. Trois motifs déformés (images de franges) de la caméra peuvent être utilisés pour calculer la profondeur à l’aide de la triangulation.

Contrairement à d’autres méthodes de mesure 3D, les techniques DFP permettent d’obtenir des systèmes qui ont tendance à être plus rapides, moins coûteux en termes d’équipement, plus flexibles et plus faciles à développer. Les systèmes DFP peuvent également atteindre la même résolution de mesure que la caméra. Pour cette raison, la DFP et d’autres techniques de lumière structurée numérique ont récemment fait l’objet d’intenses recherches (comme résumé dans^1-5). En tirant parti de DFP, de l’unité de traitement graphique, et d’algorithmes optimisés, nous avons développé un système capable d’acquérir, de reconstruire et d’afficher des données vidéo 3D 30 Hz pour plus de 300 000 points de mesure par image^6,7. Les méthodes DFP de défocalisation binaire permettent d’atteindre des vitesses encore plus élevées⁸.

Diverses applications peuvent bénéficier des techniques DFP. Nos collaborateurs ont utilisé nos systèmes pour l’analyse de la fonction faciale⁹, l’animation faciale¹⁰, les études de mécanique cardiaque¹¹ et les mesures de surface des fluides, mais de nombreuses autres applications potentielles existent. Cette vidéo enseignera les principes fondamentaux des techniques DFP et illustrera la conception et le fonctionnement d’un système DFP de défocalisation binaire.

Introduction

Les techniques de projection numérique en franges (DFP) sont basées sur la corrélation et la triangulation entre deux vues de la même scène sous des angles différents, le même principe utilisé par les yeux et le cerveau humains pour réaliser la vision stéréoscopique. Cependant, contrairement à une méthode stéréo, DFP utilise un vidéoprojecteur numérique pour remplacer l’une des caméras¹. Le projecteur projette rapidement un motif sinusoïdal connu sur l’objet que la surface de l’objet déforme dans le champ de vision de la caméra. Trois de ces motifs déformés (images de franges) à des déphasages différents les uns par rapport aux autres peuvent être analysés pour récupérer la profondeur par triangulation. L’utilisation d’un motif connu élimine le problème de calcul difficile de l’identification des points de correspondance, ce qui permet de capturer des mesures de profondeur à la résolution de la caméra. Par exemple, avec un appareil photo 576 x 576, la technique peut capturer 331 776 points. Cela permet aux systèmes DFP de mesurer des détails très fins tels que le mouvement des muscles faciaux dans les émotions humaines.

Les

techniques d’imagerie optique 3D pour les événements statiques ou quasi-statiques ont été largement étudiées au cours des dernières décennies et ont connu un grand succès dans la conception de jeux vidéo, l’animation, les films, les clips musicaux, la réalité virtuelle, la téléchirurgie et de nombreuses disciplines d’ingénierie⁵. Bien qu’il existe de nombreuses techniques de profilométrie 3D, elles peuvent être classées en deux catégories : les méthodes de contact de surface et les méthodes de surface sans contact. La machine à mesurer tridimensionnelle (CMM) et le microscope à force atomique (AFM) nécessitent tous deux un contact avec la surface de mesure pour obtenir des profils 3D avec une grande précision. Cette exigence impose des restrictions sévères sur la vitesse des méthodes de contact. Ils ne peuvent pas atteindre une vitesse de mesure de kHz avec des milliers de points par balayage.

Les techniques de surface sans contact utilisent généralement des méthodes de triangulation optique (par exemple, la vision stéréo, la stéréo de l’espace-temps, la lumière structurée). En projetant activement des motifs connus sur les objets, des techniques de lumière structurée peuvent être utilisées pour mesurer des surfaces sans fortes variations locales de texture¹. L’analyse des franges est un groupe spécial de techniques de lumière structurée qui utilise des motifs structurés sinusoïdaux (également appelés motifs de franges). Parce que ces motifs ont des intensités qui varient continuellement d’un point à l’autre d’une manière connue, ils stimulent les techniques de lumière structurée de la résolution du projecteur à la résolution de¹² pixels de la caméra. Dans un passé récent, les techniques d’analyse des franges ont joué un rôle déterminant dans la réalisation d’une imagerie 3D à haute résolution.

La technique de projection numérique de franges (DFP) utilise des vidéoprojecteurs numériques pour générer des motifs de franges sinusoïdales. Cette technique a les mérites d’un coût inférieur, d’une vitesse plus élevée et d’une simplicité de développement, et elle a été un domaine de recherche très actif au cours de la dernière décennie. Les développements récents de la DFP et des techniques similaires de lumière structurée numérique sont résumés dans^{les points 1 à 5}. Pour réaliser des applications à grande vitesse, un projecteur DLP (Digital Light-Processing) est préférable en raison de son mécanisme de fonctionnement fondamental. La rapidité et la flexibilité de cette technique nous ont permis d’acquérir des vidéos 3D à 40 Hz ¹³ puis plus tard à 60 Hz ^6,7.

Néanmoins, il existe une limite de vitesse fondamentale pour la technique DFP traditionnelle. Un projecteur DLP ne peut permuter des images couleur 8 bits qu’à son taux de rafraîchissement maximal (généralement 120 Hz). Étant donné que les motifs de franges traditionnels sont des images en niveaux de gris de 8 bits, nous pouvons en coder trois en une seule image couleur en tant que canaux de couleur rouge, vert et bleu. Le projecteur permute chaque canal (et donc chaque motif de franges) à trois fois le taux de rafraîchissement (généralement 360 Hz). Cependant, étant donné que chaque image vidéo 3D nécessite trois motifs de franges, le taux maximal de capture vidéo 3D n’est toujours que le taux de rafraîchissement (120 Hz)^3,14. Pour dépasser cette limitation matérielle, nous avons inventé une technique DFP modifiée qui utilise la défocalisation binaire⁸. Au lieu de motifs de franges en niveaux de gris de 8 bits, cette technique utilise des motifs structurés binaires de 1 bit générés par ordinateur. Ces motifs sont défocalisés à l’aide de l’objectif du projecteur pour devenir des motifs pseudo-sinusoïdaux pour DFP. Étant donné que les projecteurs DLP peuvent afficher des images binaires des ordres de grandeur plus rapidement que les images en niveaux de gris 8 bits, la technologie de défocalisation binaire permet une vitesse d’imagerie vidéo 3D de plusieurs dizaines de kilohertz avec la même résolution que les techniques DFP conventionnelles¹⁵.

L’objectif général du protocole suivant est de démontrer la mise en œuvre et le fonctionnement de base d’un système DFP à défocalisation binaire en trois étapes. Tout d’abord, le protocole couvrira la sélection et l’intégration des composants nécessaires. Ensuite, il discutera de la méthode d’étalonnage la plus simple et la plus facilement accessible pour le système ; Des méthodes d’étalonnage plus complexes sont disponibles dans la littérature pour des applications spécifiques^16,17. Le protocole se concentrera ensuite sur la procédure de capture vidéo 3D avec le système et le processus de conversion des images de franges en mesures 3D visualisées. Enfin, nous présenterons quelques résultats représentatifs de nos systèmes en temps réel et à grande vitesse.

Protocol

1. Configuration du système

Un schéma du système est illustré à la figure 1.

1. Générez les motifs de franges pour la projection. Ceux-ci peuvent être préparés bien à l’avance à l’aide d’un environnement de programmation d’images tel que MATLAB, OpenCV ou QT. Construisez les motifs selon l’algorithme de déphasage en trois étapes en¹⁸. Faites trois images, décalées en décalage de phase les unes par rapport aux autres de 2π/3. Pour la défocalisation binaire, utilisez une technique de tramage pour générer des motifs sinusoïdaux en utilisant uniquement des pixels noirs et blancs, comme décrit dans¹⁹.
2. Sélectionnez le projecteur numérique de traitement de la lumière. Un système de défocalisation binaire à grande vitesse nécessite un projecteur spécialisé plus rapide, tel que le DLP LightCommander avec module ALP High Speed. Assurez-vous d’utiliser le paramètre binaire ou monochromatique pour projeter les images en marge. Étant donné que les valeurs de l’image sont purement activées ou désactivées, il n’est pas nécessaire de procéder à des ajustements de non-linéarité. Utilisez le logiciel du projecteur pour télécharger les motifs de déphasage.
3. Sélectionnez l’appareil photo. Choisissez une caméra CCD ou CMOS noir et blanc avec le taux de capture adapté au système. Évitez les caméras couleur pour la capture 3D, car la couleur n’est pas nécessaire et les caméras couleur nécessitent des ajustements de non-linéarité et de gamma. Gardez à l’esprit que l’appareil photo devra capturer l’ensemble des images de franges pour chaque image vidéo 3D. Les systèmes sinusoïdaux de haute qualité nécessitent une synchronisation précise entre le projecteur et la caméra ; Pour les systèmes de défocalisation binaire, cette exigence est plus souple²⁰.
4. Déterminez la portée maximale souhaitée (x, y) et la distance entre le projecteur et l’objet (d₀). Choisissez une plage qui convient à l’application, mais assurez-vous que la zone est légèrement plus grande que celle du sujet pour réduire les effets de limites optiques. Étant donné que le flux lumineux d’un projecteur est un frustum, cette plage (x, y) pilotera d₀. Déplacez le projecteur par rapport à une grande surface de projection plane jusqu’à ce que la plage souhaitée (x, y) soit trouvée, puis mesurez d₀ avec un ruban à mesurer.
5. Sélectionnez l’objectif de l’appareil photo avec la bonne distance focale. À l’aide de la taille du capteur de l’appareil photo, déterminez la distance focale de sorte que le champ de vision à la distance d₀ soit le même que la plage d’imagerie souhaitée (x, y).
6. Déterminez la distance de séparation entre le projecteur et la caméra. Un compromis se produit ici entre le bruit et l’ombre. À un grand angle entre ces composants, la triangulation entre les points de caractéristique est plus évidente, mais davantage de caractéristiques se perdent dans l’ombre du point de vue de l’appareil photo. À un petit angle, la triangulation devient difficile, ce qui augmente le bruit dans les résultats. En règle générale, 10-15° est un bon compromis.

2. Étalonnage du système

Cet étalonnage du plan de référence est la méthode d’étalonnage la plus simple et la plus facilement accessible pour le système. Par conséquent, c’est le meilleur pour commencer. Des méthodes d’étalonnage plus précises sont disponibles dans la littérature pour des applications spécifiques de défocalisation sinusoïdale¹⁶ et de défocalisation binaire¹⁷. Pour une précision maximale, l’étalonnage doit être effectué juste avant la capture des données. Après l’étalonnage, la caméra et le projecteur ne doivent pas être déplacés l’un par rapport à l’autre.

1. Focaliser/défocaliser le projecteur. Décalez soigneusement l’objectif de projection jusqu’à ce que les motifs dans le plan d’imagerie ressemblent à des sinusoïdes de haute qualité. Cela peut nécessiter un processus itératif d’examen de la qualité des données (section 4) et d’ajustement de la lentille.
2. Capturez des images de franges d’un plan de référence. Placez un tableau blanc plat dans le plan focal du projecteur et dans le champ de vision de la caméra. Un panneau en mousse blanche de 5 mm (3/16 po) d’épaisseur fonctionne bien, à condition que la surface du système ne soit pas brillante ou considérablement tachée ou déchirée. Enregistrez et sauvegardez les images franges de ce tableau pour l’étape de traitement des données.
3. Capturez des images en franges d’un objet de référence de dimensions connues. Pour cette étape, un cube de mousse rigide en est un exemple simple. Recouvrez le cube de carrés de mousse adhésive blanche de 1/16 po (1,5 mm) pour le rendre diffus. Placez-le dans le plan focal de l’appareil photo dans le champ de vision de l’appareil photo et enregistrez des images à franges pour l’étape de traitement.

3. Acquisition de données

1. Placez l’objet ou invitez le sujet à s’asseoir dans le plan focal de l’appareil photo. Pour un sujet humain, prévenez-le que la lumière du projecteur peut être brillante. Une toile de fond en tissu noir peut être utilisée derrière le sujet pour cacher les environnements extérieurs.
2. Ajustez l’ouverture de l’appareil photo pour optimiser le niveau de lumière. Les images de franges d’échantillon doivent être aussi lumineuses que possible, mais pas saturées. Les images sombres auront trop de bruit, tandis que les zones saturées (régions importantes de luminosité maximale) dans les images entraîneront la perte de détails dans la région saturée.
3. Capturez le nombre d’images souhaité. Assurez-vous d’apporter un disque dur suffisamment grand pour contenir toutes les images capturées pour le sujet et les ensembles de données d’étalonnage. Avec le . OBJ, une vidéo 3D enregistrée à 30 Hz pendant 1 min à une résolution de 640 x 480 peut dépasser 50 Go.

4. Analyse et visualisation des données

Avec un logiciel optimisé pour la vitesse tel que notre interface graphique interne, cette étape peut avoir lieu lors de la capture des données. Le traitement en temps réel permet à l’utilisateur de détecter immédiatement si les données résultantes sont souhaitables pour l’application et de les ajuster si nécessaire. Cependant, le post-traitement peut être plus flexible et plus précis. Le post-traitement est également beaucoup plus simple à mettre en œuvre et c’est le meilleur endroit pour commencer.

1. Calculez la phase encapsulée pour l’étalonnage et les données du sujet. Dans l’algorithme de déphasage en trois étapes de¹⁸, phase décrit la position d’un point dans la fonction cosinus. Comme nous avons trois équations et trois inconnues, nous pouvons résoudre les équations utilisées pour générer les images de franges à l’étape 1.1 pour la phase en chaque point. En raison de la fonction arctangente, la phase calculée est dans l’intervalle (-π, π] ; C’est pourquoi on l’appelle « phase enveloppée ». Pour améliorer la vitesse de traitement, nous avons développé un algorithme d’encapsulation de phase rapide qui est discuté dans la^{section 21}.
2. Dépliez les cartes de phase. Adoptez un algorithme de déballage de phase qui détecte les sauts de 2π dans la phase et les supprime en ajoutant ou en soustrayant des multiples de 2π. Nous avons utilisé l’algorithme rapide dans²² dans les systèmes précédents pour dérouler la phase de manière robuste et rapide. Dans la vidéo, nous démontrons la technique multifréquence décrite en¹⁵, qui utilise des ensembles supplémentaires de trois motifs déphasés à différentes fréquences. Les mappages de phase encapsulés de chaque ensemble de trois peuvent être combinés pour produire de manière robuste une seule mappage de phase non encapsulée. Cette technique augmente la plage de profondeur pour une capture précise avec défocalisation binaire.
3. Facultatif : Calculez la texture 2D. Le calcul de la moyenne des ensembles de trois images de franges voisines effacera les rayures de franges et générera la carte de texture 2D. Celui-ci peut être mappé sur les données 3D pendant la visualisation si vous le souhaitez.
4. Convertissez les cartes de phase non encapsulées en profondeur. Comme décrit au^{point 23}, la profondeur du cube d’étalonnage peut être calculée comme la différence entre la carte de phase du cube d’étalonnage et la carte de phase du plan de référence. Comparez cette profondeur calculée à la profondeur connue pour calculer le facteur d’échelle de profondeur c₀ correct. Ensuite, calculez la profondeur du sujet en soustrayant la phase du plan de référence de la phase du sujet et en multipliant les résultats par c₀.
5. Calculez les coordonnées x et y. Appliquez le facteur d’échelle c₀ à la carte de profondeur du cube d’étalonnage. Déterminez le facteur de conversion ρ des dimensions du cube en pixels aux dimensions connues du cube dans le plan xy. Multipliez le nombre de pixels dans les données du sujet par ρ pour calculer les coordonnées x et y.
6. Visualisez les données. Les images individuelles peuvent être enregistrées dans notre format interne et visualisées avec un simple code MATLAB ou enregistrées au format . OBJ et visualisé avec un programme de modélisation 3D commercial tel que Blender. En raison de la grande quantité de données dans chaque trame, ces applications peuvent être lentes sur certains ordinateurs. Pour plus de réactivité ou pour l’affichage de vidéos en direct, écrivez un logiciel à l’aide d’une bibliothèque graphique informatique telle que OpenGL ou Direct3D. Ce logiciel peut tirer parti de l’unité de traitement graphique (GPU) pour générer rapidement les coordonnées x, y et z à partir de la phase déroulée, former un maillage triangulaire, calculer les normales d’éclairage et afficher les résultats. En utilisant le GPU, nous avons réalisé une visualisation de données 3D en direct jusqu’à 30 Hz avec environ 300 000 points par image.

Results

La figure 1 montre le schéma du système. Le système de défocalisation binaire haute vitesse de cette vidéo se compose d’un projecteur Logic DLP LightCommander et d’une caméra CMOS Phantom v9.1.

La figure 2 présente une seule image de notre système 3D en temps réel d’un visage humain. Ce système utilise une caméra 640 x 480. Grâce au motif sinusoïdal connu susmentionné, nous pouvons capturer des mesures de 640 x 480 = 307 200, une résolution suffisante pour enregistrer des détails très fins.

La figure 3 montre un exemple de mesure des expressions faciales humaines en 3D à 60 Hz. Ici, quatre images sélectionnées dans une séquence vidéo démontrent clairement la capacité du système en temps réel à capturer les changements dynamiques dans une géométrie finement détaillée.

La figure 4 illustre notre logiciel de visualisation en direct utilisé conjointement avec notre système vidéo 3D de défocalisation binaire en temps réel. La vidéo capturée en 3D du sujet est affichée en temps réel sur l’écran de l’ordinateur à sa droite. Ce logiciel a été écrit en C++ à l’aide de la bibliothèque OpenGL, GLSL et QT. L’ordinateur utilisé est un ordinateur portable Lenovo.

La figure 5 montre des images 3D à partir de mesures de cœur de lapin en direct avec notre nouveau système de défocalisation binaire ultra-rapide. Ce système peut enregistrer des images 3D à 667 Hz avec une résolution d’image de 576 x 576. Une fréquence ultra-rapide est nécessaire pour mesurer la surface du cœur sans artefacts induits par le mouvement. La recherche sur la mesure du cœur est menée en collaboration avec le professeur Igor Efimov de l’Université de Washington-St. Louis (voir¹¹ pour plus de détails) ; Notez que le lapin a été tué sans cruauté et que les images ont été prises alors que le cœur battait encore.

Discussion

Cette technologie d’imagerie vidéo 3D haute résolution, en temps réel ou ultra-rapide, est une technologie de plate-forme qui pourrait potentiellement bénéficier à de nombreux domaines scientifiques diversifiés allant des sciences biologiques à la pratique de l’ingénierie. Les applications biomédicales comprennent des mesures de précision des mouvements du visage et des surfaces des organes. D’autres applications comprennent le contrôle qualité automatisé 3D avec détection des caractéristiques de surface déformées ; Vidéoconférence 3D améliorée ; numérisation détaillée des traits du visage pour les films et les jeux vidéo ; mesures de déformation dense et rapide pour la conception et l’analyse des structures ; et la caractérisation de surface fluide. De nombreuses applications biologiques et d’ingénierie (par exemple, battre des cœurs de lapin, ondes de choc fluides) nécessitent les taux d’imagerie ultra-rapides d’un système de défocalisation binaire pour résoudre correctement les caractéristiques sans artefacts de repliement.

Néanmoins, l’adoption généralisée de cette technologie présente de nombreux défis. La technologie DFP conventionnelle exige que le projecteur affiche des motifs de franges sinusoïdales en niveaux de gris de 8 bits. La vitesse de cette technique est limitée par le taux de rafraîchissement du projecteur (généralement de 120 Hz). Cette vitesse est suffisante pour la capture au ralenti comme celle des expressions faciales. Cependant, Il existe de nombreuses applications qui nécessitent des taux de capture plus rapides.

La technologie de défocalisation binaire a assoupli cette limitation de vitesse, et nous avons réussi à créer un système d’imagerie vidéo 3D ultra-rapide. Cependant, ce système présente deux inconvénients. Premièrement, il nécessite un projecteur coûteux tel que la plate-forme DLP Discovery et une caméra vidéo haute vitesse coûteuse telle que la Vision Research Phantom v9.1. Deuxièmement, puisqu’il génère des motifs sinusoïdaux via la défocalisation de motifs binaires carrés, la technique de défocalisation binaire a du mal à générer des franges sinusoïdales de la même qualité que la technique DFP traditionnelle et une plage de mesure de profondeur réduite (pour plus d’explications, voir²³). Des recherches récentes indiquent que les motifs sinusoïdaux binaires tramés peuvent réduire considérablement les limites de la plage de mesure de profondeur¹⁹. Les recherches futures se concentreront sur la résolution des problèmes restants tout en préservant les mérites de la défocalisation binaire.

Un autre défi consiste à compresser et à stocker la grande quantité de données générées par les systèmes d’imagerie vidéo 3D à haute vitesse et à haute résolution. Les vidéos 3D non compressées sont considérablement plus volumineuses que les vidéos 2D non compressées. Par exemple, pour une vidéo 3D enregistrée à 30 Hz pendant 1 min à une résolution de 640 x 480, le . La taille du fichier OBJ peut être supérieure à 50 Go, ce qui le rend extrêmement difficile à stocker. Étant donné que peu de progrès ont été réalisés dans le domaine de la compression vidéo 3D, nous continuerons à nous concentrer sur ce domaine à l’avenir.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Aucun matériel ou équipement utilisé.