Imaging video tridimensionale ad alta risoluzione e ad alta velocità con tecniche di proiezione digitale con frangia

Summary

Questo video descrive i fondamenti delle tecniche di proiezione digitale a frange, che forniscono misurazioni 3D dense di superfici che cambiano dinamicamente. Dimostra anche la progettazione e il funzionamento di un sistema di sfocatura binaria ad alta velocità basato su queste tecniche.

Abstract

Le

tecniche di proiezione digitale con frange (DFP) forniscono misurazioni 3D dense di superfici che cambiano dinamicamente. Come gli occhi e il cervello umano, DFP utilizza la triangolazione tra punti corrispondenti in due viste della stessa scena ad angolazioni diverse per calcolare la profondità. Tuttavia, a differenza di un metodo basato su stereo, DFP utilizza un videoproiettore digitale per sostituire una delle telecamere¹. Il proiettore proietta rapidamente un motivo sinusoidale noto sul soggetto e la superficie del soggetto distorce, nel campo visivo della telecamera. Tre modelli distorti (immagini marginali) della fotocamera possono essere utilizzati per calcolare la profondità utilizzando la triangolazione.

A differenza di altri metodi di misurazione 3D, le tecniche DFP portano a sistemi che tendono ad essere più veloci, a basso costo delle apparecchiature, più flessibili e più facili da sviluppare. I sistemi DFP possono anche raggiungere la stessa risoluzione di misurazione della telecamera. Per questo motivo, DFP e altre tecniche digitali di luce strutturata sono state recentemente al centro di un'intensa ricerca (come riassunto in^1-5). Sfruttando DFP, l'unità di elaborazione grafica e gli algoritmi ottimizzati, abbiamo sviluppato un sistema in grado di acquisire, ricostruire e visualizzare dati video 3D a 30 Hz per oltre 300.000 punti di misurazione per fotogramma^6,7. I metodi DFP con defocalizzazione binaria possono raggiungere velocità ancora maggiori⁸.

Diverse applicazioni possono trarre vantaggio dalle tecniche DFP. I nostri collaboratori hanno utilizzato i nostri sistemi per l'analisi della funzione facciale⁹, l'animazione facciale¹⁰, gli studi di meccanica cardiaca¹¹ e le misurazioni della superficie dei fluidi, ma esistono molte altre potenziali applicazioni. Questo video insegnerà i fondamenti delle tecniche DFP e illustrerà la progettazione e il funzionamento di un sistema DFP binario di defocalizzazione.

Introduction

Le tecniche di proiezione digitale a frange (DFP) si basano sulla correlazione e la triangolazione tra due viste della stessa scena da angolazioni diverse, lo stesso principio impiegato dagli occhi e dal cervello umano per ottenere una visione stereoscopica. Tuttavia, a differenza di un metodo basato su stereo, DFP utilizza un videoproiettore digitale per sostituire una delle videocamere¹. Il proiettore proietta rapidamente un modello sinusoidale noto sull'oggetto che la superficie dell'oggetto distorce nella visuale della telecamera. Tre di questi modelli distorti (immagini marginali) a diversi spostamenti di fase l'uno dall'altro possono essere analizzati per recuperare la profondità tramite triangolazione. L'uso di un modello noto elimina il difficile problema computazionale dell'identificazione dei punti di corrispondenza, consentendo l'acquisizione di misure di profondità alla risoluzione della fotocamera. Ad esempio, con una fotocamera 576 x 576, la tecnica può catturare 331.776 punti. Ciò consente ai sistemi DFP di misurare dettagli molto precisi come il movimento dei muscoli facciali nelle emozioni umane.

Le tecniche di imaging ottico 3D per eventi statici o quasi statici sono state ampiamente studiate negli ultimi decenni e hanno riscosso un grande successo nella progettazione di videogiochi, animazione, film, video musicali, realtà virtuale, telechirurgia e molte discipline ingegneristiche⁵. Sebbene esistano numerose tecniche di profilometria 3D, possono essere classificate in due categorie: metodi di contatto superficiale e metodi di superficie senza contatto. Sia la macchina di misura a coordinate (CMM) che il microscopio a forza atomica (AFM) richiedono il contatto con la superficie di misura per ottenere profili 3D con elevata precisione. Questo requisito pone severe restrizioni alla velocità dei metodi di contatto. Non possono raggiungere la velocità di misurazione in kHz con migliaia di punti per scansione.

Le tecniche di superficie senza contatto utilizzano tipicamente metodi di triangolazione ottica (ad es. visione stereo, stereo-tempo, luce strutturata). Proiettando attivamente modelli noti sugli oggetti, le tecniche di luce strutturata possono essere utilizzate per misurare le superfici senza forti variazioni locali della texture¹. L'analisi delle frange è un gruppo speciale di tecniche di luce strutturata che utilizza pattern strutturati sinusoidali (noti anche come pattern a frange). Poiché questi modelli hanno intensità che variano continuamente da punto a punto in modo noto, aumentano le tecniche di luce strutturata dalla risoluzione dei pixel del proiettore alla risoluzione dei pixel della fotocamera¹². Nel recente passato, le tecniche di analisi marginale sono state determinanti per ottenere immagini 3D ad alta risoluzione.

La tecnica DFP (Digital Fringe Projection) utilizza videoproiettori digitali per generare pattern di frange sinusoidali. Questa tecnica ha i meriti di un costo inferiore, una maggiore velocità e semplicità di sviluppo, ed è stata un'area di ricerca molto attiva nell'ultimo decennio. I recenti sviluppi della DFP e di tecniche simili di luce strutturata digitale sono riassunti in^1-5. Per ottenere applicazioni ad alta velocità, è preferibile un proiettore DLP (Digital Light-Processing) grazie al suo meccanismo di funzionamento fondamentale. La velocità e la flessibilità di questa tecnica ci ha permesso di acquisire video 3D a 40 Hz ¹³ e poi successivamente a 60 Hz ^6,7.

Tuttavia, esiste un limite di velocità fondamentale per la tecnica DFP tradizionale. Un proiettore DLP può scambiare solo immagini a colori a 8 bit alla frequenza di aggiornamento massima (in genere 120 Hz). Poiché i modelli di frangia tradizionali sono immagini in scala di grigi a 8 bit, possiamo codificarne tre in un'unica immagine a colori come canali di colore rosso, verde e blu. Il proiettore scambierà ogni canale (e quindi ogni modello di frangia) a tre volte la frequenza di aggiornamento (in genere 360 Hz). Tuttavia, poiché ogni fotogramma video 3D richiede tre pattern di frange, la velocità massima di acquisizione video 3D è ancora solo la frequenza di aggiornamento (120 Hz)^3,14. Per superare questa limitazione hardware, abbiamo inventato una tecnica DFP modificata che utilizza la sfocatura binaria⁸. Invece di modelli di frangia in scala di grigi a 8 bit, questa tecnica utilizza modelli strutturati binari a 1 bit generati al computer. Questi pattern vengono sfocati utilizzando l'obiettivo del proiettore per diventare pattern pseudo-sinusoidali per DFP. Poiché i proiettori DLP sono in grado di visualizzare immagini binarie con una velocità di ordini di grandezza superiore rispetto alle immagini in scala di grigi a 8 bit, la tecnologia di sfocalizzazione binaria consente una velocità di imaging video 3D di decine di kilohertz con la stessa risoluzione delle tecniche DFP convenzionali¹⁵.

L'obiettivo generale del seguente protocollo è dimostrare l'implementazione e il funzionamento di base di un sistema DFP a sfasamento a tre fasi con defocalizzazione binaria. In primo luogo, il protocollo riguarderà la selezione e l'integrazione dei componenti necessari. Quindi, discuterà il metodo di calibrazione più semplice e facilmente accessibile per il sistema; In letteratura sono disponibili metodi di calibrazione più complessi per applicazioni specifiche^16,17. Il protocollo si concentrerà quindi sulla procedura per l'acquisizione di video 3D con il sistema e sul processo di conversione delle immagini marginali in misurazioni 3D visualizzate. Infine, presenteremo alcuni risultati rappresentativi dei nostri sistemi in tempo reale e ad alta velocità.

Protocol

1. Configurazione del sistema

Uno schema del sistema è mostrato nella Figura 1.

1. Generate i pattern di frangia per la proiezione. Questi possono essere preparati con largo anticipo utilizzando un ambiente di programmazione di immagini come MATLAB, OpenCV o QT. Costruisci i modelli secondo l'algoritmo di sfasamento in tre fasi in¹⁸. Crea tre immagini, spostate in fase di offset l'una dall'altra di 2π/3. Per la sfocatura binaria, utilizzare una tecnica di dithering per generare pattern sinusoidali utilizzando solo pixel in bianco e nero, come descritto in¹⁹.
2. Selezionare il proiettore digitale per l'elaborazione della luce. Un sistema di sfocatura binaria ad alta velocità richiede un proiettore più veloce e specializzato come il DLP LightCommander con modulo ALP High Speed. Assicurarsi di utilizzare l'impostazione binaria o monocromatica per proiettare le immagini marginali. Poiché i valori dell'immagine sono puramente attivati o disattivati, non sono necessarie regolazioni della non linearità. Utilizza il programma software del proiettore per caricare i modelli per lo sfasamento.
3. Seleziona la fotocamera. Scegli una telecamera CCD o CMOS in bianco e nero con la velocità di acquisizione corretta per il sistema. Evita le telecamere a colori per l'acquisizione 3D poiché il colore non è necessario e le telecamere a colori richiedono non linearità e regolazioni della gamma. Tieni presente che la fotocamera dovrà acquisire l'intero set di immagini marginali per ogni fotogramma video 3D. I sistemi sinusoidali di alta qualità richiedono una sincronizzazione precisa tra il proiettore e la telecamera; Per i sistemi di defocalizzazione binaria questo requisito è più rilassato²⁰.
4. Determinare la portata massima (x, y) desiderata e la distanza dal proiettore all'oggetto (d₀). Scegli un intervallo che abbia senso per l'applicazione, ma assicurati che l'area sia leggermente più grande del soggetto per ridurre eventuali effetti di confine ottico. Poiché l'emissione luminosa di un proiettore è un tronco, questo intervallo (x, y) guiderà d₀. Spostare il proiettore rispetto a un'ampia superficie di proiezione piana fino a trovare l'intervallo desiderato (x, y), quindi misurare d₀ con un metro a nastro.
5. Selezionare l'obiettivo della fotocamera con la lunghezza focale corretta. Utilizzando le dimensioni del sensore della fotocamera, trovare la lunghezza focale in modo tale che il campo visivo alla distanza d₀ sia uguale all'intervallo di imaging desiderato (x, y).
6. Determinare la distanza di separazione tra il proiettore e la telecamera. In questo caso si verifica un compromesso tra rumore e ombreggiatura. Con un angolo ampio tra questi componenti, la triangolazione tra i punti caratteristici è più evidente, ma più funzioni si perdono nell'ombra dalla prospettiva della fotocamera. Con un piccolo angolo, la triangolazione diventa difficile, aumentando il rumore nei risultati. In genere, 10-15° è un buon compromesso.

2. Calibrazione del sistema

Questa calibrazione del piano di riferimento è il metodo di calibrazione più semplice e più facilmente accessibile per il sistema. Pertanto, è il migliore per iniziare. In letteratura sono disponibili metodi di calibrazione più accurati per specifiche applicazioni di sfocalizzazione sinusoidale¹⁶ e binaria¹⁷. Per ottenere la massima precisione, la calibrazione deve essere eseguita appena prima dell'acquisizione dei dati. Dopo la calibrazione, la fotocamera e il proiettore non devono essere spostati l'uno rispetto all'altro.

1. Mettere a fuoco/sfocare il proiettore. Sfocare con cautela l'obiettivo di proiezione fino a quando i modelli sul piano di imaging non assomigliano a sinusoidi di alta qualità. Ciò potrebbe richiedere un processo iterativo di esame della qualità dei dati (Sezione 4) e di regolazione dell'obiettivo.
2. Cattura immagini marginali di un piano di riferimento. Posizionare una lavagna bianca piatta sul piano focale del proiettore e nel campo visivo della telecamera. Un pannello centrale in schiuma bianca di 5 mm (3/16 poll.) di spessore funziona bene, a condizione che la superficie rivolta verso il sistema non sia lucida o significativamente macchiata o strappata. Registra e salva le immagini marginali di questa scheda per la fase di elaborazione dei dati.
3. Acquisisci immagini marginali di un oggetto di riferimento di dimensioni note. Per questo passaggio, un cubo di schiuma rigida è un semplice esempio. Copri il cubo con quadrati di schiuma adesiva bianca da 1/16 di pollice (1,5 mm) per farlo diffondere. Posizionarlo sul piano focale della telecamera nel campo visivo della telecamera e registrare immagini marginali per la fase di elaborazione.

3. Acquisizione dati

1. Posiziona l'oggetto o invita il soggetto a sedersi sul piano focale della fotocamera. Per un soggetto umano, avvertirlo che la luce del proiettore potrebbe essere intensa. Uno sfondo di stoffa nera può essere utilizzato dietro il soggetto per nascondere l'ambiente estraneo.
2. Regola l'apertura della fotocamera per ottimizzare il livello di luce. Le immagini di esempio dei margini devono essere il più luminose possibile, ma non sature. Le immagini scure avranno troppo rumore, mentre le aree sature (regioni significative di massima luminosità) nelle immagini comporteranno la perdita di dettagli nella regione satura.
3. Acquisisci il numero di fotogrammi desiderato. Assicurati di portare con te un disco rigido abbastanza grande da contenere tutte le immagini acquisite sia per il soggetto che per i set di dati di calibrazione. Colla. OBJ, un video 3D registrato a 30 Hz per 1 minuto con una risoluzione di 640 x 480 potrebbe superare i 50 GB.

4. Analisi e visualizzazione dei dati

Con software ottimizzati per la velocità come la nostra GUI interna, questo passaggio può avvenire durante l'acquisizione dei dati. L'elaborazione in tempo reale consente all'utente di rilevare immediatamente se i dati risultanti sono desiderabili per l'applicazione e di regolarli se necessario. Tuttavia, la post-elaborazione può essere più flessibile e con una maggiore precisione. La post-elaborazione è anche molto più semplice da implementare e il miglior punto di partenza.

1. Calcola la fase di wrapping sia per la calibrazione che per i dati del soggetto. Nell'algoritmo di sfasamento a tre fasi in¹⁸, la fase descrive la posizione di un punto all'interno della funzione coseno. Poiché abbiamo tre equazioni e tre incognite, possiamo risolvere le equazioni utilizzate per generare le immagini marginali nel passaggio 1.1 per la fase in ogni punto. A causa della funzione arcotangente, la fase calcolata è compresa nell'intervallo (-π, π]; Per questo motivo è chiamata "fase avvolta". Per migliorare la velocità di elaborazione, abbiamo sviluppato un algoritmo di avvolgimento di fase veloce che viene discusso in²¹.
2. Scartate le mappe di fase. Adotta un algoritmo di srotolamento di fase che rileva i salti di 2π nella fase e li rimuove aggiungendo o sottraendo multipli di 2π. Abbiamo utilizzato l'algoritmo veloce in²² nei sistemi precedenti per scartare la fase in modo robusto ma rapido. Nel video, dimostriamo la tecnica multifrequenza descritta in¹⁵, che utilizza set aggiuntivi di tre modelli sfasati a frequenze diverse. Le mappe di fase avvolte di ciascun set di tre possono essere combinate per produrre in modo robusto una singola mappa di fase non avvolta. Questa tecnica aumenta l'intervallo di profondità per un'acquisizione accurata con la sfocatura binaria.
3. Opzionale: calcola la texture 2D. La media dei set di tre immagini di frangia adiacenti sbiadirà le strisce di frangia e genererà la mappa di texture 2D. Se lo si desidera, è possibile mappare questo valore sui dati 3D durante la visualizzazione.
4. Converti le mappe di fase non avvolte in profondità. Come descritto in²³, la profondità può essere calcolata per il cubo di calibrazione come la differenza tra la mappa di fase del cubo di calibrazione e la mappa di fase del piano di riferimento. Confrontare questa profondità calcolata con la profondità nota per calcolare il fattore di scala di profondità corretto c₀. Quindi, calcola la profondità del soggetto sottraendo la fase del piano di riferimento dalla fase del soggetto e moltiplicando i risultati per c₀.
5. Calcola le coordinate x e y. Applicare il fattore di scala c₀ alla mappa di profondità del cubo di calibrazione. Determinare il fattore di conversione ρ dalle dimensioni del cubo in pixel alle dimensioni del cubo note nel piano xy. Moltiplicare il numero di pixel nei dati del soggetto per ρ per calcolare le coordinate x e y.
6. Visualizza i dati. I singoli fotogrammi possono essere salvati nel nostro formato interno e visualizzati con un semplice codice MATLAB o salvati in formato . OBJ e visualizzato con un programma di modellazione 3D commerciale come Blender. A causa della grande quantità di dati in ogni fotogramma, queste applicazioni potrebbero essere lente su alcuni computer. Per una maggiore velocità di risposta o per la visualizzazione di video in diretta, scrivi software utilizzando una libreria di grafica computerizzata come OpenGL o Direct3D. Questo software può sfruttare l'unità di elaborazione grafica (GPU) per generare rapidamente le coordinate x, y e z dalla fase non avvolta, formare una mesh triangolare, calcolare le normali di illuminazione e visualizzare i risultati. Utilizzando la GPU, abbiamo ottenuto una visualizzazione dei dati 3D in tempo reale fino a 30 Hz con circa 300.000 punti per fotogramma.

Results

La Figura 1 mostra lo schema del sistema. Il sistema di defocalizzazione binaria ad alta velocità in questo video è costituito da un proiettore Logic PD DLP LightCommander e da una telecamera CMOS Phantom v9.1.

La Figura 2 presenta un singolo fotogramma del nostro sistema 3D in tempo reale di un volto umano. Questo sistema utilizza una fotocamera 640 x 480. Grazie al suddetto modello sinusoidale noto, possiamo catturare 640 x 480 = 307.200 misurazioni, una risoluzione sufficiente per registrare dettagli molto fini.

La Figura 3 mostra un esempio di misurazione delle espressioni facciali umane in 3D a 60 Hz. Qui, quattro fotogrammi selezionati da una sequenza video dimostrano chiaramente la capacità del sistema in tempo reale di catturare cambiamenti dinamici in una geometria finemente dettagliata.

La Figura 4 mostra il nostro software di visualizzazione dal vivo utilizzato in combinazione con il nostro sistema video 3D di defocalizzazione binaria in tempo reale. Il video catturato in 3D del soggetto viene visualizzato in tempo reale sul monitor del computer alla sua destra. Questo software è stato scritto in C++ utilizzando la libreria OpenGL, GLSL e QT. Il computer utilizzato è un laptop Lenovo.

La Figura 5 mostra i fotogrammi 3D della misurazione del cuore di coniglio dal vivo con il nostro sistema di sfocatura binaria superveloce di nuova concezione. Questo sistema può registrare fotogrammi 3D a 667 Hz con una risoluzione dell'immagine di 576 x 576. È necessaria una frequenza superveloce per misurare la superficie cardiaca senza artefatti indotti dal movimento. La ricerca sulla misurazione del cuore è in collaborazione con il Prof. Igor Efimov della Washington University-St. Louis (vedi¹¹ per ulteriori dettagli); Si noti che il coniglio è stato ucciso in modo umano e che le immagini sono state scattate mentre il cuore batteva ancora.

Figura 1.Layout del sistema di imaging video 3D. In questo sistema, un proiettore DLP ad alta velocità proietta sul soggetto tre immagini binarie con dithering sfasato, mentre una telecamera CMOS ad alta velocità viene utilizzata per catturare le tre immagini marginali una per una per il calcolo della profondità.

Figura 2.Misurazioni 3D di un volto umano con una risoluzione di 640 x 480, che rivelano dettagli fini. Da sinistra a destra mostra la texture acquisita simultaneamente perfettamente allineata con la geometria, una vista ombreggiata della geometria, la vista wireframe che rappresenta la densità dei punti, una vista ravvicinata dell'area del naso e una vista ravvicinata della regione dell'occhio.

Figura 3.Quattro fotogrammi selezionati da un video 3D della formazione di un'espressione facciale.Il video è stato catturato a 60 Hz con una risoluzione di 640 x 480. Questi fotogrammi evidenziano i cambiamenti geometrici del volto della donna mentre passa da un'espressione neutra a un sorriso.

Figura 4.Acquisizione, elaborazione e rendering di video 3D dal vivo. Le misurazioni 3D vengono visualizzate in tempo reale sullo schermo del computer alla destra del soggetto.

Figura 5.Cattura il cuore di un coniglio vivo con il nostro sistema di imaging video 3D superveloce. Il cuore batte a circa 200 battiti/min. La velocità di acquisizione 3D era di 166 Hz con una risoluzione dell'immagine di 576 x 576. Vedere¹¹ per ulteriori dettagli.

Discussion

Questa tecnologia di imaging video 3D ad alta risoluzione, in tempo reale e superveloce, è una tecnologia di piattaforma che potrebbe potenzialmente avvantaggiare numerosi e diversi campi scientifici che vanno dalle scienze biologiche alla pratica ingegneristica. Le applicazioni biomediche includono misurazioni di precisione dei movimenti facciali e delle superfici degli organi. Altre applicazioni includono il controllo di qualità automatizzato 3D con rilevamento delle caratteristiche della superficie deformata; Videoconferenza 3D potenziata; digitalizzazione dettagliata dei tratti del viso per film e videogiochi; misure di deformazione densa e rapida per la progettazione e l'analisi di strutture; Molte applicazioni biologiche e ingegneristiche (ad es. battiti di cuori di coniglio, onde d'urto fluide) richiedono le velocità di imaging superveloci di un sistema binario di sfocalizzazione per risolvere correttamente le caratteristiche senza artefatti di aliasing.

Ciononostante, permangono molte sfide per l'adozione diffusa di questa tecnologia. La tecnologia DFP convenzionale richiede che il proiettore visualizzi modelli di frange sinusoidali in scala di grigi a 8 bit. La velocità di questa tecnica è limitata dalla frequenza di aggiornamento del proiettore (in genere 120 Hz). Questa velocità è sufficiente per l'acquisizione al rallentatore, come quella nelle espressioni facciali. Tuttavia, Esistono numerose applicazioni che richiedono velocità di acquisizione più elevate.

La tecnologia di defocalizzazione binaria ha allentato questa limitazione di velocità e abbiamo creato con successo un sistema di imaging video 3D superveloce. Tuttavia, questo sistema presenta due inconvenienti. In primo luogo, richiede un proiettore costoso come la piattaforma DLP Discovery e una costosa videocamera ad alta velocità come il Vision Research Phantom v9.1. In secondo luogo, poiché genera modelli sinusoidali tramite la sfocalizzazione di modelli binari quadrati, la tecnica di defocalizzazione binaria ha difficoltà a generare frange sinusoidali della stessa qualità della tecnica DFP tradizionale e un intervallo di misurazione della profondità ridotto (per ulteriori spiegazioni, vedere²³). Recenti indagini indicano che i modelli sinusoidali binari retinati possono alleviare significativamente le limitazioni dell'intervallo di misurazione della profondità¹⁹. La ricerca futura si concentrerà sul superamento dei problemi rimanenti preservando i meriti della sfocatura binaria.

Un'altra sfida è rappresentata dalla compressione e dall'archiviazione della grande quantità di dati generati dai sistemi di imaging video 3D ad alta velocità e ad alta risoluzione. I video 3D non compressi sono notevolmente più grandi dei video 2D non compressi. Ad esempio, per un video 3D registrato a 30 Hz per 1 minuto a una risoluzione di 640 x 480, . La dimensione del file OBJ potrebbe superare i 50 GB, il che lo rende estremamente difficile da archiviare. Poiché sono stati fatti pochi progressi nel campo della compressione video 3D, continueremo a concentrarci su questo aspetto in futuro.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Nessun materiale o attrezzatura utilizzata.