Method Article

Szybkie i szybkie obrazowanie wideo z cyfrowymi technikami projekcji prążków

DOI:

10.3791/50421

December 3rd, 2013

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ten film opisuje podstawy technik cyfrowej projekcji prążków, które zapewniają gęste pomiary 3D dynamicznie zmieniających się powierzchni. Demonstruje również projekt i działanie szybkiego binarnego systemu defoksji opartego na tych technikach.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Techniki cyfrowej projekcji prążków (DFP) zapewniają gęste pomiary 3D dynamicznie zmieniających się powierzchni. Podobnie jak ludzkie oczy i mózg, DFP wykorzystuje triangulację między pasującymi punktami w dwóch widokach tej samej sceny pod różnymi kątami w celu obliczenia głębokości. Jednak w przeciwieństwie do metody opartej na stereoskopie, DFP wykorzystuje cyfrowy projektor wideo do zastąpienia jednej z kamer1. Projektor szybko rzutuje znany sinusoidalny wzór na obiekt, a powierzchnia obiektu zniekształca te wzory w polu widzenia kamery. Trzy zniekształcone wzory (obrazy z prążkami) z kamery można wykorzystać do obliczenia głębi za pomocą triangulacji.

W przeciwieństwie do innych metod pomiaru 3D, techniki DFP prowadzą do powstania systemów, które są zwykle szybsze, tańsze w sprzęcie, bardziej elastyczne i łatwiejsze do opracowania. Systemy DFP mogą również osiągać taką samą rozdzielczość pomiaru jak kamera. Z tego powodu DFP i inne techniki cyfrowego światła strukturalnego były ostatnio przedmiotem intensywnych badań (jak podsumowano w1-5). Korzystając z DFP, procesora graficznego i zoptymalizowanych algorytmów, opracowaliśmy system zdolny do akwizycji, rekonstrukcji i wyświetlania danych wideo 3D 30 Hz dla ponad 300 000 punktów pomiarowych na klatkę6,7. Binarne metody defoksji DFP mogą osiągać jeszcze większe prędkości8.

Techniki DFP mogą być wykorzystywane w różnych aplikacjach. Nasi współpracownicy korzystali z naszych systemów do analizy funkcji twarzy9, animacji twarzy10, badań mechaniki serca11 i pomiarów powierzchni płynów, ale istnieje wiele innych potencjalnych zastosowań. Ten film nauczy podstaw technik DFP i zilustruje konstrukcję i działanie binarnego systemu DFP z defoksją.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Techniki cyfrowej projekcji prążków (DFP) opierają się na korelacji i triangulacji między dwoma widokami tej samej sceny pod różnymi kątami, na tej samej zasadzie stosowanej przez ludzkie oczy i mózg w celu uzyskania widzenia stereo. Jednak w przeciwieństwie do metody opartej na stereoskopii, DFP wykorzystuje cyfrowy projektor wideo do zastąpienia jednej z kamer1. Projektor szybko rzutuje znany sinusoidalny wzór na obiekt, który powierzchnia obiektu zniekształca w polu widzenia kamery. Trzy takie zniekształcone wzory (obrazy prążkowe) przy różnych przesunięciach fazowych od siebie mogą być analizowane w celu odzyskania głębokości za pomocą triangulacji. Wykorzystanie znanego wzorca eliminuje trudny problem obliczeniowy identyfikacji punktów korespondencji, pozwalając na uchwycenie pomiarów głębi w rozdzielczości kamery. Na przykład w przypadku kamery o rozdzielczości 576 x 576 technika ta może uchwycić 331 776 punktów. Dzięki temu systemy DFP mogą mierzyć bardzo drobne szczegóły, takie jak ruch mięśni twarzy w ludzkich emocjach.

Techniki obrazowania optycznego 3D dla zdarzeń statycznych lub quasi-statycznych były szeroko badane w ciągu ostatnich kilku dekad i odniosły wielki sukces w projektowaniu gier wideo, animacji, filmów, teledysków, rzeczywistości wirtualnej, telechirurgii i wielu dyscyplinach inżynierskich5. Chociaż istnieje wiele technik profilometrii 3D, można je podzielić na dwie kategorie: metody kontaktu powierzchniowego i metody bezkontaktowe powierzchni. Zarówno współrzędnościowa maszyna pomiarowa (CMM), jak i mikroskop sił atomowych (AFM) wymagają kontaktu z powierzchnią pomiarową, aby uzyskać profile 3D z dużą dokładnością. Wymóg ten nakłada poważne ograniczenia na szybkość metod kontaktu. Nie mogą osiągnąć prędkości pomiaru kHz z tysiącami punktów na skan.

Powierzchniowe techniki bezkontaktowe zazwyczaj wykorzystują metody triangulacji optycznej (np. widzenie stereo, stereo czasoprzestrzenne, światło strukturalne). Dzięki aktywnemu rzutowaniu znanych wzorów na obiekty, techniki światła strukturalnego mogą być stosowane do pomiaru powierzchni bez silnych lokalnych zmian tekstury1. Analiza prążków to specjalna grupa technik światła strukturalnego, która wykorzystuje sinusoidalne wzorce strukturalne (znane również jako wzory prążkowe). Ponieważ wzory te mają intensywność, która zmienia się w sposób ciągły z punktu na punkt w znany sposób, zwiększają one techniki światła strukturalnego z rozdzielczości pikseli projektora do rozdzielczościpikseli kamery 12. W niedalekiej przeszłości techniki analizy prążków odegrały zasadniczą rolę w uzyskaniu obrazowania 3D o wysokiej rozdzielczości.

Technika cyfrowej projekcji prążków (DFP) wykorzystuje cyfrowe projektory wideo do generowania sinusoidalnych wzorów prążków. Technika ta ma zalety w postaci niższych kosztów, większej szybkości i prostoty rozwoju, a w ciągu ostatniej dekady była bardzo aktywnym obszarem badawczym. Najnowsze osiągnięcia w zakresie DFP i podobnych technik cyfrowego światła strukturalnego podsumowano wpunktach 1-5. Aby uzyskać szybkie zastosowania, preferowany jest projektor z cyfrowym przetwarzaniem światła (DLP) ze względu na jego podstawowy mechanizm działania. Szybkość i elastyczność tej techniki pozwoliła nam uzyskać wideo 3D przy 40 Hz 13, a następnie przy 60 Hz 6,7.

Niemniej jednak istnieje podstawowe ograniczenie prędkości dla tradycyjnej techniki DFP. Projektor DLP może zamieniać tylko 8-bitowe kolorowe obrazy z maksymalną częstotliwością odświeżania (zwykle 120 Hz). Ponieważ tradycyjne wzory otoczek są 8-bitowymi obrazami w skali szarości, możemy zakodować trzy z nich w jeden kolorowy obraz jako kanały kolorów czerwonego, zielonego i niebieskiego. Projektor zamieni każdy kanał (a tym samym każdy wzór prążków) z trzykrotną częstotliwością odświeżania (zwykle 360 Hz). Ponieważ jednak każda klatka wideo 3D wymaga trzech wzorów obudów, maksymalna częstotliwość przechwytywania wideo 3D to nadal tylko częstotliwość odświeżania (120 Hz)3,14. Aby przełamać to ograniczenie sprzętowe, wynaleźliśmy zmodyfikowaną technikę DFP, która wykorzystuje binarne rozogniskowanie8. Zamiast 8-bitowych wzorów prążków w skali szarości, technika ta wykorzystuje generowane komputerowo 1-bitowe binarne wzorce strukturalne. Wzorce te są rozogniskowywane za pomocą obiektywu projektora, aby stać się wzorcami pseudosinusoidalnymi dla DFP. Ponieważ projektory DLP mogą wyświetlać obrazy binarne o rzędy wielkości szybciej niż 8-bitowe obrazy w skali szarości, technologia binarnego rozogniskowania pozwala na obrazowanie wideo 3D z prędkością kilkudziesięciu kiloherców przy tej samej rozdzielczości, co konwencjonalne techniki DFP15.

Ogólnym celem poniższego protokołu jest zademonstrowanie podstawowej implementacji i działania trzyetapowego systemu DFP z defoksją binarną i przesunięciem fazowym. Po pierwsze, protokół obejmie wybór i integrację niezbędnych komponentów. Następnie omówiona zostanie najprostsza i najłatwiej dostępna metoda kalibracji systemu; Bardziej złożone metody kalibracji są dostępne w literaturze dla konkretnych zastosowań16,17. Protokół skupi się następnie na procedurze przechwytywania wideo 3D za pomocą systemu oraz na procesie konwersji obrazów prążków na wizualizowane pomiary 3D. Na koniec przedstawimy kilka reprezentatywnych wyników z naszych systemów czasu rzeczywistego i szybkich.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Konfiguracja systemu

Schemat systemu jest pokazany na rysunku 1.

  1. Wygeneruj wzory prążków do projekcji. Można je przygotować z dużym wyprzedzeniem, korzystając ze środowiska programowania obrazów, takiego jak MATLAB, OpenCV lub QT. Skonstruuj wzorce zgodnie z trzyetapowym algorytmem przesunięcia fazowego w18. Wykonaj trzy obrazy, przesunięte względem siebie w przesunięciu fazowym o 2π/3. W przypadku rozogniskowania binarnego należy użyć techniki roztrząsania, aby wygenerować wzory sinusoidalne przy użyciu tylko czarnych i białych pikseli, jak opisano wpunkcie 19.
  2. Wybierz projektor z cyfrowym przetwarzaniem światła. Szybki binarny system rozogniskowania wymaga szybszego, specjalistycznego projektora, takiego jak DLP LightCommander z modułem ALP High Speed. Pamiętaj, aby użyć ustawienia binarnego lub monochromatycznego do wyświetlania obrazów otoczki. Ponieważ wartości obrazu są wyłącznie włączone lub wyłączone, korekty nieliniowości nie są konieczne. Użyj oprogramowania projektora, aby przesłać wzorce do przesunięcia fazowego.
  3. Wybierz kamerę. Wybierz czarno-białą kamerę CCD lub CMOS o szybkości przechwytywania odpowiedniej dla systemu. Do przechwytywania obrazu 3D należy unikać kamer kolorowych, ponieważ kolor nie jest potrzebny, a kamery kolorowe wymagają korekt nieliniowości i krzywej gamma. Należy pamiętać, że kamera będzie musiała przechwycić cały zestaw obrazów obrzeży dla każdej klatki wideo 3D. Wysokiej jakości systemy sinusoidalne wymagają precyzyjnej synchronizacji między projektorem a kamerą; W przypadku binarnych systemów defoksji wymóg ten jest łagodniejszy20.
  4. Określ żądany maksymalny zakres (x, y) i odległość od projektora do obiektu (d0). Wybierz zakres, który ma sens dla danego zastosowania, ale upewnij się, że obszar jest nieco większy niż obiekt, aby zmniejszyć wszelkie efekty granic optycznych. Ponieważ strumień świetlny projektora jest frustum, ten zakres (x, y) będzie napędzał d0. Przesuń projektor względem dużej płaskiej powierzchni projekcyjnej, aż zostanie znaleziony żądany zakres (x, y), a następnie zmierz d0 za pomocą taśmy mierniczej.
  5. Wybierz obiektyw aparatu o odpowiedniej ogniskowej. Korzystając z rozmiaru matrycy aparatu, znajdź ogniskową tak, aby pole widzenia w odległości d0 było takie samo jak żądany zakres obrazowania (x, y).
  6. Określ odległość między projektorem a kamerą. Występuje tu kompromis między szumem a cieniem. Przy dużym kącie między tymi komponentami triangulacja między punktami charakterystycznymi jest bardziej oczywista, ale więcej obiektów ginie w cieniu z perspektywy kamery. Pod małym kątem triangulacja staje się trudna, co zwiększa szum w wynikach. Zazwyczaj 10-15° jest dobrym kompromisem.

2. Kalibracja systemu

Ta kalibracja płaszczyzny odniesienia jest najprostszą i najłatwiej dostępną metodą kalibracji systemu. Dlatego jest najlepszy na początek. W literaturze dostępne są dokładniejsze metody kalibracji dla konkretnych zastosowań sinusoidalnej16 i binarnej defoksji17. Aby uzyskać maksymalną dokładność, kalibrację należy przeprowadzić tuż przed pobraniem danych. Po kalibracji kamera i projektor nie powinny być przemieszczone względem siebie.

  1. Ustaw ostrość/rozmycie projektora. Ostrożnie rozogniskuj soczewkę projekcyjną, aż wzory na płaszczyźnie obrazowania będą przypominać wysokiej jakości sinusoidy. Może to wymagać iteracyjnego procesu badania jakości danych (sekcja 4) i dostosowania obiektywu.
  2. Przechwytywanie obrazów obrzeży płaszczyzny odniesienia. Umieść płaską białą tablicę w płaszczyźnie ogniskowej projektora i w polu widzenia kamery. Biała płyta rdzeniowa z pianki o grubości 3/16 cala (5 mm) działa dobrze, pod warunkiem, że powierzchnia skierowana w stronę systemu nie jest błyszcząca, ani znacznie skażona lub podarta. Nagraj i zapisz obrazy obrzeży tej tablicy na etapie przetwarzania danych.
  3. Przechwytywanie obrazów obrzeży obiektu referencyjnego o znanych wymiarach. Na tym etapie jednym z prostych przykładów jest sztywna kostka piankowa. Przykryj kostkę kwadratami białej pianki klejącej o grubości 1/16 cala (1,5 mm), aby się rozproszyła. Umieść go w płaszczyźnie ogniskowej aparatu w polu widzenia aparatu i zarejestruj obrazy frędzli do etapu przetwarzania.

3. Akwizycja danych

  1. Umieść obiekt lub zaproś fotografowaną osobę, aby usiadła w płaszczyźnie ogniskowej aparatu. W przypadku człowieka ostrzeż go, że światło projektora może być jasne. Czarne tło z tkaniny może być użyte za obiektem, aby ukryć obce otoczenie.
  2. Dostosuj przysłonę aparatu, aby zoptymalizować poziom światła. Przykładowe obrazy frędzli powinny być tak jasne, jak to możliwe, ale nie nasycone. Ciemne obrazy będą miały zbyt dużo szumów, podczas gdy nasycone obszary (znaczne obszary o maksymalnej jasności) na obrazach spowodują utratę szczegółów w nasyconym obszarze.
  3. Przechwyć żądaną liczbę klatek. Pamiętaj, aby zabrać ze sobą wystarczająco duży dysk twardy, aby pomieścić wszystkie zarejestrowane obrazy zarówno dla obiektu, jak i zestawów danych kalibracyjnych. Za pomocą . OBJ, wideo 3D nagrane z częstotliwością 30 Hz przez 1 minutę w rozdzielczości 640 x 480 może mieć ponad 50 GB.

4. Analiza i wizualizacja danych

Dzięki oprogramowaniu zoptymalizowanemu pod kątem szybkości, takiemu jak nasz wewnętrzny graficzny interfejs użytkownika, ten krok może mieć miejsce podczas przechwytywania danych. Przetwarzanie w czasie rzeczywistym pozwala użytkownikowi natychmiast wykryć, czy uzyskane dane są pożądane dla aplikacji i dostosować je w razie potrzeby. Jednak przetwarzanie końcowe może być bardziej elastyczne i bardziej dokładne. Przetwarzanie końcowe jest również znacznie prostsze do wdrożenia i jest najlepszym miejscem do rozpoczęcia.

  1. Oblicz fazę owiniętą zarówno dla kalibracji, jak i danych obiektu. W trzyetapowym algorytmie przesunięcia fazowego w18 faza opisuje położenie punktu w funkcji cosinusowej. Ponieważ mamy trzy równania i trzy niewiadome, możemy rozwiązać równania użyte do wygenerowania obrazów prążków w kroku 1.1 dla fazy w każdym punkcie. Ze względu na funkcję styczną łuku obliczeniowa faza mieści się w zakresie (-π, π]; Stąd nazywa się to "fazą owiniętą". Aby poprawić szybkość przetwarzania, opracowaliśmy algorytm szybkiego zawijania faz, który został omówiony w21.
  2. Rozwiń mapy faz. Zastosuj algorytm rozpakowywania fazy, który wykrywa przeskoki 2π w fazie i usuwa je, dodając lub odejmując wielokrotności 2π. Użyliśmy szybkiego algorytmu w22 w poprzednich systemach, aby solidnie, ale szybko rozpakować fazę. W filmie demonstrujemy technikę wieloczęstotliwościową opisaną wpunkcie 15, która wykorzystuje dodatkowe zestawy trzech wzorców przesuniętych fazowo przy różnych częstotliwościach. Owinięte mapy faz z każdego zestawu trzech można łączyć, aby uzyskać pojedynczą nieopakowaną mapę faz. Ta technika zwiększa zakres głębi w celu dokładnego uchwycenia z binarnym rozmyciem.
  3. Opcjonalnie: Oblicz teksturę 2D. Uśrednienie zestawów trzech sąsiadujących ze sobą obrazów ostępów spowoduje rozmycie pasków frędzli i wygenerowanie mapy tekstur 2D. W razie potrzeby można to odwzorować na dane 3D podczas wizualizacji.
  4. Przekonwertuj nieopakowane mapy faz na głąb. Jak opisano w23, głębokość można obliczyć dla kostki kalibracyjnej jako różnicę między mapą faz kostki kalibracyjnej a mapą faz płaszczyzny odniesienia. Porównaj tę obliczoną głębokość ze znaną głębokością, aby obliczyć prawidłowy współczynnik skalowania głębokości c0. Następnie oblicz głębokość dla obiektu, odejmując fazę płaszczyzny odniesienia od fazy obiektu i mnożąc wyniki przez c0.
  5. Oblicz współrzędne x i y. Zastosuj współczynnik skalowania c0 do mapy głębokości kostki kalibracyjnej. Określ współczynnik konwersji ρ z wymiarów sześcianu w pikselach na znane wymiary sześcianu w płaszczyźnie xy. Pomnóż liczbę pikseli w danych obiektu przez ρ, aby obliczyć współrzędne x i y.
  6. Wizualizacja danych. Poszczególne ramki można zapisać w naszym wewnętrznym formacie i wyświetlić za pomocą prostego kodu MATLAB lub zapisać w formacie . OBJ i wyświetlane za pomocą komercyjnego programu do modelowania 3D, takiego jak Blender. Ze względu na dużą ilość danych w każdej klatce aplikacje te mogą działać wolno na niektórych komputerach. Aby uzyskać większą responsywność lub wyświetlanie obrazu na żywo, napisz oprogramowanie, korzystając z biblioteki grafiki komputerowej, takiej jak OpenGL lub Direct3D. To oprogramowanie może wykorzystać procesor graficzny (GPU) do szybkiego generowania współrzędnych x, y i z z fazy nieopakowanej, tworzenia siatki trójkątów, obliczania normalnych oświetlenia i wyświetlania wyników. Korzystając z GPU, osiągnęliśmy wizualizację danych 3D na żywo do 30 Hz z około 300 000 punktów na klatkę.

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Rysunek 1 pokazuje schemat systemu. Szybki binarny system rozogniskowywania w tym filmie składa się z projektora Logic PD DLP LightCommander i kamery CMOS Phantom v9.1.

Rysunek 2 przedstawia pojedynczą klatkę z naszego systemu 3D czasu rzeczywistego przedstawiającą ludzką twarz. System ten wykorzystuje kamerę o rozdzielczości 640 x 480. Dzięki wyżej wymienionemu znanemu wzorowi sinusoidalnemu, możemy uchwycić 640 x 480 = 307,200 pomiarów, co jest wystarczającą rozdzielczością, aby zarejestrować bardzo drobne szczegóły.

Rysunek 3 pokazuje przykład pomiaru ludzkiej mimiki twarzy w 3D przy 60 Hz. W tym przypadku cztery klatki wybrane z sekwencji wideo wyraźnie pokazują zdolność systemu czasu rzeczywistego do uchwycenia dynamicznych zmian w bardzo szczegółowej geometrii.

Rysunek 4 przedstawia nasze oprogramowanie do wizualizacji na żywo używane w połączeniu z naszym binarnym systemem wideo 3D do defoksji w czasie rzeczywistym. Przechwycone w 3D wideo obiektu jest wyświetlane w czasie rzeczywistym na monitorze komputera po jego prawej stronie. To oprogramowanie zostało napisane w C++ przy użyciu biblioteki OpenGL, GLSL i QT. Używany komputer to laptop Lenovo.

Rysunek 5 pokazuje klatki 3D z pomiaru serca królika na żywo za pomocą naszego nowo opracowanego superszybkiego binarnego systemu defoktu. Ten system może nagrywać klatki 3D z częstotliwością 667 Hz z rozdzielczością obrazu 576 x 576. Do pomiaru powierzchni serca bez artefaktów wywołanych ruchem wymagana jest superszybka szybkość. Badania nad pomiarem serca prowadzone są we współpracy z prof. Igorem Efimovem z Washington University-St. Louis (więcej szczegółów wpunkcie 11); Zauważ, że królik został zabity w sposób humanitarny, a zdjęcia zostały zrobione, gdy serce wciąż biło.

figure-results-1
Rysunek 1.Układ systemu obrazowania wideo 3D. W tym systemie szybki projektor DLP wyświetla trzy binarne obrazy z przesunięciem fazowym w krótkim odstępie czasu na obiekt. Szybka kamera CMOS służy do przechwytywania trzech obrazów prążków jeden po drugim w celu obliczenia głębokości.

figure-results-2
Rysunek 2.Pomiary 3D ludzkiej twarzy w rozdzielczości 640 x 480, ujawniające drobne szczegóły. Od lewej do prawej pokazuje jednocześnie przechwyconą teksturę idealnie wyrównaną z geometrią, cieniowany widok geometrii, widok szkieletowy przedstawiający gęstość punktów, zbliżenie obszaru nosa i zbliżenie obszaru oka.

figure-results-3
Rysunek 3.Cztery wybrane klatki z filmu 3D przedstawiające kształtowanie się wyrazu twarzy.Wideo zostało nagrane z częstotliwością 60 Hz w rozdzielczości 640 x 480. Kadry te podkreślają geometryczne zmiany na twarzy kobiety, która przechodzi od neutralnego wyrazu do uśmiechu.

figure-results-4
Rysunek 4.Przechwytywanie, przetwarzanie i renderowanie wideo 3D na żywo. Pomiary 3D są wyświetlane w czasie rzeczywistym na ekranie komputera po prawej stronie obiektu.

figure-results-5
Rysunek 5.Uchwycenie żywego serca królika za pomocą naszego superszybkiego systemu obrazowania wideo 3D. Serce bije z prędkością około 200 uderzeń/min. Częstotliwość przechwytywania 3D wynosiła 166 Hz przy rozdzielczości obrazu 576 x 576. Więcej informacji można znaleźć wpunkcie 11.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ta technologia obrazowania wideo 3D o wysokiej rozdzielczości i superszybkiej w czasie rzeczywistym jest technologią platformy, która może potencjalnie przynieść korzyści wielu różnorodnym dziedzinom naukowym, od nauk biologicznych po praktykę inżynierską. Zastosowania biomedyczne obejmują precyzyjne pomiary ruchów twarzy i powierzchni narządów. Inne zastosowania obejmują zautomatyzowaną kontrolę jakości 3D z wykrywaniem wypaczonych cech powierzchni; Wideokonferencje ulepszone w 3D; szczegółowa digitalizacja rysów twarzy do filmów i gier wideo; pomiary gęstych i szybkich odkształceń do projektowania i analizy konstrukcji; i charakteryzacja powierzchni płynów. Wiele zastosowań biologicznych i inżynieryjnych (np . bicie króliczych serc, fale uderzeniowe płynów) wymaga superszybkich szybkości obrazowania binarnego systemu rozogniskowania, aby poprawnie rozwiązywać cechy bez artefaktów aliasingu.

Niemniej jednak nadal istnieje wiele wyzwań związanych z powszechnym przyjęciem tej technologii. Konwencjonalna technologia DFP wymaga, aby projektor wyświetlał 8-bitowe sinusoidalne wzory prążków w skali szarości. Szybkość tej techniki jest ograniczona przez częstotliwość odświeżania projektora (zwykle 120 Hz). Szybkość ta jest wystarczająca do przechwytywania w zwolnionym tempie, takiego jak mimika twarzy. Jednak Istnieje wiele aplikacji, które wymagają szybszego przechwytywania.

Technologia binarnego rozogniskowania złagodziła to ograniczenie prędkości i udało nam się stworzyć superszybki system obrazowania wideo 3D. Jednak ten system ma dwie wady. Po pierwsze, wymaga drogiego projektora, takiego jak platforma DLP Discovery, i kosztownej szybkiej kamery wideo, takiej jak Vision Research Phantom v9.1. Po drugie, ponieważ generuje wzory sinusoidalne poprzez rozogniskowanie kwadratowych wzorów binarnych, technika binarnego rozogniskowania ma trudności z generowaniem prążków sinusoidalnych o tej samej jakości co tradycyjna technika DFP i ma ograniczony zakres pomiaru głębokości (więcej wyjaśnień znajduje się w23). Ostatnie badania wskazują, że roztrząsane binarne wzorce sinusoidalne mogą znacznie złagodzić ograniczenia zakresu pomiaru głębokości19. Przyszłe badania skupią się na przezwyciężeniu pozostałych problemów przy jednoczesnym zachowaniu zalet binarnego rozogniskowania.

Kolejnym wyzwaniem jest kompresja i przechowywanie dużej ilości danych generowanych przez szybkie systemy obrazowania wideo 3D o wysokiej rozdzielczości. Nieskompresowane filmy 3D są znacznie większe niż nieskompresowane filmy 2D. Na przykład w przypadku filmu 3D nagranego z częstotliwością 30 Hz przez 1 minutę w rozdzielczości 640 x 480 . Rozmiar pliku OBJ może przekraczać 50 GB, co sprawia, że jego przechowywanie jest niezwykle trudne. Ponieważ w dziedzinie kompresji wideo 3D poczyniono niewielkie postępy, będziemy nadal koncentrować się na tym w przyszłości.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają konkurencyjnych interesów finansowych.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

To badanie było skumulowanym wysiłkiem, który rozpoczął się ponad 10 lat temu, kiedy Dr. Zhang był absolwentem Uniwersytetu Stony Brook. Obecni i poprzedni studenci w naszym zespole na Uniwersytecie Stanowym Iowa ogromnie przyczynili się do rozwoju tej technologii do miejsca, w którym jest dzisiaj. Praca ta była częściowo sponsorowana przez National Science Foundation w ramach projektu o numerze CMMI 1150711 oraz Fundację Williama i Virginii Bingerów.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments

Nie użyto żadnych materiałów ani sprzętu.

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Salvi, J., Fernandez, S., Pribanic, T., Llado, X. A state of the art in structured light patterns for surface profilometry. Patt. Recogn. 43, 2666-2680 (2010).
  2. Gorthi, S. S., Rastogi, P. Fringe projection techniques: Whither we are. Opt. Laser Eng. 48 (2), 133-140 (2010).
  3. Zhang, S. Recent progresses on real-time 3-D shape measurement using digital fringe projection techniques. Opt. Laser Eng. 48 (2), 149-158 (2010).
  4. Su, X., Zhang, Q. Dynamic 3-D shape measurement method: A review. Opt. Laser Eng. 48 (2), 191-204 (2010).
  5. Geng, J. Structured-light 3D surface imaging: a tutorial. Adv. Opt. Photonics. 3 (2), 128-160 (2011).
  6. Zhang, S., Yau, S. -T. High-resolution, real-time 3-D absolute coordinate measurement based on a phase-shifting method. Opt. Express. 14 (7), 2644-2649 (2006).
  7. Zhang, S., Royer, D., Yau, S. -T. GPU-assisted high-resolution, real-time 3-D shape measurement. Opt. Express. 14 (20), 9120-9129 (2006).
  8. Lei, S., Zhang, S. Flexible 3-D shape measurement using projector defocusing. Opt. Lett. 34 (20), 3080-3082 (2009).
  9. Mehta, R. P., Zhang, S., Hadlock, T. A. Novel 3-D video for quantification of facial movement. Otolaryngol. Head Neck Surg. 138 (4), 468-472 (2008).
  10. Wang, Y., et al. High resolution acquisition, learning and transfer of dynamic 3D facial expressions. Comput. Graph. Forum. 23 (3), (2004).
  11. Laughner, J. I., Zhang, S., Li, H., Efimov, I. R. Mapping cardiac surface mechanics with structured light imaging. Am. J. Physiol. Heart Circ. Physiol. , in press (2012).
  12. Ekstrand, L., Wang, Y., Karpinsky, N., Zhang, S. Superfast 3D profilometry with digital fringe projection and phase-shifting techniques. Handbook of 3-D machine vision: Optical metrology and imaging. , Taylor & Francis. Boca Raton, FL. (2012).
  13. Zhang, S., Huang, P. S. High-resolution real-time three-dimensional shape measurement. Opt. Eng. 45 (12), 123-601 (2006).
  14. Li, Y., Zhao, C., Qian, Y., Wang, H., Jin, H. High-speed and dense three-dimensional surface acquisition using defocused binary patterns for spatially isolated objects. Opt. Express. 18, 21-635 (2010).
  15. Wang, Y., Zhang, S. Superfast multifrequency phase-shifting technique with optimal pulse width modulation. Opt. Express. 19 (6), 5143-5148 (2011).
  16. Zhang, S., Huang, P. S. Novel method for structured light system calibration. Opt. Eng. 45 (8), 083601(2006).
  17. Merner, L., Wang, Y., Zhang, S. Accurate calibration for 3D shape measurement system using a binary defocusing technique. Opt. Laser Eng. 51 (5), 514-519 (2013).
  18. Optical Shop Testing. Malacara, D. , 3rd, John Wiley and Sons. New York. (2007).
  19. Wang, Y., Zhang, S. Three-dimensional shape measurement with binary dithered patterns. Appl. Opt. 51 (27), 6631-6636 (2012).
  20. Ekstrand, L., Zhang, S. Autoexposure for three-dimensional shape measurement with a digital-light-processing projector. Opt. Eng. 50 (12), 123-603 (2011).
  21. Huang, P. S., Zhang, S. Fast three-step phase-shifting algorithm. Appl. Opt. 45 (21), 5086-5091 (2006).
  22. Zhang, S., Li, X., Yau, S. -T. Multilevel quality-guided phase unwrapping algorithm for real-time 3-D shape reconstruction. Appl. Opt. 46 (1), 50-57 (2007).
  23. Xu, Y., Ekstrand, L., Dai, J., Zhang, S. Phase error compensation for 3-D shape measurement with projector defocusing. Appl. Opt. 50 (18), 2572-2581 (2011).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Digital Fringe Projection3D Video ImagingPhase Shifting AlgorithmBinary DefocusingHigh Speed ImagingTriangulation MethodSurface MeasurementGraphics Processing UnitCalibration PlaneDepth Reconstruction

Related Articles