Ten film opisuje podstawy technik cyfrowej projekcji prążków, które zapewniają gęste pomiary 3D dynamicznie zmieniających się powierzchni. Demonstruje również projekt i działanie szybkiego binarnego systemu defoksji opartego na tych technikach.
Method Article
Ten film opisuje podstawy technik cyfrowej projekcji prążków, które zapewniają gęste pomiary 3D dynamicznie zmieniających się powierzchni. Demonstruje również projekt i działanie szybkiego binarnego systemu defoksji opartego na tych technikach.
Techniki cyfrowej projekcji prążków (DFP) zapewniają gęste pomiary 3D dynamicznie zmieniających się powierzchni. Podobnie jak ludzkie oczy i mózg, DFP wykorzystuje triangulację między pasującymi punktami w dwóch widokach tej samej sceny pod różnymi kątami w celu obliczenia głębokości. Jednak w przeciwieństwie do metody opartej na stereoskopie, DFP wykorzystuje cyfrowy projektor wideo do zastąpienia jednej z kamer1. Projektor szybko rzutuje znany sinusoidalny wzór na obiekt, a powierzchnia obiektu zniekształca te wzory w polu widzenia kamery. Trzy zniekształcone wzory (obrazy z prążkami) z kamery można wykorzystać do obliczenia głębi za pomocą triangulacji.
W przeciwieństwie do innych metod pomiaru 3D, techniki DFP prowadzą do powstania systemów, które są zwykle szybsze, tańsze w sprzęcie, bardziej elastyczne i łatwiejsze do opracowania. Systemy DFP mogą również osiągać taką samą rozdzielczość pomiaru jak kamera. Z tego powodu DFP i inne techniki cyfrowego światła strukturalnego były ostatnio przedmiotem intensywnych badań (jak podsumowano w1-5). Korzystając z DFP, procesora graficznego i zoptymalizowanych algorytmów, opracowaliśmy system zdolny do akwizycji, rekonstrukcji i wyświetlania danych wideo 3D 30 Hz dla ponad 300 000 punktów pomiarowych na klatkę6,7. Binarne metody defoksji DFP mogą osiągać jeszcze większe prędkości8.
Techniki DFP mogą być wykorzystywane w różnych aplikacjach. Nasi współpracownicy korzystali z naszych systemów do analizy funkcji twarzy9, animacji twarzy10, badań mechaniki serca11 i pomiarów powierzchni płynów, ale istnieje wiele innych potencjalnych zastosowań. Ten film nauczy podstaw technik DFP i zilustruje konstrukcję i działanie binarnego systemu DFP z defoksją.
Techniki cyfrowej projekcji prążków (DFP) opierają się na korelacji i triangulacji między dwoma widokami tej samej sceny pod różnymi kątami, na tej samej zasadzie stosowanej przez ludzkie oczy i mózg w celu uzyskania widzenia stereo. Jednak w przeciwieństwie do metody opartej na stereoskopii, DFP wykorzystuje cyfrowy projektor wideo do zastąpienia jednej z kamer1. Projektor szybko rzutuje znany sinusoidalny wzór na obiekt, który powierzchnia obiektu zniekształca w polu widzenia kamery. Trzy takie zniekształcone wzory (obrazy prążkowe) przy różnych przesunięciach fazowych od siebie mogą być analizowane w celu odzyskania głębokości za pomocą triangulacji. Wykorzystanie znanego wzorca eliminuje trudny problem obliczeniowy identyfikacji punktów korespondencji, pozwalając na uchwycenie pomiarów głębi w rozdzielczości kamery. Na przykład w przypadku kamery o rozdzielczości 576 x 576 technika ta może uchwycić 331 776 punktów. Dzięki temu systemy DFP mogą mierzyć bardzo drobne szczegóły, takie jak ruch mięśni twarzy w ludzkich emocjach.
Techniki obrazowania optycznego 3D dla zdarzeń statycznych lub quasi-statycznych były szeroko badane w ciągu ostatnich kilku dekad i odniosły wielki sukces w projektowaniu gier wideo, animacji, filmów, teledysków, rzeczywistości wirtualnej, telechirurgii i wielu dyscyplinach inżynierskich5. Chociaż istnieje wiele technik profilometrii 3D, można je podzielić na dwie kategorie: metody kontaktu powierzchniowego i metody bezkontaktowe powierzchni. Zarówno współrzędnościowa maszyna pomiarowa (CMM), jak i mikroskop sił atomowych (AFM) wymagają kontaktu z powierzchnią pomiarową, aby uzyskać profile 3D z dużą dokładnością. Wymóg ten nakłada poważne ograniczenia na szybkość metod kontaktu. Nie mogą osiągnąć prędkości pomiaru kHz z tysiącami punktów na skan.
Powierzchniowe techniki bezkontaktowe zazwyczaj wykorzystują metody triangulacji optycznej (np. widzenie stereo, stereo czasoprzestrzenne, światło strukturalne). Dzięki aktywnemu rzutowaniu znanych wzorów na obiekty, techniki światła strukturalnego mogą być stosowane do pomiaru powierzchni bez silnych lokalnych zmian tekstury1. Analiza prążków to specjalna grupa technik światła strukturalnego, która wykorzystuje sinusoidalne wzorce strukturalne (znane również jako wzory prążkowe). Ponieważ wzory te mają intensywność, która zmienia się w sposób ciągły z punktu na punkt w znany sposób, zwiększają one techniki światła strukturalnego z rozdzielczości pikseli projektora do rozdzielczościpikseli kamery 12. W niedalekiej przeszłości techniki analizy prążków odegrały zasadniczą rolę w uzyskaniu obrazowania 3D o wysokiej rozdzielczości.
Technika cyfrowej projekcji prążków (DFP) wykorzystuje cyfrowe projektory wideo do generowania sinusoidalnych wzorów prążków. Technika ta ma zalety w postaci niższych kosztów, większej szybkości i prostoty rozwoju, a w ciągu ostatniej dekady była bardzo aktywnym obszarem badawczym. Najnowsze osiągnięcia w zakresie DFP i podobnych technik cyfrowego światła strukturalnego podsumowano wpunktach 1-5. Aby uzyskać szybkie zastosowania, preferowany jest projektor z cyfrowym przetwarzaniem światła (DLP) ze względu na jego podstawowy mechanizm działania. Szybkość i elastyczność tej techniki pozwoliła nam uzyskać wideo 3D przy 40 Hz 13, a następnie przy 60 Hz 6,7.
Niemniej jednak istnieje podstawowe ograniczenie prędkości dla tradycyjnej techniki DFP. Projektor DLP może zamieniać tylko 8-bitowe kolorowe obrazy z maksymalną częstotliwością odświeżania (zwykle 120 Hz). Ponieważ tradycyjne wzory otoczek są 8-bitowymi obrazami w skali szarości, możemy zakodować trzy z nich w jeden kolorowy obraz jako kanały kolorów czerwonego, zielonego i niebieskiego. Projektor zamieni każdy kanał (a tym samym każdy wzór prążków) z trzykrotną częstotliwością odświeżania (zwykle 360 Hz). Ponieważ jednak każda klatka wideo 3D wymaga trzech wzorów obudów, maksymalna częstotliwość przechwytywania wideo 3D to nadal tylko częstotliwość odświeżania (120 Hz)3,14. Aby przełamać to ograniczenie sprzętowe, wynaleźliśmy zmodyfikowaną technikę DFP, która wykorzystuje binarne rozogniskowanie8. Zamiast 8-bitowych wzorów prążków w skali szarości, technika ta wykorzystuje generowane komputerowo 1-bitowe binarne wzorce strukturalne. Wzorce te są rozogniskowywane za pomocą obiektywu projektora, aby stać się wzorcami pseudosinusoidalnymi dla DFP. Ponieważ projektory DLP mogą wyświetlać obrazy binarne o rzędy wielkości szybciej niż 8-bitowe obrazy w skali szarości, technologia binarnego rozogniskowania pozwala na obrazowanie wideo 3D z prędkością kilkudziesięciu kiloherców przy tej samej rozdzielczości, co konwencjonalne techniki DFP15.
Ogólnym celem poniższego protokołu jest zademonstrowanie podstawowej implementacji i działania trzyetapowego systemu DFP z defoksją binarną i przesunięciem fazowym. Po pierwsze, protokół obejmie wybór i integrację niezbędnych komponentów. Następnie omówiona zostanie najprostsza i najłatwiej dostępna metoda kalibracji systemu; Bardziej złożone metody kalibracji są dostępne w literaturze dla konkretnych zastosowań16,17. Protokół skupi się następnie na procedurze przechwytywania wideo 3D za pomocą systemu oraz na procesie konwersji obrazów prążków na wizualizowane pomiary 3D. Na koniec przedstawimy kilka reprezentatywnych wyników z naszych systemów czasu rzeczywistego i szybkich.
1. Konfiguracja systemu
Schemat systemu jest pokazany na rysunku 1.
2. Kalibracja systemu
Ta kalibracja płaszczyzny odniesienia jest najprostszą i najłatwiej dostępną metodą kalibracji systemu. Dlatego jest najlepszy na początek. W literaturze dostępne są dokładniejsze metody kalibracji dla konkretnych zastosowań sinusoidalnej16 i binarnej defoksji17. Aby uzyskać maksymalną dokładność, kalibrację należy przeprowadzić tuż przed pobraniem danych. Po kalibracji kamera i projektor nie powinny być przemieszczone względem siebie.
3. Akwizycja danych
4. Analiza i wizualizacja danych
Dzięki oprogramowaniu zoptymalizowanemu pod kątem szybkości, takiemu jak nasz wewnętrzny graficzny interfejs użytkownika, ten krok może mieć miejsce podczas przechwytywania danych. Przetwarzanie w czasie rzeczywistym pozwala użytkownikowi natychmiast wykryć, czy uzyskane dane są pożądane dla aplikacji i dostosować je w razie potrzeby. Jednak przetwarzanie końcowe może być bardziej elastyczne i bardziej dokładne. Przetwarzanie końcowe jest również znacznie prostsze do wdrożenia i jest najlepszym miejscem do rozpoczęcia.
Rysunek 1 pokazuje schemat systemu. Szybki binarny system rozogniskowywania w tym filmie składa się z projektora Logic PD DLP LightCommander i kamery CMOS Phantom v9.1.
Rysunek 2 przedstawia pojedynczą klatkę z naszego systemu 3D czasu rzeczywistego przedstawiającą ludzką twarz. System ten wykorzystuje kamerę o rozdzielczości 640 x 480. Dzięki wyżej wymienionemu znanemu wzorowi sinusoidalnemu, możemy uchwycić 640 x 480 = 307,200 pomiarów, co jest wystarczającą rozdzielczością, aby zarejestrować bardzo drobne szczegóły.
Rysunek 3 pokazuje przykład pomiaru ludzkiej mimiki twarzy w 3D przy 60 Hz. W tym przypadku cztery klatki wybrane z sekwencji wideo wyraźnie pokazują zdolność systemu czasu rzeczywistego do uchwycenia dynamicznych zmian w bardzo szczegółowej geometrii.
Rysunek 4 przedstawia nasze oprogramowanie do wizualizacji na żywo używane w połączeniu z naszym binarnym systemem wideo 3D do defoksji w czasie rzeczywistym. Przechwycone w 3D wideo obiektu jest wyświetlane w czasie rzeczywistym na monitorze komputera po jego prawej stronie. To oprogramowanie zostało napisane w C++ przy użyciu biblioteki OpenGL, GLSL i QT. Używany komputer to laptop Lenovo.
Rysunek 5 pokazuje klatki 3D z pomiaru serca królika na żywo za pomocą naszego nowo opracowanego superszybkiego binarnego systemu defoktu. Ten system może nagrywać klatki 3D z częstotliwością 667 Hz z rozdzielczością obrazu 576 x 576. Do pomiaru powierzchni serca bez artefaktów wywołanych ruchem wymagana jest superszybka szybkość. Badania nad pomiarem serca prowadzone są we współpracy z prof. Igorem Efimovem z Washington University-St. Louis (więcej szczegółów wpunkcie 11); Zauważ, że królik został zabity w sposób humanitarny, a zdjęcia zostały zrobione, gdy serce wciąż biło.

Rysunek 1.Układ systemu obrazowania wideo 3D. W tym systemie szybki projektor DLP wyświetla trzy binarne obrazy z przesunięciem fazowym w krótkim odstępie czasu na obiekt. Szybka kamera CMOS służy do przechwytywania trzech obrazów prążków jeden po drugim w celu obliczenia głębokości.

Rysunek 2.Pomiary 3D ludzkiej twarzy w rozdzielczości 640 x 480, ujawniające drobne szczegóły. Od lewej do prawej pokazuje jednocześnie przechwyconą teksturę idealnie wyrównaną z geometrią, cieniowany widok geometrii, widok szkieletowy przedstawiający gęstość punktów, zbliżenie obszaru nosa i zbliżenie obszaru oka.

Rysunek 3.Cztery wybrane klatki z filmu 3D przedstawiające kształtowanie się wyrazu twarzy.Wideo zostało nagrane z częstotliwością 60 Hz w rozdzielczości 640 x 480. Kadry te podkreślają geometryczne zmiany na twarzy kobiety, która przechodzi od neutralnego wyrazu do uśmiechu.

Rysunek 4.Przechwytywanie, przetwarzanie i renderowanie wideo 3D na żywo. Pomiary 3D są wyświetlane w czasie rzeczywistym na ekranie komputera po prawej stronie obiektu.

Rysunek 5.Uchwycenie żywego serca królika za pomocą naszego superszybkiego systemu obrazowania wideo 3D. Serce bije z prędkością około 200 uderzeń/min. Częstotliwość przechwytywania 3D wynosiła 166 Hz przy rozdzielczości obrazu 576 x 576. Więcej informacji można znaleźć wpunkcie 11.
Ta technologia obrazowania wideo 3D o wysokiej rozdzielczości i superszybkiej w czasie rzeczywistym jest technologią platformy, która może potencjalnie przynieść korzyści wielu różnorodnym dziedzinom naukowym, od nauk biologicznych po praktykę inżynierską. Zastosowania biomedyczne obejmują precyzyjne pomiary ruchów twarzy i powierzchni narządów. Inne zastosowania obejmują zautomatyzowaną kontrolę jakości 3D z wykrywaniem wypaczonych cech powierzchni; Wideokonferencje ulepszone w 3D; szczegółowa digitalizacja rysów twarzy do filmów i gier wideo; pomiary gęstych i szybkich odkształceń do projektowania i analizy konstrukcji; i charakteryzacja powierzchni płynów. Wiele zastosowań biologicznych i inżynieryjnych (np . bicie króliczych serc, fale uderzeniowe płynów) wymaga superszybkich szybkości obrazowania binarnego systemu rozogniskowania, aby poprawnie rozwiązywać cechy bez artefaktów aliasingu.
Niemniej jednak nadal istnieje wiele wyzwań związanych z powszechnym przyjęciem tej technologii. Konwencjonalna technologia DFP wymaga, aby projektor wyświetlał 8-bitowe sinusoidalne wzory prążków w skali szarości. Szybkość tej techniki jest ograniczona przez częstotliwość odświeżania projektora (zwykle 120 Hz). Szybkość ta jest wystarczająca do przechwytywania w zwolnionym tempie, takiego jak mimika twarzy. Jednak Istnieje wiele aplikacji, które wymagają szybszego przechwytywania.
Technologia binarnego rozogniskowania złagodziła to ograniczenie prędkości i udało nam się stworzyć superszybki system obrazowania wideo 3D. Jednak ten system ma dwie wady. Po pierwsze, wymaga drogiego projektora, takiego jak platforma DLP Discovery, i kosztownej szybkiej kamery wideo, takiej jak Vision Research Phantom v9.1. Po drugie, ponieważ generuje wzory sinusoidalne poprzez rozogniskowanie kwadratowych wzorów binarnych, technika binarnego rozogniskowania ma trudności z generowaniem prążków sinusoidalnych o tej samej jakości co tradycyjna technika DFP i ma ograniczony zakres pomiaru głębokości (więcej wyjaśnień znajduje się w23). Ostatnie badania wskazują, że roztrząsane binarne wzorce sinusoidalne mogą znacznie złagodzić ograniczenia zakresu pomiaru głębokości19. Przyszłe badania skupią się na przezwyciężeniu pozostałych problemów przy jednoczesnym zachowaniu zalet binarnego rozogniskowania.
Kolejnym wyzwaniem jest kompresja i przechowywanie dużej ilości danych generowanych przez szybkie systemy obrazowania wideo 3D o wysokiej rozdzielczości. Nieskompresowane filmy 3D są znacznie większe niż nieskompresowane filmy 2D. Na przykład w przypadku filmu 3D nagranego z częstotliwością 30 Hz przez 1 minutę w rozdzielczości 640 x 480 . Rozmiar pliku OBJ może przekraczać 50 GB, co sprawia, że jego przechowywanie jest niezwykle trudne. Ponieważ w dziedzinie kompresji wideo 3D poczyniono niewielkie postępy, będziemy nadal koncentrować się na tym w przyszłości.
Autorzy nie mają konkurencyjnych interesów finansowych.
To badanie było skumulowanym wysiłkiem, który rozpoczął się ponad 10 lat temu, kiedy Dr. Zhang był absolwentem Uniwersytetu Stony Brook. Obecni i poprzedni studenci w naszym zespole na Uniwersytecie Stanowym Iowa ogromnie przyczynili się do rozwoju tej technologii do miejsca, w którym jest dzisiaj. Praca ta była częściowo sponsorowana przez National Science Foundation w ramach projektu o numerze CMMI 1150711 oraz Fundację Williama i Virginii Bingerów.
| Name | Company | Catalog Number | Comments |
|---|---|---|---|
Nie użyto żadnych materiałów ani sprzętu. | |||
Request permission to reuse the text or figures of this JoVE article
Request Permission