Name: Szybkie i szybkie obrazowanie wideo z cyfrowymi technikami projekcji prążków (Wideo) | JoVE Journal
Uploaded: 2013-12-03T13:10:00.000+00:00
Duration: 11 min 34 s
Description: Poznaj cyfrową projekcję prążkową do szybkiego obrazowania 3D dynamicznych powierzchni. Technika binarnego defokusowania umożliwia rejestrację ponad 300 000 punktów danych na klatkę z zastosowaniem w medycynie i przemysłowej kontroli jakości.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

To badanie było skumulowanym wysiłkiem, który rozpoczął się ponad 10 lat temu, kiedy Dr. Zhang był absolwentem Uniwersytetu Stony Brook. Obecni i poprzedni studenci w naszym zespole na Uniwersytecie Stanowym Iowa ogromnie przyczynili się do rozwoju tej technologii do miejsca, w którym jest dzisiaj. Praca ta była częściowo sponsorowana przez National Science Foundation w ramach projektu o numerze CMMI 1150711 oraz Fundację Williama i Virginii Bingerów.

1. Konfiguracja systemu
Schemat systemu jest pokazany na rysunku 1.
<ol>
	<li>Wygeneruj wzory prążków do projekcji. Można je przygotować z dużym wyprzedzeniem, korzystając ze środowiska programowania obrazów, takiego jak MATLAB, OpenCV lub QT. Skonstruuj wzorce zgodnie z trzyetapowym algorytmem przesunięcia fazowego w18. Wykonaj trzy obrazy, przesunięte względem siebie w przesunięciu fazowym o 2π/3. W przypadku rozogniskowania binarnego należy użyć techniki roztrząsania, aby wygenerować wzory sinusoidalne przy użyciu tylko czarnych i białych pikseli, jak opisano wpunkcie 19.</li>
	<li>Wybierz projektor z cyfrowym przetwarzaniem światła. Szybki binarny system rozogniskowania wymaga szybszego, specjalistycznego projektora, takiego jak DLP LightCommander z modułem ALP High Speed. Pamiętaj, aby użyć ustawienia binarnego lub monochromatycznego do wyświetlania obrazów otoczki. Ponieważ wartości obrazu są wyłącznie włączone lub wyłączone, korekty nieliniowości nie są konieczne. Użyj oprogramowania projektora, aby przesłać wzorce do przesunięcia fazowego.</li>
	<li>Wybierz kamerę. Wybierz czarno-białą kamerę CCD lub CMOS o szybkości przechwytywania odpowiedniej dla systemu. Do przechwytywania obrazu 3D należy unikać kamer kolorowych, ponieważ kolor nie jest potrzebny, a kamery kolorowe wymagają korekt nieliniowości i krzywej gamma. Należy pamiętać, że kamera będzie musiała przechwycić cały zestaw obrazów obrzeży dla każdej klatki wideo 3D. Wysokiej jakości systemy sinusoidalne wymagają precyzyjnej synchronizacji między projektorem a kamerą; W przypadku binarnych systemów defoksji wymóg ten jest łagodniejszy20.</li>
	<li>Określ żądany maksymalny zakres (x, y) i odległość od projektora do obiektu (d0). Wybierz zakres, który ma sens dla danego zastosowania, ale upewnij się, że obszar jest nieco większy niż obiekt, aby zmniejszyć wszelkie efekty granic optycznych. Ponieważ strumień świetlny projektora jest frustum, ten zakres (x, y) będzie napędzał d0. Przesuń projektor względem dużej płaskiej powierzchni projekcyjnej, aż zostanie znaleziony żądany zakres (x, y), a następnie zmierz d0 za pomocą taśmy mierniczej.</li>
	<li>Wybierz obiektyw aparatu o odpowiedniej ogniskowej. Korzystając z rozmiaru matrycy aparatu, znajdź ogniskową tak, aby pole widzenia w odległości d0 było takie samo jak żądany zakres obrazowania (x, y).</li>
	<li>Określ odległość między projektorem a kamerą. Występuje tu kompromis między szumem a cieniem. Przy dużym kącie między tymi komponentami triangulacja między punktami charakterystycznymi jest bardziej oczywista, ale więcej obiektów ginie w cieniu z perspektywy kamery. Pod małym kątem triangulacja staje się trudna, co zwiększa szum w wynikach. Zazwyczaj 10-15° jest dobrym kompromisem.</li>
</ol>
2. Kalibracja systemu
Ta kalibracja płaszczyzny odniesienia jest najprostszą i najłatwiej dostępną metodą kalibracji systemu. Dlatego jest najlepszy na początek. W literaturze dostępne są dokładniejsze metody kalibracji dla konkretnych zastosowań sinusoidalnej16 i binarnej defoksji17. Aby uzyskać maksymalną dokładność, kalibrację należy przeprowadzić tuż przed pobraniem danych. Po kalibracji kamera i projektor nie powinny być przemieszczone względem siebie.
<ol>
	<li>Ustaw ostrość/rozmycie projektora. Ostrożnie rozogniskuj soczewkę projekcyjną, aż wzory na płaszczyźnie obrazowania będą przypominać wysokiej jakości sinusoidy. Może to wymagać iteracyjnego procesu badania jakości danych (sekcja 4) i dostosowania obiektywu.</li>
	<li>Przechwytywanie obrazów obrzeży płaszczyzny odniesienia. Umieść płaską białą tablicę w płaszczyźnie ogniskowej projektora i w polu widzenia kamery. Biała płyta rdzeniowa z pianki o grubości 3/16 cala (5 mm) działa dobrze, pod warunkiem, że powierzchnia skierowana w stronę systemu nie jest błyszcząca, ani znacznie skażona lub podarta. Nagraj i zapisz obrazy obrzeży tej tablicy na etapie przetwarzania danych.</li>
	<li>Przechwytywanie obrazów obrzeży obiektu referencyjnego o znanych wymiarach. Na tym etapie jednym z prostych przykładów jest sztywna kostka piankowa. Przykryj kostkę kwadratami białej pianki klejącej o grubości 1/16 cala (1,5 mm), aby się rozproszyła. Umieść go w płaszczyźnie ogniskowej aparatu w polu widzenia aparatu i zarejestruj obrazy frędzli do etapu przetwarzania.</li>
</ol>
3. Akwizycja danych
<ol>
	<li>Umieść obiekt lub zaproś fotografowaną osobę, aby usiadła w płaszczyźnie ogniskowej aparatu. W przypadku człowieka ostrzeż go, że światło projektora może być jasne. Czarne tło z tkaniny może być użyte za obiektem, aby ukryć obce otoczenie.</li>
	<li>Dostosuj przysłonę aparatu, aby zoptymalizować poziom światła. Przykładowe obrazy frędzli powinny być tak jasne, jak to możliwe, ale nie nasycone. Ciemne obrazy będą miały zbyt dużo szumów, podczas gdy nasycone obszary (znaczne obszary o maksymalnej jasności) na obrazach spowodują utratę szczegółów w nasyconym obszarze.</li>
	<li>Przechwyć żądaną liczbę klatek. Pamiętaj, aby zabrać ze sobą wystarczająco duży dysk twardy, aby pomieścić wszystkie zarejestrowane obrazy zarówno dla obiektu, jak i zestawów danych kalibracyjnych. Za pomocą . OBJ, wideo 3D nagrane z częstotliwością 30 Hz przez 1 minutę w rozdzielczości 640 x 480 może mieć ponad 50 GB.</li>
</ol>
4. Analiza i wizualizacja danych
Dzięki oprogramowaniu zoptymalizowanemu pod kątem szybkości, takiemu jak nasz wewnętrzny graficzny interfejs użytkownika, ten krok może mieć miejsce podczas przechwytywania danych. Przetwarzanie w czasie rzeczywistym pozwala użytkownikowi natychmiast wykryć, czy uzyskane dane są pożądane dla aplikacji i dostosować je w razie potrzeby. Jednak przetwarzanie końcowe może być bardziej elastyczne i bardziej dokładne. Przetwarzanie końcowe jest również znacznie prostsze do wdrożenia i jest najlepszym miejscem do rozpoczęcia.
<ol>
	<li>Oblicz fazę owiniętą zarówno dla kalibracji, jak i danych obiektu. W trzyetapowym algorytmie przesunięcia fazowego w18 faza opisuje położenie punktu w funkcji cosinusowej. Ponieważ mamy trzy równania i trzy niewiadome, możemy rozwiązać równania użyte do wygenerowania obrazów prążków w kroku 1.1 dla fazy w każdym punkcie. Ze względu na funkcję styczną łuku obliczeniowa faza mieści się w zakresie (-π, π]; Stąd nazywa się to "fazą owiniętą". Aby poprawić szybkość przetwarzania, opracowaliśmy algorytm szybkiego zawijania faz, który został omówiony w21.</li>
	<li>Rozwiń mapy faz. Zastosuj algorytm rozpakowywania fazy, który wykrywa przeskoki 2π w fazie i usuwa je, dodając lub odejmując wielokrotności 2π. Użyliśmy szybkiego algorytmu w22 w poprzednich systemach, aby solidnie, ale szybko rozpakować fazę. W filmie demonstrujemy technikę wieloczęstotliwościową opisaną wpunkcie 15, która wykorzystuje dodatkowe zestawy trzech wzorców przesuniętych fazowo przy różnych częstotliwościach. Owinięte mapy faz z każdego zestawu trzech można łączyć, aby uzyskać pojedynczą nieopakowaną mapę faz. Ta technika zwiększa zakres głębi w celu dokładnego uchwycenia z binarnym rozmyciem.</li>
	<li>Opcjonalnie: Oblicz teksturę 2D. Uśrednienie zestawów trzech sąsiadujących ze sobą obrazów ostępów spowoduje rozmycie pasków frędzli i wygenerowanie mapy tekstur 2D. W razie potrzeby można to odwzorować na dane 3D podczas wizualizacji.</li>
	<li>Przekonwertuj nieopakowane mapy faz na głąb. Jak opisano w23, głębokość można obliczyć dla kostki kalibracyjnej jako różnicę między mapą faz kostki kalibracyjnej a mapą faz płaszczyzny odniesienia. Porównaj tę obliczoną głębokość ze znaną głębokością, aby obliczyć prawidłowy współczynnik skalowania głębokości c0. Następnie oblicz głębokość dla obiektu, odejmując fazę płaszczyzny odniesienia od fazy obiektu i mnożąc wyniki przez c0.</li>
	<li>Oblicz współrzędne x i y. Zastosuj współczynnik skalowania c0 do mapy głębokości kostki kalibracyjnej. Określ współczynnik konwersji ρ z wymiarów sześcianu w pikselach na znane wymiary sześcianu w płaszczyźnie xy. Pomnóż liczbę pikseli w danych obiektu przez ρ, aby obliczyć współrzędne x i y.</li>
	<li>Wizualizacja danych. Poszczególne ramki można zapisać w naszym wewnętrznym formacie i wyświetlić za pomocą prostego kodu MATLAB lub zapisać w formacie . OBJ i wyświetlane za pomocą komercyjnego programu do modelowania 3D, takiego jak Blender. Ze względu na dużą ilość danych w każdej klatce aplikacje te mogą działać wolno na niektórych komputerach. Aby uzyskać większą responsywność lub wyświetlanie obrazu na żywo, napisz oprogramowanie, korzystając z biblioteki grafiki komputerowej, takiej jak OpenGL lub Direct3D. To oprogramowanie może wykorzystać procesor graficzny (GPU) do szybkiego generowania współrzędnych x, y i z z fazy nieopakowanej, tworzenia siatki trójkątów, obliczania normalnych oświetlenia i wyświetlania wyników. Korzystając z GPU, osiągnęliśmy wizualizację danych 3D na żywo do 30 Hz z około 300 000 punktów na klatkę.</li>
</ol>

<ol><li>Salvi, J., Fernandez, S., Pribanic, T., Llado, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+state+of+the+art+in+structured+light+patterns+for+surface+profilometry%5BTitle%5D)+AND+%22Patt.+Recogn%22%5BJournal%5D)">A state of the art in structured light patterns for surface profilometry.</a> Patt. Recogn. 43, 2666-2680 (2010).</li>
<li>Gorthi, S. S., Rastogi, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fringe+projection+techniques%3A+Whither+we+are%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Fringe projection techniques: Whither we are.</a> Opt. Laser Eng. 48 (2), 133-140 (2010).</li>
<li>Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+progresses+on+real-time+3-D+shape+measurement+using+digital+fringe+projection+techniques%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Recent progresses on real-time 3-D shape measurement using digital fringe projection techniques.</a> Opt. Laser Eng. 48 (2), 149-158 (2010).</li>
<li>Su, X., Zhang, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Dynamic+3-D+shape+measurement+method%3A+A+review%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Dynamic 3-D shape measurement method: A review.</a> Opt. Laser Eng. 48 (2), 191-204 (2010).</li>
<li>Geng, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Structured-light+3D+surface+imaging%3A+a+tutorial%5BTitle%5D)+AND+%22Adv.+Opt.+Photonics%22%5BJournal%5D)">Structured-light 3D surface imaging: a tutorial.</a> Adv. Opt. Photonics. 3 (2), 128-160 (2011).</li>
<li>Zhang, S., Yau, S. -T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-resolution%2C+real-time+3-D+absolute+coordinate+measurement+based+on+a+phase-shifting+method%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">High-resolution, real-time 3-D absolute coordinate measurement based on a phase-shifting method.</a> Opt. Express. 14 (7), 2644-2649 (2006).</li>
<li>Zhang, S., Royer, D., Yau, S. -T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((GPU-assisted+high-resolution%2C+real-time+3-D+shape+measurement%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">GPU-assisted high-resolution, real-time 3-D shape measurement.</a> Opt. Express. 14 (20), 9120-9129 (2006).</li>
<li>Lei, S., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Flexible+3-D+shape+measurement+using+projector+defocusing%5BTitle%5D)+AND+%22Opt.+Lett%22%5BJournal%5D)">Flexible 3-D shape measurement using projector defocusing.</a> Opt. Lett. 34 (20), 3080-3082 (2009).</li>
<li>Mehta, R. P., Zhang, S., Hadlock, T. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Novel+3-D+video+for+quantification+of+facial+movement%5BTitle%5D)+AND+%22Otolaryngol.+Head+Neck+Surg%22%5BJournal%5D)">Novel 3-D video for quantification of facial movement.</a> Otolaryngol. Head Neck Surg. 138 (4), 468-472 (2008).</li>
<li>Wang, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High+resolution+acquisition%2C+learning+and+transfer+of+dynamic+3D+facial+expressions%5BTitle%5D)+AND+%22Comput.+Graph.+Forum%22%5BJournal%5D)">High resolution acquisition, learning and transfer of dynamic 3D facial expressions.</a> Comput. Graph. Forum. 23 (3), (2004).</li>
<li>Laughner, J. I., Zhang, S., Li, H., Efimov, I. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mapping+cardiac+surface+mechanics+with+structured+light+imaging%5BTitle%5D)+AND+%22Am.+J.+Physiol.+Heart+Circ.+Physiol%22%5BJournal%5D)">Mapping cardiac surface mechanics with structured light imaging.</a> Am. J. Physiol. Heart Circ. Physiol. , in press (2012).</li>
<li>Ekstrand, L., Wang, Y., Karpinsky, N., Zhang, S. Superfast 3D profilometry with digital fringe projection and phase-shifting techniques. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aEkstrand%2C+L+%22Handbook+of+3-D+machine+vision%3A+Optical+metrology+and+imaging%22">Handbook of 3-D machine vision: Optical metrology and imaging</a>. , Taylor & Francis. Boca Raton, FL. (2012).</li>
<li>Zhang, S., Huang, P. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-resolution+real-time+three-dimensional+shape+measurement%5BTitle%5D)+AND+%22Opt.+Eng%22%5BJournal%5D)">High-resolution real-time three-dimensional shape measurement.</a> Opt. Eng. 45 (12), 123-601 (2006).</li>
<li>Li, Y., Zhao, C., Qian, Y., Wang, H., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-speed+and+dense+three-dimensional+surface+acquisition+using+defocused+binary+patterns+for+spatially+isolated+objects%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">High-speed and dense three-dimensional surface acquisition using defocused binary patterns for spatially isolated objects.</a> Opt. Express. 18, 21-635 (2010).</li>
<li>Wang, Y., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Superfast+multifrequency+phase-shifting+technique+with+optimal+pulse+width+modulation%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">Superfast multifrequency phase-shifting technique with optimal pulse width modulation.</a> Opt. Express. 19 (6), 5143-5148 (2011).</li>
<li>Zhang, S., Huang, P. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Novel+method+for+structured+light+system+calibration%5BTitle%5D)+AND+%22Opt.+Eng%22%5BJournal%5D)">Novel method for structured light system calibration.</a> Opt. Eng. 45 (8), 083601(2006).</li>
<li>Merner, L., Wang, Y., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Accurate+calibration+for+3D+shape+measurement+system+using+a+binary+defocusing+technique%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Accurate calibration for 3D shape measurement system using a binary defocusing technique.</a> Opt. Laser Eng. 51 (5), 514-519 (2013).</li>
<li><a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Optical+Shop+Testing%22">Optical Shop Testing</a>. Malacara, D. , 3rd, John Wiley and Sons. New York. (2007).</li>
<li>Wang, Y., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three-dimensional+shape+measurement+with+binary+dithered+patterns%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Three-dimensional shape measurement with binary dithered patterns.</a> Appl. Opt. 51 (27), 6631-6636 (2012).</li>
<li>Ekstrand, L., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Autoexposure+for+three-dimensional+shape+measurement+with+a+digital-light-processing+projector%5BTitle%5D)+AND+%22Opt.+Eng%22%5BJournal%5D)">Autoexposure for three-dimensional shape measurement with a digital-light-processing projector.</a> Opt. Eng. 50 (12), 123-603 (2011).</li>
<li>Huang, P. S., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast+three-step+phase-shifting+algorithm%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Fast three-step phase-shifting algorithm.</a> Appl. Opt. 45 (21), 5086-5091 (2006).</li>
<li>Zhang, S., Li, X., Yau, S. -T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multilevel+quality-guided+phase+unwrapping+algorithm+for+real-time+3-D+shape+reconstruction%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Multilevel quality-guided phase unwrapping algorithm for real-time 3-D shape reconstruction.</a> Appl. Opt. 46 (1), 50-57 (2007).</li>
<li>Xu, Y., Ekstrand, L., Dai, J., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Phase+error+compensation+for+3-D+shape+measurement+with+projector+defocusing%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Phase error compensation for 3-D shape measurement with projector defocusing.</a> Appl. Opt. 50 (18), 2572-2581 (2011).</li>
</ol>

Autorzy nie mają konkurencyjnych interesów finansowych.

Ta technologia obrazowania wideo 3D o wysokiej rozdzielczości i superszybkiej w czasie rzeczywistym jest technologią platformy, która może potencjalnie przynieść korzyści wielu różnorodnym dziedzinom naukowym, od nauk biologicznych po praktykę inżynierską. Zastosowania biomedyczne obejmują precyzyjne pomiary ruchów twarzy i powierzchni narządów. Inne zastosowania obejmują zautomatyzowaną kontrolę jakości 3D z wykrywaniem wypaczonych cech powierzchni; Wideokonferencje ulepszone w 3D; szczegółowa digitalizacja rysów twarzy do filmów i gier wideo; pomiary gęstych i szybkich odkształceń do projektowania i analizy konstrukcji; i charakteryzacja powierzchni płynów. Wiele zastosowań biologicznych i inżynieryjnych (np . bicie króliczych serc, fale uderzeniowe płynów) wymaga superszybkich szybkości obrazowania binarnego systemu rozogniskowania, aby poprawnie rozwiązywać cechy bez artefaktów aliasingu.
Niemniej jednak nadal istnieje wiele wyzwań związanych z powszechnym przyjęciem tej technologii. Konwencjonalna technologia DFP wymaga, aby projektor wyświetlał 8-bitowe sinusoidalne wzory prążków w skali szarości. Szybkość tej techniki jest ograniczona przez częstotliwość odświeżania projektora (zwykle 120 Hz). Szybkość ta jest wystarczająca do przechwytywania w zwolnionym tempie, takiego jak mimika twarzy. Jednak Istnieje wiele aplikacji, które wymagają szybszego przechwytywania.
Technologia binarnego rozogniskowania złagodziła to ograniczenie prędkości i udało nam się stworzyć superszybki system obrazowania wideo 3D. Jednak ten system ma dwie wady. Po pierwsze, wymaga drogiego projektora, takiego jak platforma DLP Discovery, i kosztownej szybkiej kamery wideo, takiej jak Vision Research Phantom v9.1. Po drugie, ponieważ generuje wzory sinusoidalne poprzez rozogniskowanie kwadratowych wzorów binarnych, technika binarnego rozogniskowania ma trudności z generowaniem prążków sinusoidalnych o tej samej jakości co tradycyjna technika DFP i ma ograniczony zakres pomiaru głębokości (więcej wyjaśnień znajduje się w23). Ostatnie badania wskazują, że roztrząsane binarne wzorce sinusoidalne mogą znacznie złagodzić ograniczenia zakresu pomiaru głębokości19. Przyszłe badania skupią się na przezwyciężeniu pozostałych problemów przy jednoczesnym zachowaniu zalet binarnego rozogniskowania.
Kolejnym wyzwaniem jest kompresja i przechowywanie dużej ilości danych generowanych przez szybkie systemy obrazowania wideo 3D o wysokiej rozdzielczości. Nieskompresowane filmy 3D są znacznie większe niż nieskompresowane filmy 2D. Na przykład w przypadku filmu 3D nagranego z częstotliwością 30 Hz przez 1 minutę w rozdzielczości 640 x 480 . Rozmiar pliku OBJ może przekraczać 50 GB, co sprawia, że jego przechowywanie jest niezwykle trudne. Ponieważ w dziedzinie kompresji wideo 3D poczyniono niewielkie postępy, będziemy nadal koncentrować się na tym w przyszłości.

Techniki cyfrowej projekcji prążków (DFP) opierają się na korelacji i triangulacji między dwoma widokami tej samej sceny pod różnymi kątami, na tej samej zasadzie stosowanej przez ludzkie oczy i mózg w celu uzyskania widzenia stereo. Jednak w przeciwieństwie do metody opartej na stereoskopii, DFP wykorzystuje cyfrowy projektor wideo do zastąpienia jednej z kamer1. Projektor szybko rzutuje znany sinusoidalny wzór na obiekt, który powierzchnia obiektu zniekształca w polu widzenia kamery. Trzy takie zniekształcone wzory (obrazy prążkowe) przy różnych przesunięciach fazowych od siebie mogą być analizowane w celu odzyskania głębokości za pomocą triangulacji. Wykorzystanie znanego wzorca eliminuje trudny problem obliczeniowy identyfikacji punktów korespondencji, pozwalając na uchwycenie pomiarów głębi w rozdzielczości kamery. Na przykład w przypadku kamery o rozdzielczości 576 x 576 technika ta może uchwycić 331 776 punktów. Dzięki temu systemy DFP mogą mierzyć bardzo drobne szczegóły, takie jak ruch mięśni twarzy w ludzkich emocjach.
Techniki obrazowania optycznego 3D dla zdarzeń statycznych lub quasi-statycznych były szeroko badane w ciągu ostatnich kilku dekad i odniosły wielki sukces w projektowaniu gier wideo, animacji, filmów, teledysków, rzeczywistości wirtualnej, telechirurgii i wielu dyscyplinach inżynierskich5. Chociaż istnieje wiele technik profilometrii 3D, można je podzielić na dwie kategorie: metody kontaktu powierzchniowego i metody bezkontaktowe powierzchni. Zarówno współrzędnościowa maszyna pomiarowa (CMM), jak i mikroskop sił atomowych (AFM) wymagają kontaktu z powierzchnią pomiarową, aby uzyskać profile 3D z dużą dokładnością. Wymóg ten nakłada poważne ograniczenia na szybkość metod kontaktu. Nie mogą osiągnąć prędkości pomiaru kHz z tysiącami punktów na skan.
Powierzchniowe techniki bezkontaktowe zazwyczaj wykorzystują metody triangulacji optycznej (np. widzenie stereo, stereo czasoprzestrzenne, światło strukturalne). Dzięki aktywnemu rzutowaniu znanych wzorów na obiekty, techniki światła strukturalnego mogą być stosowane do pomiaru powierzchni bez silnych lokalnych zmian tekstury1. Analiza prążków to specjalna grupa technik światła strukturalnego, która wykorzystuje sinusoidalne wzorce strukturalne (znane również jako wzory prążkowe). Ponieważ wzory te mają intensywność, która zmienia się w sposób ciągły z punktu na punkt w znany sposób, zwiększają one techniki światła strukturalnego z rozdzielczości pikseli projektora do rozdzielczościpikseli kamery 12. W niedalekiej przeszłości techniki analizy prążków odegrały zasadniczą rolę w uzyskaniu obrazowania 3D o wysokiej rozdzielczości.
Technika cyfrowej projekcji prążków (DFP) wykorzystuje cyfrowe projektory wideo do generowania sinusoidalnych wzorów prążków. Technika ta ma zalety w postaci niższych kosztów, większej szybkości i prostoty rozwoju, a w ciągu ostatniej dekady była bardzo aktywnym obszarem badawczym. Najnowsze osiągnięcia w zakresie DFP i podobnych technik cyfrowego światła strukturalnego podsumowano wpunktach 1-5. Aby uzyskać szybkie zastosowania, preferowany jest projektor z cyfrowym przetwarzaniem światła (DLP) ze względu na jego podstawowy mechanizm działania. Szybkość i elastyczność tej techniki pozwoliła nam uzyskać wideo 3D przy 40 Hz 13, a następnie przy 60 Hz 6,7.
Niemniej jednak istnieje podstawowe ograniczenie prędkości dla tradycyjnej techniki DFP. Projektor DLP może zamieniać tylko 8-bitowe kolorowe obrazy z maksymalną częstotliwością odświeżania (zwykle 120 Hz). Ponieważ tradycyjne wzory otoczek są 8-bitowymi obrazami w skali szarości, możemy zakodować trzy z nich w jeden kolorowy obraz jako kanały kolorów czerwonego, zielonego i niebieskiego. Projektor zamieni każdy kanał (a tym samym każdy wzór prążków) z trzykrotną częstotliwością odświeżania (zwykle 360 Hz). Ponieważ jednak każda klatka wideo 3D wymaga trzech wzorów obudów, maksymalna częstotliwość przechwytywania wideo 3D to nadal tylko częstotliwość odświeżania (120 Hz)3,14. Aby przełamać to ograniczenie sprzętowe, wynaleźliśmy zmodyfikowaną technikę DFP, która wykorzystuje binarne rozogniskowanie8. Zamiast 8-bitowych wzorów prążków w skali szarości, technika ta wykorzystuje generowane komputerowo 1-bitowe binarne wzorce strukturalne. Wzorce te są rozogniskowywane za pomocą obiektywu projektora, aby stać się wzorcami pseudosinusoidalnymi dla DFP. Ponieważ projektory DLP mogą wyświetlać obrazy binarne o rzędy wielkości szybciej niż 8-bitowe obrazy w skali szarości, technologia binarnego rozogniskowania pozwala na obrazowanie wideo 3D z prędkością kilkudziesięciu kiloherców przy tej samej rozdzielczości, co konwencjonalne techniki DFP15.
Ogólnym celem poniższego protokołu jest zademonstrowanie podstawowej implementacji i działania trzyetapowego systemu DFP z defoksją binarną i przesunięciem fazowym. Po pierwsze, protokół obejmie wybór i integrację niezbędnych komponentów. Następnie omówiona zostanie najprostsza i najłatwiej dostępna metoda kalibracji systemu; Bardziej złożone metody kalibracji są dostępne w literaturze dla konkretnych zastosowań16,17. Protokół skupi się następnie na procedurze przechwytywania wideo 3D za pomocą systemu oraz na procesie konwersji obrazów prążków na wizualizowane pomiary 3D. Na koniec przedstawimy kilka reprezentatywnych wyników z naszych systemów czasu rzeczywistego i szybkich.

<table><tbody><tr><td colspan="4">Nie użyto żadnych materiałów ani sprzętu.</td></tr></tbody></table>

szybkie i szybkie obrazowanie wideo z cyfrowymi technikami projekcji prążków

High-resolution, High-speed, Three-dimensional Video Imaging with Digital Fringe Projection Techniques

Techniki cyfrowej projekcji prążków (DFP) zapewniają gęste pomiary 3D dynamicznie zmieniających się powierzchni. Podobnie jak ludzkie oczy i mózg, DFP wykorzystuje triangulację między pasującymi punktami w dwóch widokach tej samej sceny pod różnymi kątami w celu obliczenia głębokości. Jednak w przeciwieństwie do metody opartej na stereoskopie, DFP wykorzystuje cyfrowy projektor wideo do zastąpienia jednej z kamer1. Projektor szybko rzutuje znany sinusoidalny wzór na obiekt, a powierzchnia obiektu zniekształca te wzory w polu widzenia kamery. Trzy zniekształcone wzory (obrazy z prążkami) z kamery można wykorzystać do obliczenia głębi za pomocą triangulacji.
W przeciwieństwie do innych metod pomiaru 3D, techniki DFP prowadzą do powstania systemów, które są zwykle szybsze, tańsze w sprzęcie, bardziej elastyczne i łatwiejsze do opracowania. Systemy DFP mogą również osiągać taką samą rozdzielczość pomiaru jak kamera. Z tego powodu DFP i inne techniki cyfrowego światła strukturalnego były ostatnio przedmiotem intensywnych badań (jak podsumowano w1-5). Korzystając z DFP, procesora graficznego i zoptymalizowanych algorytmów, opracowaliśmy system zdolny do akwizycji, rekonstrukcji i wyświetlania danych wideo 3D 30 Hz dla ponad 300 000 punktów pomiarowych na klatkę6,7. Binarne metody defoksji DFP mogą osiągać jeszcze większe prędkości8.
Techniki DFP mogą być wykorzystywane w różnych aplikacjach. Nasi współpracownicy korzystali z naszych systemów do analizy funkcji twarzy9, animacji twarzy10, badań mechaniki serca11 i pomiarów powierzchni płynów, ale istnieje wiele innych potencjalnych zastosowań. Ten film nauczy podstaw technik DFP i zilustruje konstrukcję i działanie binarnego systemu DFP z defoksją.

Rysunek 1 przedstawia schemat systemu. Szybki binarny system defokusowania pokazany w tym filmie składa się z projektora Logic PD DLP LightCommander oraz kamery CMOS Phantom v9.1.
Rycina 2 przedstawia pojedynczą klatkę z naszego systemu 3D czasu rzeczywistego obrazującą ludzką twarz. System ten wykorzystuje kamerę o rozdzielczości 640 x 480. Dzięki wspomnianemu wcześniej znanemu wzorowi sinusoidalnemu możemy zarejestrować 640 x 480 = 307 200 pomiarów, co zapewnia rozdzielczość wystarczającą do utrwalenia bardzo drobnych szczegółów.
Rysunek 3 przedstawia przykład pomiaru ludzkiej mimiki twarzy w 3D przy częstotliwości 60 Hz. Tutaj cztery klatki wybrane z sekwencji wideo wyraźnie demonstrują zdolność systemu czasu rzeczywistego do rejestrowania dynamicznych zmian w drobno szczegółowej geometrii.
Rysunek 4 przedstawia nasze oprogramowanie do wizualizacji na żywo, używane wraz z naszym systemem wideo 3D z binarnym rozmyciem w czasie rzeczywistym. Przechwycony w 3D obraz wideo obiektu jest wyświetlany w czasie rzeczywistym na monitorze komputera po jego prawej stronie. Oprogramowanie to zostało napisane w języku C++ przy użyciu biblioteki OpenGL, GLSL oraz QT. Użyty komputer to laptop marki Lenovo.
Rysunek 5 przedstawia klatki 3D z pomiaru żywego serca królika z wykorzystaniem naszego nowo opracowanego superfastycznego systemu binarnego rozogniskowania. System ten pozwala na rejestrację klatek 3D z częstotliwością 667 Hz i rozdzielczością obrazu 576 x 576. Superfastyczna szybkość jest niezbędna do pomiaru powierzchni serca bez artefaktów wywołanych ruchem. Badania nad pomiarem serca są prowadzone we współpracy z prof. Igorem Efimovem z Washington University-St. Louis (szczegóły w 11); należy zaznaczyć, że królik został uśmiercony w sposób humanitarny, a obrazy wykonano, gdy serce wciąż biło.
<img alt="Schemat obrazowania światłem strukturalnym z równaniami projekcji; układ projektor-kamera analizuje wzorce." fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig1highres.jpg" src="/files/ftp_upload/50421/50421fig1.jpg" data-altupdatedat="1787630408000" data-alt="Rysunek 1"> 
Rysunek 1. Układ systemu obrazowania wideo 3D. W tym systemie szybki projektor DLP wyświetla w krótkich odstępach czasu trzy binarne obrazy z ditherowaniem i przesunięciem fazowym na obiekt. Do rejestracji trzech obrazów prążkowych jeden po drugim w celu obliczenia głębokości wykorzystywana jest szybka kamera CMOS.
<img alt="Proces rekonstrukcji 3D twarzy; wizualizacja siatki; technika modelowania cyfrowego; badanie antropometryczne." fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig2highres.jpg" src="/files/ftp_upload/50421/50421fig2.jpg" data-altupdatedat="1787630408000" data-alt="Rysunek 2"> 
Rysunek 2. Pomiary 3D ludzkiej twarzy w rozdzielczości 640 x 480, ujawniające drobne szczegóły. Od lewej do prawej: jednocześnie zarejestrowana tekstura idealnie dopasowana do geometrii, widok cieniowany geometrii, widok szkieletowy obrazujący gęstość punktów, zbliżenie obszaru nosa oraz zbliżenie okolic oka.
<img alt="Morfing mimiki twarzy 3D, transformacja cyfrowa, analiza wizualna, schemat sekwencyjny." fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig3highres.jpg" src="/files/ftp_upload/50421/50421fig3.jpg" data-altupdatedat="1787630408000" data-alt="Rycina 3"> 
Rycina 3. Cztery wybrane klatki z filmu 3D przedstawiającego formowanie się wyrazu twarzy. Wideo zostało zarejestrowane z częstotliwością 60 Hz w rozdzielczości 640 x 480. Klatki te podkreślają zmiany geometryczne w twarzy kobiety podczas przejścia z wyrazu neutralnego do uśmiechu.
<img alt="Układ rozpoznawania twarzy ze skanowaniem optycznym i eksperymentem obrazowania 3D wyświetlającym wyniki w czasie rzeczywistym." fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig4highres.jpg" src="/files/ftp_upload/50421/50421fig4.jpg" data-altupdatedat="1787630408000" data-alt="Rysunek 4"> 
Rysunek 4. Przechwytywanie, przetwarzanie i renderowanie wideo 3D na żywo. Pomiary 3D są wyświetlane w czasie rzeczywistym na ekranie komputera po prawej stronie badanego.
<img alt="Modele 3D serca; schemat przedstawiający różne widoki obrotowe dla analizy obrazowania medycznego." fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig5highres.jpg" src="/files/ftp_upload/50421/50421fig5.jpg" data-altupdatedat="1787630408000" data-alt="Rycina 5"> 
Rycina 5. Rejestracja żywego serca królika za pomocą naszego ultraszybkiego systemu obrazowania wideo 3D. Serce bije z częstotliwością około 200 beats/min. Częstotliwość rejestracji 3D wynosiła 166 Hz przy rozdzielczości obrazu 576 x 576. Więcej szczegółów znajduje się w materiale11.

Ten film opisuje podstawy technik cyfrowej projekcji prążków, które zapewniają gęste pomiary 3D dynamicznie zmieniających się powierzchni. Demonstruje również projekt i działanie szybkiego binarnego systemu defoksji opartego na tych technikach.

Szybkie i szybkie obrazowanie wideo z cyfrowymi technikami projekcji prążków

Digital fringe projection (DFP) techniques provide dense 3D measurements of dynamically changing surfaces.&#160;Like the human eyes and brain, DFP uses ...

Ogólnym celem niniejszej procedury jest rejestracja materiału wideo 3D o wysokiej rozdzielczości w czasie rzeczywistym lub z prędkością przekraczającą czas rzeczywisty. Osiąga się to poprzez rzutowanie obrazów sinusoidalnych wzorów prążkowych na badany obiekt z dużą prędkością za pomocą projektora DLP (digital light processing). W celu uzyskania wysokiej dokładności sekwencyjnie rzutowane są trzy przesunięte wzory cosinusoidalne.Do zarejestrowania tych obrazów z innego kąta obserwacji wykorzystywana jest kamera. Drugim krokiem jest obliczenie fazy zawiniętej z każdego zestawu trzech obrazów prążkowych. Jest to realizowane przy użyciu funkcji arcus tangens oraz wartości intensywności obrazu.Następnie dokonano rozwijania fazy w celu usunięcia dwóch nieciągłości pi, które wynikają z funkcji arcusa tangensa. Ostatnim krokiem jest odzyskanie głębokości z rozwiniętej fazy badanego obiektu. Jest to różnica między mapami rozwiniętej fazy badanego obiektu a płaszczyzną kalibracyjną, odpowiednio przeskalowana i przesunięta o stałe wyznaczone przy użyciu obiektu referencyjnego.W końcowym etapie wynikowe ramki danych można wyświetlić za pomocą oprogramowania graficznego. Główną zaletą tej techniki w porównaniu z innymi istniejącymi metodami, takimi jak skanowanie laserowe, jest możliwość uzyskania zarówno wysokiej rozdzielczości, jak i wysokiej prędkości. Dzięki rzutowaniu znanych wzorów sinusoidalnych na obiekt, dla każdego piksela kamery o rozdzielczości 576 na 576 można uzyskać trójwymiarowy punkt danych.Możemy pobrać ponad 300 000 punktów danych 3D na klatkę. Chociaż metoda ta ma potencjalne zastosowania medyczne, takie jak rejestrowanie powstawania wyrazów twarzy lub pulsującej powierzchni serca, może być ona również zastosowana w wielu innych obszarach badań. Umożliwia ona wysokorozdzielcze przechwytywanie ruchu twarzy do wykorzystania w filmach i grach wideo lub stanowi ulepszoną metodę wideokonferencji.Może być również stosowane do wykrywania defektów w środowisku produkcyjnym. Wizualna demonstracja tej metody jest kluczowa jako kalibracja. Etapy przetwarzania są trudne do opanowania ze względu na wizualny wiek systemu oraz sposób dokonywania pomiarów.Najprostszym i najłatwiejszym sposobem wykrywania problemów jest przeszkolona analiza wizualna. Pierwszym krokiem jest wygenerowanie wzorów prążków, które zostaną wyświetlone. Są one przygotowywane z wyprzedzeniem w środowisku programowania obrazów, w tym przypadku w programie matlab.Niniejszy film skupi się na zastosowaniu wzorów binarnych. Aby wytworzyć rozmyty wzór binarny, należy zastosować technikę ditheringu w celu wygenerowania wzorów sinusoidalnych przy użyciu wyłącznie czystych czarnych i czystych białych pikseli. Należy przygotować trzy obrazy wzoru przesunięte względem siebie w fazie o dwie pi przez trzy, zgodnie z wymogami algorytmu przesunięcia fazowego w trzech krokach.W niniejszej demonstracji dla techniki wieloczęstotliwościowej, która pozwala na uchwycenie wyraźniejszych zmian głębokości, przygotowano dwa dodatkowe zestawy po trzy obrazy. Następnie należy wybrać szybki projektor cyfrowego przetwarzania światła (DLP) z ustawieniem monochromatycznym. Użyć oprogramowania dostarczonego z projektorem, aby przesłać obrazy do przesunięcia fazowego.Następnie należy wybrać czarno-białą kamerę C, CD lub COS o odpowiedniej częstotliwości przechwytywania obrazów dla danego systemu. Należy pamiętać, że kamera musi zarejestrować cały zestaw obrazów prążkowych dla każdej klatki wideo, aby wyznaczyć odległość, w jakiej projektor powinien znajdować się względem obiektu. Przesuń projektor względem dużej płaskiej powierzchni tak, aby pionowy i poziomy zasięg obrazu był nieco większy niż obiekt poddawany badaniu.Zmierz odległość projektora od ściany. Wykorzystaj pożądaną szerokość pola widzenia przy tej odległości oraz rozmiar matrycy kamery, aby wyznaczyć ogniskową obiektywu. Ostatnim etapem konfiguracji jest określenie separacji kątowej między projektorem a kamerą przy dużym kącie między tymi komponentami.Triangulacja między punktami charakterystycznymi jest oczywista, jednak więcej cech ginie w cieniu. Przy małym kącie triangulacja staje się trudniejsza, co zwiększa poziom szumu w wynikach. Zazwyczaj dobrym kompromisem jest zakres od 10 do 15 stopni.Kalibrację najlepiej przeprowadzić bezpośrednio przed akwizycją danych. W przypadku binarnego systemu defokusowania należy odfokusować obiektyw projekcyjny do momentu, aż wzory w płaszczyźnie obrazowania będą przypominać wysokiej jakości sinusoidy. Może to wymagać iteracyjnego procesu analizy danych testowych i regulacji obiektywu.Jeśli prążki zlewają się ze sobą, projektor jest zbyt rozostrzony. Jeśli wewnątrz wzoru widoczne są kropki, projektor jest zbyt ostro ustawiony. Teraz umieść płaską białą tablicę w polu widzenia kamery oraz projektora.Wyświetl pierwszy z obrazów prążkowych na tablicy. Następnie zarejestruj go za pomocą kamery projekcyjnej i zapisz pozostałe obrazy prążkowe. W ten sam sposób zapisz te obrazy prążkowe do etapu przetwarzania danych, oznaczając je jako płaszczyznę kalibracyjną.Następnie umieść obiekt o znanych wymiarach w polu widzenia systemu. W tym przypadku zastosowano sztywną kostkę z pianki pokrytą kwadratami dyfuzyjnej pianki klejącej. Wyprojektuj tę samą serię obrazów prążkowych na kostkę.Utrwalenie każdego z nich za pomocą kamery. Zapisanie wykonanych zdjęć do etapu przetwarzania i oznaczenie ich jako kostka kalibracyjna. W celu zebrania danych.Ustaw badany obiekt w płaszczyźnie ogniskowej kamery, rzutuj obrazy prążkowe na obiekt i rejestruj je. Do poprawnego przechwytywania ruchu przy dużych prędkościach zazwyczaj wymagana jest wysoka szybkość rejestracji. Ludzkie oko dostrzega jedynie prążki.W przypadku interferencji czasowej należy wykorzystać przechwycone obrazy, aby pomóc w dostrojeniu przysłony aparatu. Aby zoptymalizować poziom światła, obrazy prążków powinny być jak najjaśniejsze, ale nie nasycone.Kolejnym krokiem jest postprocesing danych. W algorytmie przesunięcia fazy w trzech krokach faza jest argumentem funkcji cosinus, który określa położenie punktu w obrębie wzoru sinusoidalnego. Zaimplementowano algorytm służący do wyznaczania tej fazy w każdym punkcie na podstawie obrazów prążków; tak obliczona faza zwinięta mieści się w przedziale.Wartości od -PI do PI wynikające z tego algorytmu zostają zastosowane do płaszczyzny i sześcianu kalibracyjnego oraz danych badanego obiektu. Następnie mapy fazy są rozwijane przy użyciu innego algorytmu, aby dodać lub odjąć 2π w miejscach skoków fazy. W technice wieloczęstotliwościowej zawinięte mapy fazy dla każdej częstotliwości są łączone w celu uzyskania pojedynczej rozwiniętej mapy fazy; w tym punkcie ważne jest ponowne odniesienie się do etapu kalibracji. Wykonaj poziomy przekrój poprzeczny przez środek mapy fazy płaszczyzny kalibracyjnej.Usuń profil tła, aby uzyskać szacunkową wartość błędu fazy. Jeśli rzutowany wzór był zbyt ostry, błąd będzie duży. W razie potrzeby wyreguluj soczewkę projektora, aby uzyskać błąd mieszczący się w zadanym zakresie.Wartości ujemne od 0,1 do 0,1 radianów. Następnie trzeci algorytm oblicza głębokość kostki kalibracyjnej. Jest to różnica między mapami faz kostki kalibracyjnej a płaszczyzną odniesienia.Na tej podstawie wyznacza się współczynnik skali. Głębokość obiektu uzyskuje się poprzez odjęcie mapy fazy płaszczyzny referencyjnej od mapy fazy obiektu, a następnie zastosowanie współczynnika skali. Dane można teraz zapisać w celu wizualizacji w programie MATLAB lub innym oprogramowaniu do grafiki 3D.Technika ta umożliwia trójwymiarowe obrazowanie twarzy człowieka w czasie rzeczywistym z dużą prędkością oraz w rozdzielczości wystarczającej do ukazania drobnych szczegółów. Zestaw trzech obrazów po lewej stronie przedstawia całą twarz w trybach: 2D, tekstury, nakładki, cieniowania i oświetlenia oraz siatki. W centrum znajduje się zbliżenie obszaru nosa w widoku siatkowym.Należy zauważyć, że zagęszczenie punktów po prawej stronie stanowi zbliżenie obszaru wokół oka. Obrazy te zostały utworzone przy użyciu sinusoidalnych wzorów prążkowych. Przedstawiono tutaj wideo 3D z procesu powstawania uśmiechu.Wideo zostało zarejestrowane z częstotliwością 60 hertz i rozdzielczością 640 na 480, wykorzystując sinusoidalne wzory prążków. Możliwe jest przechwytywanie, przetwarzanie i renderowanie wideo 3D w czasie rzeczywistym. W tym filmie pomiary 3D są wyświetlane na ekranie komputera z częstotliwością 30 hertz.Jako ostatni przykład możliwości tej metody, prezentowane jest trójwymiarowe obrazowanie wideo żywego serca królika. Przy zastosowaniu binarnego rozostrzenia (binary defocusing), częstotliwość akcji serca wynosiła około 200 uderzeń na minutę. Częstotliwość akwizycji obrazu 3D wynosiła 166 hertz przy rozdzielczości 576 na 576.Wysoka prędkość była niezbędna, aby zapobiec artefaktom ruchowym. Po opanowaniu kalibracji, przechwytywanie i przetwarzanie danych można przeprowadzić w ciągu kilku godzin, jeśli zostanie to wykonane prawidłowo. Dzięki oprogramowaniu do przetwarzania zaprojektowanemu pod kątem szybkości, po jego opracowaniu na ekranie komputera w czasie rzeczywistym można wyświetlić wyniki z wielu, wielu procesorów.Technika ta utorowała drogę badaczom w dziedzinie mechaniki powierzchni serca do badania dynamicznej geometrii powierzchni bijącego serca królika przy użyciu danych wideo 3D o wysokiej rozdzielczości. Po obejrzeniu tego filmu powinieneś posiadać podstawową wiedzę na temat projektowania i obsługi wysokorozdzielczego i szybkiego systemu wideo 3D. W szczególności powinieneś zapoznać się z koncepcjami cyfrowej projekcji prążków z wykorzystaniem skupionych wzorów binarnych oraz metodą kalibracji płaszczyzny odniesienia.Powinieneś być również w stanie rozpoznać różnicę między poprawnymi a błędnymi mapami fazy po rozpakowaniu.

high-resolution-high-speed-three-dimensional-video-imaging-with

Research

JoVE Journal

Engineering

Inżynieria

Wysoka rozdzielczość, Wysoka prędkość, Trójwymiarowe Obrazowanie Wideo z Cyfrowymi Technikami Projekcji Pasemkowości

Nieniszcząca wizualizacja objętościowa jest możliwa do uzyskania jedynie za pomocą technik tomograficznych, z których najefektywniejszą jest mikrotomografia komputerowa (CT) promieniami rentgenowskimi.

Wysokorozdzielcze obrazowanie 3D Ex-vivo Próbki biologiczne w mikro-tomografii komputerowej (mikro-CT)

Opisano pełną konstrukcję niestandardowego systemu obrazowania konfokalnego z przeskanowaniem w czasie rzeczywistym. System ten, który może być łatwo wykorzystany do mikroskopii i mikroendoskopii w tempie wideo, umożliwia zastosowanie szeregu geometrii obrazowania i aplikacji niedostępnych w standardowych komercyjnych systemach konfokalnych, przy ułamku ich kosztów.

Skaningowa mikroskopia konfokalna w czasie rzeczywistym i mikroendoskopia

Bezsoczewkowa tomografia optyczna to trójwymiarowa technika mikroskopowa oferująca rozdzielczość przestrzenną &lt;1 μm × &lt;1 μm × &lt;3 μm odpowiednio w wymiarach x, y i z, przy dużej objętości obrazowania wynoszącej 15-100 mm3, co może być szczególnie użyteczne w integracji z platformami typu lab-on-a-chip.

Bezosobnikowa tomograficzna mikroskopia na chipie z wykorzystaniem wielokątnego oświetlenia i superrozdzielczości pikselowej

Trójwymiarowe lokalizacje słabo rozpraszających obiektów mogą być jednoznacznie zidentyfikowane za pomocą cyfrowej mikroskopii holograficznej (DIHM), która obejmuje niewielką modyfikację standardowego mikroskopu.  Nasze oprogramowanie wykorzystuje prostą heurystykę obrazowania sprzężoną z propagacją wsteczną Rayleigha-Sommerfelda, aby uzyskać trójwymiarowe położenie i geometrię mikroskopijnego obiektu fazowego.

Cyfrowa mikroskopia holograficzna (DIHM) obiektów o słabym rozproszeniu

Przedstawiono metodę pokonywania limitu dyfrakcji optycznej. Metoda obejmuje dwuetapowy proces: optyczne odzyskiwanie fazy za pomocą iteracyjnego algorytmu Gerchberga-Saxtona oraz przesunięcie systemu obrazowania, po którym następuje powtórzenie pierwszego kroku. Syntetycznie zwiększona apertura obiektywu jest generowana wzdłuż kierunku ruchu, co zapewnia wyższą rozdzielczość obrazowania.

Multipleksowanie czasowe Technika super rozdzielczości do obrazowania z ruchomej platformy

Czasoprzestrzenne informacje o dynamicznych białkach wewnątrz żywych komórek są kluczowe dla zrozumienia biologii. Rodzaj mikroskopii superrozdzielczej, zwany szybką mikroskopią oświetlenia strukturalnego 3D (f3D-SIM), ujawnia unikalne informacje na temat cytokinetycznego pierścienia Z u bakterii: zarówno jego wygląd podobny do koralików, jak i szybką dynamikę FtsZ w pierścieniu.

Obrazowanie cytokinetycznego pierścienia Z w superrozdzielczości u żywych bakterii przy użyciu szybkiej mikroskopii oświetlenia strukturalnego 3D (f3D-SIM)

Czterowymiarowe (4D) obrazowanie jest wykorzystywane do badania zachowania i interakcji między dwoma typami endosomów w zakończonych nerwach żywych kręgowców.  Ruch tych małych struktur jest scharakteryzowany w trzech wymiarach, co pozwala na potwierdzenie zdarzeń takich jak fuzja endosomów i egzocytoza.

Wizualizacja dynamiki endosomów w żywych zakończeniach nerwowych za pomocą czterowymiarowego obrazowania fluorescencyjnego

Poniżej przedstawiamy szczegółowy opis eksperymentalnego protokołu obrazowania z nowo opracowanym ręcznym systemem optoakustycznym (fotoakustycznym) do trójwymiarowego obrazowania funkcjonalnego i molekularnego w czasie rzeczywistym. Wykazana wysoka wydajność i wszechstronność mogą zdefiniować nowe obszary zastosowań technologii optoakustycznej w badaniach przedklinicznych i praktyce klinicznej.

Uniwersalna ręczna trójwymiarowa sonda do obrazowania optoakustycznego do angiografii tkanek głębokich i funkcjonalnych badań przedklinicznych w czasie rzeczywistym

Prezentujemy kompaktowy cyfrowy system holograficzny (CDHM) do inspekcji i charakteryzacji urządzeń MEMS. Zademonstrowano konstrukcję bez soczewek wykorzystującą rozbieżną falę wejściową zapewniającą naturalne powiększenie geometryczne. Prezentowane są zarówno badania statyczne, jak i dynamiczne.

Kompaktowy cyfrowy mikroskop holograficzny bez soczewek do kontroli i charakteryzacji MEMS

Opisujemy szczegółowy protokół wykorzystujący mikroskopię episkopową o wysokiej rozdzielczości do pozyskiwania trójwymiarowych (3D) obrazów embrionów myszy. Ten ulepszony protokół wykorzystuje zmodyfikowaną metodę przygotowania tkanek w celu zwiększenia penetracji barwnika fluorescencyjnego, umożliwiając w ten sposób analizę morfometryczną zarówno małych, jak i dużych próbek.

Szybka akwizycja obrazów 3D za pomocą mikroskopii episkopowej o wysokiej rozdzielczości

Przedstawiamy protokół do nagrywania zestawu ultra-realistycznych, pełnokolorowych hologramów analogowych, pokazujących tę samą jasność, przezroczystość i jednorodne kolory, na ultra-drobnoziarnistych emulsjach holograficznych halogenku srebra do produkcji dynamicznego holograficznego wyświetlacza 3D.

Nagrywanie ultrarealistycznych, pełnokolorowych hologramów analogowych do użytku na ruchomym wyświetlaczu hologramowym

Poznaj cyfrową projekcję prążkową do szybkiego obrazowania 3D dynamicznych powierzchni. Technika binarnego defokusowania umożliwia rejestrację ponad 300 000 punktów danych na klatkę z zastosowaniem w medycynie i przemysłowej kontroli jakości.

Szybkie i szybkie obrazowanie wideo z cyfrowymi technikami projekcji prążków

Przeglądaj więcej filmów