Szybkie i szybkie obrazowanie wideo z cyfrowymi technikami projekcji prążków
December 3rd, 2013
Ten film opisuje podstawy technik cyfrowej projekcji prążków, które zapewniają gęste pomiary 3D dynamicznie zmieniających się powierzchni. Demonstruje również projekt i działanie szybkiego binarnego systemu defoksji opartego na tych technikach.
Ogólnym celem tej procedury jest przechwytywanie wideo 3D w wysokiej rozdzielczości z prędkością czasu rzeczywistego lub wyższą. Osiąga się to poprzez projekcję najpierw obrazów sinusoidalnych prążków na obiekt z dużą prędkością za pomocą projektora do cyfrowego przetwarzania światła. Trzy przesunięte wzorce koznaków są rzutowane w sekwencji, aby osiągnąć wysoką dokładność.
Kamera służy do rejestrowania tych obrazów pod innym kątem widzenia. Drugim krokiem jest obliczenie owiniętej fazy z każdego zestawu trzech obrazów wzoru prążka. Osiąga się to za pomocą funkcji stycznej łuku i wartości intensywności obrazu.
Następnie fazy rozwijają się, aby usunąć dwie nieciągłości pi, które wynikają z funkcji stycznej łuku. Ostatnim krokiem jest odzyskanie głębi z fazy rozwikłania obiektu. Jest to różnica między odkrytymi mapami fazowymi obiektu a płaszczyzną kalibracji odpowiednio przeskalowaną i przetłumaczoną przez stałe znalezione za pomocą obiektu referencyjnego.
Ostatecznie wynikowe ramki danych mogą być wyświetlane za pomocą oprogramowania graficznego. Główną zaletą tej techniki w porównaniu z innymi istniejącymi metodami, takimi jak skanowanie laserowe, jest to, że jest ona w stanie osiągnąć zarówno wysoką rozdzielczość, jak i dużą prędkość. Ponieważ znane wzory sinusoidalne są rzutowane na obiekt, punkt danych 3D można pobrać dla każdego piksela kamery używanej z kamerą 5 76 na 5 76
.Możemy pobrać ponad 300 000 punktów danych 3D na klatkę. Chociaż metoda ta ma potencjalne zastosowania medyczne, takie jak uchwycenie formowania się mimiki twarzy lub bijącej powierzchni serca, może być również stosowana w wielu innych dziedzinach nauki. Umożliwia przechwytywanie ruchu twarzy w wysokiej rozdzielczości do użytku w filmach i grach wideo lub jako ulepszoną metodę wideokonferencji.
Może być również używany do wykrywania wad w środowisku produkcyjnym. Wizualna demonstracja tej metody ma kluczowe znaczenie jako kalibracja. Etapy przetwarzania są trudne do nauczenia się ze względu na wiek wizualny systemu i jego wymiary.
Najprostszym i najłatwiejszym sposobem wykrycia problemów jest przeszkolone badanie wzrokowe. Pierwszym krokiem jest wygenerowanie wzorców prążków, które będą rzutowane. Są one przygotowywane z wyprzedzeniem przy użyciu środowiska programowania obrazów tutaj, matlab.
W tym filmie skupimy się na wykorzystaniu wzorców binarnych. Aby utworzyć rozogniskowany wzór binarny, należy użyć techniki roztrząsania w celu wygenerowania wzorów sinusoidalnych przy użyciu tylko czystych czarnych i czysto białych pikseli. Wykonaj trzy obrazy wzorca przesuniętego w fazie od siebie o dwa pi w ciągu trzech, zgodnie z wymaganiami algorytmu trzystopniowego przesunięcia fazowego.
W tej demonstracji wyprodukowano dwa dodatkowe zestawy po trzy częstotliwości dla techniki wieloczęstotliwościowej, która może uchwycić ostrzejsze zmiany głębokości. Następnie wybierz szybki projektor z cyfrowym przetwarzaniem światła o ustawieniu monochromatycznym. Ułatw sobie oprogramowanie dostarczone z projektorem, aby przesłać obrazy do przesunięcia fazowego.
Teraz wybierz czarno-białą kamerę C, CD lub COS o odpowiedniej szybkości przechwytywania dla systemu. Należy pamiętać, że kamera będzie musiała przechwycić cały zestaw obrazów z obwódkami dla każdej klatki wideo, aby znaleźć odległość, w jakiej projektor powinien być umieszczony od obiektu. Przesuń projektor względem dużej płaskiej powierzchni, gdy pionowy i poziomy zakres obrazu jest nieco większy niż badany obiekt.
Zmierz odległość projektora od ściany. Użyj żądanego pola widzenia w tej odległości i rozmiaru matrycy aparatu, aby znaleźć ogniskową obiektywu. Ostatnim krokiem konfiguracji jest określenie odległości kątowej między projektorem a kamerą pod dużym kątem między tymi komponentami.
Triangulacja między punktami cech jest oczywista, ale więcej obiektów gubi się w cieniu. Pod małym kątem triangulacja staje się trudna, zwiększając szum w wynikach. Zazwyczaj 10 do 15 stopni to dobry kompromis.
Najlepiej jest przeprowadzić kalibrację tuż przed pobraniem danych. W przypadku binarnego systemu rozogniskowania należy rozogniskować soczewkę projekcyjną do momentu, aż wzory na płaszczyźnie obrazowania będą przypominać wysokiej jakości sinusoidy. Może to wymagać iteracyjnego procesu badania danych testowych i regulacji obiektywu.
Jeśli obrzeża rozmywają się ze sobą, projektor jest zbyt rozmyty. Jeśli we wzorze widoczne są kropki, projektor jest zbyt ostry. Teraz umieść płaską tablicę suchościeralną w polu widzenia zarówno kamery, jak i projektora.
Wyświetl na tablicy pierwszy z obrazków z frędzlami. Następnie uchwyć go za pomocą projektu aparatu i nagraj pozostałe obrazy frędzli. W ten sam sposób zapisz te obrazy prążków na etapie przetwarzania danych, oznaczając je jako płaszczyznę kalibracji.
Następnie umieść obiekt o znanych wymiarach w polu widzenia systemu. Tutaj stosuje się sztywną kostkę piankową pokrytą kwadratami dyfuzyjnej pianki klejącej. Rzutuj tę samą serię obrazów frędzli na sześcian.
Uchwycenie każdego z nich za pomocą aparatu. Zapisz przechwycone obrazy do etapu przetwarzania, oznaczając je jako kostkę kalibracyjną. Gromadzenie danych.
Ustaw obiekt w płaszczyźnie ogniskowej aparatu, wyświetl obrazy z obwódkami na obiekcie i uchwyć je. Duża prędkość jest zwykle wymagana do poprawnego przechwytywania ruchu z dużą prędkością. Ludzkie oko widzi tylko prążki.
W ingerencji czasowej. Wykorzystane obrazy można wykorzystać do regulacji przysłony aparatu. Aby zoptymalizować poziom światła, obrazy z obwódkami powinny być tak jasne, jak to możliwe, ale nie nasycone.
Kolejnym krokiem jest obróbka końcowa danych. W trzystopniowym algorytmie przesunięcia fazowego faza jest argumentem funkcji kosign, która określa położenie punktu we wzorze sinusoidalnym. Zaimplementowano algorytm do określania tej fazy w każdym punkcie z obrazów prążków, ta obliczona faza owinięta znajduje się w interwale.
Ujemne PI do PI zastosuj ten algorytm do płaszczyzny kalibracji i sześcianu oraz danych przedmiotowych. Następnie rozpakuj mapy faz za pomocą innego algorytmu, aby dodać lub odjąć dwie liczby pi przy skokach fazowych W technice wieloczęstotliwościowej owinięte mapy faz dla każdej częstotliwości są łączone w celu uzyskania pojedynczej, nieopakowanej mapy faz, w tym momencie ważne jest, aby powrócić do kroku kalibracji. Weź przekrój poziomy od środka mapy faz płaszczyzny kalibracji.
Usuń jego profil zbiorczy, aby uzyskać oszacowanie błędu fazy. Jeśli rzutowany wzorzec był zbyt skoncentrowany, błąd będzie duży. W razie potrzeby wyreguluj obiektyw projektora, aby uzyskać błąd w zakresie.
Od minus 0,1 do 0,1 radianów. Następnie trzeci algorytm oblicza głębokość kostki kalibracyjnej. Jest to różnica między kostką kalibracyjną a mapami fazowymi płaszczyzny odniesienia.
Na tej podstawie określa się współczynnik skali. Głębokość obiektu określa się, odejmując mapę faz płaszczyzny odniesienia od mapy płaszczyzny odniesienia i stosując współczynnik skali. Dane można teraz zapisać do wizualizacji w MATLABie lub innym oprogramowaniu graficznym 3D.
Technika ta pozwala na szybkie trójwymiarowe obrazowanie ludzkiej twarzy w czasie rzeczywistym w rozdzielczości wystarczająco wysokiej, aby ujawnić drobne szczegóły. Zestaw trzech obrazów po lewej stronie to cała twarz wyświetlana w trybach 2D, tekstury, nakładki, cieniowania oraz oświetlenia i ramki drucianej. W środku znajduje się zbliżenie obszaru nosa w postaci szkieletu z drutu.
Zwróć uwagę, że gęstość punktów po prawej stronie to zbliżenie obszaru wokół oka. Obrazy te zostały wykonane przy użyciu sinusoidalnych wzorów prążków. Pokazany tutaj jest film 3D przedstawiający powstawanie uśmiechu.
Film został nagrany z częstotliwością 60 Hz z rozdzielczością 640 na 480 wykorzystano sinusoidalne wzory prążków. Możliwe jest wykonywanie wideo 3D na żywo, przechwytywanie, przetwarzanie i renderowanie. W tym filmie pomiary 3D są wyświetlane na ekranie komputera z częstotliwością 30 Hz.
Jako ostatni przykład możliwości tej metody pokazuje to obrazowanie wideo 3D żywego serca królika. Korzystając z binarnego rozmycia, tętno wynosiło około 200 uderzeń na minutę. Szybkość przechwytywania 3D wynosiła 166 Hz z rozdzielczością 576 na 576.
Duża prędkość była konieczna, aby zapobiec artefaktom ruchu. Po opanowaniu kalibracji przechwytywanie i przetwarzanie danych można wykonać w ciągu kilku godzin, jeśli zostanie wykonane prawidłowo. Dzięki oprogramowaniu do przetwarzania zaprojektowanemu z myślą o szybkości, wiele, wiele wyników procesora może być wyświetlanych na ekranie komputera w czasie rzeczywistym po jego opracowaniu.
Technika ta utorowała drogę naukowcom zajmującym się mechaniką powierzchni serca do zbadania dynamicznej geometrii powierzchni bijącego serca królika przy użyciu danych wideo 3D o wysokiej rozdzielczości. Po obejrzeniu tego filmu powinieneś mieć podstawową wiedzę na temat projektowania i obsługi systemu wideo 3D o wysokiej rozdzielczości i szybkości. W szczególności powinieneś być zaznajomiony z koncepcjami stojącymi za cyfrową projekcją prążków z ukierunkowanymi wzorcami binarnymi i metodą kalibracji płaszczyzny odniesienia.
Powinieneś także być w stanie rozpoznać różnicę między dobrymi i złymi nieopakowanymi mapami faz.
Przegląd
To wideo przedstawia techniki cyfrowego projektowania fałdowania światła dla rejestracji gęstych pomiarów 3D dynamicznych powierzchni. Prezentuje ono projekt i działanie systemu wyostrzania binarnego wysokiej prędkości.
Główne elementy badania
Dziedzina nauki
- Neuronauki
- Biofizyka
- Techniki obrazowania
Tło
- Cyfrowe projektowanie fałdowania światła umożliwia rejestrację 3D wideo o wysokiej rozdzielczości.
- Wykorzystuje sinusoidalne wzorce fałdowania rzutowane na obiekty.
- Oferuje zalety w porównaniu z tradycyjnymi metodami skanowania laserowego.
- Może być zastosowane w różnych dziedzinach, w tym w obrazowaniu medycznym i rejestracji ruchu.
Cel badania
- Aby uzyskać rejestrację 3D wideo o wysokiej rozdzielczości w czasie rzeczywistym.
- Aby wykazać skuteczność systemów wyostrzania binarnego.
- Aby zapewnić wizualny przewodnik dotyczący kalibracji i przetwarzania danych.
Stosowane metody
- Projektowanie sinusoidalnych wzorców fałdowania za pomocą projektora cyfrowego przetwarzania światła.
- Rejestrowanie obrazów za pomocą wysokoprędkowej kamery z innego kąta.
- Obliczanie owiniętej fazy z obrazów wzorców fałdowania.
- Rozwijanie faz w celu odzyskania informacji o głębokości.
Główne wyniki
- Udane zarejestrowanie ponad 300 000 punktów danych 3D na klatkę.
- Wykazanie wysokiej prędkości i wysokiej rozdzielczości.
- Przedstawienie potencjalnych zastosowań w dziedzinach medycznych i rozrywkowych.
- Dostarczenie szczegółowego procesu kalibracji dla dokładnych pomiarów.
Wnioski
- Cyfrowe projektowanie fałdowania światła jest potężnym narzędziem do obrazowania 3D.
- Systemy wyostrzania binarnego poprawiają jakość rejestrowanych danych.
- Demonstracje wizualne są kluczowe dla zrozumienia złożonych kroków przetwarzania.
Często zadawane pytania
Executive Industry Relevance
Digital fringe projection enables high-resolution, high-speed 3D video capture of dynamic biological surfaces, supporting mechanistic de-risking in early discovery by providing quantitative, reproducible phenotypic data. This capability enhances target validation and assay development workflows where precise spatiotemporal measurements of tissue or cellular dynamics are required. The technique offers a scalable, cost-effective alternative to traditional 3D imaging methods, improving predictive confidence in preclinical model systems.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of therapeutic hypotheses through precise 3D mapping of dynamic surface changes in biological systems.
- Operational Value: Supports biological de-risking by delivering dense, quantitative depth measurements for functional target assessment.
- Predictive Value: Enhances portfolio triage by generating high-fidelity phenotypic data that improves confidence in lead selection.
Screening & Assay Development
- Scientific Value: Prepares validated biological systems for downstream screening by establishing baseline 3D morphometric profiles.
- Operational Value: Enables assay standardization and reproducibility through calibrated, high-speed 3D data acquisition.
- Scalability: Facilitates platform reuse across multiple targets due to flexible, non-contact measurement approach.
Translational & Preclinical Research
- Scientific Value: Aligns with disease-relevant systems by capturing dynamic surface mechanics in models such as beating heart or facial motion.
- Operational Value: Ensures translational continuity from discovery through preclinical validation via consistent 3D phenotyping.
- Risk-Adjusted Decisions: Supports advancement criteria by providing objective, quantifiable endpoints for efficacy and safety assessment.
Pipeline & Workflow Integration
The method integrates into the discovery continuum from early target validation through lead identification to preclinical studies, enabling continuous 3D monitoring of biological responses.
- Discovery Biology: Supports hypothesis testing and pathway clarification by quantifying 3D surface dynamics in response to perturbations.
- Screening: Delivers assay readiness and quantitative outputs essential for reliable compound evaluation in phenotypic screens.
- Analytics: Provides depth measurements and phase-derived readouts that enable statistical comparison across experimental conditions.
- Translational Research: Connects to preclinical continuity by capturing functional dynamics in disease-relevant models like cardiac mechanics.
- Enterprise Reuse: Functions as a reusable imaging capability across projects due to its adaptability to various biological specimens.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence by reducing mechanistic ambiguity in dynamic biological processes.
- Operational Value: Delivers standardization, reproducibility, and scalability in 3D data generation across labs and sites.
- Strategic Value: Improves go/no-go decisions, capital efficiency, and reduces late-stage biological risk through early phenotypic de-risking.
- Portfolio Impact: Enables risk-adjusted prioritization and advancement decisions based on high-resolution, high-speed 3D phenotyping.
Implementation Considerations
- Requires expertise in optical system setup, phase-shifting algorithms, and 3D reconstruction techniques.
- Needs high-speed projector, synchronized camera, and GPU-accelerated processing infrastructure.
- Demands cross-team standardization of calibration protocols and environmental controls for reliable data.
- Involves adaptation considerations when applying to diverse model systems with varying optical properties.
- Includes practical limitations such as sensitivity to surface reflectivity and ambient light interference, as noted in source material.
