Szybkie i szybkie obrazowanie wideo z cyfrowymi technikami projekcji prążków
3 grudnia 2013
Ten film opisuje podstawy technik cyfrowej projekcji prążków, które zapewniają gęste pomiary 3D dynamicznie zmieniających się powierzchni. Demonstruje również projekt i działanie szybkiego binarnego systemu defoksji opartego na tych technikach.
Ogólnym celem tej procedury jest przechwytywanie wideo 3D w wysokiej rozdzielczości z prędkością czasu rzeczywistego lub wyższą. Osiąga się to poprzez projekcję najpierw obrazów sinusoidalnych prążków na obiekt z dużą prędkością za pomocą projektora do cyfrowego przetwarzania światła. Trzy przesunięte wzorce koznaków są rzutowane w sekwencji, aby osiągnąć wysoką dokładność.
Kamera służy do rejestrowania tych obrazów pod innym kątem widzenia. Drugim krokiem jest obliczenie owiniętej fazy z każdego zestawu trzech obrazów wzoru prążka. Osiąga się to za pomocą funkcji stycznej łuku i wartości intensywności obrazu.
Następnie fazy rozwijają się, aby usunąć dwie nieciągłości pi, które wynikają z funkcji stycznej łuku. Ostatnim krokiem jest odzyskanie głębi z fazy rozwikłania obiektu. Jest to różnica między odkrytymi mapami fazowymi obiektu a płaszczyzną kalibracji odpowiednio przeskalowaną i przetłumaczoną przez stałe znalezione za pomocą obiektu referencyjnego.
Ostatecznie wynikowe ramki danych mogą być wyświetlane za pomocą oprogramowania graficznego. Główną zaletą tej techniki w porównaniu z innymi istniejącymi metodami, takimi jak skanowanie laserowe, jest to, że jest ona w stanie osiągnąć zarówno wysoką rozdzielczość, jak i dużą prędkość. Ponieważ znane wzory sinusoidalne są rzutowane na obiekt, punkt danych 3D można pobrać dla każdego piksela kamery używanej z kamerą 5 76 na 5 76
.Możemy pobrać ponad 300 000 punktów danych 3D na klatkę. Chociaż metoda ta ma potencjalne zastosowania medyczne, takie jak uchwycenie formowania się mimiki twarzy lub bijącej powierzchni serca, może być również stosowana w wielu innych dziedzinach nauki. Umożliwia przechwytywanie ruchu twarzy w wysokiej rozdzielczości do użytku w filmach i grach wideo lub jako ulepszoną metodę wideokonferencji.
Może być również używany do wykrywania wad w środowisku produkcyjnym. Wizualna demonstracja tej metody ma kluczowe znaczenie jako kalibracja. Etapy przetwarzania są trudne do nauczenia się ze względu na wiek wizualny systemu i jego wymiary.
Najprostszym i najłatwiejszym sposobem wykrycia problemów jest przeszkolone badanie wzrokowe. Pierwszym krokiem jest wygenerowanie wzorców prążków, które będą rzutowane. Są one przygotowywane z wyprzedzeniem przy użyciu środowiska programowania obrazów tutaj, matlab.
W tym filmie skupimy się na wykorzystaniu wzorców binarnych. Aby utworzyć rozogniskowany wzór binarny, należy użyć techniki roztrząsania w celu wygenerowania wzorów sinusoidalnych przy użyciu tylko czystych czarnych i czysto białych pikseli. Wykonaj trzy obrazy wzorca przesuniętego w fazie od siebie o dwa pi w ciągu trzech, zgodnie z wymaganiami algorytmu trzystopniowego przesunięcia fazowego.
W tej demonstracji wyprodukowano dwa dodatkowe zestawy po trzy częstotliwości dla techniki wieloczęstotliwościowej, która może uchwycić ostrzejsze zmiany głębokości. Następnie wybierz szybki projektor z cyfrowym przetwarzaniem światła o ustawieniu monochromatycznym. Ułatw sobie oprogramowanie dostarczone z projektorem, aby przesłać obrazy do przesunięcia fazowego.
Teraz wybierz czarno-białą kamerę C, CD lub COS o odpowiedniej szybkości przechwytywania dla systemu. Należy pamiętać, że kamera będzie musiała przechwycić cały zestaw obrazów z obwódkami dla każdej klatki wideo, aby znaleźć odległość, w jakiej projektor powinien być umieszczony od obiektu. Przesuń projektor względem dużej płaskiej powierzchni, gdy pionowy i poziomy zakres obrazu jest nieco większy niż badany obiekt.
Zmierz odległość projektora od ściany. Użyj żądanego pola widzenia w tej odległości i rozmiaru matrycy aparatu, aby znaleźć ogniskową obiektywu. Ostatnim krokiem konfiguracji jest określenie odległości kątowej między projektorem a kamerą pod dużym kątem między tymi komponentami.
Triangulacja między punktami cech jest oczywista, ale więcej obiektów gubi się w cieniu. Pod małym kątem triangulacja staje się trudna, zwiększając szum w wynikach. Zazwyczaj 10 do 15 stopni to dobry kompromis.
Najlepiej jest przeprowadzić kalibrację tuż przed pobraniem danych. W przypadku binarnego systemu rozogniskowania należy rozogniskować soczewkę projekcyjną do momentu, aż wzory na płaszczyźnie obrazowania będą przypominać wysokiej jakości sinusoidy. Może to wymagać iteracyjnego procesu badania danych testowych i regulacji obiektywu.
Jeśli obrzeża rozmywają się ze sobą, projektor jest zbyt rozmyty. Jeśli we wzorze widoczne są kropki, projektor jest zbyt ostry. Teraz umieść płaską tablicę suchościeralną w polu widzenia zarówno kamery, jak i projektora.
Wyświetl na tablicy pierwszy z obrazków z frędzlami. Następnie uchwyć go za pomocą projektu aparatu i nagraj pozostałe obrazy frędzli. W ten sam sposób zapisz te obrazy prążków na etapie przetwarzania danych, oznaczając je jako płaszczyznę kalibracji.
Następnie umieść obiekt o znanych wymiarach w polu widzenia systemu. Tutaj stosuje się sztywną kostkę piankową pokrytą kwadratami dyfuzyjnej pianki klejącej. Rzutuj tę samą serię obrazów frędzli na sześcian.
Uchwycenie każdego z nich za pomocą aparatu. Zapisz przechwycone obrazy do etapu przetwarzania, oznaczając je jako kostkę kalibracyjną. Gromadzenie danych.
Ustaw obiekt w płaszczyźnie ogniskowej aparatu, wyświetl obrazy z obwódkami na obiekcie i uchwyć je. Duża prędkość jest zwykle wymagana do poprawnego przechwytywania ruchu z dużą prędkością. Ludzkie oko widzi tylko prążki.
W ingerencji czasowej. Wykorzystane obrazy można wykorzystać do regulacji przysłony aparatu. Aby zoptymalizować poziom światła, obrazy z obwódkami powinny być tak jasne, jak to możliwe, ale nie nasycone.
Kolejnym krokiem jest obróbka końcowa danych. W trzystopniowym algorytmie przesunięcia fazowego faza jest argumentem funkcji kosign, która określa położenie punktu we wzorze sinusoidalnym. Zaimplementowano algorytm do określania tej fazy w każdym punkcie z obrazów prążków, ta obliczona faza owinięta znajduje się w interwale.
Ujemne PI do PI zastosuj ten algorytm do płaszczyzny kalibracji i sześcianu oraz danych przedmiotowych. Następnie rozpakuj mapy faz za pomocą innego algorytmu, aby dodać lub odjąć dwie liczby pi przy skokach fazowych W technice wieloczęstotliwościowej owinięte mapy faz dla każdej częstotliwości są łączone w celu uzyskania pojedynczej, nieopakowanej mapy faz, w tym momencie ważne jest, aby powrócić do kroku kalibracji. Weź przekrój poziomy od środka mapy faz płaszczyzny kalibracji.
Usuń jego profil zbiorczy, aby uzyskać oszacowanie błędu fazy. Jeśli rzutowany wzorzec był zbyt skoncentrowany, błąd będzie duży. W razie potrzeby wyreguluj obiektyw projektora, aby uzyskać błąd w zakresie.
Od minus 0,1 do 0,1 radianów. Następnie trzeci algorytm oblicza głębokość kostki kalibracyjnej. Jest to różnica między kostką kalibracyjną a mapami fazowymi płaszczyzny odniesienia.
Na tej podstawie określa się współczynnik skali. Głębokość obiektu określa się, odejmując mapę faz płaszczyzny odniesienia od mapy płaszczyzny odniesienia i stosując współczynnik skali. Dane można teraz zapisać do wizualizacji w MATLABie lub innym oprogramowaniu graficznym 3D.
Technika ta pozwala na szybkie trójwymiarowe obrazowanie ludzkiej twarzy w czasie rzeczywistym w rozdzielczości wystarczająco wysokiej, aby ujawnić drobne szczegóły. Zestaw trzech obrazów po lewej stronie to cała twarz wyświetlana w trybach 2D, tekstury, nakładki, cieniowania oraz oświetlenia i ramki drucianej. W środku znajduje się zbliżenie obszaru nosa w postaci szkieletu z drutu.
Zwróć uwagę, że gęstość punktów po prawej stronie to zbliżenie obszaru wokół oka. Obrazy te zostały wykonane przy użyciu sinusoidalnych wzorów prążków. Pokazany tutaj jest film 3D przedstawiający powstawanie uśmiechu.
Film został nagrany z częstotliwością 60 Hz z rozdzielczością 640 na 480 wykorzystano sinusoidalne wzory prążków. Możliwe jest wykonywanie wideo 3D na żywo, przechwytywanie, przetwarzanie i renderowanie. W tym filmie pomiary 3D są wyświetlane na ekranie komputera z częstotliwością 30 Hz.
Jako ostatni przykład możliwości tej metody pokazuje to obrazowanie wideo 3D żywego serca królika. Korzystając z binarnego rozmycia, tętno wynosiło około 200 uderzeń na minutę. Szybkość przechwytywania 3D wynosiła 166 Hz z rozdzielczością 576 na 576.
Duża prędkość była konieczna, aby zapobiec artefaktom ruchu. Po opanowaniu kalibracji przechwytywanie i przetwarzanie danych można wykonać w ciągu kilku godzin, jeśli zostanie wykonane prawidłowo. Dzięki oprogramowaniu do przetwarzania zaprojektowanemu z myślą o szybkości, wiele, wiele wyników procesora może być wyświetlanych na ekranie komputera w czasie rzeczywistym po jego opracowaniu.
Technika ta utorowała drogę naukowcom zajmującym się mechaniką powierzchni serca do zbadania dynamicznej geometrii powierzchni bijącego serca królika przy użyciu danych wideo 3D o wysokiej rozdzielczości. Po obejrzeniu tego filmu powinieneś mieć podstawową wiedzę na temat projektowania i obsługi systemu wideo 3D o wysokiej rozdzielczości i szybkości. W szczególności powinieneś być zaznajomiony z koncepcjami stojącymi za cyfrową projekcją prążków z ukierunkowanymi wzorcami binarnymi i metodą kalibracji płaszczyzny odniesienia.
Powinieneś także być w stanie rozpoznać różnicę między dobrymi i złymi nieopakowanymi mapami faz.
Przegląd
W niniejszym filmie przedstawiono techniki cyfrowej projekcji prążków służące do gęstego pomiaru 3D powierzchni dynamicznych. Omówiono konstrukcję i zasadę działania szybkiego systemu binarnego rozogniskowania.
Kluczowe elementy badania
Dziedzina nauki
- Neuronauka
- Biofizyka
- Techniki obrazowania
Wprowadzenie
- Cyfrowa projekcja prążków umożliwia wysokorozdzielcze przechwytywanie wideo 3D.
- Wykorzystuje sinusoidalne wzory prążków projektowane na obiekty.
- Oferuje zalety w stosunku do tradycyjnych metod skanowania laserowego.
- Znajduje zastosowanie w różnych dziedzinach, w tym w obrazowaniu medycznym i przechwytywaniu ruchu.
Cel badania
- Osiągnięcie wysokiej rozdzielczości w czasie rzeczywistym podczas rejestracji wideo 3D.
- Wykazanie skuteczności binarnych systemów defocusingu.
- Przedstawienie wizualnego przewodnika po kalibracji i przetwarzaniu danych.
Zastosowane metody
- Projektowanie sinusoidalnych wzorów prążkowych za pomocą projektora DLP (digital light processing).
- Rejestrowanie obrazów kamerą wysokiej rozdzielczości pod innym kątem.
- Obliczanie fazy zwiniętej z obrazów wzorów prążkowych.
- Rozwijanie faz w celu odzyskania informacji o głębokości.
Główne wyniki
- Pomyślnie zarejestrowano ponad 300 000 punktów danych 3D na klatkę.
- Wykazano możliwości wysokiej prędkości i wysokiej rozdzielczości.
- Zaprezentowano potencjalne zastosowania w dziedzinie medycyny i rozrywki.
- Przedstawiono szczegółowy proces kalibracji w celu uzyskania dokładnych pomiarów.
Wnioski
- Cyfrowa projekcja prążków jest potężnym narzędziem do obrazowania 3D.
- Binarne systemy defokusowania poprawiają jakość rejestrowanych danych.
- Demonstracje wizualne są kluczowe dla zrozumienia złożonych etapów przetwarzania.
Najczęściej zadawane pytania
Znaczenie przemysłowe
Cyfrowa projekcja prążków umożliwia szybkie obrazowanie 3D w wysokiej rozdzielczości dynamicznych powierzchni biologicznych, co wspiera ograniczanie ryzyka mechanistycznego we wczesnej fazie odkryć poprzez dostarczanie ilościowych i powtarzalnych danych fenotypowych. Możliwość ta usprawnia procesy walidacji celów oraz opracowywania testów w sytuacjach, gdy wymagane są precyzyjne pomiary czasoprzestrzenne dynamiki tkanek lub komórek. Technika ta stanowi skalowalną i kosztowo efektywną alternatywę dla tradycyjnych metod obrazowania 3D, zwiększając pewność prognostyczną w systemach modeli przedklinicznych.
Strategiczne zastosowania w badaniach i rozwoju biofarmaceutycznym
Wczesne odkrywanie i walidacja celu
- Wartość naukowa: Umożliwia weryfikację hipotez terapeutycznych poprzez precyzyjne mapowanie 3D dynamicznych zmian powierzchniowych w systemach biologicznych.
- Wartość operacyjna: Wspiera ograniczanie ryzyka biologicznego poprzez dostarczanie gęstych, ilościowych pomiarów głębokości do oceny funkcjonalnej celu.
- Wartość predykcyjna: Usprawnia selekcję projektów w portfolio dzięki generowaniu wysokiej wierności danych fenotypowych, co zwiększa pewność w wyborze wiodących kandydatów.
Przesiewanie i opracowywanie testów
- Wartość naukowa: Przygotowanie zwalidowanych układów biologicznych do dalszego przesiewu poprzez ustalenie bazowych profili morfometrycznych 3D.
- Wartość operacyjna: Umożliwienie standaryzacji i powtarzalności testów dzięki skalibrowanej, szybkiej akwizycji danych 3D.
- Skalowalność: Ułatwienie ponownego wykorzystania platformy dla wielu różnych celów dzięki elastycznemu, bezkontaktowemu podejściu pomiarowemu.
Badania translacyjne i przedkliniczne
- Wartość naukowa: Zapewnia zgodność z układami istotnymi dla przebiegu choroby poprzez rejestrację dynamicznej mechaniki powierzchni w modelach takich jak bijące serce lub ruchy twarzy.
- Wartość operacyjna: Zapewnia ciągłość translacyjną od etapu odkrycia po walidację przedkliniczną dzięki spójnemu fenotypowaniu 3D.
- Decyzje skorygowane o ryzyko: Wspiera kryteria rozwoju projektu, dostarczając obiektywnych, mierzalnych punktów końcowych do oceny skuteczności i bezpieczeństwa.
Integracja potoków i przepływów pracy
Metoda ta integruje się z kontinuum procesów odkrywania leków – od wczesnej walidacji celu, poprzez identyfikację związku wiodącego, aż po badania przedkliniczne – umożliwiając ciągłe monitorowanie odpowiedzi biologicznych w 3D.
- Biologia odkrywcza: Wspiera testowanie hipotez i wyjaśnianie szlaków sygnałowych poprzez kwantyfikację dynamiki powierzchni 3D w odpowiedzi na perturbacje.
- Screening: Zapewnia gotowość testów i wyniki ilościowe, które są niezbędne do rzetelnej oceny związków w badaniach fenotypowych.
- Analityka: Dostarcza pomiarów głębokości i odczytów pochodnych z fazy, które umożliwiają porównanie statystyczne między różnymi warunkami eksperymentalnymi.
- Badania translacyjne: Zapewnia ciągłość przedkliniczną poprzez rejestrację dynamiki funkcjonalnej w modelach istotnych dla chorób, takich jak mechanika serca.
- Wykorzystanie w przedsiębiorstwie: Funkcjonuje jako wielokrotnego użytku narzędzie obrazowania w różnych projektach dzięki swojej zdolności adaptacji do różnych preparatów biologicznych.
Wpływ operacyjny i przedsiębiorstwowy
- Wartość naukowa: Zwiększa pewność prognostyczną poprzez redukcję niejednoznaczności mechanistycznej w dynamicznych procesach biologicznych.
- Wartość operacyjna: Zapewnia standaryzację, powtarzalność i skalowalność w generowaniu danych 3D pomiędzy laboratoriami i ośrodkami.
- Wartość strategiczna: Poprawia proces podejmowania decyzji go/no-go, zwiększa efektywność kapitałową i redukuje ryzyko biologiczne w późnych etapach dzięki wczesnej minimalizacji ryzyka fenotypowego.
- Wpływ na portfolio: Umożliwia priorytetyzację skorygowaną o ryzyko oraz podejmowanie decyzji o dalszym rozwoju w oparciu o wysokorozdzielcze i szybkie fenotypowanie 3D.
Wskazówki dotyczące wdrożenia
- Wymaga wiedzy specjalistycznej w zakresie konfiguracji układów optycznych, algorytmów przesunięcia fazowego oraz technik rekonstrukcji 3D.
- Wymaga zastosowania szybkich projektorów, zsynchronizowanych kamer oraz infrastruktury obliczeniowej z akceleracją GPU.
- Wymaga międzyzespołowej standaryzacji protokołów kalibracji i kontroli środowiskowych w celu uzyskania wiarygodnych danych.
- Wiąże się z koniecznością dostosowania parametrów przy stosowaniu w różnych systemach modelowych o zróżnicowanych właściwościach optycznych.
- Obejmuje ograniczenia praktyczne, takie jak wrażliwość na odblaskowość powierzchni i zakłócenia spowodowane światłem otoczenia, zgodnie z materiałami źródłowymi.
