Высокое разрешение, высокая скорость, Трехмерная Видео Формирование изображений с цифровой Fringe методы проекции

Summary

Это видео описывает основы методов цифровой проекции полос, которые обеспечивают плотные 3D-измерения динамически изменяющихся поверхностей. Оно также демонстрирует конструкцию и работу высокоскоростной системы двоичной расфокусировки, основанной на этих методах.

Abstract

Методы цифровой проекции на полосы (DFP) обеспечивают плотные 3D-измерения динамически изменяющихся поверхностей. Подобно человеческим глазам и мозгу, DFP использует триангуляцию между совпадающими точками на двух видах одной и той же сцены под разными углами для вычисления глубины. Однако, в отличие от метода, основанного на стерео, DFP использует цифровой видеопроектор для замены одной из камер1. Проектор быстро проецирует известный синусоидальный узор на объект, и поверхность объекта искажает эти узоры в поле зрения камеры. Три искаженных узора (изображения с полосой) с камеры могут быть использованы для вычисления глубины с помощью триангуляции.

В отличие от других методов 3D-измерений, DFP позволяет создавать системы, которые имеют тенденцию быть быстрее, дешевле в использовании оборудования, более гибкими и простыми в разработке. Системы DFP также могут достигать того же разрешения измерения, что и камера. По этой причине DFP и другие методы цифрового структурированного света в последнее время находятся в центре интенсивных исследований (как кратко изложено в^{пунктах 1-5}). Используя преимущества DFP, графического процессора, и оптимизированные алгоритмы, мы разработали систему, способную собирать, восстанавливать и отображать 3D-видеоданные с частотой 30 Гц для более чем 300 000 точек измерения на кадр^6,7. Методы двоичной расфокусировки DFP позволяют достичь еще больших скоростей⁸.

Методы DFP могут быть полезны для различных приложений. Наши сотрудники использовали наши системы для анализа функций лица⁹, лицевой анимации¹⁰, исследований в области механики сердца¹¹ и измерения поверхности жидкости, но существует множество других потенциальных применений. Это видео научит основам методов DFP и проиллюстрирует конструкцию и работу системы двойного расфокусировки DFP.

Introduction

Методы цифровой маргинальной проекции (DFP) основаны на корреляции и триангуляции между двумя видами одной и той же сцены под разными углами, по одному и тому же принципу, используемому человеческим глазом и мозгом для достижения стереозрения. Однако, в отличие от метода, основанного на стерео, DFP использует цифровой видеопроектор для замены одной из камер¹. Проектор быстро проецирует на объект известную синусоидальную структуру, поверхность которой искажается в поле зрения камеры. Три таких искаженных паттерна (изображения полосы) при различных фазовых сдвигах друг от друга могут быть проанализированы для получения глубины с помощью триангуляции. Использование известного шаблона устраняет сложную вычислительную задачу идентификации точек соответствия, позволяя проводить измерения глубины с разрешением камеры. Например, с помощью камеры с разрешением 576 x 576 техника может захватить 331 776 точек. Это позволяет системам DFP измерять очень мелкие детали, такие как движение лицевых мышц в человеческих эмоциях.

Методы 3D-оптической визуализации статических или квазистатических событий широко изучались в течение последних нескольких десятилетий и добились большого успеха в дизайне видеоигр, анимации, фильмах, музыкальных клипах, виртуальной реальности, телехирургии и многих инженерных дисциплинах. Несмотря на то, что существует множество методов 3D-профилометрии, их можно разделить на две категории: поверхностные контактные методы и поверхностные бесконтактные методы. Как координатно-измерительная машина (КИМ), так и атомно-силовой микроскоп (АСМ) требуют контакта с измерительной поверхностью для получения 3D-профилей с высокой точностью. Это требование накладывает серьезные ограничения на скорость контактных методов. Они не могут достичь скорости измерения в кГц с тысячами точек за сканирование.

Поверхностные бесконтактные методы обычно используют методы оптической триангуляции (например, стереозрение, пространственно-временное стерео, структурированный свет). Активно проецируя известные узоры на объекты, методы структурированного света могут быть использованы для измерения поверхностей без сильных локальных изменений текстуры¹. Анализ бахромы — это специальная группа техник структурированного света, в которой используются синусоидальные структурированные узоры (также известные как бахромные узоры). Поскольку интенсивность этих шаблонов постоянно изменяется от точки к точке известным образом, они увеличивают технику структурированного света с пиксельного разрешения проектора до пиксельного разрешения камеры¹². В недавнем прошлом методы анализа полос сыграли важную роль в создании 3D-изображений с высоким разрешением.

Метод цифровой проекции полос (DFP) использует цифровые видеопроекторы для создания синусоидальных полос. Этот метод имеет преимущества более низкой стоимости, более высокой скорости и простоты разработки, и в течение последнего десятилетия он был очень активной областью исследований. Последние разработки в области DFP и аналогичных технологий цифрового структурированного света обобщены в^{пунктах 1-5}. Для создания высокоскоростных приложений предпочтительнее использовать проектор с цифровой обработкой света (DLP) из-за его основного механизма работы. Скорость и гибкость этой методики позволили нам получить 3D-видео с частотой ^{40 Гц 13}, а затем с частотой ^{60 Гц 6,7}.

Тем не менее, существует фундаментальное ограничение скорости для традиционной техники DFP. DLP-проектор может менять местами только 8-битные цветные изображения с максимальной частотой обновления (обычно 120 Гц). Поскольку традиционные узоры бахромы представляют собой 8-битные изображения в оттенках серого, мы можем закодировать три из них в одно цветное изображение как красный, зеленый и синий цветовые каналы. Проектор будет переключать каждый канал (и, следовательно, каждую полосу) с частотой обновления, в три раза превышающей (обычно 360 Гц). Однако, поскольку для каждого кадра 3D-видео требуется три полосы, максимальная скорость захвата 3D-видео по-прежнему составляет только частоту обновления (120 Гц)^3,14. Чтобы обойти это аппаратное ограничение, мы изобрели модифицированную технику DFP, которая использует двоичную расфокусировку⁸. Вместо 8-битных шаблонов полос в оттенках серого в этом методе используются сгенерированные компьютером 1-битные двоичные структурированные шаблоны. Эти паттерны расфокусируются с помощью объектива проектора, превращаясь в псевдосинусоидальные паттерны для DFP. Поскольку DLP-проекторы могут отображать двоичные изображения на порядки быстрее, чем 8-битные изображения в оттенках серого, технология двоичной расфокусировки обеспечивает скорость 3D-изображения в десятки килогерц с тем же разрешением, что и обычные методы DFP.

Общая цель данного протокола — продемонстрировать базовую реализацию и работу системы DFP с двойным расфокусированием и трехступенчатым сдвигом фазы. Во-первых, в протоколе будет прописан выбор и интеграция необходимых компонентов. Затем будет обсуждаться самый простой и доступный метод калибровки для системы; Более сложные методы калибровки доступны в литературе для конкретных применений^16,17. Затем протокол будет сосредоточен на процедуре захвата 3D-видео с помощью системы и процессе преобразования изображений полос в визуализированные 3D-измерения. Наконец, мы представим некоторые репрезентативные результаты работы наших высокоскоростных систем в режиме реального времени.

Protocol

1. Конфигурация системы

Схема системы показана на рисунке 1.

1. Сгенерируйте узоры бахрома для проекции. Они могут быть подготовлены заблаговременно с помощью среды программирования изображений, такой как MATLAB, OpenCV или QT. Постройте шаблоны в соответствии с трехступенчатым алгоритмом фазового сдвига в^{пункте 18}. Делаем три изображения, смещенных по фазе друг от друга на 2π/3. Для двоичной расфокусировки используйте метод дизеринга для создания синусоидальных узоров с использованием только черных и белых пикселей, как описано в^{пункте 19}.
2. Выберите проектор с цифровой обработкой света. Для высокоскоростной системы двоичной дефокусировки требуется более быстрый специализированный проектор, такой как DLP LightCommander с модулем ALP High Speed. Обязательно используйте бинарную или монохроматическую настройку для проецирования изображений с бахромой. Поскольку значения изображения являются полностью включенными или выключенными, корректировка нелинейности не требуется. Используйте программное обеспечение проектора для загрузки шаблонов для сдвига фазы.
3. Выберите камеру. Выберите черно-белую ПЗС- или КМОП-камеру с подходящей для системы скоростью захвата. Избегайте цветных камер для 3D-съемки, так как цвет не нужен, а цветные камеры требуют коррекции нелинейности и гаммы. Имейте в виду, что камера должна будет захватывать весь набор изображений полосы для каждого 3D-кадра видео. Высококачественные синусоидальные системы требуют точной синхронизации между проектором и камерой; Для систем бинарной расфокусировки это требование более мягкое²⁰.
4. Определите желаемый максимальный (x, y) диапазон и расстояние от проектора до объекта (d₀). Выберите диапазон, который имеет смысл для приложения, но убедитесь, что площадь немного больше объекта, чтобы уменьшить любые оптические граничные эффекты. Поскольку световой поток проектора представляет собой усеченную пирамиду, этот диапазон (x, y) будет приводить к d₀. Перемещайте проектор относительно большой плоской проекционной поверхности до тех пор, пока не будет найден нужный диапазон (x, y), затем измерьте d₀ рулеткой.
5. Выберите объектив камеры с подходящим фокусным расстоянием. Используя размер сенсора камеры, найдите фокусное расстояние, такое, чтобы поле зрения на расстоянии d₀ совпадало с желаемым диапазоном изображения (x, y).
6. Определите расстояние между проектором и камерой. Здесь происходит компромисс между шумом и затенением. При большом угле между этими компонентами триангуляция между характерными точками более очевидна, но больше объектов теряется в тени с точки зрения камеры. При малом угле триангуляция становится затруднительной, что увеличивает шум в результатах. Как правило, 10-15° является хорошим компромиссом.

2. Калибровка системы

Эта калибровка плоскости отсчета является самым простым и доступным методом калибровки системы. Поэтому он лучше всего подходит для начала работы. Более точные методы калибровки доступны в литературе для конкретных применений синусоидальной¹⁶ и двоичной расфокусировки¹⁷. Для обеспечения максимальной точности калибровку следует выполнять непосредственно перед сбором данных. После калибровки камера и проектор не должны смещаться относительно друг друга.

1. Сфокусируйте/расфокусируйте проектор. Тщательно расфокусируйте проекционный объектив до тех пор, пока узоры на плоскости изображения не станут напоминать высококачественные синусоиды. Для этого может потребоваться итеративный процесс проверки качества данных (раздел 4) и настройки объектива.
2. Захват изображений полосы плоскости отсчета. Поместите плоскую белую доску в фокальной плоскости проектора и в поле зрения камеры. Плита с белым пенопластовым сердечником толщиной 3/16 дюйма (5 мм) хорошо подходит при условии, что поверхность, обращенная к системе, не блестит и не имеет значительных пятен или разрывов. Запишите и сохраните изображения этой доски для этапа обработки данных.
3. Захват периферийных изображений опорного объекта известных размеров. Для этого шага одним из простых примеров является кубик из жесткого пенопласта. Покройте куб квадратами белой клеевой пены толщиной 1/16 дюйма (1,5 мм), чтобы он распылялся. Поместите его в фокальную плоскость камеры в поле зрения камеры и запишите изображения полос для этапа обработки.

3. Сбор данных

1. Поместите объект или предложите ему сесть в фокальную плоскость камеры. Если речь идет о человеке, предупредите его или ее о том, что свет проектора может быть ярким. Черный тканевый фон можно использовать позади объекта, чтобы скрыть постороннее окружение.
2. Отрегулируйте диафрагму камеры для оптимизации уровня освещенности. Примеры изображений с бахромой должны быть максимально яркими, но не насыщенными. Темные изображения будут иметь слишком много шума, в то время как насыщенные участки (значительные области максимальной яркости) на изображениях приведут к потере деталей в насыщенной области.
3. Захватите нужное количество кадров. Обязательно возьмите с собой жесткий диск достаточно большого размера, чтобы вместить все снятые изображения как для объекта, так и для калибровочных наборов данных. С помощью домена . OBJ, 3D-видео, записанное с частотой 30 Гц в течение 1 минуты с разрешением 640 x 480, может занимать более 50 ГБ.

4. Анализ и визуализация данных

С программным обеспечением, оптимизированным для скорости, таким как наш внутренний графический интерфейс, этот шаг может выполняться во время сбора данных. Обработка данных в режиме реального времени позволяет пользователю немедленно определить, желательны ли полученные данные для приложения, и при необходимости скорректировать их. Тем не менее, постобработка может быть более гибкой и более точной по скорости. Постобработка также намного проще в реализации и является лучшим местом для начала.

1. Вычисление фазы упаковки как для калибровки, так и для данных объекта. В трехступенчатом алгоритме фазового сдвига в¹⁸ фаза описывает положение точки в косинусной функции. Поскольку у нас есть три уравнения и три неизвестных, мы можем решить уравнения, используемые для создания изображений полос на шаге 1.1 для фазы в каждой точке. Из-за функции арктангенса вычисленная фаза находится в диапазоне (-π, π]; Чтобы повысить скорость обработки данных, мы разработали алгоритм быстрой фазовой обертывания, который обсуждается в^{пункте 21}.
2. Разверните карты фаз. Примите алгоритм развертки фазы, который обнаруживает скачки 2π в фазе и удаляет их путем сложения или вычитания, кратного 2π. В предыдущих системах мы использовали алгоритм fast в^{версии 22} для надежного и быстрого раскрытия фазы. В видео мы демонстрируем многочастотный метод, описанный в^{пункте 15}, в котором используются дополнительные наборы из трех диаграмм со сдвигом фазы на различных частотах. Обернутые фазовые карты из каждого набора из трех можно объединить для получения одной неразвернутой фазовой карты. Этот метод увеличивает диапазон глубины для точной съемки с двоичной расфокусировкой.
3. Дополнительно: Вычисление 2D-текстуры. Усреднение наборов из трех соседних изображений с бахромой приведет к размыванию полос бахромы и созданию 2D-текстурной карты. При желании это может быть отображено на 3D-данных во время визуализации.
4. Преобразуйте развернутые фазовые карты в глубину. Как описано в^{пункте 23}, глубина может быть вычислена для калибровочного куба как разница между картой фаз калибровочного куба и картой фаз плоскости отсчета. Сравните эту вычисленную глубину с известной глубиной, чтобы вычислить правильный коэффициент масштабирования глубины c₀. Затем вычислите глубину для объекта, вычитая фазу плоскости отсчета из фазы объекта и умножая результаты на c₀.
5. Вычислите координаты x и y. Примените коэффициент масштабирования c₀ к карте глубины калибровочного куба. Определите коэффициент преобразования ρ из размеров куба в пикселях в известные размеры куба в плоскости xy. Умножьте количество пикселей в данных объекта на ρ, чтобы вычислить координаты x и y.
6. Визуализируйте данные. Отдельные кадры могут быть сохранены в нашем собственном формате и просмотрены с помощью простого кода MATLAB или сохранены в . OBJ и просматривается с помощью коммерческой программы 3D-моделирования, такой как Blender. Из-за большого объема данных в каждом кадре эти приложения могут работать медленно на некоторых компьютерах. Для повышения скорости отклика или отображения видео в реальном времени напишите программное обеспечение, используя библиотеку компьютерной графики, такую как OpenGL или Direct3D. Это программное обеспечение может использовать преимущества графического процессора (GPU) для быстрой генерации координат x, y и z из развернутой фазы, формирования треугольной сетки, вычисления нормалей освещения и отображения результатов. Используя графический процессор, мы добились визуализации 3D-данных в реальном времени с частотой до 30 Гц и примерно 300 000 точек на кадр.

Results

На рисунке 1 показана схема системы. Высокоскоростная система двоичной дефокусировки в этом видео состоит из проектора Logic PD DLP LightCommander и CMOS-камеры Phantom v9.1.

Рисунок 2 представляет собой один кадр из нашей 3D-системы реального времени человеческого лица. Эта система использует камеру 640 x 480. Благодаря вышеупомянутому известному синусоидальному рисунку, мы можем захватить 640 x 480 = 307,200 измерений, что достаточно для записи очень мелких деталей.

На рисунке 3 показан пример измерения выражения лица человека в 3D с частотой 60 Гц. Здесь четыре кадра, выбранные из видеопоследовательности, наглядно демонстрируют способность системы реального времени фиксировать динамические изменения в мельчайшей геометрии.

Рисунок 4 демонстрирует наше программное обеспечение для визуализации в реальном времени, используемое в сочетании с нашей системой двоичного расфокусировки 3D-видео в реальном времени. Захваченное в реальном времени видео объекта отображается в реальном времени на мониторе компьютера справа от него. Это программное обеспечение было написано на C++ с использованием библиотеки OpenGL, GLSL и QT. Используемый компьютер - ноутбук Lenovo.

На рисунке 5 показаны 3D-кадры из измерения сердца кролика в реальном времени с помощью нашей недавно разработанной сверхбыстрой бинарной системы расфокусировки. Эта система может записывать 3D-кадры с частотой 667 Гц и разрешением изображения 576 x 576. Для измерения поверхности сердца без артефактов, вызванных движением, требуется сверхвысокая скорость. Исследование по измерению сердца проводится в сотрудничестве с профессором Игорем Ефимовым из Вашингтонского университета-Св. Луи (подробнее см.¹¹); Обратите внимание, что кролик был гуманно убит и что снимки были сделаны, когда сердце еще билось.

Рисунок 1.Макет системы 3D видеовизуализации. В этой системе высокоскоростной DLP-проектор проецирует на объект три двоичных размытых изображения со сдвигом фазы в быстрой последовательности. Высокоскоростная CMOS-камера используется для захвата трех периферийных изображений одно за другим для вычисления глубины.

Рисунок 2.3D-измерения человеческого лица с разрешением 640 x 480, раскрывающие мельчайшие детали. Слева направо показана одновременно захваченная текстура, идеально выровненная по геометрии, затененный вид геометрии, каркасный вид, отображающий плотность точек, крупный план области носа и крупный план области глаз.

Рисунок 3.Четыре отобранных кадра из 3D видео формирования выражения лица.Видео было снято с частотой 60 Гц и разрешением 640 x 480. Эти кадры подчеркивают геометрические изменения лица женщины при переходе от нейтрального выражения к улыбке.

Рисунок 4.Захват, обработка и рендеринг 3D-видео в режиме реального времени. 3D-измерения отображаются в режиме реального времени на экране компьютера справа от объекта.

Рисунок 5.Съемка живого кроличьего сердца с помощью нашей сверхскоростной системы 3D-видеовизуализации. Сердце бьется со скоростью примерно 200 уд/мин. Частота 3D-съемки составила 166 Гц при разрешении изображения 576 x 576. Более подробную информацию см.^{в пункте 11}.

Discussion

Эта технология 3D-видеовизуализации с высоким разрешением, в режиме реального времени и сверхбыстрой является платформенной технологией, которая потенциально может принести пользу многочисленным и разнообразным научным областям, начиная от биологической науки и заканчивая инженерной практикой. Биомедицинские приложения включают в себя прецизионные измерения движений лица и поверхностей органов. Другие приложения включают 3D-автоматизированный контроль качества с обнаружением искаженных особенностей поверхности; Видеоконференцсвязь с улучшенным 3D-покрытием; детальная оцифровка черт лица для фильмов и видеоигр; измерения плотных и быстрых деформаций для проектирования и анализа конструкций; Многие биологические и инженерные приложения (например , биение кроличьих сердец, жидкие ударные волны) требуют сверхвысокой скорости визуализации бинарной системы расфокусировки для правильного разрешения объектов без искажения артефактов.

Тем не менее, на пути широкого внедрения этой технологии остается много проблем. Традиционная технология DFP требует, чтобы проектор отображал 8-битные узоры синусоидальных полос в оттенках серого. Скорость этой технологии ограничена частотой обновления проектора (обычно 120 Гц). Этой скорости достаточно для замедленной съемки, такой как захват мимики. Однако, Существует множество приложений, требующих более высокой скорости сканирования.

Технология двоичной расфокусировки ослабила это ограничение скорости, и мы успешно создали сверхбыструю систему 3D-видеовизуализации. Однако у этой системы есть два недостатка. Во-первых, для этого требуется дорогой проектор, такой как платформа DLP Discovery, и дорогостоящая высокоскоростная видеокамера, такая как Vision Research Phantom v9.1. Во-вторых, поскольку она генерирует синусоидальные узоры за счет расфокусировки квадратов двоичных шаблонов, Метод бинарной расфокусировки имеет трудности с получением синусоидальных полос того же качества, что и традиционный метод DFP, и уменьшенный диапазон измерения глубины (для дальнейшего объяснения см.²³). Недавние исследования показывают, что дизеринг бинарных синусоидальных узоров может значительно смягчить ограничения на диапазон измерения глубины¹⁹. Будущие исследования будут сосредоточены на преодолении оставшихся проблем, сохраняя при этом достоинства бинарной расфокусировки.

Еще одной проблемой является сжатие и хранение большого объема данных, генерируемых высокоскоростными системами 3D-визуализации с высоким разрешением. Несжатые 3D-видео значительно больше, чем несжатые 2D-видео. Например, для 3D-видео, записанного с частотой 30 Гц в течение 1 минуты с разрешением 640 x 480, . Размер файла OBJ может превышать 50 ГБ, что делает его хранение чрезвычайно сложным. Поскольку в области сжатия 3D-видео был достигнут небольшой прогресс, мы продолжим уделять этому внимание в будущем.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Материалы и оборудование не используются.